Science子刊：“冰上围棋”机器人再次战胜人类，冰壶AI人机大战速来围观
机器人在各种比赛中与人类竞赛的新闻早已屡见不鲜，例如前几年的AlphaGo，在围棋人机大战中战胜了职业九段棋手。
最近，科学家们又把目光放在了“冰上围棋”冰壶比赛上。Science的子刊《ScienceRobot》近日发表了一项研究，来自韩国和柏林的研究人员团队开发了一个名叫Curly的AI机器人，专为冰壶运动而生。它刚刚学会了冰壶运动的技巧，就以3：1的成绩打败了两个专业的韩国冰壶国家队。
在冰壶比赛中，运动员需要把对方的壶击走，并把自己队的壶留在比赛场地的圆心中，即所谓的大本营中，最终大本营中哪一方的冰壶数量多，更靠近中心点，哪一方得分就高。冰壶表面上看起来很简单，但其实它是一项颇具技巧性和策略性的运动，运动员需要通过估测角度和力度来让重量达到38斤的冰壶经过重重阻挠移动到对方的指定区域内，在这个过程中，还需要不断的刷冰，阻止冰壶减速或改变壶的行进方向，配合着贯穿场馆的喊叫声。总的来说，冰壶这项运动既需要脑力，又需要体力，但对于机器人Curly来说，这些都不成问题。
冰壶AI人机大战
来看看AI人机大战的精彩瞬间：
由Curly发球，它先伸长脖子观察了下地形：
“智能大脑”默默计算最佳投掷路径：
把脖子缩进去，进入投掷模式：
好球！精准的把对手的冰壶赶出了大本营：
另一方的专业运动员也不甘示弱，小姐姐以标准的姿势投掷了黄色冰壶：
人机大战非常激烈，最后，Curly还是以3:1的成绩取得了胜利。有没有发现比赛缺少了一个灵魂环节——刷冰。没错，Curly机器人的主要任务是投掷冰球，还未开发出与其配合的擦冰机器人，相信未来会有机器人充当该角色。
Curly机器人的组成结构
Curly实际上由两个相同的机器人，以不同的模式操作，一个机器人观察得分位置，另一个负责投掷冰壶。
每个机器人都配备了视频分析，数据通信和包括牵引力控制的投掷控制模块。投掷者Curly在冰盖上实施基于AI的策略，握住并旋转冰壶，使其加速，然后以适当的速度和角度将其从抓斗中释放出来。观察者Curly可以通过使用图像处理技术来识别所有冰壶的坐标和轨迹。
机器人的整体结构有点像一只鸵鸟，在身体和“脖子”上都安装了摄像头，通过昂起“脖子”将摄像头抬起或放下。在观察者模式下，机器人可以抬起头部来识别冰壶。在投掷者模式下，脖子上的头部摄像头用于检测机器人本身的位置（定位），而身体摄像头则用于检测投掷位置。
考虑到人类在冰上行走已经够困难了，更不用说机器人了。研究人员给Curly添加了轮子。两个前轮连接到两个无刷直流电动机并用作驱动轮，而后轮是仅支撑车身的脚轮。Curly的抓取器由两个电机组成：一个用于抓取和释放冰壶，另一个通过皮带旋转冰壶，使冰壶转着圈的被投掷出去，无需任何外部安装或电缆即可执行冰壶运动。
Curly取胜的关键——深度强化学习
研究人员在虚拟模拟器环境中对冰壶和冰面进行了模拟，基于这些数据训练了Curly的人工智能系统。但实际上，每次投掷冰壶时，冰的摩擦力都会发生变化，这使比赛时的外部因素变得不可预测。为了解决这个问题，研究人员考虑Curly必须具有在现实世界中实时的动态观察和决策能力。
深度强化学习是达到该目的的有效方法，和有监督学习类似，强化学习也有训练过程，需要不断的执行动作，观察执行动作后的效果，积累经验形成一个模型。基于该模型， Curly在每局比赛开始前需要掷壶一次，来了解冰面光滑程度等的情况，然后在比赛过程中，利用冰壶目标和到达位置之间的过去距离差距来学习环境的潜在动态变化，一边纠正自身错误一边进行改进。
Curly的操作分为四个步骤：
观察者Curly通过主动视觉识别冰壶的坐标，并将其传递给AI Curly。
在收到具有坐标的冰壶当前状态之后，AI Curly在包含不确定性的冰壶模拟器环境中计算最佳掷球策略，例如速度，角度和卷曲的方向等，并将其传输至深度强化学习模型。
深度强化学习模型将各种不确定性因素纳入实际冰壶参数估计中，基于模型计算对AI Curly提供的坐标的适应性，将抛出参数发送给投掷者Curly。
投掷者Curly精确地将实际的冰壶与AI接收到的参数一起送出，在完成 一个回合之后，再次采取战略行动。
基于深度强化学习， AlphaGo完胜人类；OpenAI开发的Dota Five在游戏中达到了人类玩家的顶级水平。在过去的二十年中，AI一次又一次的赶超人类。通过不断学习将它们未来也许会变得更加强大。
参考链接
https://robotics.sciencemag.org/content/5/46/eabb9764/tab-article-info
https://robotics.sciencemag.org/content/5/46/eabe2547
https://techxplore.com/news/2020-09-robot-professional-players.html
END