双足机器人首次完成户外5公里跑，无任何安全辅助条件下53分钟跑完全程|专家解析（20210807）
有史以来，第一次完成户外 5 公里跑步的机器人诞生。近日，俄勒冈州立大学的研究人员让一个两足机器人 Cassie 完成了上述跑步。
（来源：Agility Robotics）
凭借纤细的红腿、鸵鸟的步伐和腹部的推力，它在 53 分钟内跑完全程，没有系安全带，并且只充了一次电。
（来源：Agility Robotics）
“这是机器人第一次学会走路和跑步，并成功地越过人类地形和正常地形”，俄亥俄州立大学机器人教授、Agility robotics 创始人和 CTO 乔纳森・赫斯特（Jonathan Hurst）表示，“这是真实世界的环境，不是在跑步机上的实验室那种东西。”
（来源：Agility Robotics）
据悉，Cassie 是一个两腿机器人，由俄勒冈州立大学孵化出来的公司 Agility Robotics 制造，曾获得美国国防部高级研究计划局的 100 万美元拨款。
研究团队耗时 16 个月研发完毕，并于 2017 年首次推出 Cassie，目前一台售价大约 7 万美元。该公司官网表示：“我们的最后一次 Cassie 交付发生在 2019 年 7 月，（目前）不再可供购买。”
（来源：Agility Robotics）
2020 年，该校剥离出 Agility Robotics，不过该公司一直在推动双足机器人的商业应用。据介绍，Cassie 是通过深度强化学习算法学会了跑步能力，它还能在转换位置或运动时保持平衡。
概括来说，该团队将生物力学知识、机器人控制方法、以及机器学习工具相结合，最终塑造了 Cassie。
（来源：Agility Robotics）
同时，Cassie 也是该公司的第一款产品，它稳定、精确的步伐参考了鸟类步态。和鸵鸟一样，Cassie 臀部有三个自由度，脚踝柔韧有力，但膝盖只能单向弯曲。它的整个底盘非常轻，能以比较自然的方式去吸收冲击，就像人类走路一样。
（来源：Agility Robotics）
不同于波士顿动力公司（Boston Dynamics）的四足机器人，对于四条腿站立的机器人，很难用外部物体把它撞倒。而 Cassie 是两条腿，因此似乎更容易被撞倒。但该团队表示，这种情况或将改变，因为新的深度学习技术可让两足机器人在移动过程中，开发出自我稳定的新方法。
（来源：Agility Robotics）
尽管如此，这些方法也并非完美无缺。此次 Cassie 的运行时间包括大约 6.5 分钟的故障排除时间，在 5 公里跑中跌倒了两次，期间研究人员处理了电脑过热和一个糟糕的转弯，这导致 Cassie 的主机从腿上摔了下来。
但是，赫斯特仍然相信，两足机器人将成为常态，并与人类融合在一起。 其潜在应用场景主要在于灾后搜救、物流包裹运送和家庭智能服务等。
（来源：Agility Robotics）
对于此次成绩，浙江之江实验室 PI 研究员、前本田技研先端中心研究员、大阪大学博士 & 特聘研究员付春江告诉 DeepTech，对能耗的追求其实在美国 DRC 机器人挑战赛中就已初见端倪，相比传统的刚体机器人比如 ASIMO 和 ATLAS，斯坦福研究院的 SRI 的 DURUS 在更早之前、就已实现较长时间的行走。
而此次 Cassie 把双足机器人的节能性推到了新高度。举例来说，智能手机之所以成为日用品，就是起码能保证一天一充电。其实，之前 Cassie 已实现连续工作数小时，只不过那时它采用的控制方法需要限制步幅，即仍然停留在行走这种方式。
而此次的 5 公里，是在慢跑步态下实现的，确实更具冲击力。不同于全地形和全身动作，行走的学习控制核心思路也没有慢跑的复杂。而从俄勒冈州立大学 ICRA2021 的控制框图可以看到，在承担主要非线性、非连续动力学任务时，仍是让降维模型的稳定周期运动来作为步态库，去对控制策略网络进行引导。
图 | 俄勒冈州立大学 ICRA2021 的控制框图（来源：资料图）
付春江指出，相比之前纯粹的强化学习，这可省去不少训练量。当然，全步态学习包括跑步有着更复杂的无模型学习方法、回报设计、系统调参和软硬件迁移，但主要还是依赖大规模仿真数据。
该团队于 2021 年发表的一篇论文指出，周期回报组合设计是其关键。此外如下图所示，该研究还用到了 LSTM 网络和 PPO 训练方法。
图 | LSTM 网络和 PPO 训练方法（来源：资料图）
付春江表示，Cassie 此次实现 5 公里慢跑，是抗扰柔性硬件结构、调试数据、经验的积累、以及强化学习的综合积累结果。
（来源：Agility Robotics）
Cassie 的 “妹妹” Digit 更具实用性
目前该公司还研发了 Digit 机器人。据悉，Digit 上身集成了传感器和两个 4 自由度臂，还有一个用于额外计算和自定义负载集成的托架。
图 | 研究团队和 Digit（来源：Agility Robotics）
它的实用性更强，只需少量额外编程即可执行简单的任务。据介绍，Digit 于 2018 年开始开发，并于 2020 年中期推向市场。Digit 具有稳健的步行和跑步步态，具备爬楼梯、以及自主导航的感知能力。
目前， Digit 已可用于搬运包裹。
图 | Digit（来源：Agility Robotics）
即便遇到台阶，它仍可以搬着包裹上去。
图 | Digit（来源：Agility Robotics）
赫斯特曾表示，该公司正在和福特公司合作，主要想解决最后一公里问题。Digit 的独特设计让它可以被折叠，平时放在汽车后备箱即可随车携带，一旦车辆到达目的地，就可让 Digit 抓取包裹、并执行交付过程的最后一步。
（来源：Agility Robotics）
创始人曾不被看好，为此曾将 Cassie 送给好友做研发
谈及 Agility Robotics 和高校的合作模式，付春江表示，公司与高校合作的最大收益是试错。他说，Agility Robotics 创始人赫斯特在卡耐基梅隆大学（CMU）读书时是硬件出身，期间设计了很多串并联弹性元件、变阻抗机构。
图 | 左一为 Agility Robotics 的 CTO 乔纳森・赫斯特（Jonathan Hurst）（来源：Agility Robotics）
赫斯特对刚柔混合结构十分执着，并相信通过硬件的实践创新，可以倒逼控制的发展，但是当时 CMU 机器人学院院长克里斯・阿特金森（Chris Atkinson）不是很支持他。比较幸运的是，密歇根大学机器人研究所所长杰西・格里兹尔（Jessy Grizzle）很看好赫斯特的工作。
（来源：Agility Robotics）
由于当时混合零动力控制这条线在处理跑步时，需要加入弹性倒立摆模型作为零动力核心。在实现弹簧倒立摆的基础上，彼时已在俄勒冈大学教书的赫斯特、及其学生安迪・阿巴特（Andy Abate）尝试过很多构型，最终发现串并联混合模型加玻璃纤维板，不仅能在一定工作空间上实现弹性倒立摆模型，还能在末端工作空间形成刚度椭圆抗地面干扰。
（来源：Agility Robotics）
但柔性元件的加入对控制提出了新要求，因为无法找到证明稳定性的多项式形式的李雅普诺夫函数。所以 Cassie 被发到赫斯特的高校 “朋友圈”，并尝试了不同的方法。
比如前哈佛大学约翰・A・保尔森工程与应用科学学院的工程与计算机科学助理教授、现波士顿动力的 Atlas 团队负责人斯科特・昆德斯马（Scott Kuindersma）就曾在 Cassie 身上尝试强化学习的方式；密歇根大学的杰西・格里兹尔（Jessy Grizzle）则使用了非线性控制的方式；加州理工学院机械和土木工程、以及控制和动力系统的教授亚伦・艾姆斯（Aaron Ames ）用的是鲁棒优化控制的方式。
后来，斯科特・昆德斯马跳槽到波士顿动力，强化学习的尝试也被移交给加拿大不列颠哥伦比亚大学的计算机科学系教授米歇尔・范・德・帕内（Michiel van de Panne），并于 2018 年取得应用性突破。Agility Robotics 确认效果后收回到自己公司，并开始大力投入此方向。
（来源：Agility Robotics）