深度学习助力动作捕捉技术

马的四蹄会不会同时离地？130多年前，英国著名摄影师迈布里奇利用横跨赛道的紧绷绳子控制快门，马匹跑过时自动触发拍照，由此解决了这个争论已久的话题。这可能是“动作捕捉”技术的鼻祖。

如今，基于视频记录的动作捕捉技术已经广泛应用于动画制作、体育训练、人机工程等领域，其核心是将运动物关键部位的动作处理成计算机数据。不过，这要么需要人力费时费力地逐帧标记，要么需要在研究对象上放置标记物，实用场景十分有限。

当地时间8月21日，英国《自然-神经科学》期刊上发表的一篇论文，介绍了一种经过深度学习训练后，实现自动捕捉动物运动的软件DeepLabCut。其精细程度可以跟踪果蝇产卵、伸吻，以及小鼠每一个脚趾的轨迹。

跟踪果蝇

值得一提的是，开发者已经将DeepLabCut放在了开源网站GitHub上，其他研究人员可以免费下载，经过几小时的简单标记后，就能定制软件捕捉特定动物，乃至人类的运动。

开发该款软件的美国哈佛大学神经科学家夫妇Mackenzie Mathis和Alexander Mathis原本打算研究小鼠对气味的追踪行为，需要在视频里对小鼠鼻头进行标记跟踪。然而，他们没有找到现成的便捷工具，神经科学家常用的闪光标记物也难以用在微小的鼠头上，由此萌生了自己编一款软件的想法。他们选择了一款用于识别人类照片的深度学习框架，改造到动物身上。

Mathis团队首先利用一个大型目标识别图像数据库ImageNet对DeepLabCut进行了预训练，教会系统如何区分不同动物，并识别具体的身体部位，比如小鼠的爪子、斗鱼的鱼鳍。这样可以大大节省后续训练所需的数据。

接着，他们教会系统不仅是跟踪某一个身体部位，而是同时捕捉所有的标记部位。这能辅助彼此间的精确定位。

最后，团队进行了跨物种的检验和校准，在论文中演示了对果蝇和小鼠两种物种的动作跟踪。

跟踪小鼠

如果你要利用这个软件捕捉你家猫的动作，只需要在视频中选取几帧或几十帧，点击鼠标标注猫头、猫尾巴和每只猫爪的位置，深度学习算法就会自动覆盖整个视频的每一帧。

目前，该软件已经应用于其他团队的动物研究。DeepLabCut网站上列举了一些案例：

密歇根大学的Daniel Leventhal团队跟踪大鼠受训抓取的动作。过程中人工标记了180帧。

哥伦比亚大学的Nate Sawtell实验室跟踪小鼠在踏板上的动作。旁边放置了一块镜子，算法同时捕捉两个视角上的轨迹。

Nate Sawtell实验室还跟踪了电鱼的游泳动作。

在同期发表的一篇评议文章中，北京大学心理学系教授魏坤琳与宾夕法尼亚大学Konrad Kording肯定了这项研究的价值。DeepLabCut理论上可以处理任何视频中的动作，现在互联网上的海量视频数据，将成为科学家们的富矿。

进一步展望未来，原本昂贵而费尽的动作捕捉技术会飞入寻常百姓家。

譬如，现在只有顶级运动员才能享受动作捕捉技术，且需要专业人士进行配套的分析。在未来，也许每个人在健身房里就可以在软件的指导下更科学、更有效地锻炼。

同理，物理治疗和医疗康复项目中的动作捕捉技术十分昂贵，一些医生只能靠肉眼观察进行主观判断。普适而便捷的视频动作分析将掀开精准医疗史上全新的一页。

Mathis夫妇表示，他们已经收到了一些意想不到的邮件，比如科学家希望研究章鱼等软体动物以研发手术机器人，体育界人士希望分析棒球运动员的投球动作，甚至有一家公司希望用他们的软件分析赛马的胜率。