Get 新技能！深度学习开启新一轮运动追踪革命
人工智能技术飞速发展，正在推动一种新的开源工具来分析动物的行为和姿态。
生理学家瓦伦蒂娜·迪·桑托（Valentina Di Santo）是斯德哥尔摩大学的博士后，她正在研究一种名叫skates swim的鱼游泳时的动作。迪·桑托花了大量时间检查高分辨率的鱼类影像。
她在水箱中拍摄了一条单独的鱼，并手动逐帧注释了它们的身体部位，为了得到一条72秒钟的镜头，她必须全身心地投入大约一个月的时间。然后，她使用以计算机语言MATLAB开发的名为DLTdv的开源应用程序，提取了鱼身体部位的坐标，g'b这是她研究所需的关键信息。
该分析显示，当这种鱼需要更快游泳时，它们会在鳍边缘上形成弧形以加强其边缘。但是随着迪·桑托研究的重点从单个动物转移到鱼群上，这种笨拙复杂的老办法就不再适用了，很明显将需要一种新方法。因此，她改为使用DeepLabCut。
图片来源：The Project Twins
DeepLabCut是由哈佛大学神经科学家Mackenzie Mathis和她的同事开发的开源软件，它使用户可以训练称为神经网络的计算模型来跟踪视频中的动物姿势。目前公开发布的版本没有随时间推移追踪多种动物的简便方法，但是Mathis的团队同意使用fish数据运行更新的版本，迪·桑托使用图形用户界面（GUI）对其进行了注释。
迪·桑托说：“初步输出看起来很有希望，尽管我正在等待观察该工具在完整数据集上的表现。但是如果没有DeepLabCut算法帮助的话，这项研究是绝对不可能进行下去的”。
Mathis表示，长期以来，研究人员对跟踪动物的运动很感兴趣，因为运动“是对大脑内意图很好的读出”。但是通常这涉及花费数小时来手工记录行为。新泽西州普林斯顿大学的神经科学家塔尔莫·佩雷拉（Talmo Pereira）说，上一代动物追踪工具绝大多数只能表示出质心，有的工具还能表示出方向，而那些为数不多的捕捉更精细细节的工具只能专门针对特定动物，还可能受到其他方面因素的限制。
在过去的几年中，深度学习（一种使用神经网络识别数据中细微模式的人工智能方法）的发展为研究动物行为带来了新的工具。诸如DeepLabCut，LEAP估计动物姿势（LEAP）和DeepFly3D之类的开源程序包使用深度学习来确定视频中动物身体部位的坐标。辅助工具执行诸如识别特定动物的任务。这些软件对研究从猎豹运动到斑马鱼集体行为的研究都有帮助。但每个工具都有局限性。有些需要特定的实验设置，或者当动物总是挤在一起时效果不佳。但是，研究方法会随着图像捕获和机器学习的进步而改善，马萨诸塞州波士顿哈佛医学院的神经科学家Sandeep Robert Datta说：“尽管还有各种各样的问题，但是我们现在所看到的只是神经科学家研究行为方式的长期转变的开始，未来的算法将得到完善，适用范围也将更广。”
世界各地的科学家们都针对动物的行为开发了许多不同的计算模型，他们各有千秋。DeepLabCut原本是基于用于分析人体姿势的软件。Mathis的团队对其底层神经网络进行了调整，使其可用于训练数据相对较少的其他动物。
Mathis说，尽管需要的数量取决于数据质量和进行贴标工作的人员的一致性等因素，但通常需要50到200个手动注释的框架才能进行标准的实验室研究。除了使用GUI注释身体部位外，用户还可以通过Jupyter Notebook发布命令，Jupyter Notebook是受数据科学家欢迎的计算文档。科学家已经使用DeepLabCut来研究实验室和野生动物，包括小鼠，蜘蛛，章鱼和猎豹。
加州大学伯克利分校的神经科学家Zhang Wujie和他的同事用它来在实验室估计埃及果蝠的行为活动。由佩雷拉和他的同事开发的基于深度学习的姿势跟踪软件LEAP需要50-100个带注释的实验动物框架。尽管他的团队尚未进行足够的实验来确定数量，但野生动物的镜头仍需要更多的训练数据。
研究人员计划在今年发布另一个名为Social LEAP（SLEAP）的软件包，以更好地处理多个紧密互动的动物镜头。德国康斯坦茨市马克斯·普朗克动物行为研究所的行为科学家杰克·格雷夫和他的同事比较了在Grevy斑马视频上重新实现DeepLabCut算法和LEAP的性能。他们报告说，LEAP处理图像的速度提高了约10％，但DeepLabCut算法的精确度约为其三倍。
Graving的团队开发了一种名为DeepPoseKit的替代工具，该工具已用于研究沙漠蝗虫的行为。研究人员报告说DeepPoseKit结合了DeepLabCut的准确性和超过LEAP的批处理速度。例如，使用DeepPoseKit在以60帧/秒的速度拍摄的一小时录像中跟踪一只斑马，用DeepPoseKit花费约3.6分钟，用LEAP花费6.4分钟，而DeepLabCut算法需要花费约7.1分钟。
想要测试多种软件解决方案的生物学家可以尝试由动物学家克里斯汀·布兰森开发的动物零件追踪器，该追踪器是位于弗吉尼亚州阿什本的霍华德·休斯医学研究所珍妮莉亚研究园区的计算机科学家和她的同事们研发的。
用户可以选择几种跟踪算法中的任何一种，包括DeepLabCut和LEAP中使用的算法的修改版本，以及Branson实验室的另一种算法。DeepPoseKit还提供了使用替代算法的选项，SLEAP也是如此。当然，还有一些工具是为更专业的实验设置而设计的。例如，DeepFly3D跟踪单个实验动物的3D姿势，例如带有植入电极的小鼠或果蝇在小球上行走。洛桑瑞士联邦理工学院（EPFL）的神经工程师Pavan Ramdya及其同事开发了该软件，他们正在使用DeepFly3D来识别果蝇执行特定动作时哪些神经元处于活动状态。
由加利福尼亚大学洛杉矶分校的神经科学家Ahmet Arac和他的同事开发的DeepBehavior，允许用户跟踪3D运动轨迹并计算诸如小鼠和人类的速度和关节角度之类的参数。阿拉克的团队正在使用此软件包来评估中风患者的康复情况，并研究其大脑网络活动与行为之间的联系。
想要研究多种动物的科学家经常需要追踪哪种动物。为解决这一问题，位于里斯本的Champalimaud基金会私人研究机构Champalimaud Research的神经科学家Gonzalo de Polavieja及其同事开发了idtracker.AI，这是一种基于神经网络的工具，无需人工注释训练数据即可识别单个动物。de Polavieja说，该软件可以处理多达100条鱼和80只苍蝇的视频，其输出可以输入DeepLabCut或LEAP。他的团队使用idtracker.AI来探究斑马鱼如何决定第5组中的移动位置。但是，该工具仅适用于实验室录像，而不能用于野生动物录像，并且要求动物至少短暂地彼此分开。
其他软件包可以帮助生物学家理解动物的动作。Mathis说，例如，研究人员可能希望将姿势坐标转换为修饰行为。如果科学家知道他们感兴趣的行为，则可以使用由布兰森团队开发的受监督机器学习工具Janelia自动动物行为注释器（JAABA）注释示例并自动识别视频中的更多实例。
另一种方法是无监督的机器学习，它不需要预先定义行为。佐治亚州亚特兰大市埃默里大学的理论生物物理学家戈登·伯曼说，这种策略可能适合想要捕获动物全部行为的研究人员。他的团队开发了MATLAB工具MotionMapper来识别经常重复的动作。运动序列（MoSeq）是Datta团队的一种基于Python的工具，它可以发现诸如步行、转弯或后仰等动作。通过混合和匹配这些工具，研究人员可以从动物图像中提取新的含义。
（来源：https://www.nature.com/articles/d41586-019-02942-5）