破解三重物理旋转密码锁和指纹锁后,阿汤哥的搭档又得经受步态识别锁的考验……这一场景出现在2015年上映的《碟中谍5》中,至今仍令人印象深刻。在影片中,多个摄像头对他的身体轮廓和步态进行360度无死角扫描,进而判断和识别进入者的身份。心理学研究表明,步态具有唯一性,可用于身份识别。“人体轮廓加上步态是人类进行身份识别时优先级最高的方式,即在远距离就可以实现对人的身份识别。”复旦大学计算机科学技术学院教授张军平告诉《中国科学报》,它的好处之一是,在预防潜在恐怖袭击或犯罪时,与其它生物认证方式相比,步态能提供最早的预警和最长的反应时间。然而,如果生物体被遮挡了,是否还能做到精准的步态识别?近日,一项最新研究显示,研究人员创新人体姿态估计方法,可在真实场景中解决多人遮挡的问题。研究人员先进行人体关键点的估计,进而得到人体骨架,形成人体关键点序列,用于步态识别。研究成果发表在2021年国际计算机视觉与模式识别会议上。像《碟中谍5》中的场景一样,安防领域是步态识别的应用方向之一。“你们猜猜,哪张图像是抑郁症患者的步伐?”在2021世界人工智能大会上,复旦大学类脑智能科学与技术研究院教授冯建峰给出两张动态图像,问场下的观众。当观众猜错时,他开玩笑地说:“看来今天来的医生比较少。”张军平在接受《中国科学报》采访时表示,步态是人的行为外在表现方式之一,在一定程度上能够反映人的健康状况。“通过步态识别抑郁症患者,是一个值得研究的方向。”所谓步态,就是人在行走过程中姿态的变化。“步态识别,俗称'走姿’识身份。不同人的走姿是不一样的,所以走姿是人的另一种身份。”杭州电子科技大学博士生郑锦凯在接受《中国科学报》采访时解释道。从解剖学的视角出发解释步态具有唯一性。据介绍,这种唯一性的物理基础是每个人生理结构的差异性,不一样的腿骨长度、不一样的肌肉强度、不一样的重心高度、不一样的运动神经灵敏度等,共同决定步态的唯一性。近年来,随着视频监控设备在机场、车站、商场等公众场所的普及,步态识别在社会安全、市场营销、生物认证、法律援助等领域逐渐发挥重要的作用。“步态识别是生物认证中最具前景的应用方向之一。”张军平向《中国科学报》解释道,人脸识别技术尽管已全面应用,但其可识别距离最远仅有7至8米,且易被遮挡、易受光照等影响,也存在被3D伪人脸模型攻击的风险;虹膜识别则易受美瞳等隐形眼镜产品的影响;指纹和掌纹识别存在依赖设备和距离受限的问题。尽管步态识别具有各种优势,但同样存在很多挑战,包括不同摄像头造成的巨大视角偏差、行人着装与携带物改变、遮挡以及分割误差等。近些年来,随着机器学习的快速发展,步态识别在实际应用中逐渐发挥出巨大的优势。要识别步态,常用的生物认证策略有两种。一是基于步态走路周期性形成的视频序列,通过逐帧比较来识别步态。该方法虽然性能高,但识别效率低。另一种是将步态的视频序列进行平均,形成一幅步态能量图模板,并基于此模板来识别。该方法虽然有实时的效率,但识别性能不如视频序列方法。“在实际环境中,摄像头采集到的步态往往来自多个角度。如果算法只能处于单个角度,则很难将其推广至实际应用中。”张军平说。自2006年以来,张军平团队先后在低分辨率步态识别、时间保持不变模板等方面获得一系列研究成果。其中,时间保持不变模板方法的文章在2012年发表在计算机视觉与模式识别顶级期刊IEEE TPAMI上,并通过第三方在步态公用数据集OU-ISIR进行测试,被列为当时六个state-of-the-art算法之一,并获得排名第三的成绩。基于以上成果,为了获得最佳性能和潜在的实用性,张军平研究小组进一步跳出以往步态识别的思路,将传统步态识别中一直依赖的步态周期摒弃,而将步态序列看成是一个集合,创新性地提出了步态集合算法(GaiSet)。“直观地说,就是把步态序列看成是一个集合,不需要步态视频序列中的每一帧,只需要一些有代表性的帧用来训练即可。”张军平表示。他进一步介绍,GaiSet另一个优点是,在极少量步态图像用于训练的前提下,能够达到很好的性能,因此比较稳定。相关研究成果发表在2019年的AAAI和2021年的IEEE TPAMI上,被同行认为是步态识别领域近年来的标杆性成果。不可否认,步态识别不像指纹识别、人脸识别已发展得很成熟,仍处于探索阶段,许多方面的理论和方法还有很大完善空间。步态识别有两个传统的研究方向,分别是基于模型与基于非模型的方法。前者对人体的基础结构建模,而后者直接从图像或视频中基于轮廓提取步态特征。郑锦凯进一步解释道,人体关键点组成的人体骨架序列属于人体的基础结构建模,为基于模型的方法;由人体轮廓图组成的人体轮廓序列或步态能量图,为基于非模型的方法。而张军平团队的研究成果则属于后者。就在前不久,郑锦凯等人针对人在不同场域的步态不同,提出可迁移邻域发现算法。“在超市里购物步伐偏慢,而赶车时步伐急促,所以跨域步态识别为'走姿’识身份增加了难度。”郑锦凯说。利用这一方法,可有效提升跨域场景下的步态识别精度。所谓可迁移邻域发现算法,郑锦凯比喻道:“就像小孩识别动物种类,最开始借助一些图片和对应的动物名字,学习认识许多动物。如果让小孩对更多的图片进行分类,一开始可能很容易将见过的长得类似的动物图片分在一组。但当小孩发现还剩余许多没见过的图片,他就可能从中寻找没见过的相似图片,并猜测它们属于一个新物种。接下来,小孩可能同时发现好几个新物种,进而把它们分在一组,接着继续寻找和这些新物种长得很像的图片,直到所有图片都找完为止。”据悉,不同于传统聚类赋伪标签识别,新算法有望在步态识别领域拓展新的应用。近日,由中国科学院自动化研究所、计算技术研究所及清华大学等7家单位共同撰写的《生物特征识别学科发展报告》(以下简称《报告》)发表在《中国图像图形学报》上。《报告》指出,自非模型深度学习方法提出后,由步态剪影图序列中直接提取特征的非模型步态识别方法得到极大发展,步态识别精准度大大超越基于模型的识别算法。但随着人体关节点提取方法的出现,基于模型的步态识别算法再次得到关注。在最新由新加坡国立大学、腾讯人工智能实验室等机构联合完成人体姿态估计的研究中,研究人员将现有的三维人体姿态估计方法分为自上向下和自下向上两种。前者在很大程度上依赖于人的检测来定位每个人,然后再估计关节。但当多人相互遮挡时,这种检测变得不可靠。后者虽然不使用人的检测,但会受限于尺度变化,姿态估计的准确性同样受到影响。于是,研究人员将自上向下和自下向上的方法结合起来,从只使用一个传感器拍摄的视频中实现更准确、更稳健的三维多人姿态估计。在张军平看来,这一方法有可能为步态识别贡献更高精度的姿态估计,从而进一步提高跨角度步态识别的性能。他同时指出,步态骨架的精确构造也是值得关注的方向。“由于两者所利用的信息不同,所以相互融合也成为了步态识别发展的重要研究方向。”《报告》强调。相关论文信息:
https://openaccess.thecvf.com/content/CVPR2021/papers/
https://doi.10.11834/jig.210078
《中国科学报》 (2021-08-05 第3版 信息技术 原标题为《藏也藏不住,姿态“暴露”了你》)