HuMoR：稳健姿态估计的三维人体运动模型
重磅干货，第一时间送达
小黑导读
论文是学术研究的精华和未来发展的明灯。小黑决心每天为大家带来经典或者最新论文的解读和分享，旨在帮助各位读者快速了解论文内容。个人能力有限，理解难免出现偏差，建议对文章内容感兴趣的读者，一定要下载原文，了解具体内容。
HuMoR是一个三维人体运动模型的稳健估计的时间姿态制定为一个条件变分自编码器。(左)提出的方法可以在许多输入模式上操作，并被设计用于处理部分和噪声观测。(中/右)测试时间优化将3D运动和形状与输入序列相匹配;附加输出包括地面和人-地接触点(颜色为接地面和接触点)。
摘要
作者介绍了HuMoR:一种用于时间姿态和形状鲁棒估计的三维人体运动模型。虽然从动态观测中估计三维人体运动和形状已经取得了很大的进展，但在存在噪声和遮挡的情况下恢复可信的姿态序列仍然是一个挑战。为此，作者提出了一种条件变分自编码器形式的表达生成模型，该模型可以学习运动序列每一步姿态变化的分布。此外，作者引入了一个灵活的基于优化的方法，利用HuMoR作为一个运动之前，稳健地估计似是而非的姿态和形状从模糊的观察。通过广泛的评估，作者证明了在大型运动捕获数据集上训练后，作者的模型可推广到多种运动和身体形状，并能从多种输入模式(包括3D关键点和RGB(d)视频)进行运动重建。
代码链接：https://geometry.stanford.edu/projects/humor/
作者的贡献是:
HuMoR，一种基于新型条件VAE的可生成3D人体运动模型，可实现表达性和一般性运动的重建和生成，
随后的一个健壮的测试时间优化方法，使用HuMoR作为一个强大的运动，联合解决姿态、身体形状和地平面/接触，
通过广泛的评估，可以对各种输入(如RGB(d)视频和2D/3D关节位置序列)进行操作，从而产生准确可信的运动和接触。
框架结构
HuMoRCVAE架构
实验结果
从RGB-D(顶部)TestOpt with HuMoR输出3D运动、地平面和接触(底部)。
从i3DB拟合RGB视频(即2D关节)的定性比较[66]。与基线方法相比，使用HuMoR (Ours)进行优化输出的是在严重遮挡下自然可信的坐姿和行走运动。
结论
作者引入了HuMoR，这是一个在测试时间优化过程中利用的学习生成的3D人体运动模型，可以从3D、RGB和RGB- d观察中稳健地恢复姿态和形状。作者已经证明，作者的模型的关键组件使泛化到新的运动和身体形状，为生成任务和下游优化。与强大的基于学习和优化的基线相比，HuMoR擅长于在大遮挡下估计合理的运动，同时产生一致的地平面和接触输出。
论文链接：https://arxiv.org/pdf/2105.04668.pdf
每日坚持论文分享不易，如果喜欢我们的内容，希望可以推荐或者转发给周围的同学。