一张图生成3D人脸模型，可直接做带皱纹面部动画？！

原创 cc CG世界 1周前

前几天我们介绍了几款捏超写实人物角色的软件。有的同学说，啥时候能用一张图片生成，那才叫厉害！哎？今天它来了！！

其实之前有介绍过单张图片重建三维模型的方法，但是存在一些局限性，只不过有的生成的人脸由于复杂的皱纹而无法制作动画，而有的方法基于高质量的人脸扫描，不能很好地处理单个图像。

今天介绍的这篇新论文讨论了一种重塑3D人脸形状和可制作动画细节的方法，这些细节是特定于一个人的，可随着表情的变化而变化。据说，这种称为DECA（Detailed expression Capture and Animation）的模型，可以从低维度的潜在表情中生成UV置换贴图，具有特定个人的细节参数和通用表情参数。回归矩阵（数学专有词）可以从单个图像预测细节，形状，反照率，表情，姿势和照明参数。

上面提到的DECA是一种从单一图片重建人脸的全新方法，下面就带大家来简单了解一下。

给一张头像的图片，根据这篇论文的描述就能估算出一个精细的3D模型，而且有着皱纹，还能做动画和自然的皱纹变形。

捕捉精细的表情和动画，之前的方法是能够提取皱纹这样的细节的，但是不能给模型做动画，也不能让皱纹随着表情而变化。

这种方法是从野生（白话解释：不是那种特意准备的，而是随意在各种外界素材库找到的）的大量资料库中学习了3D的形状和细节，从这些野生图片学习的过程中提供了极限测试的结果，专业术语就是鲁棒性，根据鲁棒性研发团队提出了一种新Loss函数（损失是机器学习、深度学习回归任务中最常用的一种损失函数,也称为 L2 Loss），这就让学习细节表达式条件成为了可能性。

在给出一个人的头像图片和一个单独的3d面部动画，可以使用随表情而变化写实几何细节来对输入面部进行动画处理，研究过程中发现精细的面部细节是因个人长相而变化的，但是它们在图像中的却由于表情而改变的。无论头部、姿势和表情是怎样的，同一个人的多个图像应该有着同样的3D头部形状，以及同样的潜在细节代码。

来看看原视频解析，看不懂没关系大致了解下。

DECA在Now Challenge中获得了最先进的成果，Now Challenge是一个关于从单一图像重建3D人脸的挑战，在这个挑战中他们测试了3D形状的准确性，下面将为大家展示DECA的成果与其他近期重建方法之间的比较。

可以看出，DECA的方法不仅可以得到良好的轨迹形状，还可以得到更多的几何细节，而其他的方法尽管对一些高质量的图像进行了细节重现，但在有遮挡或者动作表情比较大的时候出来的效果就不太好了。

还有一些方法虽然可以通过正确的形状恢复或者获得完整的细节，但是最终出来的模型是做不了动画的，而DECA的方法则可以适应各种各样的情况使用。

不过，尽管DECA具有稳定性，但是在极端的姿势或者照明条件下，还是有一定失败几率的。在使用大型训练数据库时，虽然DECA可获取更多的人类种族的数据，但是对于深色皮肤，特别是嘴唇部分仍有可能会失败，因此得需要更多样化的训练数据和更好的模型才行。

下面是部分内容，详细代码可看文末链接：

好了，以上就是关于DECA的全部内容，通过一张图片就可以生成可动画的头像模型，不得不感叹技术真的是在不断地发展，最后特别提醒，DECA的模型和代码都是公开可用的。

参考链接：

https://80.lv/articles/generating-animatable-detailed-3d-face-models-from-single-images/

https://deca.is.tue.mpg.de/

https://www.youtube.com/embed/Yo53Q0N6N4M