PRNet：人脸3D重建与密集对齐

随着直播视频的兴起，人脸动画贴纸成为一项必备的视频技术，而其后的核心技术人脸对齐和人脸跟踪在学术界也越来越火，本文介绍的PRNet就可以使你快速开发有趣的人脸应用。

PRNet来自于论文“Joint 3D Face Reconstruction and Dense Alignment with Position Map Regression Network”

其主要特点：

1.End-to-End 计算方式 可以直接从单幅人脸图像同时回归出3D人脸结构和密集对齐点；

2.多任务 通过回归位置图，可以直接获得3D几何以及语义信息。因此，我们可以毫不费力地完成密集对齐，单目三维人脸重建，姿态估计等任务；

3.比实时还要快的速度 该方法可以以超过100fps（使用GTX 1080）运行以回归位置图；

4.鲁棒 在开放场景下测试面部图像，该方法对姿态变化，光照变化和遮挡都具有良好鲁棒性。

应用场景

1.人脸对齐

人脸可见和不可见点的密集对齐（包括68个关键点）。

2.三维人脸重建

从单个图像中获取3D顶点和相应的颜色。将结果保存为网格数据（.obj），可以使用Meshlab或Microsoft 3D Builder打开。请注意，由于自遮挡，非可见区域的纹理会扭曲。

您可以选择使用其原始姿态（默认）或前视图输出网格（这意味着所有输出网格都已对齐）

obj文件现在也可以用纹理贴图编写，并且可以将不可见纹理设置为0。

3.3D人脸姿态估计

使用所有顶点（超过40K）来计算更准确的姿态，而不是仅使用68个关键点来计算姿态矩阵（容易受表情和姿态影响）。

4.通过人脸图像获取深度信息

5.人脸纹理编辑

修改输入面的特殊部位，例如：

6.换脸

https://github.com/YadiraF/PRNet

欢迎访问www.52cv.net，获取更多计算机视觉与机器学习技术信息。

长按关注我爱计算机视觉公众号：