【星球知识卡片】深度学习换脸算法都有哪些?如何长期进行学习

1 基于3D模型的换脸

基于3D模型的换脸算法是一类非常经典的思路,它首先对人脸进行三维重建,然后进行姿态对齐,纹理映射和融合改进,能够取得非常好的换脸效果,以“On Face Segmentation, Face Swapping and Face Perception”为代表。

2 基于风格迁移模型的换脸

换脸算法保留了被换脸的表情,姿态,形状,同时使用了新脸的纹理,要实现的就是纹理的迁移,这可以使用已经较为成熟的风格迁移算法,以“Fast Face-swap”为代表。

3 基于生成模型的换脸算法

换脸算法可以看作是一个人脸到人脸的图像翻译问题,所以VAE,GAN等生成模型可以被用于人脸特征编码,其中最经典和著名的算法就Deepfake。

4 3D模型和GAN模型的融合

要想实现在各种姿态下鲁棒的换脸,3D模型和生成模型必须强强联合。

5 其他

总的来说,人脸换脸有一些重要的研究方向,包括:

(1) 编解码框架的改进。

(2) 监督信息的使用。

(3) 3D模型的运用。

(4) 图像融合的处理。

(5) 其他等等。

以上内容,如果你不想自己学习,可以去我们知识星球的网络结构1000变板块—GAN与人脸板块阅读。

转载文章请后台联系

侵权必究

(0)

相关推荐