一键将汽车图片转成3D模型？还带悬架、尾灯和动画的~
CG世界
2021-07-20
现在AI和机器学习在我们CG行业的应用越来越广。比如我们前天讲的AI直接把文本转化成表情动画，还有我们去年讲的一篇论文可以直接将图片的人物转化成3D模型等等吧，尽管是论文，但已经可以实操进行制作了。除了这些目前很多大厂都在CG行业发力进行各种前端的研发。比如今天我们要讲的英伟达最新发布的另一个一键图片建模技术。
这是NVIDIA Research正在加速开发一个新的深度学习引擎，它可以将一张图片上的汽车直接转化成3D模型，你可能会说，这种模型精度不够。格局小了不是？它这个技术牛的地方在于转化后的模型自带悬架，配备了写实的头灯、尾灯和闪光灯，并且可以在虚拟环境中控制和交互。当然，不可能像手动建模那样有着规整的拓扑和精细的边角等等，但这在很多大场景或者游戏中足够用了。
想想正常情况我们手动创建一个汽车模型，得多久？就算简模也得个一天半晌吧？这，一张图片，点击下就出来了！！
和许多AI工具一样，必须要有经过训练的数据集。其中的技术原理大概是这样的，为了生成这次用于训练的数据集，研究人员利用GAN（一个生成式对抗网络）从多个角度合成同一物体的图像。这就好像一个人拿着相机围绕着一辆汽车边走边拍各种不同角度照片一样，然后将得到的这些多视图图像插入到反向图形的渲染框架中，也就是从二维图像推断三维网格模型的过程。
训练完成之后，GANverse3D只需要一个图就可以推演出3D网格模型了。这个模型可以与一个3D神经渲染器一起使用，这个渲染器可以让开发者控制自定义对象和交换背景。
在Nvidia Omniverse平台上导入扩展，并在英伟达RTX GPU上运行时，GANverse3D可以用来将任何2D图像转换成3D模型。演示中有动物，但主要还是车辆。因为还在研发中，估计之后会有更多生物类加入进来吧。
其实，根据图像生成3D模型这不是什么新鲜技术，比如ShapeNet等等。但大多数将图像从2D转换为3D的AI工具都是使用合成3D数据集进行训练的。都依赖于三维图形作为训练数据。而这次英伟达用的多角度捕捉同一对象的真实世界数据集是很少见的。
为了从现实世界的数据中获取多视图图像，比如网络上公开的汽车图像，NVIDIA 研究人员转而使用 GAN 模型，操纵其神经网络层将其变成数据生成器。
相反，在没有3D资产帮助的情况下，“我们把GAN模型变成了一个非常高效的数据生成器，这样我们就可以从网络上的任何2D图像创建3D对象，”NVIDIA的研究科学家、该项目的主要作者Wenzheng Chen说。
在由GAN生成的55000个汽车图像上训练结果，比在流行的Pascal3D数据集上训练的逆向图形网络效果要更好。
这样的话可以让游戏制作，影视制作中的Previz，建筑表现等轻松实现3D模型的导入，即使没有3D建模方面的专业知识，也可以在某种程度上创建自己想要的一些模型。简直太方便了，十几年前找个人做个汽车模型，哪怕是远景简模，都比较犯愁，现在一张图分分钟搞定！
最后我们简单介绍下NVIDIA Research。NVIDIA Research团队由全球 200 多名科学家组成，专注于人工智能、计算机视觉、自动驾驶汽车、机器人和图形等领域。今天说的这篇论文演示作者有Wenzheng Chen、NVIDIA 研究员 Jun Gao 和 Huan Ling、NVIDIA 多伦多研究实验室主任 Sanja Fidler、滑铁卢大学学生 Yuxuan Zhang、斯坦福大学学生 Yinan Zhang 和麻省理工学院教授 Antonio Torralba。CVPR 论文的其他合作者包括 Jean-Francois Lafleche、NVIDIA 研究员 Kangxue Yin 和 Adela Barriuso。
论文地址：https://arxiv.org/pdf/2010.09125.pdf
OK，今天内容就到这里吧，我们明天继续跟大家分享CG行业干货！喜欢我们内容请大家点赞，转发呦。