人工智能「 服装设计师 」之 三维重建

这是论文《 Detailed Garment Recovery from a Single-View Image 》的解读。该论文研究，从照片中提取服装信息，并在 3D 空间中重现服装。（ 服装版的三维重建 ）

图1 效果

从 a 图转化为 b 图，然后再把服装穿在其他 3D 模特身上。

何为三维重建 ？

3D Reconstruction

三维重建是指对三维物体建立适合计算机表示和处理的数学模型,是在计算机环境下对其进行处理、操作和分析其性质的基础,也是在计算机中建立表达客观世界的虚拟现实的关键技术。

图2 算法

下面主要分享此篇文章对于数据的处理方法。

*

数据来源：

ModCloth 

一家主打复古风的线上女装零售电商

*

输入数据：

准备4个维度的数据。

1）人体 3D 模型数据库（ naked human body database ）；

2）服装数据库包括各种常见的服装类型，如裙子、裤子、连衣裙、背心等；

3）服装的物理属性数据库，帮助我们后面为 2D 的图片增加三维的物理属性，如模拟服装的布料效果等。

图3 物理属性数据库

4）服装展示图片集，模特穿衣效果的图片,如图1的图片。

*

数据预处理：

服装数据化，标注服装展示图片集上的服装范围，及类别（如上衣、裙子等）；人体 3D 模型重建，把图片上的模特转化为 3D 模型（见图2）；服装特征描述，一组由参数所描述的服装，包括面料、图案、尺寸、褶皱程度等。

输入的RGB图片，可用Ω表示：

Ω = Ωb ∪ Ωh ∪ Ωc

Ωb 表示背景区域；

Ωh 表示人体区域（ naked human body  ）；

Ωc 表示服装的区域；

服装数据库表示为

Dc = { < Ci , Gi , Ui , Vi  >  |  i ∈ 1, · · · , N }

c 取值为裙子、裤子、连衣裙、背心等中的任一个；

以裤子为例，D 表示为：

< C, G, U, V >

C 为材料参数，包括拉伸程度和弯曲程度；

G 定义了服装类型，如裤子的：

G =< w1, w2, w3, w4, h1, h2, h3 >

前四个参数定义腰围，臀围，膝盖和踝围，后三个参数表示总长度，后上和前上长度，如图5所示。

图5  < C, G, U, V > 描述的服装示例

U 二维网格（无数三角形）表示的裤子；

V 三维网格（无数三角形）表示的裤子；

V 中的每个三角形，都对应于一个 U；

人体 3D 模型数据表示为：

Dh = { < θj , zj > |  j ∈ 1, · · · , M }

θ 是构成身体姿态的关节角度集合，z 是描述身体形状的语义参数集合。来源自2009年的一篇论文《 A statistical model of human pose and body shape 》，详细可以查阅此论文的描述。

还有其他一些参数，可以查阅下表：

总的来说，数据处理的过程，要找到适合的，较少的变量以及简单的规则来描述所要解决的问题。

*

应用：

论文还提到了实际的应用，可用在智能换装（服装风格迁移）

*

知识星球

论文原文可在知识星球下载，关于本文的一些深入性探讨，我们都会记录于知识星球。还包括：

1 看到一些好案例，关键技术解决方案，写出文章又不成体系，发星球;

2 我会在知识星球发一些非常机密的研究心得;

3 一些非常有技巧的知识，给付费用户;

4 公众号的迭代版本，针对文章发更为升级、核心的内容。

5 当然，还有资深的专家在星球里。

*