智能设计之NDN：基于约束的布局生成

hi，大家好~我是shadow，一枚设计师/全栈工程师/算法研究员，目前主要研究方向是人工智能写作和人工智能设计，当然偶尔也会跨界到人工智能艺术及其他各种AI产品。这是我发在《人工智能Mix》的一篇论文阅读笔记。

文末了解《人工智能Mix》

- 论文

Neural Design Network: Graphic Layout Generation with Constraints

该论文也是GNN（图神经网络）在视觉的探索，作者提出基于用户指定约束条件的布局生成方法：神经设计网络（NDN）。NDN由三个模块组成：

 上图是关键的技术架构。

- 模块

relation prediction

预测具有完全关系的有向图，来自具有用户指定关系的图。

使用方向图（directional graph）作为表示组件（上图的Design Components）及约束条件（上图Specified Constraints）的特征。

- 模块

bounding box prediction

预测布局，预测表示为矩形的组件（bounding boxes）组成的布局图

- 模块

refinement

微调布局，此步可以加入一些美学规则。

最后，定量和定性实验表明，生成的布局在视觉上与实际设计布局相似。

上图可见：添加约束与无约束的差别

自动布局的效果

另外，补充下作者所使用的数据：

- Magazine数据集

4千张设计图，有6类的组件 (texts, images, headlines, over-image texts, over-image headlines, backgrounds)

- RICO数据集

2万1千张设计图，13类组件 (toolbars, images, texts, icons, buttons, inputs, list items, advertisements, pager indicators, web views, background images, drawers, modals)

- Image banner ads数据集

另外作者通过关键词car ads收集了 5百张banner图，6类组件: images, regions of interest, logos, brand names, texts, and buttons。

---

mixlab还有很多相关的智能设计文章，

欢迎前往这个星球

《人工智能Mix+》

每天更新至少一篇笔记，

目前正在优惠期间，

仅需10元，

欢迎加入。