【每周CV论文】初学深度学习图像风格化要读的文章
欢迎来到《每周CV论文》。在这个专栏里，还是本着有三AI一贯的原则，专注于让大家能够系统性完成学习，所以我们推荐的文章也必定是同一主题的。
图像风格化的研究由来以久，这是一个艺术和科学相结合的应用，随着深度学习技术的发展，很多相关的商业产品也已经落地，今天给大家推荐初学该领域必须要读的文章。
作者&编辑 | 言有三
1 Neural Style诞生
2015年德国图宾根大学科学家在论文《A Neural Algorithm of Artistic Style》[1]中使用深层卷积神经网络创造出了具有高质量艺术风格的作品。该网络将一幅图作为内容图，从另外一幅画中抽取艺术风格，两者一起合成新的艺术画，从而使得神经网络风格迁移领域诞生。
文章引用量：1600+
推荐指数：✦✦✦✦✦
[1] Gatys L A, Ecker A S, Bethge M. Image style transfer using convolutional neural networks[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2016: 2414-2423.
2 Real-time style transfer
文[1]是基于图像的优化方法，非常耗时，500×500左右分辨率的图在当前主流GPU上处理时间以长达十分钟以上。Justin Johnson等人[2]提出了一个典型的单模型单风格框架，通过图像转换层(Image Transform Net)来完成整个的渲染过程，在损失网络(VGG16 Loss Network)的约束下，分别学习内容和风格。该模型用于训练的风格图数据集必须属于同一种风格，而内容图则可以任意选择。
文章引用量：2000+
推荐指数：✦✦✦✦✦
[2] Johnson J, Alahi A, Fei-Fei L. Perceptual losses for real-time style transfer and super-resolution[C]//European conference on computer vision. Springer, Cham, 2016: 694-711.
3 单模型多风格改进
单模型单风格对于每一种风格都必须重新训练模型，这大大限制了它们的实用性，因此研究人员很快便开始研究单模型多风格框架。Style bank[3]是其中的一个典型代表，它使用了一个滤波器组来代表多个风格。
文章引用量：90+
推荐指数：✦✦✦✦✧
[3] Chen D, Yuan L, Liao J, et al. Stylebank: An explicit representation for neural image style transfer[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2017: 1897-1906.
4 单模型任意风格
单模型多风格框架在增加新的风格时总需要重新训练模型，我们可以通过学习实例归一化的仿射变换系数来控制多种风格的转换，如果这种仿射参数由风格图本身的统计信息来替代，就可以生成任意风格的图像。
文章引用量：400+
推荐指数：✦✦✦✦✦
[4] Huang X, Belongie S. Arbitrary style transfer in real-time with adaptive instance normalization[C]//Proceedings of the IEEE International Conference on Computer Vision. 2017: 1501-1510.
5 综述
最后，给大家推荐一个综述[5]以及对应的github项目[6]。
文章引用量：90+
推荐指数：✦✦✦✦✦
[5] Jing Y, Yang Y, Feng Z, et al. Neural Style Transfer: A Review[J]. arXiv: Computer Vision and Pattern Recognition, 2017.
[6] https://github.com/ycjing/Neural-Style-Transfer-Papers
6 文章解读
关于图风格化相关文章的详细解读，在有三AI知识星球-网络结构1000变-风格化以及GAN下有较多的文章，感兴趣可以移步。
总结
本次我们介绍了图像风格化领域值得读的文章，当前研究重点在于如何高效率地学习到任意的风格，如何对不同区域进行精确的风格控制，如何控制风格化的笔触大小，如何根据需要保留颜色或者纹理等信息，感兴趣等读者可以继续关注或者到我们星球中进行学习。
有三AI知识星球
知识星球是有三AI的付费内容社区，里面包括各领域的模型学习，数据集下载，公众号的付费图文原稿，技术总结PPT和视频，知识问答，书籍下载，项目推荐，线下活动等资源，了解详细请阅读以下文章：
转载文章请后台联系
侵权必究