\u200E
AI服装生成,帮你完成服装设计的最后一步
发布日期:2022-06-30T06:55:31.000+0000 浏览量:151次


如何用AI赋能服装设计行业,这是飞桨开发者技术专家洪力一直在思考的事。设计师构思并绘制出一件衣服后,如果可以一键生成衣服整体的效果,就可以帮助其根据成品的版型、款式等因素做出更好的设计。项目的基本思路确定以后,洪力在AI Studio平台使用飞桨框架开始实践。目前本项目可以实现服装生成,期待与更多开发者一起探讨更多可优化的地方(例如设计呈现的多样性),以下是洪力的分享。


项目背景



为了确立服装生成项目的基本设计目标,我需要寻找相关的技术。服装生成任务和其他生成任务区别之一,就是要求输出一个“干净”的衣服,不能出现花里胡哨的背景——也即要求生成器把注意力放在衣服上,而不是生成出一个完整的图片。因此在loss设计的部分,我考虑了衣服的mask蒙版部分——对于模型来说,输入的是语义分割信息,而输出的是服装图片。我在视频网站上偶然看到了SPADE的展示效果,这种“马良神笔”一般的呈现效果让我感到十分亲切,并意识到SPADE架构满足了我对模型的大概需求。但当我使用SPADE训练的时候,发现模型训练比较困难,在机缘巧合下,我又发现了一篇新的论文Semantically Multi-modal Image Synthesis

论文详细介绍
https://aistudio.baidu.com/aistudio/projectdetail/3454453

该论文基于SPADE架构,使用deep fashion数据集,表现出不错的效果。其中Encoder的输出保留了空间结构信息,我认为这一点是该模型更容易训练的原因。基于此,我得以比较轻松地修改了自己的初版项目,并生成了服装生成项目模型框架的雏形。



项目实践



点击文末阅读原文

GET项目详细地址

https://aistudio.baidu.com/aistudio/projectdetail/3405079




问题与数据调优


在模型训练的前期我主要遇到了两个问题:
  • 一是训练集的选取问题。

  • 二是模型训练很慢,1个batch需要耗费几十秒。


为了解决以上问题,我按照如下步骤进行了数据处理:
1. 选取FGVC6数据集。这一数据集提供了精准的衣服各部位划分标注区域,一共有46类,如图一所示。


图1 FGVC数据集展示[1]


2. 测试时,模型输入不再需要这个GT,只需要语义分割信息,这个部分具体细节有待下文详解。

3. 输入给模型语义分割的Tensor格式为[batch_size,class_num,H,W],分别具体为[4,46,256,256],46是具体有46个label,训练时batch_size为4。

4. 另外,loss计算时需要考虑到衣服的蒙版。

5. 由于我输入的数据格式要求是256*256,因此需要把图片和语义分割信息resize,让H和W都为256。原先数据集的图片尺寸过大,H和W值甚至上千,导致resize操作消耗了很多时间。如果有疑惑的朋友问我,为什么不用crop裁剪呢?在这里有几点原因:

  • 首先,我设计的是服装生成项目,所以模型考虑的是衣服这个整体,要尽量少地给局部信息,防止管中窥豹,让模型有自己的“格局”。

  • 其次,一张真实的图片中,衣服本身所占的位置并不大且位置不固定,很大概率在2500*2500上裁剪出一个256*256的区域是全黑的,无法提供信息。

  • 最后,用crop裁剪的方式处理数据,很容易导致一些标签模型可见机率很小,比如鞋子所占比例很小,容易造成生成效果的不准确。


6. 针对模型训练过慢的问题,我尝试了两步调优方案。首先,我最初采用的是在线resize ,1个batch需要耗费几十秒。总结后发现,因为我输入的图片数据格式要求是256*256,所以不太可能是前向传播tensor计算量的问题,因此可以将问题定位到数据预处理部分。于是,在飞桨开发者激励师的指导下,我第一次尝试使用离线resize,保存成npy,保证了模型训练顺利开始。此外,在离线resize保存语义分割信息时,我最初设置的npy是 [256,256,class_num],过于稀疏,占据了很多内存,只能保存1000组左右。实际上,一个像素其实只有一个标签,因此,我调整存储方式,将其保存为[256,256,1],最后可以保存为10000组左右,大大提高了存储效率。




对模型训练及损失的思考

1. 我采取了GAN作为模型主体形式:生成器主体为Semantically Multi-modal Image Synthesis的模型架构;判别器使用的是Multihead Discriminator,这样可以支持判别器的特征对齐。


2. 判别器有三个任务,它需要判别Ground Truth为True,判别生成器生成出的图片为False,同时要求判别语义分割可视化为False(改进点),这是为了帮助生成器生成更加复杂真实的纹理。 


3. 为了将模型中心侧重于有衣服的区域,生成器的featloss只考虑有衣服二值(0,1)mask的部分。


4. 我将spade.py中nn.conv2d(46,128)变成普通的卷积,没有使用分组卷积,理由是46不能除尽group_num = 4。


图2 Semantically Multi-modal Image Synthesis 模型架构




loss可视化

最后对loss进行可视化,如图3所示,其中:
  • d_real_loss:判别器判别真实的图片为True;

  • d_fake_loss:判别器判别生成器生成的图片为False;

  • d_seg_ganloss:判别器判别语义分割可视化为False;

  • d_all_loss: d_real_loss + d_fake_loss + d_seg_ganloss;

  • g_ganloss:要求生成器生成的图片能被判别器判别为True;

  • g_featloss:在判别器中生成器生成的图像和真实图像特征对齐;

  • g_vggloss:生成器生成的图片和GT通过VGG算感知损失;

  • g_styleloss:生成器和GT通过Gram矩阵算风格损失;

  • kldloss:算一个与标准正太分布的kl散度;

  • g_loss:g_ganloss+g_featloss+g_vggloss+g_styleloss+kldloss。


图3 loss可视化


效果展示



It's show time!从左往右分别为模型生成效果、Ground Truth(可以理解为模型参考答案)、模型输入的语义分割可视化。

图4 效果展示



回顾与思考



本项目还有很多值得改进的地方,如是否可以通过模型框架的优化,给衣服提供更细腻的特征控制,或者更好地提高所生成模型的多样性。我会继续在图像生成这个领域学习研究,期待未来带来更好的公开项目,也欢迎大家与我交流。



参考文献

[1] Semantic Image Synthesis with Spatially-Adaptive Normalization

[2] Semantically Multi-modal Image Synthesis



关注【飞桨PaddlePaddle】公众号

获取更多技术内容~