SwapNet: Image Based Garment Transfer
Contents
该文提出了Swapnet
,能够实现任意姿态下的虚拟换装。
网络分为两阶段:
- warping : 将desired clothing根据pose进行warping,生成clothing segmentation。
- texturing : 利用desired clothing information 对clothing segmentation进行细节的服装纹理合成。
给定包含desired clothing的图像A,以及包含desired pose的图像B,目标是生成具有B的姿态且有A的服装的图像$B'$ (B中的人物穿上了A的服装)。
Warping Module
以A的语义分割图$A_{cs}$和B的语义分割图$B_{cs}$为输入,合成$B’_{CS}$,其同时具有A的语义形状、标签以及B的体型和姿态。
生成的结果strongly conditioned on the body segmentation以及weakly conditioned on the clothing segmentation。这是通过将 clothing segmentation经过下采样再上采样的操作(?)。这种设计网络结构的好处在于:(?)
损失函数部分:
没看懂
Texturing Module
损失函数: $$ \mathcal{L}{L1}=|| f_g-A ||_1 \ \mathcal{L}{feat}=\sum_l\lambda_l || \phi_l(f_g)-\phi_l(A) ||_2 \ \mathcal{L}_{GAN}s $$