Contents

Contents

①如何实现复杂背景下的人物姿态迁移?

  • 使用人体语义分割图,将人物从复杂背景中进行分割
  • 不显示的采用语义分割图,而是自动生成人体的语义mask map

②如何建立人体的姿态间的映射关系?

  • 采用non-local操作
  • 采用STN

③如何实现视频帧的平滑处理?

  • 将上一帧的生成结果作为当前帧生成的输入,以递归的方式进行生成

现在存在的问题

  • 背景存在扭曲变形的现象
    • 是否可以采用人体语义分割图或者是mask map进行人物的分割?
  • 人物的服装纹理没有办法进行很好的迁移
    • non-local+STN?
    • 是否可以借鉴First Order Motion Model for Image Animation的方法 –>使用nonlocal考虑全局情况又使用FOMM的局部仿射变换考虑局部情况