1、给定两帧的关节点位置信息,学习到类似光流的转换,应用到第一帧的图像上,生成下一帧?
2、身份信息并没有保留?
生成过程:通过合理地表示生成的意图控制生成过程。
条件图像生成框架:相关工作,条件一个推荐图像和指定人脸的视角,生成该视角的人脸。(图像旋转)
失败案例:(生成图片有人工痕迹,用图像梯度loss会不会好一些。很明显不再是一个id)
1、输入图像纹理过于丰富
2、姿态变化很大
可挖掘的地方:
1、pose mask 用于构建前景和背景
2、生成图像时条件图像的姿态信息没有挖掘。
3、模型没有对姿态变化显示建模,没有体现变化这个特征。
可改进的地方:
模型G1的encoder可以改进。
姿态作为条件改为3D body 作为条件。