姓名：张钰 学号：21011210154 学院：通信工程学院
【嵌牛导读】简述深度学习换脸技术，对论文DeepFakes and Beyond: A Survey of Face Manipulation and Fake Detection中关于人脸操作部分内容的总结
【嵌牛鼻子】人脸操作、Deepfake
【嵌牛提问】人脸图像操作技术的分类以及Deepfake技术发展带来的利与弊
【嵌牛正文】
DeepFakes and Beyond: A Survey of Face Manipulation and Fake Detection论文链接：https://arxiv.org/pdf/2001.00179.pdf
初识Deepfake
深度伪造技术Deepfake，是由“deep learning”（深度学习）和“fake photo”（假照片）组合而成，本质是一种深度学习模型在图像合成、替换领域的技术框架，属于深度图像生成模型的一次成功应用。它可以将目标人物面部的图像叠加到视频原人物面部的相应位置，从而创建包含目标人物的视频，使目标人物说一些不曾说过的话，做一些不曾做过的动作，以达到混淆视听的目的。尽管该技术可用于实现声音合成、视频分辨率修复和图像艺术风格迁移等，但总体而言，其弊端仍大于优势。
深度伪造技术的快速发展使网络虚假视频数量呈快速上升趋势，由于深度伪造视频的制作门槛低、仿真度高、欺骗性强，因此该技 术可能被滥用。就公民个人而 言，包含其人脸的伪造视频在互联网上传播可能侵犯其名誉和隐私；就社会而言，深度伪造可通过制造虚假新闻引起金融市场的混乱；就国家而言，若深度伪造被用于制造政治矛盾、传播极端思想、煽动不安情绪，将会对国家安全造成巨大威胁。
一些团队利用自动编码器和生成对抗网络开发出了相应的深度伪造项目和工具，这些深度伪造项目和工具的盛行虽起到一定的娱乐作用，但也存在因协议不规范而泄露用户相关隐私数据的风险，为诈骗等违法犯罪提供可能。因此，深度伪造视频检测技术的提出极为必要。
人脸操作分类
- entire face synthesis（全脸合成）
这种操作通常通过强大的GAN（例如StyleGAN方法）创建整个不存在的人脸图像。这些技术取得了惊人的效果，生成了具有高度真实感的高质量面部图像。图1显示了使用StyleGAN5生成的整个面部合成的一些示例。这种操纵可能使许多不同的行业受益，如视频游戏和3D建模行业，但也可能被用于有害的应用，如在社交网络中创建非常逼真的虚假个人资料，以产生错误信息。 - identity swap（身份交换）
身份交换这种操作包括将视频中一个人的脸替换为另一个人的脸。通常考虑两种不同的方法：i）基于经典计算机图形学的技术，如FaceSwap6；ii）称为DeepFakes7的新型深度学习技术，如最近的ZAO移动应用程序。在Youtube8上可以看到这种操纵的非常逼真的视频。这种类型的操纵可能使许多不同的部门受益，尤其是电影业。然而，在另一方面，它也可能被用于不良目的，如制作名人色情视频、恶作剧和金融欺诈等。 - attribute manipulation（属性操作）
这种操作也称为面部编辑或面部修饰，包括修改面部的一些属性，如头发或皮肤的颜色、性别、年龄、添加眼镜等。这种操纵过程通常通过GAN进行，如StarGAN方法。这种操作的一个例子是流行的FaceApp移动应用程序。消费者可以使用这项技术在虚拟环境中试穿各种各样的产品，如化妆品和化妆品、眼镜或发型。 - expression swap（表情交换）
表情交换操作，也称为面部重现，包括修改人的面部表情。虽然文献中提出了不同的操作技术，例如通过流行的GAN架构在图像层面上进行操作，但在本组中，我们重点关注最流行的技术Face2Face和NeuralTextures，它将视频中一个人的面部表情替换为另一个人的面部表情。这种类型的操纵可能会带来严重后果，例如马克·扎克伯格说出他从未说过的话的流行视频。
所有这些方面，加上改进的GAN方法的发展和最近的DeepFake Detection将培育新一代更真实的假图像/视频，以及更先进的人脸操纵检测技术。
