姓名：张钰 学号：21011210154 学院：通信工程学院
【嵌牛导读】Representative Forgery Mining for Fake Face Detection论文阅读笔记
【嵌牛鼻子】北邮提出的RFM 框架，可以在没有精心设计的监督情况下将显著的伪造行为可视化，并使基于通用CNN 的检测器在DFFD 和 Celeb-DF 上实现 SOTA 性能。
【嵌牛提问】如何实现伪造检测，有何创新点
【嵌牛正文】
转自：https://blog.csdn.net/Agirlmop/article/details/121479490
论文信息
题目：Representative Forgery Mining for Fake Face Detection
-
作者团队：
会议：CVPR-2021
前言
本文提出了一个基于注意力的数据增强框架来指导检测器细化和扩大其注意力。本文的方法跟踪和遮挡面部Top-N敏感区域，鼓励检测器深入挖掘之前忽略的区域，以获得更有代表性的伪造结果。
-
本文贡献：
- 我们提出了一种称为 FAM 的示踪方法来精确地定位检测器敏感的面部区域，以及进一步将其用作数据增强的指导。
- 我们提出了一种基于注意力的数据增强称为 SFE 的方法来帮助检测器分配更多注意力在FAM的指导下进行代表伪造。
- 我们最终提供了一个名为 RFM 的框架，它在没有精心设计的 su 监督的情况下可视化具有代表性的伪造，并使基于 CNN 的普通检测器能够在 DFFD 和 Celeb-DF 上实现 SOTA 性能。
方法
- 基于注意力的数据增强方法：代表伪造挖掘(RFM)，通过在训练过程中精炼训练数据来解决有限注意力问题。
包括两个步骤:- 利用检测器的梯度生成图像级的伪造注意图(FAM)，可以精确定位面部的敏感区域;
- 利用可疑伪造消除(Suspicious Forgery erase, SFE)有意遮挡面部的Top-N敏感区域。
该方法通过将检测器的注意力从过度敏感的面部区域解耦，实现了具有先进水平的检测性能，并显著保持了对仅包含少量技术伪造的人脸的检测性能。
-
RFM过程：
分为三个部分。首先(在步骤1、2中)，我们为单个小批的每个原始图像生成FAM。然后(在步骤3和步骤4中)，我们利用SFE在之前生成的FAMs的指导下对原始图像进行擦除。最后(在步骤5和步骤6中)，我们使用被擦除的图像作为输入来训练检测器。
FAM
找到最敏感的区域，将最敏感的区域定义为扰动对检测结果影响最大的区域。
正向传播，检测器输入一张人脸图像I，输出两个对数Oreal和Ofake衡量图片真假。结果由两个对数的相对大小决定。
代表微小的噪声对输出的影响，两者之间的最大差值视为FAM。代表扰动对检测结果的影响。
FAM Map:
函数max(·)计算沿通道轴的最大值，函数abs(·)得到每个像素的绝对值FAM和CAM的区别
FAM定位检测器敏感的区域，而Class Activation Mapping突出显示检测器用于决策的区域。另一方面，FAM在图像级生成map，而Class Activation Mapping基于网络最后的卷积层计算map可疑伪造擦除
擦除方法SFE，遮挡FAM计算的Top-N敏感区域。
1、首先以小批量的方式为每张图像生成FAM，FAM和输入图像的大小都可以假设为H×W。
2、对于每张图像，我们根据之前生成的对应FAM中的值降序排序坐标。接下来，按照上面计算的顺序将每个像素视为锚点。
3、对每个锚点，使用随机整数来形成一个矩形块，尺寸小于对之前未被遮挡的锚点进行遮挡。
4、重复遮挡过程，直到每个图像被n个块遮挡。
优点：
- 在FAM的指导下精确遮挡面部敏感区域；
- 利用多个块灵活擦除不同位置的伪造区域，尽可能多地保留面部区域；
- 不泄露额外信息给检测器，防止检测器对擦除块的形状或位置过拟合。
实验
