人脸造假检测论文(五)

姓名:张钰  学号:21011210154  学院:通信工程学院

【嵌牛导读】Representative Forgery Mining for Fake Face Detection论文阅读笔记

【嵌牛鼻子】北邮提出的RFM 框架,可以在没有精心设计的监督情况下将显著的伪造行为可视化,并使基于通用CNN 的检测器在DFFD 和 Celeb-DF 上实现 SOTA 性能。

【嵌牛提问】如何实现伪造检测,有何创新点

【嵌牛正文】
转自:https://blog.csdn.net/Agirlmop/article/details/121479490

论文信息

前言

  • 本文提出了一个基于注意力的数据增强框架来指导检测器细化和扩大其注意力。本文的方法跟踪和遮挡面部Top-N敏感区域,鼓励检测器深入挖掘之前忽略的区域,以获得更有代表性的伪造结果。

  • 本文贡献:

    • 我们提出了一种称为 FAM 的示踪方法来精确地定位检测器敏感的面部区域,以及进一步将其用作数据增强的指导。
    • 我们提出了一种基于注意力的数据增强称为 SFE 的方法来帮助检测器分配更多注意力在FAM的指导下进行代表伪造。
    • 我们最终提供了一个名为 RFM 的框架,它在没有精心设计的 su 监督的情况下可视化具有代表性的伪造,并使基于 CNN 的普通检测器能够在 DFFD 和 Celeb-DF 上实现 SOTA 性能。

方法

  • 基于注意力的数据增强方法:代表伪造挖掘(RFM),通过在训练过程中精炼训练数据来解决有限注意力问题。
    包括两个步骤:
    • 利用检测器的梯度生成图像级的伪造注意图(FAM),可以精确定位面部的敏感区域;
    • 利用可疑伪造消除(Suspicious Forgery erase, SFE)有意遮挡面部的Top-N敏感区域。

该方法通过将检测器的注意力从过度敏感的面部区域解耦,实现了具有先进水平的检测性能,并显著保持了对仅包含少量技术伪造的人脸的检测性能。

  • RFM过程:

    分为三个部分。首先(在步骤1、2中),我们为单个小批的每个原始图像生成FAM。然后(在步骤3和步骤4中),我们利用SFE在之前生成的FAMs的指导下对原始图像进行擦除。最后(在步骤5和步骤6中),我们使用被擦除的图像作为输入来训练检测器。

    • FAM
      找到最敏感的区域,将最敏感的区域定义为扰动对检测结果影响最大的区域。
      正向传播,检测器输入一张人脸图像I,输出两个对数Oreal和Ofake衡量图片真假。结果由两个对数的相对大小决定。
      \Delta_{I}O_{real},\Delta_{I}O_{fake}代表微小的噪声对输出的影响,两者之间的最大差值视为FAM。代表扰动对检测结果的影响。
      FAM Map:Map_1=max(abs(\Delta_{I}O_{fake}-\Delta_{I}O_{real}))=max(\Delta_{I}(abs(O_{fake}-O_{real})))
      函数max(·)计算沿通道轴的最大值,函数abs(·)得到每个像素的绝对值

    • FAM和CAM的区别
      FAM定位检测器敏感的区域,而Class Activation Mapping突出显示检测器用于决策的区域。另一方面,FAM在图像级生成map,而Class Activation Mapping基于网络最后的卷积层计算map

    • 可疑伪造擦除
      擦除方法SFE,遮挡FAM计算的Top-N敏感区域。
      1、首先以小批量的方式为每张图像生成FAM,FAM和输入图像的大小都可以假设为H×W。
      2、对于每张图像,我们根据之前生成的对应FAM中的值降序排序坐标。接下来,按照上面计算的顺序将每个像素视为锚点。
      3、对每个锚点,使用随机整数来形成一个矩形块,尺寸小于H_e×W_e(H_e<H,W_e<W)对之前未被遮挡的锚点进行遮挡。
      4、重复遮挡过程,直到每个图像被n个块遮挡。

优点:

  1. 在FAM的指导下精确遮挡面部敏感区域;
  2. 利用多个块灵活擦除不同位置的伪造区域,尽可能多地保留面部区域;
  3. 不泄露额外信息给检测器,防止检测器对擦除块的形状或位置过拟合。

实验


©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 201,681评论 5 474
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 84,710评论 2 377
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 148,623评论 0 334
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,202评论 1 272
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,232评论 5 363
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,368评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,795评论 3 393
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,461评论 0 256
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,647评论 1 295
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,476评论 2 317
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,525评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,226评论 3 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,785评论 3 303
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,857评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,090评论 1 258
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,647评论 2 348
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,215评论 2 341

推荐阅读更多精彩内容