RFBnet 论文笔记

论文地址:https://arxiv.org/pdf/1711.07767.pdf
官方源码(pytorch):https://github.com/ruinmessi/RFBNet

Abstract

       主要说了目前表现好的目标检测主要基于较深的网络(例如Resnet,Inception),其缺点就是大量的计算成本,速度慢。而一些轻量级的网络速度较快,但检测的精度相对不高。作者提出了RFB模块,并将它添加到SSD的顶部,构建了RFBnet。

Introduction

       为了构建快速而强大的探测器,合理的替代方案是通过引入某些手工制作的机制来增强轻量级网络的特征表示,而不是一味地加深模型。

Regarding current deep learning models, they commonly set RFs at the same
size with a regular sampling grid on a feature map, which probably induces some
loss in the feature discriminability as well as robustness
对于当前的深度学习模型,它们通常将RFs设置为与特征图上常规抽样网格相同的大小,这可能会导致一些
特征可辨性和鲁棒性的损失(这句不太懂具体的原理,后续再补充)

本文提出了一种新颖的模块,即 RFB,目的就是:以加强从轻量级CNN模型中学到的深层特征,使它们有助于快速准确的探测器

RFBnet 结构说明

1.RFB模块就是模拟人类视觉系统中RF的大小和离率,旨在增强轻量级CNN网络的深层功能
2.提出基于RFB网络的检测器,通过用RFB替换SSD的顶部卷积层,显着的性能增益,同时仍然保持受控的计算成本
3.RFBnet以实时处理速度在Pascal VOC和MS COCO上实现了最先进的结果,并通过将RFB链接到MobileNet来展示RFB的泛化能力

Related Work

Method

Receptive Field Block


RFB其实就是多分枝卷积块,其内部结构由两部分组成:
1.前一部分与inception一致,负责模拟多尺寸的pRF
2.后一部分再现了人类视觉中pRF与离心率的关系
下图给出了RFB及其对应的空间池区域图


Multi-branch convolution layer

具体来说,首先,我们在每个分支中采用瓶颈结构,由1×1转换层组成,以减少特征映射中的通道数量加上n×n转换层。其次,我们用两个堆叠的3×3转换层替换5×5转换层,以减少参数和更深的非线性层。出于同样的原因,我们使用1×n加n×1转换层来代替原始的n×n转换层。最后,我们应用ResNet 和Inception-ResNet V2 的快捷方式设计。

Dilated pooling or convolution layer

也叫做astrous卷积层,该结构的基本意图是生成更高分辨率的特征图,在具有更多上下文的更大区域捕获信息,同时保持相同数量的参数

we exploit dilated convolution to simulate the impact of the eccentricities of pRFs in the human visual cortex
我们利用空洞卷积来模拟pRF在人类视觉皮层中的离心率的影响

下图示出了多分支卷积层和扩张合并或卷积层的两种组合


RFB Net Detection Architecture

所提出的RFB网络探测器重用了SSD的多尺度和单级框架,其中RFB模块被嵌入以改善从轻量级主干提取的特征,使得探测器更准确且仍然足够快。 由于RFB的特性可以轻松集成到CNN中,我们可以尽可能地保留SSD架构。 主要的修改在于用RFB代替顶部卷积层

Lightweight backbone


使用与SSD中完全相同的骨干网络。 简而言之,它是在ILSVRC CLS-LOC数据集上预先训练的VGG16 ,其中fc6和fc7层被转换为具有子采样参数的卷积层,并且其pool5层从2×2-s2变至3×3-s1。 空洞卷积层用来填充空缺和所有dropout层,并移除fc8层。

RFB on multi-scale feature maps

保持相同的SSD级联结构,但具有相对较大分辨率的特征映射的卷积层被RFB模块取代。 在RFB的主要版本中,我们使用单一结构设置来模仿离心率的影响。 随着视觉图之间pRF大小和离心率的差异,我们相应地调整RFB的参数以形成RFB-s模块,其模拟浅人类视网膜图中较小的pRF,并将其置于conv4 3特征之后,如 由于其特征映射的分辨率太小而无法应用具有大型内核(如5×5)的滤波器,因此保留了最后几个卷积层。

Training Settings

train主要遵循SSD,包括数据增强,硬负挖掘,默认框的比例和宽高比,以及损失函数(例如,用于定位的平滑L1损失和用于分类的softmax损失),同时我们稍微改变了我们的学习速率调度 更好地适应RFB。 更多细节在以下实验部分中给出。 使用MSRA方法初始化所有新的conv层。

后面主要是描述研究的成果,与其他网络的对比,就不多描述了,以后补充更多关于RFBnet的细节

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 201,681评论 5 474
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 84,710评论 2 377
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 148,623评论 0 334
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,202评论 1 272
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,232评论 5 363
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,368评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,795评论 3 393
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,461评论 0 256
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,647评论 1 295
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,476评论 2 317
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,525评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,226评论 3 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,785评论 3 303
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,857评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,090评论 1 258
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,647评论 2 348
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,215评论 2 341

推荐阅读更多精彩内容