1. 前言
这是一篇CVPR2018的论文
2. 介绍
随着神经网络的不断加深,不断加宽,作者提出了一种更加有效的方式来进行网络结构的搭建,而不是单纯的stack起来。
首先,从之前的研究得出,更加深层的网络能够提取出语意特征,以及全局特征,语意特征就是指一些概念,高级特征。
作者引入了两种深层网络结构,一是IDA,iterative deep aggregation,一是HDA,hierarchical deep aggregation。前者主要进行不同scale,resolution的层的信息混合,也就是不同深度的层,后者通过进行不同通道和module之间的信息混合,例如shuffle net,或者resnet中不同block进行混合。
3. IDA
我们知道现在很多的网络结构都是由一个一个小的block堆叠成的。作者将这些堆叠起来的block分成不同的stage,深的stage有更加丰富的语意信息,但是它的颗粒度比较粗糙,也就是每一个特征对应的感受野很大,不是很精细。skip connection将不同stage的信息进行了聚集。
作者提出了如下的连接方式:
信息从底层不断聚集,并且不断refine(就是指通过了可训练的层)。
公式如下:
4. HDA
HDA是将不同block和stage聚集来保留和整合通道信息。
一种deep, branchiing结构如下图:
作者提出了如下的结构,将聚集处的输出作为某一层的输入。
为了提高效率,作者又提出了下面的结构:
公式如下:
整体结构如下: