网络架构整理(2)

LiteSeg

所提出的编码器包含一个骨干网络架构,该架构充当用于特征提取的图像分类架构。 选择这些架构是为了满足我们的性能标准,因此我们使用不同的三个轻量级模型 MobileNet、ShuffleNet 和 Darknet19 测试了该架构。 所提出的骨干网络配置为 MobileNetV2 和 ShuffleNet 的输出步长为 32,Darknet19 的输出步长为 16,以实现精度和速度之间的不同权衡。 在这里,提出了一种新的更深版本的 ASPP 模块(称为 Deeper Atrous Spatial Pyramid Pooling (DASPP))通过在 3 × 3 atrous 卷积之后添加标准的 3 × 3 卷积来细化特征并融合输入和输出 ,通过短残差连接的 DASPP 模块。


PP-LiteSeg

灵活轻量级解码器(FLD)+统一注意力融合模块(UAFM)+简单金字塔池模块(SPPM)

UAFM:
统一的注意力融合模块(UAFM),该模块利用通道和空间注意力来丰富融合的特征表示。


如图4(a)所示,UAFM利用一个注意力模块来产生权重α,并通过MUL和ADD操作将输入特征与α融合。 详细地,输入特征表示为F_{High}F_{low}F_{High}是较深模块的输出,F_{low}是来自编码器的对应物。 请注意,它们有相同的通道。 UAFM首先利用双线性插值运算将F_{High}上采样到相同大小的F_{low},而上采样的特征表示为F_{up}。 然后,注意力模块以F_{up}F_{low}为输入,产生权重α。 注意,注意力模块可以是一个插件,如空间注意力模块、通道注意力模块等。之后,为了获得注意力加权特征,我们分别对F_{up}F_{low}应用逐元素MUL操作。 最后,UAFM对注意力加权特征进行元素相加,并输出融合后的特征。 我们可以将上述过程表述为等式1。
F_{up}=Upsample(F_{high})
\alpha=Attention(F_{up}.F_{low})
F_{out}=F_{up}\cdot\alpha+F_{low}\cdot(1-\alpha)

SPPM



如图5所示,我们提出了一个简单的金字塔池模块(SPPM)。 它首先利用金字塔池模块来融合输入特性。 金字塔池模块有三个全局平均池操作,池大小分别为1×1、2×2和4×4。 然后,输出特征之后是卷积和上采样操作。 对于卷积运算,核大小为1×1,输出通道小于输入通道。 最后,我们添加这些上采样的特征,并应用卷积运算来产生精化的特征。 与原PPM相比,SPPM减少了中间通道和输出通道,消除了捷径,并用加法操作代替了串联操作。 因此,SPPM更有效,适合于实时模型。

STDC


为了丰富特征信息,我们通过跳过路径将x1到xn特征映射串联起来作为STDC模块的输出。在级联之前,通过3×3池大小的平均池操作,将STDC模块中不同块的响应映射下采样到相同的空间大小。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,179评论 5 476
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,229评论 2 380
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,032评论 0 336
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,533评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,531评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,539评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,916评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,574评论 0 256
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,813评论 1 296
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,568评论 2 320
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,654评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,354评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,937评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,918评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,152评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,852评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,378评论 2 342

推荐阅读更多精彩内容