YOLO(三) YOLOv5原理

其实继YOLOv3之后, 发表了YOLOv4论文,以及工程化的YOLOv5。 这里做一下简要的介绍,首先先给出论文地址(YOLOv4)以及代码地址(YOLOv5)。
论文地址: YOLOv4: Optimal Speed and Accuracy of Object Detection
代码地址: ultralytics/yolov5

首先说下其实YOLOv4这篇文章将2020年以前的这段时间做的关于目标检测的很多trick以及思想做了大合集实验,并且这些实验都是再单gpu下便可进行很好训练的,所以看了这篇文章对我们有很大的收益,同时YOLOv5的工程化代码写的非常好,也便于我们普通人基于普通机器进行大规模数据训练。

一、 原理介绍

YOLOv4主要从两个方面对其进行了实验改进分别是:Bag of freebies(BOF)以及Bag of specials(BOS)

1.1 Bag of freebies(BOF)

We call these methods that only change the training strategy or only increase the training cost as “bag of freebies.” What is often adopted by object detection methods and meets the definition of bag of freebies is data augmentation

由原文可以得出我们此方法可以增加训练成本,通过该方法可以进一步的提升精度,但是不会影响我们的推理速度。该方法包括如下几个方面如:
数据增强 传统的调整亮度,对比度,饱和度,随机缩放,裁剪, 翻转,旋转, 以及该文章突出的一点的Mosaic方法。
正则化方法: Dropout,以及该文章采用的Dropblock方法。
类别不平衡以及损失函数的涉及

1.1.1 数据增强

在Mosaic数据增强方面之前, 有好几种数据增强的方式分别是:Mixup, Cutout, CutMix我们先看下他们是如何做到的, 具体的可以参考这篇文章数据增强:Mixup,Cutout,CutMix | Mosaic,并且这边文章还有对应的代码解读。

下面的这张图不仅表现了做数据增强的方法,同时咱们也需要注意其label标签的构成是soft的形式组成。
Mixup会引入不自然的为像素信息,Cutout保留了regional dropout优势能够关注到目标不容易区分的部位。CutMix种通过要求模型从局部视图识别对象,对cut区域中添加其他样本的信息,能够进一步增强模型的定位能力。而我们的YOLOv4采用的是Mosaic的增广方式。
相对于之前的两张图片进行的增广,Mosaic采用的是4张图片拼接进行增广,相当于增加了batch size大小。如下图所示:

具体步骤如下所示:
步骤一:随机选取4张图

步骤二:分别对四张图片进行翻转(对原始图片进行左右的翻转)、缩放(对原始图片进行大小的缩放)、色域变化(对原始图片的明亮度、饱和度、色调进行改变)等操作操作完成之后然后再将原始图片按照 第一张图片摆放在左上,第二张图片摆放在左下,第三张图片摆放在右下,第四张图片摆放在右上四个方向位置摆好

步骤三:完成四张图片的摆放之后,我们利用矩阵的方式将四张图片它固定的区域截取下来,然后将它们拼接起来,拼接成一 张新的图片,新的图片上含有框框等一系列的内容

当然文章也提到了其他的数据增强的方法如:Random EraseHide and SeekSelf-aderarial-training(SAT)DropBlock等方法。
Random Erase 用随机值或训练集的平均像素值替换图像的区域

Hide and Seek 根据概率设置随机隐藏一些补丁

Self-adverial-training(SAT) 通过引入噪音来增加训练难度

DropBlock dropout是随机选点(b), DropBlock是整个区域(c), 杀死一些部位,也是为了加大训练难度,增大泛化能力,防止过拟合。

1.1.2 标签平滑

对于标签我们采用了Label Smoothing的方法,集我们的label不是给绝对的标签


1.1.3 目标框损失(选用CIOU损失
IOU 损失

GIOU 损失

DIOU 损失

CIOU 损失
1.1.4 NMS
DIOU-NMS

SOFT-NMS 不满足的不直接剔除,而是通过iou把置信度先降一下

1.2 Bag of specials(BOS)

For those plugin modules and post-processing methods that only increase the inference cost by a small amount but can significantly improve the accuracy of object detection, we call them “bag of specials”. Generally speaking, these plugin modules are for enhancing certain attributes in a model, such as enlarging receptive field, introducing attention mechanism, or strengthening feature integration capability, etc., and post-processing is a method for screening model prediction results.

通过少许推断代价,但是可以提高模型进度。引入了注意力机制,网络细节涉及,特征金字塔等。

1.2.1 SPPNet(Spatial Pyramid Pooling)
SPPNet
1.2.2 CSPNet(Cross Stage Partial Network)
CSPNet

将输入先切分两块在进行运算,channel同道减少在计算为了加快计算速度。

1.2.3 SAM注意力机制

Modifyied SAM
1.2.4 PAN(Path Aggregation Network)
FPN

PAN

Modified PAN
1.2.5 Mish 激活函数
Mish 激活函数
1.2.6 eliminate grid sensitivity
1.2.7 整体网络架构

二、 代码介绍

这里推荐我同事写的这篇博客, 再分享会上分享的非常详细,目标检测 YOLOv5网络v6 0版本总结
参考文献
[1] 数据增强:Mixup,Cutout,CutMix | Mosaic
[2] 想读懂YOLOV4,你需要先了解下列技术(一)
[3] YoloV4当中的Mosaic数据增强方法(附代码详细讲解)
[4] 唐宇迪 YOLO系列
[5] Soft-NMS

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 199,711评论 5 468
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 83,932评论 2 376
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 146,770评论 0 330
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 53,799评论 1 271
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 62,697评论 5 359
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,069评论 1 276
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,535评论 3 390
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,200评论 0 254
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,353评论 1 294
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,290评论 2 317
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,331评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,020评论 3 315
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,610评论 3 303
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,694评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,927评论 1 255
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,330评论 2 346
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 41,904评论 2 341

推荐阅读更多精彩内容