Semantic Segmentation语义分割

语义分割，即图像分割，是将图像中属于同一对象类的部分聚在一起的任务。它是像素级预测的一种形式，因为图像中的每个像素都是根据类别进行分类的。这个任务的一些例子基准是Cityscapes、PASCAL VOC和ADE20K。通常采用Mean Intersection-Over-Union（Mean loU）和像素精度指标（Pixel Accuracy metrics）评估模型。

$\bullet$ 数据库：

Cityscapes

数据在官网注册下载，https://www.cityscapes-dataset.com/

input：train、val、test总共5000张精细释，2975张训练图，500张验证图和1525张测试图，每张图片大小都是1024x2048。

label：

PASCAL VOC 2012

PASCAL-VOC2012数据集介绍官网：http://host.robots.ox.ac.uk/pascal/VOC/voc2012/index.html

这个博客有下载链接：https://blog.csdn.net/haoji007/article/details/80361587

input：包含原图以及图像分类分割和图像物体分割两种png图。图像分类分割是在20种物体中，ground-turth图片上每个物体的轮廓填充都有一个特定的颜色，一共20种颜色，比如摩托车用红色表示，人用绿色表示。而图像物体分割则仅仅在一副图中生成不同物体的轮廓颜色即可，颜色自己随便填充。

label：

- Person: person

- Animal: bird, cat, cow, dog, horse, sheep

- Vehicle: aeroplane, bicycle, boat, bus, car, motorbike, train

- Indoor: bottle, chair, dining table, potted plant, sofa, tv/monito

ADE20K val

官网：http://groups.csail.mit.edu/vision/datasets/ADE20K/

input：一张图被分为objects和parts。第一行显示示例图像，第二行显示objects和stuff的注释。第三行是object parts的标注。

output：文本文件中的每一行包含:列1=实例号，列2=部件级别(对象为0)，列3=遮挡(true为1)，列4=类名(使用wordnet解析)，列5=原始名称(可能提供更详细的分类)，列6=逗号分隔的属性列表。

ScanNet

scannet数据集参考地址：http://www.scan-net.org/

input：一共1513个采集场景数据（每个场景中点云数量都不一样，如果要用到端到端可能需要采样，使每一个场景的点都相同），共21个类别的对象，其中，1201个场景用于训练，312个场景用于测试。

label：作者按照原样着色。ScanNet数据集有21种不同的场景类型，39种实例类型。输出的3D预测格式：对于每一个测试扫描的场景要提供一个text文件，在txt文件中，每一个实例要包含一行，其中包含该实例的二进制掩码的相对路径，预测的标签ID和预测的可信度。

MSRC-21

http://networkrepository.com/MSRC-21.php

具体描述没有找到

Semantic3D

网站链接：

http://www.semantic3d.net/view_dbase.php?chl=1

input：30个地面激光扫描由总计≈4 bil- lion 3D点组成，包含城市和农村场景，如农场、市政厅、运动场、城堡和市场广场。

label: format {x, y, z, intensity, r, g, b}

CamVid

官网：http://mi.eng.cam.ac.uk/research/projects/VideoRec/CamVid/

input：提供32个ground truth语义标签，将每个像素与语义类别之一相关联。提供超过10分钟的高质量30Hz连续镜头，对应的语义标记图像为1Hz，部分为15Hz。

label：生成label frames

NYU Depth v2

数据集地址：https://cs.nyu.edu/~silberman/datasets/nyu_depth_v2.html

input：1449张处理好的有标签的场景。

label：原图对应的深度图。

Real-Time Semantic Segmentation

实时语义分割的任务是实现计算效率的语义分割(同时保持基本水平的准确性)。

$\bullet$ 数据库：

Cityscapes、CamVid、NYU Depth v2

COCO-Stuff

下载地址：git clone https://github.com/nightrome/cocostuff10k.git

input：10,000张来自COCO的复杂图像，稠密的像素级标注，91个things类和91个stuff类，实例级标注来自COCO的的数据，物与物的复杂空间环境，每幅coco的图片有5句说明。

label：在matlab中运行ocoStuffClasses.showClassHierarchyStuffThings()`

输出为一张图

3D Semantic Segmentation

语义分割的子任务

$\bullet$ 数据库：

SemanticKITTI

没找到网站

input：包含城市中心交通、居民区，高速公路和农村道路。原始测距数据包括22个序列，其中00-10被分为训练数据，11-21分为测试数据，我们的数据集采纳了这种分割，并且只提供训练数据的标注。

label：将多次扫描的结果重叠在一起，将点云细分为100m*100m的块。对于每个块，只加载与块重叠的扫描。

Scene Segmentation

场景分割是将场景分割成各种对象组件的任务。图像采用时间相干四维重建的复杂动态场景。

$\bullet$ 数据库：

SUN-RGBD

下载链接为http://groups.csail.mit.edu/vision/SUN/

input：SUN数据集包含131067个图像，由908个场景类别和4479个物体类别组成，其中背景标注的物体有313884个。（只查到了SUN数据库，没有查到SUN-RGBD）

label：一张label图

ScanNet、NYU Depth v2

Weakly-Supervised Semantic Segmentation

语义分割任务是将一个标签集中的一个标签分配给图像中的每个像素。在完全监督设置的情况下，数据集由图像及其对应的像素级类特定的注释(昂贵的像素级注释)组成。但是，在弱监督设置中，数据集由图像和相对容易获得的相应注释组成，例如图像中出现的对象的标记/标签。(图像来源:深度种子区域生长的弱监督语义分割网络)。

目前还没有数据库

Panoptic Segmentation

泛光分割统一了典型的语义分割(给每个像素分配一个类标签)和实例分割(检测和分割每个对象实例)的不同任务。

$\bullet$ 数据库：

Cityscapes val、COCO

Mapillary val

没找到下载地址

input：100个目标类别，其中60个特定于实例（即用于枚举目标）；全球地理覆盖范围，覆盖北美和南美，欧洲，非洲，亚洲和大洋洲；天气条件（太阳，雨，雪，雾，阴霾）和拍照时间（黎明，白天，黄昏，甚至夜晚）的变化；大范围的相机传感器，不同的焦距，图像宽高比和不同类型的相机噪声；不同的拍照视点（来自道路，人行道和off-road）；

label：图像如上

KITTI Panoptic Segmentation