登录/ 注册
 找回密码
 立即注册
关闭

CSDN热搜

程序园 精品问答 技术交流 资源下载
返回列表 发新帖
首页 › 业界区 › 业界 ›【语义分割专栏】先导篇：常用数据集(VOC、Camvid、City ...

【语义分割专栏】先导篇：常用数据集(VOC、Camvid、Cityscape、ADE20k、COCO)

洪势 前天 10:14
目录

  • 前言
  • mask模式
  • PASCAL-VOC2012

    • 下载
    • 数据集简介
    • 数据加载(dataloader)

  • CamVid

    • 下载
    • 数据集简介
    • 数据加载(dataloader)

  • Cityscape

    • 下载
    • 数据集简介
    • 数据集处理
    • 数据加载(dataloader)

  • ADE20K

    • 下载
    • 数据集简介
    • 数据加载(dataloader)

  • COCO2017

    • 下载
    • 数据集简介
    • 数据集处理
    • 数据加载(dataloader)

  • 结语
  • 参考内容

前言

本篇向大家介绍下语义分割任务中的常用的数据集。本文将会向大家介绍常用的一些数据集以及数据集的处理加载方式。本篇文章收录于语义分割专栏，如果对语义分割领域感兴趣的，可以去看看本专栏，会对经典的模型以及代码进行详细的讲解哦！其中会包含可复现的代码！
mask模式

在讲数据集前，首先向大家介绍一下我们语义标注文件的格式。
在语义分割中，标注文件一般都是P模式(调色板模式)或者是L模式(灰度模式)。如下图所示，左边就是L模式的图片展示，右边就是P模式的图片展示。
1.png

其实两种模式的内容是相同的，都是单通道的，但是其所表示的含义不同。P模式中的数字代表的是类别到调色板的映射，什么意思呢？就是8位最多有256个(0-255)，其中每一个都映射了调色版中的一个颜色，当然最多也就只能映射256个颜色了，每个颜色代表了一个类别。P模式的标注图能够更直观的让我们看到图像的标注。而L模式中的数字代表的就是灰度值，同样的每个灰度值代表了一个类别。
我们可以通过如下方式来查看图像的模式：
  1. print(Image.open('image.png').mode)
复制代码
两者的读写也是不同的，对于L模式，我们用PIL或者cv2都是可以进行读取的，读灰度图模式即可，写的话直接保存即可：
  1. # 读方式一：
  2. label = cv2.imread(label_path, 0)
  3. # 读方式二：
  4. label = np.asarray(Image.open(label_path), dtype=np.int32)
  6. # 写方式一：
  7. cv2.imwrite('gray_image.png', gray_image)
  8. # 写方式二：
  9. gray_image.save('gray_image.png')
复制代码
对于P模式，我们只能用PIL库来进行处理(cv2库不支持P模式)：
  1. #读
  2. label = np.asarray(Image.open(label_path), dtype=np.int32)
  4. #写
  5. def save_colored_mask(mask, save_path):
  6.     lbl_pil = Image.fromarray(mask.astype(np.uint8), mode="P")
  7.     colormap = imgviz.label_colormap()
  8.     lbl_pil.putpalette(colormap.flatten())
  9.     lbl_pil.save(save_path)
复制代码
不过我们也可能遇到RGB模式的标注文件了(很少很少，基本上不会，其实就是为了更直观的查看而已)，就是我们日常中经常使用的图像，这个就需要在数据加载的时候将RGB的格式转成P模式或者L模式进行加载，要不然会出错。后续有个数据集就是这么处理的。对于三种模式的总结如下，应该还是比较一目了然的。(其实不管L模式还是P模式，我们可以用PIL.Image.open()统一读取的)
模式通道数每个像素的含义适用于常用读取方式备注P (Palette)1通道（索引）类别ID ➔ 查调色板得到颜色语义分割标注（类别索引型）PIL.Image.open()像素值是类别索引，调色板映射成RGBL (Luminance)1通道（灰度值）0~255 灰度值灰度图、深度图、标签图PIL.Image.open().convert('L') or cv2.imread(..., 0)直接表示亮度或类别ID，无调色板RGB3通道真实颜色（R,G,B各0~255）彩色图片、可视化图像cv2.imread() / PIL.Image.open().convert('RGB')每个像素是直接的颜色值PASCAL-VOC2012

下载

数据集名称：PASCAL-VOC2012
数据集下载地址：The PASCAL Visual Object Classes Challenge 2012 (VOC2012)
2.png

在这里下载哈，2GB的那个。
数据集简介

VOC2012 数据集是Pascal Visual Object Classes (VOC) 持续的竞赛和挑战的一部分，广泛用于图像分类、目标检测、语义分割等任务。VOC2012 数据集的语义分割任务包含20个类别，主要用于评估物体级别的分割精度。
数据特点：

  • 图像数量：训练集有1,464张图像，验证集有1,449张图像，测试集有1,456张图像。
  • 类别：包括20个物体类别，如人、动物、交通工具、家具等，且每个图像都标注有相应的像素级标签。
  • 格式：每张图像都附有一个对应的标注图（标签图），其每个像素值对应物体类别的ID。
数据加载(dataloader)

VOC2012的标注就是P模式的
  1. import torch
  2. import numpy as np
  3. from PIL import Image
  4. from torch.utils.data import Dataset, DataLoader
  5. import os
  6. import random
  7. import torchvision.transforms as T
  9. VOC_CLASSES = [
  10.     'background','aeroplane','bicycle','bird','boat','bottle','bus',
  11.     'car','cat','chair','cow','diningtable','dog','horse',
  12.     'motorbike','person','potted plant','sheep','sofa','train','tv/monitor'
  13. ]
  15. VOC_COLORMAP = [
  16.     [0, 0, 0], [128, 0, 0], [0, 128, 0], [128, 128, 0],
  17.     [0, 0, 128], [128, 0, 128], [0, 128, 128], [128, 128, 128],
  18.     [64, 0, 0], [192, 0, 0], [64, 128, 0], [192, 128, 0],
  19.     [64, 0, 128], [192, 0, 128], [64, 128, 128], [192, 128, 128],
  20.     [0, 64, 0], [128, 64, 0], [0, 192, 0], [128, 192, 0], [0, 64, 128]
  21. ]
  23. class VOCSegmentation(Dataset):
  24.     def __init__(self, root, split='train', img_size=320, augment=True):
  25.         super(VOCSegmentation, self).__init__()
  26.         self.root = root
  27.         self.split = split
  28.         self.img_size = img_size
  29.         self.augment = augment
  31.         img_dir = os.path.join(root, 'JPEGImages')
  32.         mask_dir = os.path.join(root, 'SegmentationClass')
  33.         split_file = os.path.join(root, 'ImageSets', 'Segmentation', f'{split}.txt')
  34.         if not os.path.exists(split_file):
  35.             raise FileNotFoundError(split_file)
  37.         with open(split_file, 'r') as f:
  38.             file_names = [x.strip() for x in f.readlines()]
  40.         self.images = [os.path.join(img_dir, x + '.jpg') for x in file_names]
  41.         self.masks = [os.path.join(mask_dir, x + '.png') for x in file_names]
  42.         assert len(self.images) == len(self.masks)
  43.         print(f"{split} set loaded: {len(self.images)} samples")
  45.         self.normalize = T.Normalize(mean=[0.485, 0.456, 0.406],
  46.                                      std=[0.229, 0.224, 0.225])
  48.     def __getitem__(self, index):
  49.         img = Image.open(self.images[index]).convert('RGB')
  50.         mask = Image.open(self.masks[index])  # mask为P模式（0~20的类别）
  52.         # Resize
  53.         img = img.resize((self.img_size, self.img_size), Image.BILINEAR)
  54.         mask = mask.resize((self.img_size, self.img_size), Image.NEAREST)
  56.         # 转Tensor
  57.         img = T.functional.to_tensor(img)
  58.         mask = torch.from_numpy(np.array(mask)).long()  # 0~20
  60.         # 数据增强
  61.         if self.augment:
  62.             if random.random() > 0.5:
  63.                 img = T.functional.hflip(img)
  64.                 mask = T.functional.hflip(mask)
  65.             if random.random() > 0.5:
  66.                 img = T.ColorJitter(brightness=0.2, contrast=0.2, saturation=0.2, hue=0.2)(img)
  68.         img = self.normalize(img)
  69.         return img, mask
  71.     def __len__(self):
  72.         return len(self.images)
  75. def get_dataloader(data_path, batch_size=4, img_size=320, num_workers=4):
  76.     train_dataset = VOCSegmentation(root=data_path, split='train', img_size=img_size, augment=True)
  77.     val_dataset = VOCSegmentation(root=data_path, split='val', img_size=img_size, augment=False)
  79.     train_loader = DataLoader(train_dataset, shuffle=True, batch_size=batch_size, pin_memory=True, num_workers=num_workers)
  80.     val_loader = DataLoader(val_dataset, shuffle=False, batch_size=batch_size, pin_memory=True, num_workers=num_workers)
  81.     return train_loader, val_loader
复制代码
3.png

CamVid

下载

数据集名称：CamVid
数据集下载地址：Object Recognition in Video Dataset
4.png

在这里进行下载，CamVid数据集有两种，一种是官方的就是上述的下载地址的，总共有32种类别，划分的会更加的细致。但是一般官网的太难打开了，所以我们可以通过Kaggle中的CamVid (Cambridge-Driving Labeled Video Database)进行下载。
还有一种就是11类别的(不包括背景)，会将一些语义相近的内容进行合并，就划分的没有这么细致，任务难度也会比较低一些。(如果你在网上找不到的话，可以在评论区发言或是私聊我要取)
数据集简介

CamVid 数据集主要用于自动驾驶场景中的语义分割，包含驾驶场景中的道路、交通标志、车辆等类别的标注图像。该数据集旨在推动自动驾驶系统在道路场景中的表现。
数据特点：

  • 图像数量：包括701帧视频序列图像，分为训练集、验证集和测试集。
  • 类别：包含32个类别(也有包含11个类别的)，包括道路、建筑物、车辆、行人等。
  • 挑战：由于数据集主要来自城市交通场景，因此面临着动态变化的天气、光照、交通密度等挑战
数据加载(dataloader)

CamVid我从kaggle中下载的就是RGB的mask图像，所以我们需要先将其转换为单通道mask图像(L模式)
  1. def mask_to_class(mask):
  2.     mask_class = np.zeros((mask.shape[0], mask.shape[1]), dtype=np.uint8)
  3.     for idx, color in enumerate(Cam_COLORMAP):
  4.         color = np.array(color)
  5.         # 每个像素和当前颜色匹配
  6.         matches = np.all(mask == color, axis=-1)
  7.         mask_class[matches] = idx
  8.     return mask_class
复制代码
故数据加载的代码为(以下为32类的，如果需要十一类改下Cam_CLASSES和Cam_COLORMAP即可)：
  1. import osfrom PIL import Imageimport albumentations as Afrom albumentations.pytorch.transforms import ToTensorV2from torch.utils.data import Dataset, DataLoaderimport numpy as np# 32类Cam_CLASSES = ['Animal', 'Archway', 'Bicyclist', 'Bridge', 'Building', 'Car', 'CartLuggagePram', 'Child',               'Column_Pole', 'Fence', 'LaneMkgsDriv', 'LaneMkgsNonDriv', 'Misc_Text', 'MotorcycleScooter',               'OtherMoving', 'ParkingBlock', 'Pedestrian', 'Road', 'RoadShoulder', 'Sidewalk', 'SignSymbol',               'Sky', 'SUVPickupTruck', 'TrafficCone', 'TrafficLight', 'Train', 'Tree', 'Truck_Bus', 'Tunnel',               'VegetationMisc', 'Void', 'Wall']# 用于做可视化Cam_COLORMAP = [    [64, 128, 64], [192, 0, 128], [0, 128, 192], [0, 128, 64], [128, 0, 0],    [64, 0, 128], [64, 0, 192], [192, 128, 64], [192, 192, 128], [64, 64, 128],    [128, 0, 192], [192, 0, 64], [128, 128, 64], [192, 0, 192], [128, 64, 64],    [64, 192, 128], [64, 64, 0], [128, 64, 128], [128, 128, 192], [0, 0, 192],    [192, 128, 128], [128, 128, 128], [64, 128, 192], [0, 0, 64], [0, 64, 64],    [192, 64, 128], [128, 128, 0], [192, 128, 192], [64, 0, 64], [192, 192, 0],    [0, 0, 0], [64, 192, 0]]# 转换RGB mask为类别id的函数def mask_to_class(mask):
  2.     mask_class = np.zeros((mask.shape[0], mask.shape[1]), dtype=np.uint8)
  3.     for idx, color in enumerate(Cam_COLORMAP):
  4.         color = np.array(color)
  5.         # 每个像素和当前颜色匹配
  6.         matches = np.all(mask == color, axis=-1)
  7.         mask_class[matches] = idx
  8.     return mask_classclass CamVidDataset(Dataset):    def __init__(self, image_dir, label_dir):        self.image_dir = image_dir        self.label_dir = label_dir        self.transform = A.Compose([            A.Resize(448, 448),            A.HorizontalFlip(),            A.VerticalFlip(),            A.Normalize(),            ToTensorV2(),        ])        self.images = sorted(os.listdir(image_dir))        self.labels = sorted(os.listdir(label_dir))        assert len(self.images) == len(self.labels), "Images and labels count mismatch!"    def __len__(self):        return len(self.images)    def __getitem__(self, idx):        img_path = os.path.join(self.image_dir, self.images[idx])        label_path = os.path.join(self.label_dir, self.labels[idx])        image = np.array(Image.open(img_path).convert("RGB"))        label_rgb = np.array(Image.open(label_path).convert("RGB"))        # RGB转类别索引        label_class = mask_to_class(label_rgb)        # Albumentations 需要 (H, W, 3) 和 (H, W)        transformed = self.transform(image=image, mask=label_class)        return transformed['image'], transformed['mask']def get_dataloader(data_path, batch_size=4, num_workers=4):    train_dir = os.path.join(data_path, 'train')    val_dir = os.path.join(data_path, 'val')    trainlabel_dir = os.path.join(data_path, 'train_labels')    vallabel_dir = os.path.join(data_path, 'val_labels')    train_dataset = CamVidDataset(train_dir, trainlabel_dir)    val_dataset = CamVidDataset(val_dir, vallabel_dir)    train_loader = DataLoader(train_dataset, shuffle=True, batch_size=batch_size, pin_memory=True, num_workers=num_workers)    val_loader = DataLoader(val_dataset, shuffle=False, batch_size=batch_size, pin_memory=True, num_workers=num_workers)    return train_loader, val_loader
复制代码
5.png

Cityscape

下载

数据集名称：Cityscape
数据集下载地址：Download – Cityscapes Dataset
6.png

需要注册才能够登录，然后这三个都需要进行下载，因为后续我们数据处理的时候会要用到的。
其中leftImg8bit就是图片文件，gtFine就是精细标注的文件，gtCoarse就是粗略标注的文件。其实我们只需要用到的就是gtFine中的，但是我们后续数据处理的时候需要用到gtCoarse，要不然就会报错。
数据集简介

Cityscapes是一个专注于城市街道的语义分割数据集，特别适用于自动驾驶和城市环境中的语义分割任务。它提供了详细的像素级标注，涵盖了各种城市景观，如街道、建筑、交通信号灯等。
数据特点：

  • 图像数量：包含5,000张高分辨率图像，其中包括2,975张训练图像，500张验证图像，1,525张测试图像。
  • 类别：包含30个类别，其中19个是常见的语义分割类别，如道路、人行道、建筑物、车辆等。
  • 挑战：数据集注重高分辨率图像（2048x1024），适用于复杂城市街道场景的分割任务。
数据集处理

下载好这三个文件之后，我们需要通过代码来生成标注，可以直接下载对应的库，也可以去github上下载对应的工具。
  1. pip install cityscapesscripts
复制代码
下载好之后进入preparation文件夹内找到createTrainIdLabelImgs.py文件
7.png

加上这么一句，你的CityScape地址,然后直接运行该文件即可。注意你的地址文件夹下面应该包含gtFine和gtCoarse两个文件夹。
  1. os.environ['CITYSCAPES_DATASET'] = r"your Cityscape"
复制代码
8.png

运行之后就可以直接生成标注文件了，注意这里生成的是19个类的标注文件，其实原gtFine文件夹中有标注文件的，只不过是33类别的。我们一般用到的都是19类别的。以labelids结尾的就是33类别的，labelTrainids结尾的就是我们刚刚生成的19类别的标准文件了。
9.png

然后我们将数据文件和标注整理下
  1. import os
  2. import random
  3. import shutil
  5. # 处理图片
  6. dataset_path = r"D:\博客记录\语义分割\data\Cityscape"
  7. # 原始的train, valid文件夹路径
  8. train_dataset_path = os.path.join(dataset_path, 'leftImg8bit/train')
  9. val_dataset_path = os.path.join(dataset_path, 'leftImg8bit/val')
  10. test_dataset_path = os.path.join(dataset_path, 'leftImg8bit/test')
  11. # 创建train,valid的文件夹
  12. train_images_path = os.path.join(dataset_path, 'train_images')
  13. val_images_path = os.path.join(dataset_path, 'val_images')
  14. test_images_path = os.path.join(dataset_path, 'test_images')
  16. # 处理标注
  17. # 原始的train_label, valid_label文件夹路径
  18. train_label_path = os.path.join(dataset_path, 'gtFine/train')
  19. val_label_path = os.path.join(dataset_path, 'gtFine/val')
  20. test_label_path = os.path.join(dataset_path, 'gtFine/test')
  21. # 创建train,valid的文件夹
  22. train_images_label_path = os.path.join(dataset_path, 'train_labels(19)')
  23. val_images_label_path = os.path.join(dataset_path, 'val_labels(19)')
  24. test_images_label_path = os.path.join(dataset_path, 'test_labels(19)')
  26. if os.path.exists(train_images_path) == False:
  27.     os.mkdir(train_images_path)
  28. if os.path.exists(val_images_path) == False:
  29.     os.mkdir(val_images_path)
  30. if os.path.exists(test_images_path) == False:
  31.     os.mkdir(test_images_path)
  32. if os.path.exists(train_images_label_path) == False:
  33.     os.mkdir(train_images_label_path)
  34. if os.path.exists(val_images_label_path) == False:
  35.     os.mkdir(val_images_label_path)
  36. if os.path.exists(test_images_label_path) == False:
  37.     os.mkdir(test_images_label_path)
  39. # -----------------移动文件夹-------------------------------------------------
  40. for file_name in os.listdir(train_dataset_path):
  41.     file_path = os.path.join(train_dataset_path, file_name)
  42.     for image in os.listdir(file_path):
  43.         shutil.copy(os.path.join(file_path, image), os.path.join(train_images_path, image))
  45. for file_name in os.listdir(val_dataset_path):
  46.     file_path = os.path.join(val_dataset_path, file_name)
  47.     for image in os.listdir(file_path):
  48.         shutil.copy(os.path.join(file_path, image), os.path.join(val_images_path, image))
  50. for file_name in os.listdir(test_dataset_path):
  51.     file_path = os.path.join(test_dataset_path, file_name)
  52.     for image in os.listdir(file_path):
  53.         shutil.copy(os.path.join(file_path, image), os.path.join(test_images_path, image))
  54.         
  55. for file_name in os.listdir(train_label_path):
  56.     file_path = os.path.join(train_label_path, file_name)
  57.     for image in os.listdir(file_path):
  58.         # 查找对应的后缀名，然后保存到文件中
  59.         if image.split('.png')[0][-13:] == "labelTrainIds":
  60.             # print(image)
  61.             shutil.copy(os.path.join(file_path, image), os.path.join(train_images_label_path, image))
  63. for file_name in os.listdir(val_label_path):
  64.     file_path = os.path.join(val_label_path, file_name)
  65.     for image in os.listdir(file_path):
  66.         if image.split('.png')[0][-13:] == "labelTrainIds":
  67.             shutil.copy(os.path.join(file_path, image), os.path.join(val_images_label_path, image))
  69. for file_name in os.listdir(test_label_path):
  70.     file_path = os.path.join(test_label_path, file_name)
  71.     for image in os.listdir(file_path):
  72.         if image.split('.png')[0][-13:] == "labelTrainIds":
  73.             shutil.copy(os.path.join(file_path, image), os.path.join(test_images_label_path, image))
复制代码
结果如下图所示(当然tese_labels(19)文件夹内的数据都是无效的)：
10.png

数据加载(dataloader)

Cityscapes的标注图像是L模式的
  1. import os
  2. from PIL import Image
  3. import albumentations as A
  4. from albumentations.pytorch.transforms import ToTensorV2
  5. from torch.utils.data import Dataset, DataLoader
  6. import numpy as np
  8. CITYSCAPES_CLASSES = [
  9.     "road", "sidewalk", "building", "wall", "fence", "pole", "traffic light", "traffic sign", "vegetation",
  10.     "terrain", "sky", "person", "rider", "car", "truck", "bus", "train", "motorcycle", "bicycle","background",
  11. ]
  13. CITYSCAPES_COLORMAP = [
  14.     [128, 64, 128],    # road
  15.     [244, 35, 232],    # sidewalk
  16.     [70, 70, 70],      # building
  17.     [102, 102, 156],   # wall
  18.     [190, 153, 153],   # fence
  19.     [153, 153, 153],   # pole
  20.     [250, 170, 30],    # traffic light
  21.     [220, 220, 0],     # traffic sign
  22.     [107, 142, 35],    # vegetation
  23.     [152, 251, 152],   # terrain
  24.     [70, 130, 180],    # sky
  25.     [220, 20, 60],     # person
  26.     [255, 0, 0],       # rider
  27.     [0, 0, 142],       # car
  28.     [0, 0, 70],        # truck
  29.     [0, 60, 100],      # bus
  30.     [0, 80, 100],      # train
  31.     [0, 0, 230],       # motorcycle
  32.     [119, 11, 32], # bicycle
  33.     [0, 0, 0],# background
  34. ]
  36. class CityScapes(Dataset):
  37.     def __init__(self, image_dir, label_dir):
  38.         self.image_dir = image_dir
  39.         self.label_dir = label_dir
  40.         self.transform = A.Compose([
  41.             A.Resize(448, 448),
  42.             A.HorizontalFlip(),
  43.             A.VerticalFlip(),
  44.             A.Normalize(),
  45.             ToTensorV2(),
  46.         ])
  48.         self.images = sorted(os.listdir(image_dir))
  49.         self.labels = sorted(os.listdir(label_dir))
  51.         assert len(self.images) == len(self.labels), "Images and labels count mismatch!"
  53.     def __len__(self):
  54.         return len(self.images)
  56.     def __getitem__(self, idx):
  57.         img_path = os.path.join(self.image_dir, self.images[idx])
  58.         label_path = os.path.join(self.label_dir, self.labels[idx])
  60.         image = np.array(Image.open(img_path).convert("RGB"))
  61.         label = np.array(Image.open(label_path))
  63.         # Albumentations 需要 (H, W, 3) 和 (H, W)
  64.         transformed = self.transform(image=image, mask=label)
  66.         return transformed['image'], transformed['mask']
  69. def get_dataloader(data_path, batch_size=4, num_workers=4):
  70.     train_dir = os.path.join(data_path,'train_images')
  71.     val_dir = os.path.join(data_path,'val_images')
  72.     trainlabel_dir = os.path.join(data_path, 'train_labels(19)')
  73.     vallabel_dir = os.path.join(data_path, 'val_labels(19)')
  74.     train_dataset = CityScapes(train_dir, trainlabel_dir)
  75.     val_dataset = CityScapes(val_dir, vallabel_dir)
  77.     train_loader = DataLoader(train_dataset, shuffle=True, batch_size=batch_size, pin_memory=True, num_workers=num_workers)
  78.     val_loader = DataLoader(val_dataset, shuffle=False, batch_size=batch_size, pin_memory=True, num_workers=num_workers)
  79.     return train_loader, val_loader
复制代码
11.png

ADE20K

下载

数据集名称：ADE20K
数据集下载地址：ADE20K dataset
12.png

在这里进行下载。但是也需要注册什么的比较麻烦。
数据集简介

ADE20k是一个大规模的语义分割数据集，涵盖了各种日常场景，提供了广泛的类标注，用于评估图像分割算法的性能。
数据特点：

  • 图像数量：数据集包含20K多张图像，其中包括训练集、验证集和测试集。
  • 类别：有150个语义类别，涵盖了物体、场景以及物体的一些具体部分（例如家具、道路、天空等）。
  • 挑战：ADE20k是一个多类别、多样化的数据集，标注了大量不同的对象类别，适用于大规模的语义分割研究。
数据加载(dataloader)

ADE20k的标注也是L模式的
  1. import os
  2. from PIL import Image
  3. import albumentations as A
  4. from albumentations.pytorch.transforms import ToTensorV2
  5. from torch.utils.data import Dataset, DataLoader
  6. import numpy as np
  8. ADE_CLASSES = [
  9.     "background", "wall", "building", "sky", "floor", "tree", "ceiling", "road", "bed", "windowpane",
  10.     "grass", "cabinet", "sidewalk", "person", "earth", "door", "table", "mountain", "plant", "curtain",
  11.     "chair", "car", "water", "painting", "sofa", "shelf", "house", "sea", "mirror", "rug",
  12.     "field", "armchair", "seat", "fence", "desk", "rock", "wardrobe", "lamp", "bathtub", "railing",
  13.     "cushion", "base", "box", "column", "signboard", "chest of drawers", "counter", "sand", "sink", "skyscraper",
  14.     "fireplace", "refrigerator", "grandstand", "path", "stairs", "runway", "case", "pool table", "pillow", "screen door",
  15.     "stairway", "river", "bridge", "bookcase", "blind", "coffee table", "toilet", "flower", "book", "hill",
  16.     "bench", "countertop", "stove", "palm", "kitchen island", "computer", "swivel chair", "boat", "bar", "arcade machine",
  17.     "hovel", "bus", "towel", "light", "truck", "tower", "chandelier", "awning", "streetlight", "booth",
  18.     "television receiver", "airplane", "dirt track", "apparel", "pole", "land", "bannister", "escalator", "ottoman", "bottle",
  19.     "buffet", "poster", "stage", "van", "ship", "fountain", "conveyer belt", "canopy", "washer", "plaything",
  20.     "swimming pool", "stool", "barrel", "basket", "waterfall", "tent", "bag", "minibike", "cradle", "oven",
  21.     "ball", "food", "step", "tank", "trade name", "microwave", "pot", "animal", "bicycle", "lake",
  22.     "dishwasher", "screen", "blanket", "sculpture", "hood", "sconce", "vase", "traffic light", "tray", "ashcan",
  23.     "fan", "pier", "crt screen", "plate", "monitor", "bulletin board", "shower", "radiator", "glass", "clock",
  24.     "flag"
  25. ]
  27. ADE_COLORMAP = [[0,0,0],
  28.     [120, 120, 120], [180, 120, 120], [6, 230, 230], [80, 50, 50], [4, 200, 3],
  29.     [120, 120, 80], [140, 140, 140], [204, 5, 255], [230, 230, 230], [4, 250, 7],
  30.     [224, 5, 255], [235, 255, 7], [150, 5, 61], [120, 120, 70], [8, 255, 51],
  31.     [255, 6, 82], [143, 255, 140], [204, 255, 4], [255, 51, 7], [204, 70, 3],
  32.     [0, 102, 200], [61, 230, 250], [255, 6, 51], [11, 102, 255], [255, 7, 71],
  33.     [255, 9, 224], [9, 7, 230], [220, 220, 220], [255, 9, 92], [112, 9, 255],
  34.     [8, 255, 214], [7, 255, 224], [255, 184, 6], [10, 255, 71], [255, 41, 10],
  35.     [7, 255, 255], [224, 255, 8], [102, 8, 255], [255, 61, 6], [255, 194, 7],
  36.     [255, 122, 8], [0, 255, 20], [255, 8, 41], [255, 5, 153], [6, 51, 255],
  37.     [235, 12, 255], [160, 150, 20], [0, 163, 255], [140, 140, 140], [250, 10, 15],
  38.     [20, 255, 0], [31, 255, 0], [255, 31, 0], [255, 224, 0], [153, 255, 0],
  39.     [0, 0, 255], [255, 71, 0], [0, 235, 255], [0, 173, 255], [31, 0, 255],
  40.     [11, 200, 200], [255, 82, 0], [0, 255, 245], [0, 61, 255], [0, 255, 112],
  41.     [0, 255, 133], [255, 0, 0], [255, 163, 0], [255, 102, 0], [194, 255, 0],
  42.     [0, 143, 255], [51, 255, 0], [0, 82, 255], [0, 255, 41], [0, 255, 173],
  43.     [10, 0, 255], [173, 255, 0], [0, 255, 153], [255, 92, 0], [255, 0, 255],
  44.     [255, 0, 245], [255, 0, 102], [255, 173, 0], [255, 0, 20], [255, 184, 184],
  45.     [0, 31, 255], [0, 255, 61], [0, 71, 255], [255, 0, 204], [0, 255, 194],
  46.     [0, 255, 82], [0, 10, 255], [0, 112, 255], [51, 0, 255], [0, 194, 255],
  47.     [0, 122, 255], [0, 255, 163], [255, 153, 0], [0, 255, 10], [255, 112, 0],
  48.     [143, 255, 0], [82, 0, 255], [163, 255, 0], [255, 235, 0], [8, 184, 170],
  49.     [133, 0, 255], [0, 255, 92], [184, 0, 255], [255, 0, 31], [0, 184, 255],
  50.     [0, 214, 255], [255, 0, 112], [92, 255, 0], [0, 224, 255], [112, 224, 255],
  51.     [70, 184, 160], [163, 0, 255], [153, 0, 255], [71, 255, 0], [255, 0, 163],
  52.     [255, 204, 0], [255, 0, 143], [0, 255, 235], [133, 255, 0], [255, 0, 235],
  53.     [245, 0, 255], [255, 0, 122], [255, 245, 0], [10, 190, 212], [214, 255, 0],
  54.     [0, 204, 255], [20, 0, 255], [255, 255, 0], [0, 153, 255], [0, 41, 255],
  55.     [0, 255, 204], [41, 0, 255], [41, 255, 0], [173, 0, 255], [0, 245, 255],
  56.     [71, 0, 255], [122, 0, 255], [0, 255, 184], [0, 92, 255], [184, 255, 0],
  57.     [0, 133, 255], [255, 214, 0], [25, 194, 194], [102, 255, 0], [92, 0, 255]
  58. ]
  61. class ADE20kDataset(Dataset):
  62.     def __init__(self, image_dir, label_dir):
  63.         self.image_dir = image_dir
  64.         self.label_dir = label_dir
  65.         self.transform = A.Compose([
  66.             A.Resize(448, 448),
  67.             A.HorizontalFlip(),
  68.             A.VerticalFlip(),
  69.             A.Normalize(),
  70.             ToTensorV2(),
  71.         ])
  73.         self.images = sorted(os.listdir(image_dir))
  74.         self.labels = sorted(os.listdir(label_dir))
  76.         assert len(self.images) == len(self.labels), "Images and labels count mismatch!"
  78.     def __len__(self):
  79.         return len(self.images)
  81.     def __getitem__(self, idx):
  82.         img_path = os.path.join(self.image_dir, self.images[idx])
  83.         label_path = os.path.join(self.label_dir, self.labels[idx])
  85.         image = np.array(Image.open(img_path).convert("RGB"))
  86.         label = np.array(Image.open(label_path))
  88.         # Albumentations 需要 (H, W, 3) 和 (H, W)
  89.         transformed = self.transform(image=image, mask=label)
  91.         return transformed['image'], transformed['mask']
  94. def get_dataloader(data_path, batch_size=4, num_workers=4):
  95.     train_dir = os.path.join(data_path,'images', 'training')
  96.     val_dir = os.path.join(data_path,'images', 'validation')
  97.     trainlabel_dir = os.path.join(data_path, 'annotations','training')
  98.     vallabel_dir = os.path.join(data_path, 'annotations','validation')
  99.     train_dataset = ADE20kDataset(train_dir, trainlabel_dir)
  100.     val_dataset = ADE20kDataset(val_dir, vallabel_dir)
  102.     train_loader = DataLoader(train_dataset, shuffle=True, batch_size=batch_size, pin_memory=True, num_workers=num_workers)
  103.     val_loader = DataLoader(val_dataset, shuffle=False, batch_size=batch_size, pin_memory=True, num_workers=num_workers)
  104.     return train_loader, val_loader
复制代码
13.png

COCO2017

下载

数据集名称：COCO2017
数据集下载地址：COCO - Common Objects in Context
14.png

下载我所框出来的三个文件，分别是训练图像，验证图像和标注文件。标注文件是json格式的，后续我们将会进行转换。
数据集简介

COCO2017 数据集是一个大规模的数据集，设计用于物体检测、分割和关键点检测等任务。COCO数据集特别注重“上下文”信息，提供了丰富的标注和不同尺度的物体实例。
数据特点：

  • 图像数量：训练集包含118K张图像，验证集包含5K张图像，测试集包含20K张图像。
  • 类别：包括80个物体类别，如人、动物、交通工具、家具等。
  • 标注：除了物体检测和实例分割标注外，COCO还提供了分割掩码、关键点标注等。
  • 复杂性：COCO包含大量的遮挡、重叠物体、不同背景等，适合挑战性强的分割任务。
数据集处理

下载好三个文件之后，我们需要通过annotation中的instances_train2017和instances_val2017来转换获得我们的mask标注文件，我将其转换成了P模式的。
15.png

转换代码为：
  1. import os
  2. import numpy as np
  3. from pycocotools.coco import COCO
  4. from pycocotools import mask as maskUtils
  5. from PIL import Image
  6. from tqdm import tqdm
  7. import imgviz
  9. def coco_to_semantic_mask_pmode(coco_json_path, image_dir, save_mask_dir):
  10.     os.makedirs(save_mask_dir, exist_ok=True)
  11.     coco = COCO(coco_json_path)
  12.     img_ids = coco.getImgIds()
  13.     cat_ids = coco.getCatIds()
  15.     catid2label = {cat_id: i+1 for i, cat_id in enumerate(cat_ids)}  # +1保留0为背景
  16.     colormap = imgviz.label_colormap()  # 得到颜色映射
  18.     for img_id in tqdm(img_ids):
  19.         img_info = coco.loadImgs(img_id)[0]
  20.         ann_ids = coco.getAnnIds(imgIds=img_id)
  21.         anns = coco.loadAnns(ann_ids)
  23.         h, w = img_info['height'], img_info['width']
  24.         mask = np.zeros((h, w), dtype=np.uint8)
  26.         for ann in anns:
  27.             cat_id = ann['category_id']
  28.             label = catid2label[cat_id]
  29.             rle = coco.annToRLE(ann)
  30.             m = maskUtils.decode(rle)
  31.             mask[m == 1] = label
  33.         # 保存成P模式 (带调色板)
  34.         mask_img = Image.fromarray(mask, mode='P')
  35.         # 设置调色板（需要1维list）
  36.         palette = [v for color in colormap for v in color]
  37.         palette += [0] * (256 * 3 - len(palette))  # 填满256个颜色
  38.         mask_img.putpalette(palette)
  40.         mask_img.save(os.path.join(save_mask_dir, f"{img_info['file_name'].replace('.jpg', '.png')}"))
  42.     print(f"已保存 {len(img_ids)} 张P模式语义分割mask图到 {save_mask_dir}")
  44. # ==== 用法 ====
  46. # 训练集
  47. coco_to_semantic_mask_pmode(
  48.     coco_json_path='../../data/COCO2017/annotations1/instances_train2017.json',
  49.     image_dir='../../data/COCO2017/train2017',
  50.     save_mask_dir='../../data/COCO2017/train2017_labels'
  51. )
  53. # 验证集
  54. coco_to_semantic_mask_pmode(
  55.     coco_json_path='../../data/COCO2017/annotations1/instances_val2017.json',
  56.     image_dir='../../data/COCO2017/val2017',
  57.     save_mask_dir='../../data/COCO2017/val2017_labels'
  58. )
复制代码
数据加载(dataloader)

经过我们数据集处理后的COCO2017的标注就是P模式的
  1. import os
  2. from PIL import Image
  3. import albumentations as A
  4. from albumentations.pytorch.transforms import ToTensorV2
  5. from torch.utils.data import Dataset, DataLoader
  6. import numpy as np
  7. import imgviz
  9. COCO_CLASSES = [
  10.     "background", "person", "bicycle", "car", "motorcycle", "airplane", "bus", "train", "truck", "boat",
  11.     "traffic light", "fire hydrant", "stop sign", "parking meter", "bench", "bird", "cat", "dog", "horse", "sheep",
  12.     "cow", "elephant", "bear", "zebra", "giraffe", "backpack", "umbrella", "handbag", "tie", "suitcase",
  13.     "frisbee", "skis", "snowboard", "sports ball", "kite", "baseball bat", "baseball glove", "skateboard", "surfboard", "tennis racket",
  14.     "bottle", "wine glass", "cup", "fork", "knife", "spoon", "bowl", "banana", "apple", "sandwich",
  15.     "orange", "broccoli", "carrot", "hot dog", "pizza", "donut", "cake", "chair", "couch", "potted plant",
  16.     "bed", "dining table", "toilet", "tv", "laptop", "mouse", "remote", "keyboard", "cell phone", "microwave",
  17.     "oven", "toaster", "sink", "refrigerator", "book", "clock", "vase", "scissors", "teddy bear", "hair drier",
  18.     "toothbrush"
  19. ]
  21. COCO_COLORMAP = imgviz.label_colormap()
  25. class COCO2017Dataset(Dataset):
  26.     def __init__(self, image_dir, label_dir):
  27.         self.image_dir = image_dir
  28.         self.label_dir = label_dir
  29.         self.transform = A.Compose([
  30.             A.Resize(448, 448),
  31.             A.HorizontalFlip(),
  32.             A.VerticalFlip(),
  33.             A.Normalize(),
  34.             ToTensorV2(),
  35.         ])
  37.         self.images = sorted(os.listdir(image_dir))
  38.         self.labels = sorted(os.listdir(label_dir))
  40.         assert len(self.images) == len(self.labels), "Images and labels count mismatch!"
  42.     def __len__(self):
  43.         return len(self.images)
  45.     def __getitem__(self, idx):
  46.         img_path = os.path.join(self.image_dir, self.images[idx])
  47.         label_path = os.path.join(self.label_dir, self.labels[idx])
  49.         image = np.array(Image.open(img_path).convert("RGB"))
  50.         label = np.array(Image.open(label_path))
  52.         # Albumentations 需要 (H, W, 3) 和 (H, W)
  53.         transformed = self.transform(image=image, mask=label)
  55.         return transformed['image'], transformed['mask']
  58. def get_dataloader(data_path, batch_size=4, num_workers=4):
  59.     train_dir = os.path.join(data_path,'train2017')
  60.     val_dir = os.path.join(data_path,'val2017')
  61.     trainlabel_dir = os.path.join(data_path, 'train2017_labels')
  62.     vallabel_dir = os.path.join(data_path, 'val2017_labels')
  63.     train_dataset = COCO2017Dataset(train_dir, trainlabel_dir)
  64.     val_dataset = COCO2017Dataset(val_dir, vallabel_dir)
  66.     train_loader = DataLoader(train_dataset, shuffle=True, batch_size=batch_size, pin_memory=True, num_workers=num_workers)
  67.     val_loader = DataLoader(val_dataset, shuffle=False, batch_size=batch_size, pin_memory=True, num_workers=num_workers)
  68.     return train_loader, val_loader
复制代码
16.png

结语

上述所述的相关数据集就是语义分割任务中常用的数据集了，各个数据集都各有特点：

  • VOC2012 更适用于初学者和基本实验。
  • COCO2017 和 ADE20k 则适用于大规模、多类别的复杂分割任务。
  • CamVid 和 Cityscapes 主要聚焦于自动驾驶和城市环境中的语义分割。
希望上列所述内容对你有所帮助，如果有错误的地方欢迎大家批评指正！
如果你觉得讲的还不错想转载，可以直接转载，不过麻烦指出本文来源出处即可，谢谢！
参考内容

语义分割标签——mask的读取与保存_mask文件-CSDN博客
语义分割数据集：Cityscapes的使用_cityscapes数据集-CSDN博客
ADE20K数据集 - 知乎
图像语意分割Cityscapes训练数据集使用方法详解_图像语意分割训练cityscapes数据集segnet-convnet神经网络详解-CSDN博客
Dataset之CamVid：CamVid数据集的简介、下载、使用方法之详细攻略_camvid数据集下载-CSDN博客

来源：程序园用户自行投稿发布，如果侵权，请联系站长删除
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！

使用道具 举报
相关推荐
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册
发帖
洪势
前天 10:14

0

粉丝关注

5

主题发布

板块介绍填写区域，请于后台编辑
微信扫一扫