制作语义分割数据集(VOC格式)

环境：python3.8 labelme=5.0.1

1、使用labelme标注工具

直接在命令行安装或者在anaconda下面新建虚拟环境安装（避免污染环境，不用的时候可以直接delete该环境）

直接命令行(base)安装

pip install labelme
labelme

创建虚拟环境安装，python版本选择3.8.x,打开Anaconda Prompt

conda create -n labelme python=3.8
conda activate labelme
pip install labelme
labelme

当前自动安装的版本为labelme-5.0.1

标注信息图如下

2:使用Labelme官方提供的脚本json_to_dataset.py把json转换为png形式，对于多分类的数据标注，需要在下面路径找到json_to_dataset.py修改：

虚拟环境下的路径为（具体情况具体分析）：

C:\Users\siyu\miniconda3\envs\labelme\Lib\site-packages\labelme\cli

运行脚本执行转换json操作，以下代码名为labelme_json_to_png.py

# -*- coding: utf-8 -*- 

import os
# json文件的存储路径
json_folder = r"E:/Dataset/3"

#  获取文件夹内的文件名
FileNameList = os.listdir(json_folder)
for i in range(len(FileNameList)):
    #  判断当前文件是否为json文件
    if(os.path.splitext(FileNameList[i])[1] == ".json"):
        json_file = json_folder + "\\" + FileNameList[i]
        #  用程序执行命令,将该json文件转为png
        os.system(r"python C:\Users\siyu\miniconda3\envs\labelme\Lib\site-packages\labelme\cli\json_to_dataset.py " + json_file)

运行上述代码

生成的文件

3：把数据整理为images,segmentations对应的文件夹

脚本如下：spilit_labelme_dataset.py

 1 # -*- coding: utf-8 -*-
 2 import os
 3 import numpy as np
 4 import json
 5 import shutil
 6
 7 def find_dir_path(path, keyword_name, dir_list):
 8     files = os.listdir(path)
 9     for file_name in files:
10         file_path = os.path.join(path, file_name)
11         if os.path.isdir(file_path) and keyword_name not in file_path:
12             find_dir_path(file_path, keyword_name, dir_list)
13         elif os.path.isdir(file_path) and keyword_name in file_path:
14             dir_list.append(file_path)
15
16
17 all_result_path = []
18 src_path = r'E:\DataSet\3'
19 label_save_path = r'E:\DataSet\MyDataset\SegmentationClass'
20 image_save_path = r'E:\DataSet\MyDataset\JPEGImages'
21 find_dir_path(src_path, '_json', all_result_path)              # 找出所有带着关键词(_json)的所有目标文件夹
22 #print(all_result_path)
23
24
25 for dir_path in all_result_path:
26     # print(dir_path)
27     file_name = dir_path.split('\\')[-1]
28     key_word = file_name[:-5]
29     # print(key_word)
30     label_file = dir_path + "\\" + "label.png"
31     new_label_save_path = label_save_path + "\\" + key_word + ".png"      # 复制生成的label.png到新的文件夹segmentations
32     # print(label_file,new_label_save_path)
33     shutil.copyfile(label_file, new_label_save_path)
34
35     img_dir = os.path.dirname(dir_path)                         # 复制原图到新的文件夹images
36     img_file = img_dir + "\\" + key_word + ".jpg"
37     new_img_save_path = image_save_path + "\\" + key_word + ".jpg"
38     shutil.copyfile(img_file, new_img_save_path)

整理后如下图所示

4: 把png转换为label图

前面的用命令行转化的是8为掩码图像，不利于我们操作，因此转化为灰度图

 1 from PIL import Image
 2 import cv2
 3 import matplotlib.pyplot as plt
 4 import numpy as np
 5
 6 root="E:/DataSet/MyDataset/SegmentationClass"
 7 fname="DJI_0001"
 8
 9 # root="./dataset"
10 # fname="DJI_0001_0_0"
11
12 # 使用PIL,就是windows的照片查看器
13 # im = Image.open('%s/%s.png' % (root, fname))
14 # print(im.load()[230,216])
15 # im.show()
16
17
18 im = Image.open('%s/%s.png' % (root, fname))
19 im.show()
20 im = np.array(im)
21 print(im.shape)
22 print("绿色:{0}".format(im[20][126]))
23 print("粉色:{0}".format(im[173][2972]))
24 print("红色:{0}".format(im[1097][661]))
25 print("蓝色:{0}".format(im[745][164]))

运行上述代码可以看到以及变成图像大小的矩阵

在此给出一些查看图片以及具体位置像素的方法

1. 使用PIL库读取图片

# 使用PIL,就是windows的照片查看器
im = Image.open('%s/%s.png' % (root, fname))
print(im.load()[230,216]) #读取像素值
im.show()

2. 使用matplotlib读取并显示图片

# 带坐标和像素值！！好极了

import matplotlib.pyplot as plt

im = plt.imread('%s/%s.png' % (root, fname))
plt.imshow(im)
plt.show()

3. 使用opencv读取图片

import cv2

# opencv显示
img = cv2.imread('%s/%s.png' % (root, fname),)
cv2.namedWindow('Image', cv2.WINDOW_NORMAL )#cv2.WINDOW_AUTOSIZE)
cv2.imshow('Image',img)
cv2.waitKey(0)

5: 划分验证集和测试集

划分验证集与测试集的脚本voc.annotation.py

import os
import random

#-------------------------------------------------------#
#   想要增加测试集修改trainval_percent
#   修改train_percent用于改变验证集的比例 9:1
#
#   当前该库将测试集当作验证集使用，不单独划分测试集
#-------------------------------------------------------#
trainval_percent    = 0.9
train_percent       = 0.9
#-------------------------------------------------------#
#   指向VOC数据集所在的文件夹
#   默认指向根目录下的VOC数据集
#-------------------------------------------------------#
dataset_path  = './MyDataset/'

if __name__ == "__main__":
    random.seed(0)
    print("Generate txt in ImageSets.")
    segfilepath     = os.path.join(dataset_path, 'SegmentationClass')
    saveBasePath    = os.path.join(dataset_path, 'ImageSets/Segmentation')

    if not os.path.exists(saveBasePath):
            os.makedirs(saveBasePath)

    temp_seg = os.listdir(segfilepath)
    total_seg = []
    for seg in temp_seg:
        if seg.endswith(".png"):
            total_seg.append(seg)

    num     = len(total_seg)
    list    = range(num)
    tv      = int(num*trainval_percent)
    tr      = int(tv*train_percent)
    trainval= random.sample(list,tv)
    train   = random.sample(trainval,tr)  

    print("train and val size",tv)
    print("traub suze",tr)
    ftrainval   = open(os.path.join(saveBasePath,'trainval.txt'), 'w')
    ftest       = open(os.path.join(saveBasePath,'test.txt'), 'w')
    ftrain      = open(os.path.join(saveBasePath,'train.txt'), 'w')
    fval        = open(os.path.join(saveBasePath,'val.txt'), 'w')  

    for i  in list:
        name=total_seg[i][:-4]+'\n'
        if i in trainval:
            ftrainval.write(name)
            if i in train:
                ftrain.write(name)
            else:
                fval.write(name)
        else:
            ftest.write(name)  

    ftrainval.close()
    ftrain.close()
    fval.close()
    ftest.close()
    print("Generate txt in ImageSets done.")

6: 将图片划分为更小的图片（可选项）

import cv2
import os
import numpy as np
from PIL import Image

def mkdir(path):
    folder=os.path.exists(path)
    if not folder:
        os.makedirs(path)

#原始图片的h，w
def cutImg(img,cutSize,fileName):
    '''
    img 是图像矩阵,cutSize是裁剪大小(正方形),fileName
    '''
    sumWidth = img.shape[1]  #图片宽、高
    sumHeight = img.shape[0]
    if not os.path.exists(SAVE_DIR):
        os.makedirs(SAVE_DIR)
    rnumber=int(sumWidth/cutSize)
    cnumber=int(sumHeight/cutSize)

    print("裁剪所得{0}列图片，{1}行图片.".format(rnumber,cnumber))
    for i in range(rnumber):
            for j in range(cnumber):
                # imgs=img[j*cutSize:(j+1)*cutSize,i*cutSize:(i+1)*cutSize] #裁剪png时使用
                imgs=img[j*cutSize:(j+1)*cutSize,i*cutSize:(i+1)*cutSize,:] #裁剪jpg时使用,三通道
                a=[j,i,imgs.shape]
                # 裁剪png时使用
                # cv2.imwrite(SAVE_DIR+os.path.splitext(fileName)[0]+'_'+str(j)+'_'+str(i)+os.path.splitext(fileName)[1],img[j*cutSize:(j+1)*cutSize,i*cutSize:(i+1)*cutSize])
                # 裁剪jpg时使用,三通道
                cv2.imwrite(SAVE_DIR+os.path.splitext(fileName)[0]+'_'+str(j)+'_'+str(i)+os.path.splitext(fileName)[1],img[j*cutSize:(j+1)*cutSize,i*cutSize:(i+1)*cutSize,:])
                print(imgs.shape)
                print(a)
    print("裁剪完成，得到{0}张图片.".format(rnumber*cnumber))
    print("文件保存在{0}".format(SAVE_DIR))

# 返回原图和标签的URL
def imgPath(fileName):
    suffix = os.path.splitext(fileName)[1]
    if suffix == ".jpg":
        return os.path.splitext(fileName)[0]

"""调用裁剪函数示例"""
IMG_DIR='E:/DataSet/MyDataset/JPEGImages/'
GT_DIR='E:/DataSet/MyDataset/SegmentationClass/'
CUTSIZE= 512 #裁剪为正方形
SAVE_DIR= './dataset/'

# IMG_PATH=[]
# GT_PATH=[]

FILE_NAME=[]
IMAGE_GT = []

for fileName in os.listdir(IMG_DIR):
    FILE_NAME.append(imgPath(fileName))

for i in FILE_NAME:
    IMAGE_GT.append([IMG_DIR+i+'.jpg',GT_DIR+i+'.png'])

for i in IMAGE_GT:
    jpg = Image.open(i[0])
    jpgName = i[0].split('/')[-1]
    jpg = np.array(jpg)

    """裁剪标签图片"""
    # png = Image.open(i[1])
    # pngName = i[1].split('/')[-1]
    # png = np.array(png)

    cutImg(jpg,CUTSIZE,jpgName)