DeeplabV3+ 训练自己的遥感数据

一、预处理数据部分

1、创建 tfrecord（修改 deeplab\ dateasets\ build_data.py）

　　模型本身是把一张张 jpg 和 png 格式图片读到一个 Example 里，写入 tfrecord。但我是一个大的 tif 文件，需要把几万像素的图片分割成小块写入到一个 tfrecord 文件里，而 tf 没有对 tif 格式的图片的解码，因此不能直接使用原来的 build_data.py。

　　先用 osgeo 里的 gdal 读取 tif 文件，得到大 tif 的 np.array，再设置步长一块块读取，调用 tobytes() 转成二进制字符串，保存到 tfrecord 中，不过需要把图片 shape 都设置好，大小还有维度，这点有待改进。

　　最后的 tfrecord 里就只有两个数组：原图片和标签值

　　加入高度和宽度信息后会报错，不知道怎么 debug，只能从头到尾固定好大小 321 了

2、data_generator读数据（修改 deeplab\ dateasets\ data_generator.py）

　　加入自己的数据集，只需模仿它已经创建的数据就好，训练验证测试大小，以及忽略值等

　　解码时用 tf.decode_raw() 解码，不用再根据后缀判断调用哪个。

二、训练部分

1、训练（修改 deeplab\ train.py）

　　参数设置里需要指定自己的数据集 dataset

　　由于类别数不同，设置 initialize_last_layer=False，last_layers_contain_logits_only=True

　　crop_size缩小为321（由于内存不够，将其改小，但是crop_size至少要大于300，遵循的公式是(crop_size-1)/4为整数）

2、修改 deeplab\ utils\ train_utils.py

　　159 行改成 exclude_list = ['global_step','logits']，即把 logits 层加到不恢复的列表中，这样才能训练自己的数据，改类别数

　　训练的一些问题可以参考：https://github.com/tensorflow/models/issues/3730

　　logits is the last feature maps before softmax. logits 层是在 softmax 前的最后一层特征图，是没有经过归一化的预测值，如果面对分类问题再经过一层 softmax 就可以得到每类的概率

　　Maybe this can help you.

The vector of raw (non-normalized) predictions that a classification model generates, which is ordinarily then passed to a normalization function. If the model is solving a multi-class classification problem, logits typically become an input to the softmax function. The softmax function then generates a vector of (normalized) probabilities with one value for each possible class.

三、验证部分

1、验证（修改 deeplab\ eval.py）

　　eval.py 不会出现 miou 分数，在 summary 里加入一个 tf.Print 的 op，就可以显示了

四、可视化部分

1、可视化（修改 deeplab\ vis.py）

　　由于没有每个文件的文件名，需要把 vis.py 里有关文件名的地方做相应的修改，sample.HEIGHT,WIDTH 也没有要注释掉。_process_batch 的参数对应修改

　　需要在 get_dataset_colormap.py 中加入自己的数据集

2、可视化标签（再修改 deeplab\ vis.py）

　　原来的 vis 只可视化了图片和预测值，为了方便比较，把真值也显示，把 tfrecord 里的真值读出来就可以

3、可视化预测图像（修改 deeplab\ utils\ get_dataset_colormap.py）

　　加入自己的数据集，根据类别设置颜色个数

　　可视化真值时报错 label[255] 超出索引，把忽略值直接赋值为0解决

五、预测部分

1、修改deeplab\ datasets\ build_data_test.py

　　预测数据没有真值，需要重写一个 build_data

2、修改 deeplab\ input_preprocess.py

　　预测时 label 为 None，但原始影像还是要裁剪，去适配我的 data_generator，原始的不需要因为大小信息都在 tfrecord 里，会自动处理，我指定了大小

3、修改 deeplab\ datasets\ data_generator_test.py

　　不解析 label

参考：https://blog.csdn.net/weixin_38385446/article/details/82781109