高光谱图像分类简述+《Deep Learning for Hyperspectral Image Classification: An Overview》综述论文笔记

论文题目《Deep Learning for Hyperspectral Image Classification: An Overview》

论文作者：Shutao Li, Weiwei Song, Leyuan Fang，Yushi Chen, Pedram Ghamisi，Jón Atli Benediktsson

论文发表年份：2019

发表期刊：IEEE Transactions on Geoscience and Remote Sensing

一、高光谱简述

　　高光谱成像是一项重要的遥感技术，它采集了从可见光到近红外波段的电磁光谱。在高光谱图像（Hyperspectral Image，HSI）中，每个像素都可以看作是一个高维向量，像素的数值对应于特定波长的光谱反射率。高光谱图像分类是对图像中每个像素的类标签进行分类的任务，在遥感图像分析中有着广泛的应用，包括精准农业，环境分析，军事监视，矿物勘探，城市调查等。下面是高光谱图像的结构与伪彩色合成示例。

　　

　　在HSI分类任务中，存在的主要的挑战:

　　1)空间同质性和异质性问题：高光谱图像的光谱特征受光照、环境、大气和时间条件的变化以及地物种类等影响，导致不同种类的地物有相似的光谱，或相同种类的地物有差别较大，容易产生同谱异物、 同物异谱等现象，从而降低分类器的分类精度。

　　2)维数灾难：精度会随着特征维数的增大而呈现先增后减的趋势，分类器的泛化能力会随着维数的增加而减弱。

　　3)相对于高光谱数据的高维，可用的训练样本有限。某些方法会出现不适定问题，降低分类器的泛化能力。

参考资料：1.莱森光学 https://www.bilibili.com/read/cv17306582/ 出处：bilibili

　　　　　2.高光谱图像分类存在的问题

图片来源：1.百度图片

　　　　　2.高光谱图像分析：分类 I_datamonday的博客-CSDN博客_高光谱图像

二、论文摘要简述

本文对基于深度学习的HSI分类文献进行了系统回顾。具体来说，首先总结了传统机器学习方法无法有效克服的HSI分类的主要挑战，并介绍了深度学习在处理这些问题上的优势。在此基础上，构建了光谱特征网络、空间特征网络和光谱空间特征网络的框架，系统回顾了基于深度学习的人机交互分类的最新成果。此外，考虑到遥感领域现有的训练样本通常非常有限，而训练深度网络需要大量的样本，我们加入了一些提高分类性能的策略，可以为该课题的未来研究提供一些指导。

 三、传统机器学习方法

　　在HSI分类的早期研究中，大多数方法都侧重于探索HSI光谱特征在分类中的作用，如SVM、多项逻辑回归、动态或随机子空间。然而，由于没有考虑空间上下文，这些像素级分类器得到的分类图并不令人满意。后续有利用扩展形态谱(EMPs)方法和设计复合核和形态核多核学习等方法来探索光谱空间信息。还有基于强度或纹理的相似性等探索空间一致性的方法。尽管大多数基于光谱空间的人机交互分类方法取得了良好的性能，但它们严重依赖手工或基于浅层的描述。

四、DEEP MODELS：

stacked auto-encoders(SAEs),

deep belief networks (DBNs),

convolutional neural networks (CNNs),

recurrent neural networks (RNNs),

generative adversarial networks (GANs).

1.SAEs

Auto-encoder (AE)是 stacked auto-encoder(SAE)的主要构建模块。下图为单隐藏层的auto-encoder。模型通过最小化输入“x”和重建输出“y”之间的误差来学习隐藏特征“h”。h = f(w_hx + b_h)，y = f(w_yx + b_y)

SAE可以通过堆叠多层AEs来构建，这些AEs将一层的输出连接到以下几层的输入。（逐层训练）

具体实施方案（联合光谱-空间分类框架）：

2.DBNs

受限玻尔兹曼机(RBM)是一个分层训练模型，被认为是DBN的主要构建模块。下图表示受限玻尔兹曼机，顶层代表隐藏的单元，底层代表可见的单元。

为了提高单个RBM的特征表示能力，可以将多个RBM进行堆叠，建立一个DBN，通过学习DBN可以提取训练数据的深度层次表示。下图显示了由多个RBM层组成的DBN。

3.具体的cnn、rnn、gan类型不再阐释

 五、基于深度网络的HSI分类

与传统的特征提取方法相比，深度学习可以从复杂的高光谱数据中自动学习高级特征。有了这些判别性特征，基于深度学习的方法可以有效地解决光谱特征空间变异性大的问题。下面把方法分为基于光谱特征的网络、基于空间特征的网络、基于光谱-空间特征的网络分别阐述。

1.Spectral-Feature Networks

如1-D CNN、1-D GAN和RNN提取光谱特征进行HSI分类。利用CNN提取的像素对特征来探索超光谱像素之间的相关性，卷积运算主要在光谱域进行。

2.Spatial-Feature Networks

如将PCA和CNN相结合的网络，既提取了判别性空间特征，又降低了计算量。

如用稀疏表示技术，将CNN提取的深度空间特征编码为低维稀疏特征，以提高特征表示能力和最终分类精度。

如采用off-the-shell CNNs(如AlexNet和GoogLeNet）提取深度空间特征。

3.Spectral-Spatial-Feature Networks

联合深光谱空间特征主要通过以下三种方法获得:

1)通过深度网络将低水平光谱空间特征映射到高水平光谱空间特征;

2)直接从原始数据或原始数据的几个主成分中提取深度特征;

3)融合两个独立的深度特征(即深度光谱特征和深度空间特征)。

基于这一观测结果，光谱-空间特征网络可进一步分为三类:基于预处理的网络、综合网络和基于后处理的网络。下图描绘了三种网络的范式，按照光谱信息与空间信息融合的处理阶段进行划分。下面将讨论这三种网络。

①Preprocessing-based networks:

总体而言，整个分类过程可分为三个阶段:低水平光谱空间特征融合、基于深度网络的高水平光谱空间特征提取、将基于深光谱空间特征的分类与简单分类器联合进行分类。

②Integrated networks：

通过二维CNN直接提取原始数据的联合光谱-空间特征，而不是分别获取光谱和空间特征再一起处理。

利用3d CNN有效提取深度光谱-空间组合特征，进行精确的HSI分类。实际上，高光谱数据通常可以用三维立方体的格式表示。因此，光谱和空间的三维卷积自然可以提供一种更有效的方法来同时提取这类图像的光谱-空间特征。

利用语义分割领域非常成功的全卷积网络(fully convolutional network, FCN)重建高光谱数据，该网络可以通过监督的方式或无监督的方式学习hsi的深度特征。

使用3d GAN作为光谱-空间分类器。在基于gan的HSI分类框架中，首先设计了一个CNN来区分输入，称为判别模型。然后用另一个CNN生成所谓的假输入作为生成模型。

③Postprocessing-based networks：

整个分类过程包括以下步骤:通过两个深度网络获得深度光谱特征和深度空间特征、将两种特征融合到一个完全连通的层中，生成联合的深光谱空间特征、基于深光谱空间特征的HSI分类与后续分类器联合。

分别使用一维CNN分支和二维CNN分支提取光谱特征和空间特征。然后，将学习到的光谱特征和空间特征拼接并反馈给全连通层，提取联合光谱空间特征进行分类。

六、针对有限样本的策略

1.数据增强：1)基于转换的样本生成2)基于混合的样本生成

2.迁移学习

3.无监督的特征学习方式，通过传输训练好的网络并对标记好的数据集进行微调，可以提高分类性能。

4.网络优化：通过采用更高效的模块或功能来进一步提高网络性能，例如使用残差连接构建更深的网络，选用合适的激活函数以及归一化方法。

七、实验

　　实验是对几种深度学习方法的比较，包括包括SVM、EMP、联合备用表示(JSR)和边缘保持滤波(EPF)，3D-CNN（《Deep feature extraction and classification of hyperspectral images based on convolutional neural networks》）， Gabor-CNN，带有像素对特征的CNN (CNN-PPF)，暹罗CNN (S-CNN) ， 3D-GAN和深度特征融合网络(DFFN)，用于HSI分类。在这些研究的方法中，SVM和CNN-PPF在分类时只使用了光谱特征。EMP、JSR、EPF、3D-CNN、Gabor-CNN、S-CNN、3D-GAN、DFFN等方法均属于基于光谱空间特征的分类方法。

　　下面是实验结果：

Houston：

Pavia:

Salinas:

　　本文还对几种提高分类精度的优化策略（数据增强、迁移学习和剩余学习）做了实验，最终结果表明在训练样本较少的情况下，这些策略确实在一定程度上提高了网络的性能，而残差学习在所有方法中获得了最高的改善。

八、总结展望

　　用于HSI分类的深度网络分为光谱-特征网络、空间-特征网络和光谱-空间-特征网络，每个类别提取相应的特征。同方法的分类精度表明，基于深度学习的方法总体上优于基于非深度学习的方法，残差学习和特征融合相结合的DFFN方法的分类性能最好。此外，考虑到遥感中可用的训练样本通常非常有限，而训练深度网络需要大量的样本，我们也纳入了一些提高分类性能的策略。实验结果表明，残差学习在所有方法中获得了最高的改善。本实验结果可为该课题的进一步研究提供一定的指导。