HYPERSPECTRAL IMAGE CLASSIFICATION USING TWOCHANNEL DEEP CONVOLUTIONAL NEURAL NETWORK阅读笔记

HYPERSPECTRAL IMAGE CLASSIFICATION USING TWOCHANNEL  DEEP  CONVOLUTIONAL NEURAL NETWORK

论文地址：https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=7730324

1、文章简介：

该论文是用双通道卷积神经网络CNN分别提取空谱信息，然后将得到的抽象特征级联为全连接层的输入，以此作为空谱联合信息输入两层全连接层以及softmax层。此外，文中针对小样本问题，引入了迁移学习。

工作贡献：“与手工特征提取相比，所提出的深度模型可以自适应地学习光谱 - 空间联合特征，其包含来自光谱和空间域的语义和判别信息。 此外，学习的特征可以转移到不同的数据或任务[9]。 当训练样本有限时，可以从其他场景的模型转移底层和中层，只需要从有限的训练样本中训练前几层。 这样，即使在小的训练样本情况下，所提出的方法也可以很好地执行。”

2、算法简介：

3.1 从网络结构上说：

①文中首先构造了两个通道分别提取空谱特征：

Ⅰ、光谱通道：输入是一个以像素点为单位的一维数据，经过1-D cnn和1-D pooling堆叠处理，输出一个特征向量。

Ⅱ、空间通道：以预测像素点为中心的空间邻域，沿光谱轴做平均，得到一个二维数据作为该通道输入，经过2-D cnn和2-D pooling堆叠处理，输出一个特征向量。

（ps：文中说每个波段不可避免含有噪声，且“将噪声建模为具有零均值的高斯噪声”，沿光谱维取平均具有“融合所有波段的空间信息并抑制噪声”功能。）

②利用空谱联合特征进行预测标签：

将第①步中得到的两个特征向量级联，作为空谱联合特征，然后接两层全连接层，然后经过softmax层进行预测标签。

3.2 从训练上说：

“为了提高有限训练样本情况下的分类性能，我们使用来自其他遥感场景的标记样本训练网络，然后将底层和中层迁移当前场景的网络，并使用以下方法对顶部全连接层进行微调。”

 3、实验结果和分析：

对于Indian Pines高光谱数据：

其中training sample指的是每类选取的训练样本数，文中指出，万一某类的样本数不够，只要在此类中选取一半的样本数量去训练。

two-CNN就是使用上述网络结构，但不用迁移学习的算法。

two-CNN-transfer就是是用来网络结构还用迁移学习，其中迁移数据只训练底层和中层的权值，然后带上全连接层用真实数数据微调后测试。

“虽然Indian pines和Salinas Valley之间的土地覆盖类型存在巨大差异，但从Salinas Valley学到的低水平和中等水平特征可以在Indian pines上重复使用，因为低和中特征反映了当地的空间结构 ，这在不同的场景和任务中是通用的。 转移层为Indian pines上的双CNN训练提供了良好的初始化，并导致分类的改进。但是，随着训练样本数量的增加，深层模型可以从当前场景中学到足够的信息，学到的功能可能比迁移的功能更好，这可以解释当训练样本数为200时双CNN迁移学习的性能减少。”

ps：我觉得论文里某些公式写的挺好，后面写论文可参考

例如：损失函数：

网络结构说明：