论文学习笔记 - Classifification of Hyperspectral and LiDAR Data Using Coupled CNNs

Classifification of Hyperspectral and LiDAR Data Using Coupled CNNs

来源：IEEE TGRS 2020

下载：https://arxiv.org/abs/2002.01144

Abstract

本篇论文的主要工作就是基于信息融合的分类任务。

在这篇论文中，作者通过使用两个耦合的CNN，提出一种融合高光谱和LiDAR数据的框架。设计一个CNN从高光谱数据中了解光谱空间特征，另一个则用于捕获来自LiDAR数据。它们都由三个卷积层组成，最后两个卷积层通过参数共享策略。在融合阶段，特征级融合和决策级融合方法同时用于集成这些充足的异质特征。对于特征级融合，评估了三种不同的融合策略，包括串联策略，最大化策略和求和策略。对于决策级融合，加权采用求和策略，确定权重通过每个输出的分类精度。

提出的模型根据在美国休斯顿获得的城市数据集进行评估，还有在意大利Trento农村地区捕获的数据。在休斯顿数据中，作者的模型可以达到新记录，整体精度为96.03％。在Trento数据上，其总体精度为99.12％。这些结果充分证明了作者提出的模型的有效性。

INTRODUCTION

文中模型的数据源是两幅异质图像——高光谱图像（HSI）和激光雷达（LiDAR）图像。

HSI图像相比MSI具有更丰富的光谱信息，但是对于同一材质的物体区分性较弱，他们具有相似的光谱回应。不同于HSI，LiDAR可以记录物体的海拔信息，能够为HSI提供补充，二者优势互补。

例如：区域中的楼房和道路由同样的混凝土结构组成，HSI图像很难区分二者之间的差别，但是LiDAR图像则可以准确区分出楼房和道路，因为他们有不同的高度。相反，LiDAR无法区分两条用不同材料（沥青和混凝土）组成的道路，而可以用HSI。因此，融合高光谱和LiDAR数据是一种很有前途的方案，其性能已经得到了验证。

METHODOLOGY

作者提出的模型主要包括两个网络：用于光谱空间特征学习的HSI网络

和用于海拔特征学习的LiDAR网络。它们每个都包含一个输入模块，一个特征学习模块和融合模块，如上图所示。在特征学习模块中，输入的HSI图像和LiDAR图像分别通过一个三层的网络结构进行特征提取，三层网络结构中的后两个卷积层权值共享。权值共享能够减少网络参数，而且有利于两个分支统一优化。特征提取后则进入信息的融合模块，在融合模块中，构造了三个分类器，每个CNN都有一个输出层，它们的融合特征也具有输出层。

如图2所示，两组图像特征首先通过特征级融合 \(F\) 获得特征级融合特征\(F3=F1+F2\) 或者 \(F3=max(F1,F2)\)，特征级融合可以采用逐元素相加或者Max函数。然后对上述 \(F1,F2,F3\) 分别以下操作：

\[y1=softmax(W1F1), y2=softmax(W2F2), y3=softmax(W3F3), y1,y2,y3\in R^{c*1}
\]

然后文中使用决策级融合 \(D\) 获得最终的融合特征：\(O=F1\odot y1+F2\odot y2+F3\odot y3\)，\(\odot\) 为加权操作。

然后 \(L1\) 表示HSI图像（\(y1\)）的交叉熵损失，\(L2\)表示LiDAR图像（\(y2\)）的交叉熵损失。\(L3\)表示融合信息（\(O\)）的交叉熵损失。所以最终的损失函数为：

\[L=\lambda1L1+\lambda2L2+L3
\]

EXPERIMENTS

CONCLUSIONS

在将来需要探索更强大的邻近提取方法，因为当前的分类图仍然存在过度平滑的问题。