Spectral–Spatial Feature Extraction for HSI Classification Based on Supervised Hypergraph and Sam...

摘要--高光谱图像(HSI)的分类问题一直是一个具有挑战性的问题，因为HSI数据具有独特的特点(如频带多、光谱和空间域相关性强)和样本容量小。为了解决这一问题，本文提出了一种基于图嵌入和深度学习(DL)模型的HSI分类光谱空间特征提取方法。由于传统的图无法捕捉到HSI数据复杂的流形关系，并且在光谱域中存在类内变化以及不同类间的相似性，因此我们构造了有监督的类内/类间超图(SWBH)来提取HSI的光谱特征。由于DL模型在标记训练样本有限的情况下难以学习HSI数据的代表性特征，因此我们提出采用随机零设置来生成大量新的HSI标记样本，用于卷积神经网络(CNN)的训练。设计的样本扩展CNN (SECNN)用于提取HSI空间特征。因此，将分别从SWBH和SECNN中提取的特征进行融合，可以得到HSI的光谱-空间特征。在三个实际的HSI数据集上的实验表明，该方法具有较高的分类精度。

01. Introduction

传统的图嵌入模型只能捕获一对HSI像素之间的成对关系，忽略了这一对之外的高阶关系，无法挖掘复杂的流形关系。一种有效的解决方案是引入超图，它可以捕捉多个HSI像素之间的高阶关系。

李、赵等人指出：在HSI中，特别是对于高空间分辨率的HSI图像，光谱信息在类内和类间的相似性表现出较大的差异。因此，限制了无监督方法的判别能力，需要利用一些有监督的信息。在这里，我们引入了一个类内/类间图构造准则。因此，具有相同类标签的HSI像素相互靠近，同时具有不同类标签的HSI像素被投影到特征子空间后相互远离。所提出的类内/类间监督超图(SWBH)有助于提取具有较强鉴别能力的HSI光谱特征，但不能区分具有相同波段信息的样本。因此，有必要进一步提取HSI的空间特征。

另一方面，监督学习的CNN的训练仍然需要大量的训练样本。为了解决这个问题，常用的方法包括以下方法：

减少网络参数或简化网络架构。例如，Santara等人提出了一种新的带自适应频谱空间特征学习神经网络(BASS-Net)。与传统CNN相比，BASS-Net具有较少的独立连接权值，因此需要较少的训练样本。在简化网络结构方面，Pan等人引入PCA网络(PCANet)对HSI进行分类，并提出用核PCA (KPCA)代替PCA实现更复杂的非线性映射的NSSNet。需要注意的是，简化的网络体系结构可能导致DL模型的表达和泛化能力下降。
样本扩展。如Li等人[45]提出了一种具有像素对特征(CNN- PPF)的CNN来解决带标记训练样本的稀缺性。首先，HSI表示为一维(1D)向量形式，即，只考虑光谱信息。然后，通过对像素对的类标签的比较，得到新的训练样本，从而生成较多的训练样本，保证了对大量CNN参数的学习。

为了保证CNNs训练的充分，从而提取出具有代表性的空间特征，需要扩展包含空间信息的训练样本。因此，基于HSI的邻域表示，我们提出了一种将训练样本随机设置为零的样本的样本增强方法。同时，随机零设置意味着添加噪声，使得训练后的深度模型更加鲁棒(即，可以识别无噪声样本，对噪声样本有较强的辨别能力)。此外，以较少的参数增加为代价，引入 $1 \times 1$ 的卷积核的构造样本扩展CNN (SECNN)。总之，通过图形嵌入和DL模型，我们提出了一种新的HSI分类的光谱-空间有限元方法，可以同时学习HSI的光谱-空间特征表示。更具体地说，我们在这项工作中的主要贡献概述如下。
1）我们构建了一个监督的类内/类间超图，即SWBH，以提取具有强判别能力的HSI的光谱特征。 SWBH -> 光谱特征
2）我们设计了深度神经网络架构，即SECNN，以学习更具代表性的HSI空间特征。 SECNN -> 空间特征

02. 光谱-空间特征提取方法

提出的HSI分类光谱-空间特征提取方法框架如图所示，包括三个阶段

HSI分类光谱空间FE方法框架如图

三个阶段分别为:

HSI分别以向量和邻域的形式表示。
分别采用SWBH方法对光谱特征进行处理；SECNN方法对空间特征进行处理。
将学习到的光谱特征与空间特征相结合，形成HSI的光谱空间特征

2.1 SWBH 提取光谱特征

超图

图是一种常见的数据结构，常规的图的边是连接两点之间的一条边，其更关心的是这一条边所连接的两个样本点之间的关系，是pairwise之间的关系。但是在实际中，我们不仅仅需要两点之间的关系，而是更要关心一个样本点与其他一类样本点之间的关系，这种复杂的关系是无法描述的。更加常见的例子：在论文发表的过程中，如果一篇论文只有一个作者，那么就可以用常规的图结构进行表示，如果一篇论文有多个作者的时候，描述科研人员之间的合作关系，使用常规的图结构就很难表示。这个时候我们就可以引入超图的概念，为了更好的理解，下面展示一张图：

左边的表说明了点与边的关系。中间的图是普通的图结构，右边的图是超图

右边的超图中每一个圆圈中点的集合就是我们的hyperedge。可以看出hypergraph更多强调的是集合的概念，一个hyperedge更多说明的是许多顶点的集合。在图像识别中，我们就可以认为图像的每一个属性都是一个hyperedge，hyperedge重叠的部分就是图像相同的属性，重叠部分越多说明两个样本是同一类的可能性越大。

使用hypergraph可以尽可能的描述样本点与整个样本数据的属性关系，只能当属性（超边）重叠多的时候才可以说明两个样本是属于通一类，它避免了只比较两个数据样本相似性的缺陷。

SWBH用于提取HSI的光谱特征。它使属于不同类的像素之间的距离最大化，并使具有相同类的像素保持接近。

我们定义类内超图 $G^{\mathrm{p}}=\left(V^{\mathrm{p}}, E^{\mathrm{p}}, w^{\mathrm{p}}\right)$ ；类间超图 $G^{\mathrm{q}}=\left(\boldsymbol{V}^{\mathrm{q}}, \boldsymbol{E}^{\mathrm{q}}, \boldsymbol{w}^{\mathrm{q}}\right)$ 。

$\boldsymbol{V}^{\mathrm{p}}=\left[\boldsymbol{v}_{1}^{\mathrm{p}}, \ldots, \boldsymbol{v}_{N}^{\mathrm{p}}\right] \in \mathrm{R}^{N \times B}$ 表示类内超图顶点集合；
$\boldsymbol{V}^{\mathrm{q}}=\left[\boldsymbol{v}_{1}^{\mathrm{q}}, \ldots, \boldsymbol{v}_{N}^{\mathrm{q}}\right] \in \mathrm{R}^{N \times B}$ 类间超图的顶点集合。

$\boldsymbol{E}^{\mathrm{p}}=\left\{\boldsymbol{e}_{1}^{\mathrm{p}}, \ldots, e_{M}^{\mathrm{p}}\right\}$ 表示类内超图的超边；
$\boldsymbol{E}^{\mathrm{q}}=\left\{\boldsymbol{e}_{1}^{\mathrm{q}}, \ldots, e_{M}^{\mathrm{q}}\right\}$ 表示类间的超边。

类内超边 $e_{j}^{\mathrm{P}}$ 是由第 $j$ 个样本的 $K_1$ 个相邻顶点组成， $K_1$ 个样本与第 $j$ 个样本具有相同的类标签。
类间超边 $e_{j}^{\mathrm{q}}$ 由第 $j$ 个样本的 $K_2$ 个相邻顶点组成， $K_2$ 个样本不一定与第 $j$ 个样本具有相同的类标签。设 $K_1 = K_2 = K$ 。

SWBH目的是要学习一个投影矩阵 $P$ ，利用该矩阵可以将输入的HSI光谱数据通过一下步骤映射到特征子空间。

2.2 SECNN提取空间特征

HSI的邻域表示是通过在一个指定的窗口大小内选择几个中心像素的像素来形成的。

使用距离中心像素空间位置最近的5 * 5-size窗口时，HSI相邻区域的示意图。

如果将所有波段直接用于HSI邻域表示，并将其视为SECNN的输入，则存在以下几个问题：

频带尺寸冗余影响性能；
SECNN网络参数随之急剧增加。
为了解决这个问题，一种常用的方法是利用主成分分析(PCA)对邻区域进行降维，以得到低纬度的邻域表示。

由SECNN得到的HSI空间特征提取流程图如图3所示，包括两个阶段。第一个阶段是样本扩充，第二个阶段是CNN训练。CNN包括卷积层、下采样层、非线性层、11个卷积层、全连接层和Softmax层。

SECNN得到的HSI空间特征提取流程图

提取的深度空间特征是最后一层的特征。Softmax分类层的输出是训练HSIs的预测类标签。由于标注的HSI样本难以获取，使用DL提取HSI空间特征时会出现以下矛盾：

层数越少，无法提取深度特征；
层数越多，标注较少的样本网络训练不足，导致过度拟合。

为了解决这一矛盾，我们提出了一种将训练样本随机设置为零的样本扩展方法。第i个样本作为一个例子，几个地点周边地区是随机的值设置为零，图3中的蓝色区域。这里，0的个数是 $F2 \times b$ ，我们展开样本F1次。因此，带有相同的类标签的F1训练样本 $\chi_{i}^{\prime}$ 生成。这样可以满足大量贴标样品的要求。通过随机零位设置，可以得到含有噪声的数据，从而使学习模型更加鲁棒和一般化。需要注意的是，增强的样本仅用于网络的训练阶段，不用于测试阶段。

接下来，就是平常的卷积网络，作者使用最大池化和sigmoid作为激活函数。卷积核采用 $1 \times 1$ 的小卷积核；下采样是为了将输入的特征图降维，同时提高数据的局部特征不变性。反向传播用的批量随机梯度下降（BSGD）。

03. 实验分析

考察参数：
类内/类间超图的相邻参数，平衡系数，特征子空间的维数，窗口大小，学习率和训练样本的数量

类内/类间超图的相邻参数 $K$ 和平衡系数 $\lambda$

K值太小表示由一个超边连接的顶点数量较小，这可能导致流形关系表示不足。
K值太大可能会导致有噪声顶点的连接。

平衡系数 $\lambda$ 是用来控制类内和类间超图的贡献。在HSI中存在一种现象：不同的物体可能有相同的光谱带。 $\lambda$ 值较小意味着在类内超图的影响是主导， $\lambda$ 值较大意味着在类间超图的影响是主导，这都会将增加区分这些对象的的难度。

Relationship betweenK, λ, and OA. (a) Indian Pines dataset. (b) Pavia University dataset. (c) Salinas dataset

经过实验对比，参数设置如下：

Indian Pines dataset：λ = 0.1 and K = 9
Pavia University dataset：λ = 0.01 and K = 2
Salinas dataset：λ = 0.7 and K = 7

特征子空间维度

在此基础上，研究了在测试集上SWBH的特征子空间的维数与OA之间的关系，如图6所示：

Fig. 6. Relationship between the dimensionality of the feature subspace and OA

随着特征子空间维数的增加，三个HSI数据集上的OAs均先增大后趋于稳定。
当特征子空间维数为30时，OAs达到最大值。

因此，我们将光谱特征的维数设为30。

窗口大小：

分析了窗口大小对测试集SWBH SECNN分类性能的影响。表I显示了不同窗口大小下OA与消耗时间的比较。

可以观察到以下情况：

随着窗口大小的增大，OA逐渐增大，且时间变长。
当窗口大小为 $17 \times 17$ 或 $21 \times 21$ 时，OAs看起来非常接近，而后者可能导致更高的计算成本。因此，在综合考虑精度和效率的基础上，选取 $17 \times 17$ 作为三个高光谱数据集的最优窗口大小。

BSGD的学习率

BSGD的学习率决定了反向传播过程的收敛速度，对深度模型的训练性能有显著影响。不同学习率下OA的收敛曲线如图7所示。

Fig. 7. Convergence curves of OA under different learning rates. (a) Indian Pines dataset. (b) Pavia University dataset. (c) Salinas dataset.

从图中看出：

所有的OAs一般随着迭代次数的增加而增加，当学习率不太大时，基本保持不变。
在一定范围内，较大的学习率不仅可以加快收敛速度，还可以提高分类精度。但过分大的学习速率( $\alpha= 0.5$ )可能会降低分类精度甚至使网络发散。因此,在接下来的实验中， $\alpha = 0.1$ 用于接下来的实验。

训练样本个数

最后，我们研究了每类对象的训练样本个数与测试集OA之间的关系。

Fig. 8. Relationship between the number of training samples per class and OA. (a) Indian Pines dataset. (b) Pavia University dataset. (c) Salinas dataset

从图8可以看出，如下观察结果：

无论训练样本的数量如何，SWBH-SECNN始终在所有三个HSI数据集中产生最高的OAs。这是直观的，因为SWBH SECNN综合利用了光谱-空间信息，而SWBH和SECNN分别只使用光谱和空间信息。换句话说，相对于SWBH或SECNN，SWBH-SECNN利用了更多有用的HSI信息。
对于不同的HSI数据集，所有OAs一般都随着训练样本数量的增加而增加。原因是，SWBH、SECNN和SWBH-SECNN都属于监督算法。由于更多的训练样本在计算上更昂贵，为了在准确性和效率之间进行权衡，我们在下面的实验中将每个类的训练样本数量设置为200。

总结

HSI分类是遥感界一个活跃而富有挑战性的课题。与HSI分类相关的几个关键挑战：

由于波段之间的强相关性而带来的维数灾难
标记训练样本的稀缺
光谱信号的空间变异性。

本文将图嵌入和DL模型相结合，提出了一种新的HSI FE分类方法——SWBH-SECNN。提出的SWBH-SECNN的主要优点如下:

可以同时学习HSI的光谱和空间特征表示。
构建的SWBH不仅能够捕捉到HSI数据的高阶流形关系，而且能够有效地解决同一物体具有不同光谱和同一光谱具有不同物体的问题。
所提出的随机零设置方式可以提供大量的样本，为深度模型的充分训练提供足够的样本，所学习的深度模型对噪声样本具有较强的判别能力。

由于对每个表面对象进行HSI象素的手工标注在实际中存在一定的困难，因此，监督的SWBH - SECNN方法的适用性受到了限制。在今后的工作中，我们将把SWBH-SECNN方法扩展到无监督或半监督的方法。

读后感

我能借鉴的地方：

利用了图学习，学习了光谱特征
看这作者意思，应该是一个双流网络，一个提取光谱特征；一个执行空间特征，这证明我之前的想法是可以执行的。这种分别提取还是joint提取特征，那种提特征的方式好，还有待考证
提出了一种不同以往的样本增强的方式。随机将窗口的数据样本中的某些像素点置为0，这样获得样本标签相同，既增强了样本，又为训练数据加入了噪声，提高了网络的泛化能力和鲁棒性。

不懂之处：

本文没有说明光谱和空间特征是如何融合的
投影矩阵P有什么作用和特征子空间（数学问题）