01 概述 使用具有丰富空谱特征的高空间分辨率（HSR）遥感图像进行变化检测对于了解土地利用和土地覆盖（LULC）变化至关重要。以往的工作大多集中在传统的二类变化检测上，没有考虑土地变化类别的语义信息。深度学习（DL）显示了其在HSR遥感图像变化检测上的优势，然而，由于大量的参数计算，DL网络往往需要大量的标记数据。此外，用于变化检测的DL方法通常遵循基于斑块（patch）的学习框架，该框架只考虑局部区域，从而导致语义变化检测的样本不平衡问题。为了解决上述问题，本文提出了孪生全局学习（Siam-GL）框架。Siam-GL框架构建了参数共享的孪生结构，以有效提取双时相HSR遥感图像的代表性特征；设计了全局层次化（G-H）采样机制，以解决样本不平衡下的样本训练问题；此外，在编码器和解码器之间加入了二类变化掩膜，以削弱无变化区域背景对变化区域前景的影响，进一步提高了框架的准确性。本文使用了中国三个典型城市的HSR数据，实验结果表明，Siam-GL框架优于当前的语义变化检测方法。此外，为了验证Siam-GL框架的泛化性能，本文使用了一个尺寸更大的数据集进行评估，结果表明Siam-GL框架具有较强的泛化性能。 02 方法 Siam-GL 框架由编码器和解码器组成，整体流程图如图1所示。 图1 基于Siam-GL框架的语义变化检测流程图 Siam-GL 框架的骨干网络是具有权重共享的孪生架构，它从输入影像对中提取特征。如图1所示，双时相影像的特征由两个相同的分支学习。通过连接块，影像对的特征对和一个二类变化掩膜连接在一起，并输入到解码器中，最后通过解码器和softmax函数得到语义变化检测图。 （1）Siam-GL中的孪生架构 在传统的变化检测中，单分支网络需要将两个输入图像转换为一个输入，从而导致信息丢失。因此，本文采用双分支网络同时输入两幅图像，相比单分支网络具有更快的收敛速度和更高的稳定性。为了使模型训练更容易，本文使用的内核大小是最常见的 3×3。此外，在HSR遥感图像语义变化检测时，由于高类内或低类间的光谱可变性，使用差值的方式可能导致最终检测结果中的信息丢失；而连接的方式能够保持所有特征值的唯一性，更加适用于语义变化检测。所提出的 Siam-GL 框架的孪生架构如图2所示，图中橙色层为无上采样的反卷积层，灰色层为上采样的反卷积层。 图2 Siam-GL中的孪生架构 （2）Siam-GL中的二类掩膜约束 从已有的少数语义变化检测数据集中不难发现，图像中不变类的比例总是大于变化类的比例。为了抑制未变化类的影响，本文使用二类变化检测的结果作为变化掩膜约束来避免对不变区域的检测，将无变化背景的区域值替换为0，使得只有相关变化的图像区域可见，从而减少误差。另一方面，变化掩膜的约束必然对后续的结果存在一定的正面及负面影响。然而，通过滤除不变区域背景的噪声，变化掩膜可以重新加权不平衡的前景和背景类概率，从而提升了语义变化检测效果。从实验结果中也可发现，基于孪生架构获取的变化掩膜较为接近真实的变化掩膜图像，也在一定程度上减少了其负面影响。 （3）Siam-GL中的G-H采样机制 在语义变化检测图中，每个类别的标记样本数量往往存在不充分不平衡的问题，如果使用传统的基于斑块的采样方法，最终检测结果的准确性将受到限制。因此，提出了全局层次化（G-H）采样机制，G-H采样的核心思想是无斑块全局学习。在G-H采样机制中，我们从整幅图像中随机选择离散的训练样本，并将它们组合成一个层次化序列。除选定的训练样本数据外，其他数据均作为测试数据。Siam-GL框架中输入的层次化训练数据平衡了每个类的数量，从而提高了模型的鲁棒性。 03 实验 在实验中，我们使用具有不同空间分辨率和几何复杂性的三个数据集来评估所提出的 Siam-GL 框架。为了证明 Siam-GL 框架的有效性，我们选择了几种典型的语义变化检测方法进行比较：基于中线变化向量分析（MCVA）的方法、基于主成分分析的（PCA-based ) 方法、基于分类后比较（PCC-based）的方法、条件随机场（CRF）和深度孪生卷积网络(DSCN)。在对比实验中，MCVA方法采用两步阈值法确定最佳阈值范围。基于PCA的方法首先对差值图像进行变换，然后使用支持向量机（SVM）方法对其进行分类。其中，SVM分类中核函数类型为径向基函数，核函数中的gamma为0.25。对于 DSCN 方法，初始学习率设置为 0.001，动量和权重衰减分别设置为 0.9 和 0.0005。 04 结果 图4展示了汉口数据集的实验结果（其他数据结果与分析参考论文，如图5、图6）。该数据集有四个多光谱波段（红、绿、蓝和近红外波段），空间分辨率为 4 m，由IKONOS卫星于 2008 年和 2009 年获得。数据集的地理位置在中国湖北省武汉市，汉口数据集的大小为400×300。在该数据集中，LULC的主要变化集中在植被、道路、建筑、工地等语义类别之间的转换，如图3（a）和（b）所示。图3（c）和（d）分别显示了变化检测和语义变化检测的参考图。 图3 汉口数据集。(a) 2008 年获得的图像。(b) 2009 年获得的图像。(c) 变化检测参考图。(d) 语义变化检测参考图。 实验中训练样本数为标记像素的5%，在汉口数据集上的不同语义变化检测方法（PCA、MCVA、PCC_SVM、PCC_NNet、CRF、DSCN和Siam-GL）的结果如图4所示。由于图像压缩处理，PCA和MCVA结果中存在严重的变化信息丢失，基于 PCC 的方法的结果也呈现出许多检测误差，CRF 和 DSCN 结果显示出更好的性能并减少了误差的数量，Siam-GL 框架的结果优于其他语义变化检测方法。从所有方法的实验结果可以看出仍存在许多误分类，这是因为汉口数据集中LULC类的材质难以区分（例如道路和建筑物），导致对变化类的错误分类。 图4 汉口数据集上的语义变化检测结果。(a) 语义变化检测参考图。(b)PCA。(c) MCVA。(d) PCC_SVM。(e) PCC_NNet。(f) CRF。(g) DSCN。(h) Siam-GL。 图5 十堰数据集上的语义变化检测结果。(a) 语义变化检测参考图。(b)PCA。(c) MCVA。(d) PCC_SVM。(e) PCC_NNet。(f) CRF。(g) DSCN。(h) Siam-GL。 图6 广州数据集上的语义变化检测结果。(a) 语义变化检测参考图。(b)PCA。(c) MCVA。(d) PCC_SVM。(e) PCC_NNet。(f) CRF。(g) DSCN。(h) Siam-GL。 05 结论 本文提出了用于语义变化检测的孪生全局学习（Siam-GL）框架。对于HSR遥感图像，现有针对语义变化检测任务的方法仍然很少。在 Siam-GL 框架中，全局层次化 (G-H) 采样机制将训练数据分成许多小批量训练样本，这些样本能够用于生成不同的随机梯度并保证收敛，从而解决实际应用中样本数据不充足、类别不平衡的难题。此外，由具有相同结构和权重的孪生网络分支获得的双时相图像的特征图，并由解码器生成二类变化检测图作为二类变化掩膜，从而获取高效的LULC语义变化检测结果。实验结果表明，Siam-GL 框架在多个 HSR 数据集上取得了优异的变化检测结果及泛化性能，从而为城市动态监测、合理规划与可持续发展提供理论及技术支撑。 致谢：在此工作完成期间，在数据方面得到了武汉大学测绘遥感信息工程国家重点实验室石博士及团队成员的大力帮助与支持，在此表示衷心感谢。  |
|
|
