随着对地观测平台和遥感传感器类型的日益丰富，信息获取技术呈现快速和多样化的发展趋势。联合多传感器技术实施综合探测与分析，能够弥补单传感系统在地物信息解译上存在的不可靠性和不准确性。特别地，以高光谱（被动遥感）图像HSI为中心，联合其他主动遥感（合成孔径雷达SAR、激光雷达LiDAR）技术，开展多源遥感图像协同分类研究已成为对地观测与解译研究领域的热点研究方向之一。然而，现有多源遥感图像协同分类方法大多专门设计用于HSI+SAR数据或者HSI+LiDAR数据，导致场景适应性不足；现有设计用于HSI+SAR、HSI+LiDAR数据的协同分类方法大多采用跨模态重构等结构，导致模型复杂度较高；此外，这些模型大多采用后融合等单一信息交互策略，忽略了多模态异质性对特征提取与融合过程的影响，导致不同数据源之间优势互补信息利用不充分、融合特征冗余性较高且判别性较差，大大限制了地物分类性能。

  针对上述问题，实验室设计了一种新的多模态联合分类统一框架（Global Clue-Guided Cross-memory Quaternion Transformer Network），同时解决HSI+LiDAR、HSI+SAR多源遥感图像协同分类问题。具体框架如图1所示，所提出协同分类框架由两个轻量级特定模态局部特征提取分支、一个全局信息跨模态建模分支、类挤压扩展融合结构、交叉记忆四元数变压器结构等组成。三个分支联合类挤压扩展融合结构在低复杂度下逐层交互多模态信息，实现低异质性、强互补性的多模态局部和全局特征提取。交叉记忆四元数变压器结构通过记忆存储机制，充分挖掘模态内和模态间特征的潜在作用关系，提取更具判别性的多模态融合特征，实现多源遥感图像协同分类。最后进行了多组HSI+LiDAR、HSI+SAR数据的仿真实验，验证了所提出方法与现有技术相比的场景适应性和性能优越性。

  该方法是由北京理工大学信息与电子学院博士后胡文帅、李伟教授、陶然教授，西南交通大学信息科学与技术学院李恒超教授，以及阳光学院人工智能学院黄风华教授共同合作完成。论文成果《Global Clue-guided Cross-memory Quaternion Transformer Network for Multisource Remote Sensing Data Classification》被接收于顶级期刊电气和电子工程师协会神经网络和机器学习汇刊 [IEEE Transactions on Neural Networks and Learning Systems, 2024] (影响因子IF: 10.4)。

图1 论文中所提出的多源遥感图像协同分类框架图