多源遥感主要分为主动遥感和被动遥感两类，其中主动遥感（SAR、LiDAR）可主动发射无线电磁波并接收回波信号进行成像，被动遥感（高光谱、可见光等）则通过反射太阳光获得地面信息。被动遥感协同通常可以通过数据融合方法实现空间和光谱分辨率的一致提升，然而主被动遥感由于成像机理差异，相比于数据融合，特征融合策略更加适用。以高光谱和SAR 图像为例，高光谱图像能够刻画地物的纳米级光谱响应，然而其空间分辨率相对较低且易受云雾等恶劣天气干扰；SAR能够更好的刻画纹理细节，且具有全天时、全天候的观测特性。因此精准提取高光谱图像的优势光谱特性以及SAR 图像的空间纹理和极化特征，能够实现地物目标的多维度表达。然而主被动特征异质性强，既存在互补性又存在冗余，限制多源遥感数据的协同表征性能。主要体现在两方面：（1）多源遥感数据异质且信息量不平衡，不同数据源对分类贡献不一致，传统融合方式易导致信息冗余，模态增益降低；（2）传统特征提取模型忽略了数据源间的优势信息，特征判别性较差，导致地物识别精度低。

  针对以上问题，实验室设计了一种全新的空谱感知网络（Spatial-Spectral Perception Network）进行多源遥感数据协同分类。具体算法框架如图1所示，所提方法主要由空间感知网络、光谱感知网络和交叉感知网络组成。空间感知网络用于构建不同土地覆盖类型的分布关系，而光谱感知网络则提取光谱响应的依赖关系，交叉感知模块通过记忆单元存储空间维和光谱维的判别信息用于分类。

  该方法是由北京理工大学信息与电子学院博士研究生高云浩、王俊杰，北京理工大学信息与电子学院陶然教授、李伟教授、张蒙蒙老师等共同合作完成。论文成果《Relationship Learning from Multisource Images via Spatial-Spectral Perception Network》被接收于顶级期刊电气和电子工程师协会图像处理汇刊 [IEEE Transactions on Image Processing, 2024] (影响因子IF: 10.6)。

图1. 论文中所提出的基于空谱感知网络的地物分类框架图