遥感图像融合集成了多源遥感数据的优势，通过融合不同波段、分辨率及时相的图像信息，极大地丰富了图像的空间细节、光谱表征及时间连续性，为环境监测、资源高效管理、灾害快速评估等关键领域构筑了坚实的数据基石，对于推动科学决策与精准施策具有不可估量的价值。然而，当前多数遥感图像融合方法均基于一个理想化前提，即输入图像已完美配准，这在一定程度上忽略了实际应用中图像间普遍存在的视差问题。由于图像源自不同卫星或传感器，其捕获位置、观测角度等差异，自然引入了难以避免的视差挑战。即便是同源卫星同步采集的数据，若未经严格的正射校正等预处理步骤，亦难保证完全配准，从而影响后续分析的准确性。尽管遥感图像配准领域已涌现出众多高效算法，并展现出优异的配准效果，但数据的即时处理瓶颈仍限制了这些技术的广泛应用。以高分系列遥感影像为例，地面接收站处理的海量数据中，相当一部分因缺乏及时的预处理而处于不完全配准状态，这直接阻碍了图像在分类、目标检测等后续任务中的有效应用。特别是在农作物病虫害监测等亟需实时响应的领域，要求对所有数据进行全面预处理显然不切实际，进一步凸显了开发能够应对不完全配准图像的鲁棒性融合算法的紧迫性。

  针对上述问题，实验室设计了一种新的多模态遥感图像配准与融合一体化网络，具体算法框架如图1所示，所提方法融合了配准与融合两大核心环节，旨在构建一个高效、鲁棒的处理流程。配准网络部分，设计了全局空间形变网络与局部空间扭曲网络相结合的双层架构。该网络采用由粗到细的策略，逐步对输入图像进行空间变换，有效消除因不同卫星或传感器造成的视差，确保图像间达到高度的配准精度。这一过程不仅提升了配准的效率，还显著增强了配准结果的稳定性与准确性。融合网络则进一步集成了多尺度特征提取网络与空间细节增强网络，形成了一套全面的信息处理体系。在确保图像完全配准的基础上，融合网络能够深入挖掘并整合多尺度下的图像特征，同时强化纹理细节信息，使融合结果能够更全面地捕捉并理解复杂数据中的潜在模式与关系。这种设计极大地提升了融合图像的信息丰富度与实用性，为后续的环境监测、资源管理、灾害评估等应用提供了更加精准、全面的数据支撑。

  该方法是由北京理工大学信息与电子学院博士生熊璋玺、博士后赵晓彬、李伟教授、陶然教授，北京航空航天大学人工智能研究院张宝昌教授，以及密西西比州立大学Qian Du教授共同合作完成。论文成果《PRF-Net: A Progressive Remote Sensing Image Registration and Fusion Network》被接收于顶级期刊电气和电子工程师协会神经网络和机器学习汇刊 [IEEE Transactions on Neural Networks and Learning Systems, 2024] (影响因子IF: 10.4)。

图1. 论文中所提出的配准+融合一体化框架图

图2. 配准+融合结果