近日，北京理工大学信息与电子学院博士生高晨钟、李伟教授、陶然教授，美国密西西比州立大学杜谦教授共同合作，提出了一种基于多尺度局部主方向特征提取的多源遥感图像配准方法，研究结果以《MS-HLMO: Multi-scale Histogram of Local Main Orientation for Remote Sensing Image Registration》为题，发表于顶级期刊电气和电子工程师协会地学与遥感汇刊IEEE Transactions on Geoscience and Remote Sensing (IEEE TGRS，影响因子IF: 8.125)。

图1 基于多尺度局部主方向特征提取的配准方法

本文是课题组关于多模态图像鲁棒特征提取、多源图像匹配问题研究的最新成果。图像配准是遥感图像应用中的关键步骤，尤其是对于多源遥感。随着对地观测系统的迅速发展，为了实现对场景的深入分析，通过联合多传感器、多时相、多视角的数据，能够获取并利用多源数据更全面的信息，以弥补单个源数据信息上的不足。利用多源遥感影像实现对地深度分析已成为趋势。而多源图像在空间上的精确配准是成功实现如数据融合、变化检测、联合分析等后续应用技术的先决条件。然而，由于图像之间的强度、旋转和尺度差异，多源图像配准极具挑战性。

针对多源遥感图像的特点和差异，课题组提出了一种基于多尺度局部主方向直方图特征(Multi-scale Histogram of Local Main Orientation, MS-HLMO) 的配准算法（图1）。首先采用Harris角点检测生成特征点，之后利用局部主方向图(PMOM)和广义梯度位置和方向直方图(GGLOH)特征描述符，提取每个Harris特征点的HLMO特征，该特征具有较高的强度、旋转和尺度不变性，进一步通过一种多尺度匹配策略对特征点进行匹配。综合实验表明，提出的MS-HLMO配准算法在有效性和通用性方面优于其他现有最新算法（图2、3），可有效解决包括各种光学影像（如可见光、红外、多光谱、高光谱等）、SAR影像、LiDAR影像、数字地图等在内的多传感器、多时相的同、多源图像配准问题。

图2 多源遥感影像特征点匹配效果   图3 多源遥感影像配准效果

该算法目前已经应用于课题组关于多源联合分类、多源重建、变化检测等实际的图像处理工作中，正在向工程化应用推进，即将推出一套基于MS-HLMO的通用图像配准软件(图4)。

图4 通用图像配准软件

论文链接：https://ieeexplore.ieee.org/document/9837033

算法Demo：https://github.com/MrPingQi/MS_HLMO_registration