近期，由北京理工大学信息与电子学院博士生高晨钟、李伟教授、硕士生翁德圣、陶然教授、美国特拉华大学夏香根教授、密西西比州立大学杜谦教授共同合作完成关于“全模态图像不变特征提取及匹配”的理论及方法研究，成果论文《HIMO: Cross-Arbitrary-Modality Image Invariant Feature Transform with Hierarchical Intrinsic Major Orientation》发表于模式识别与人工智能领域顶级期刊——IEEE Transactions on Pattern Analysis and Machine Intelligence（CCF-A，影响因子IF=18.6）。
不变特征提取与匹配是计算机视觉领域的核心问题，构成了图像配准、单应性与位姿估计、运动恢复结构以及诸多下游任务的基础。其关键目标是在光照、视角、几何形态或传感条件发生变化时，仍能在图像之间建立可靠的像素对应关系。
图1 全模态图像通用匹配思想
早期算法仅针对单一模态的光学影像，随传感器技术发展，跨模态图像匹配被提出，旨在匹配由异构传感器捕获的图像，例如可见光-红外、光学-SAR，或医学影像中的CT-MRI。由此引出了一个根本性问题：是否存在一种跨任意图像数据模态的高度不变性基础特征，从而设计一种无需针对特定模态进行适配，即可泛化于任意模态的表征，这种表征将能够为描绘同一场景的任何图像实现自动空间对齐。
图2 受人类视觉启发的图像底层机理分析
基于上述思考，受人类视觉启发，研究提出了一种以方向信息为核心的不变性特征提取方法，命名为本征主体主方向（Intrinsic Major Orientation，IMO）。该方法在跨模态图像的低层级特征域具有高度不变性和强泛化性，定义了一种具有明确物理可解释性的新型“梯度”形式，摆脱依赖黑箱式模型学习，探索一种具有清晰推导过程的特征，为跨模态不变特征提取研究和方法设计提供了新颖的视角以及有力的指导。
图3 基于图像“不变方向信息”的本征主体方向（IMO）特征
以IMO为核心，研究进一步开发了一套完整链条的图像匹配算法——层次化本征主体方向（Hierarchical Intrinsic Major Orientation ，HIMO）算法。该算法构建于一种级联动态多尺度匹配策略（Cascaded Dynamic Multi-scale Strategy，CDMS）上，并设计了出一种有效的特征差分抑制（Difference of Feature Suppression，DoFS）关键点检测增强方法以及极坐标金字塔（Polar-Pyramid，PolarP）特征描述符。该算法为纯手工设计的传统架构，实现非数据驱动的跨数据源普适性、旋转与尺度鲁棒性，以及对多样图像纹理、场景的适应性。
图4 所提出的层次化本征主体方向（HIMO）算法整体框架图
此外，考虑到图像匹配精度评价指标缺乏金标准，研究设计了两个具有明确物理意义的指标，即正确匹配分布（Distribution of Correct Matches，DCM）和N检查点均方根误差（Root Mean Square Error of N Check Points，RMSECP-N），用以补充现有评估指标，具备实用价值。
图5 所提出的评价指标DCM 图6 所提出的评价指标RMSECP-N
研究配套发布了两个标准化的大规模跨模态数据集——通用跨模态区域（General Cross-modal Zone，GCZ）和广域多源（Wide-area Diverse Sources）数据集，是国际上首批公开的、达到此数据规模和模态多样性的真实影像跨模态图像匹配数据集。
图7 发布的国际上首个达10源以上的精准对齐跨模态真实影像数据集——GCZ
图8 发布的7场景精准对齐跨模态真实影像数据集——WDS
实验结果表明，HIMO在跨模态不变性、算法稳定性以及跨多样成像条件的泛化能力方面均达到了优越性能，超越了现有最新的跨模态图像匹配传统架构算法和深度学习模型，提出的数据集在算法评估和模型训练方面展现了实用价值。经验证，HIMO的模态适应性达到数十种，完全覆盖当前图像处理领域常见图像模态，同时具备有效的旋转、尺度差异等空间即便的鲁棒性。
图9 所提图像匹配算法公开数据集表现效果
图10 所提图像匹配算法极强的模态泛化性和匹配能力
论文链接：https://ieeexplore.ieee.org/document/11435911
算法demo：https://github.com/MrPingQi/HIMO_ImgMatching
