高光谱视频同时包含丰富的空间、光谱和时间信息，使其在应对目标跟踪任务中的背景杂波干扰和视觉相似性挑战方面具有显著优势。然而，现有方法普遍侧重于波段重组，并依赖RGB跟踪器进行特征提取，导致对高光谱特有信息的利用存在局限，难以实现多模态特征的互补建模。

为解决上述问题，本文提出了一种具有光谱角度感知能力的空间-光谱融合网络（SSF-Net）。首先，为了提取鲁棒的特征表示并促进跨模态融合，我们设计了一种专用于高光谱图像的空间-光谱特征骨架网络。该网络由多个空间-光谱卷积模块（SSCBs）构成，能够有效捕捉局部空间结构与光谱响应之间的耦合关系。此外，通过引入下采样层和残差连接，模型在提取高级语义特征的同时，实现了特征的自然融合与传递。其次，为了有效整合RGB模态的视觉信息，引入了光谱注意力融合模块（SAFM）。该模块能够自适应地从RGB和HS两个模态中提取互补信息，捕捉跨模态、跨波段的背景线索，从而为高光谱分支提供更加丰富和稳定的视觉提示。与其他融合策略相比，SAFM在保持光谱一致性的同时，增强了高光谱特征的判别性。进一步地，为深入挖掘波段间的潜在关联，并提升目标跟踪的鲁棒性，本文提出了光谱角度感知模块（SAAM）以及相应的光谱角度感知损失函数（SAAL）。该模块借鉴光谱角度相似性的思想，通过计算特征向量间的夹角来度量光谱相似性，引导分类分支更加准确地进行位置预测。在模板图像与搜索图像之间，正样本对应区域的光谱角应尽可能小，而负样本应具有较大的光谱角。通过引入SAAL进行训练，SAAM能够有效提升对目标位置的感知能力，进一步增强分类头的判别性能。

最后，为提升整体性能，本文还设计了加权预测模块，对RGB和HS模态的预测结果进行融合，实现更稳健的目标定位与跟踪。

该工作由北京理工大学信息与电子学院博士研究生王瀚正、李伟教授、田静教授、美国特拉华大学夏香根教授、密西西比州立大学杜谦教授共同合作完成。论文成果《SSF-Net: Spatial-Spectral Fusion Network with Spectral Angle Awareness for Hyperspectral Object Tracking》发表于图像处理、分析和理解方面的国际顶级期刊——《IEEE Transactions on Image Processing》(影响因子IF=10.8)。

图1 SSF-Net整体框架图

论文链接：https://doi.org/10.1109/TIP.2025.3572812