为解决高光谱伪装目标跟踪中存在的伪彩色偏差、模态嵌入混淆以及初始化困难等问题，本文提出了一种全新的无偏跟踪框架——Causal HyperPrompter，该方法从因果建模、光谱语义建模以及数据稀缺性三个维度出发，系统性地提升高光谱跟踪系统在复杂伪装环境中的判别能力与鲁棒性。

图1 整体框架图

首先，针对当前主流方法将高光谱图像转化为RGB伪彩色图像以适配RGB跟踪器的做法，本文指出该策略引入了严重的伪彩色偏差，会扰乱模型在训练阶段对真实光谱差异的建模能力。为此，本文提出引入结构性因果图网络对输入信号进行解耦，明确区分目标追踪中的因果相关变量与混淆因素，并通过反事实干预策略消除伪彩色图像中的偏差影响，从源头上缓解RGB预训练模型引入的错误归因问题。

其次，为解决模板帧与搜索帧之间的语义关联建模不足的问题，本文设计了一种新的嵌入模块，在该模块中引入了局部光谱角建模机制，用于捕捉目标区域在高光谱维度上的材质差异，从而增强搜索区域中与模板语义一致区域的匹配能力。该模块显著提升了跟踪器对目标位置的敏感性，尤其在背景干扰强、伪装严重或目标与背景视觉相似的情况下，依然能维持较高的定位精度。

再次，本文还指出当前主流跟踪器普遍采用独立位置嵌入策略，即模板与搜索图分别建立位置编码，这种策略虽然提升了局部空间建模能力，但也引入了空间不一致性偏差。为此，本文在网络结构中引入了共享位置上下文建模机制，让模板和搜索区域共享空间先验，从而显式建模目标前景与搜索区域之间的对应关系，缓解了在复杂视觉场景中目标难以聚焦的问题。

此外，针对实际应用中目标初始化困难的问题，本文进一步提出了一个大规模高光谱伪装目标检测与跟踪数据集BihoT-130k，该数据集包含130,750帧图像，覆盖多种真实伪装场景。数据集中提供精确的边界框标注，并支持视频级别的序列跟踪任务，显著缓解了高光谱视频领域长期存在的数据稀缺问题。

综上所述，本文所提出的Causal HyperPrompter框架通过结合结构因果建模、光谱角嵌入、反事实干预机制与大规模数据支撑，在理论与实践层面有效解决了高光谱伪装目标跟踪中存在的多种固有偏差问题。大量实验结果表明，该方法在多个公开高光谱跟踪数据集上均显著优于现有方法，在伪装干扰、遮挡变形以及多目标场景中展现出更强的鲁棒性和泛化能力。

该工作由北京理工大学信息与电子学院博士研究生王瀚正、李伟教授、美国特拉华大学夏香根教授、密西西比州立大学杜谦教授共同合作完成。论文成果《Causal HyperPrompter: A Framework for Unbiased Hyperspectral Camouflaged Object Tracking》发表于图像处理、分析和理解方面的国际顶级期刊——《IEEE Transactions on Pattern Analysis and Machine Intelligence》(影响因子IF=20.4).

论文链接：10.1109/TPAMI.2025.3648020