光谱遥感影像不仅包含丰富的空间结构与光谱特征，同时蕴含大量可揭示地物规律的频率信息。频域分析能在避免像素冗余的同时，揭示原始图像中难以直接观测的潜在结构。然而，已有的遥感基础模型通常仅在空间或光谱域中进行特征学习，无法同时捕获低频、中频与高频等多层次信息，从而造成语义特征缺失与频域语义割裂的问题。该研究提出一种网络框架Alliance：实现了光谱、空间与频率三域特征的统一建模，有效弥合了多域信息鸿沟，如图1所示。

图1 不同领域信息基础模型的示意图

具体地，Alliance 以人类视觉的“由模糊到清晰”渐进式感知为核心思想，如图2所示，设计了从低频到高频逐步重建的渐进式频率解码机制，在保留原始空间结构的同时强化频域特征的表达；提出了三域统一模块，将幅值、相位与光谱–空间特征分别建模并在特征层面进行协同融合，实现了频域、空间域与光谱域的深度交互；同时引入了频率感知嵌入机制，通过频率感知的分类与掩码 Token 初始化策略，使模型能对不同频段进行细粒度建模，显著提升纹理细节与边界结构的识别能力。Alliance整体框架如图3所示，通过以上创新，打破了传统遥感模型在单一域表征上的结构瓶颈，实现了多域信息的协同感知。在语义分割、变化检测、跨域分割等6个典型遥感任务上实现最优结果。

图2 类人视觉渐进式感知思想示意图

图3 Alliance整体框架图

此外，我们构建了黄河口多时相遥感数据集，涵盖2020、2021、2022三个关键时相，共由15幅高分二号（GF-2）多光谱影像构成，空间分辨率1 m，单幅影像尺寸达10000 × 10000像素，包含8个典型湿地地物类别。该数据集为基础模型在跨域条件下的性能评估提供了统一基准，也为滨海湿地生态系统的智能解译与长期动态监测提供了高质量样本支撑。

该工作由北京理工大学信息与电子学院博士研究生赵伯禹、博士后王俊杰、教授李伟、教授陶然，密西西比州立大学教授Qian Du，以及中国科学院空天信息创新研究院高级工程师杨宏、赵海涛共同合作完成。论文成果《Alliance: All-in-One Spectral-Spatial-Frequency Awareness Foundation Model》发表于计算机视觉、模式识别和人工智能领域顶级期刊——《IEEE Transactions on Pattern Analysis and Machine Intelligence》(影响因子IF=18.6).

 论文链接：https://ieeexplore.ieee.org/document/11275881

 代码链接：https://github.com/zhaoboyu34526/TPAMI-Alliance-2025