近日，北京理工大学信息与电子学院博士生赵旭东、张蒙蒙副研究员、陶然教授、李伟教授，比利时根特大学廖文志教授、Wilfried Philips教授共同合作，提出了一种基于分数域空谱深度特征提取的高光谱地物分类方法，研究结果以《Fractional Fourier Image Transformer for Multimodal Remote Sensing Data Classification》为题，发表于图像处理领域顶级期刊IEEE Transactions on Neural Networks and Learning Systems, (影响因子IF:14.255)。

在高光谱空谱信息利用方面，存在因标注样本少、空间邻域特征不足导致的可训练空间光谱特征匮乏、带有复杂空间纹理特征的面目标分类问题。针对该问题，本论文从空谱信息提取方面提出分数傅里叶Transformer（Fractional Fourier Image Transformer，FrIT）骨干网络，以扩充样本特征空间、提取全局和局部的上下文信息。其模型框架如图1所示。

图1. 分数傅里叶Transformer分类框架及其主要模块示意图

在提出的 FrIT框架中，首先利用基于卷积层的局部特征提取器来提取局部上下文信息。然后，提出如图2所示的多个分数傅里叶变换域中的FrIT，扩充用于深度学习的训练样本特征空间，增大地物空间邻域特征和全局空间光谱关联特性的类别辨识度，从而实现高精度的高光谱地物分类。相比于经典视觉图像Transformer中基于注意力的多头表示，FrIT能够加速Transformer架构并减少网络子层之间的信息丢失。

图2. 分数傅里叶Transformer分类框架中的分数傅里叶变换模块及其性质示意图

最后进行了多组实际数据的实验验证，验证了所提出方法在城市区域、农业区域等高光谱地物分类场景中的有效性和鲁棒性。开展了多模态高光谱树种分类任务的应用实例研究，证实了所提方法的实用性，部分的实验结果如图3所示。

图3. 分数傅里叶Transformer分类框架及其对比方法基于Nashua数据集的分类结果

论文链接：https://ieeexplore.ieee.org/document/9830635