由北京理工大学信息与电子学院硕士研究生张海昊、助理教授吕蒙等人共同合作完成的基于事件的稠密立体匹配的科研成果论文《Enhanced Event-based Dense Stereo via Cross-Sensor Knowledge Distillation》被接收于计算机视觉领域三大顶会之一的[IEEE/CVF International Conference on Computer Vision, ICCV 2025] (CCF-A，h5-index=256，录用率24%)。
事件相机凭借低延迟和高动态范围的优势，可以在快速运动和极端光照条件下实现立体匹配。然而，由于事件数据的稀疏性，仅凭其获取稠密视差是不适定问题。考虑到强度图像提供的密集特征，出现了结合事件和强度图像进行密集立体匹配的趋势。虽说在性能上带来了重大突破，但这些方法在推理阶段需要同时输入事件和强度图像，使得事件数据的低延迟特性被无意间牺牲。
为解决上述问题，该研究提出了一种通过强度图像到事件的跨传感器蒸馏以实现稠密立体匹配的框架。强度图像中密集且结构化的信息为异步事件提供了有效的正则化手段，尤其适用于不适定区域。我们设计了一种新颖的特征对齐策略，首次实现了双目到双目的蒸馏。具体来说，该研究设计了一种多层级的综合性强度图像到事件的蒸馏策略，充分挖掘浅层特征中蕴含的的模态特性，以及深度抽象表征中蕴含的和任务相关的上下文理解。此外，为确保跨视图一致性，构建了基于变形的强度图像-事件联合左右一致性模块。本框架中的强度图像仅在训练阶段使用，推理时仅需输入事件即可获得稠密的视差值。相较于结合事件和强度图像进行立体匹配的方法来说，该方案具有更高灵活性，既能保留事件数据的低延迟特性，又能显著降低推理负担。
图1 整体框架图
图1展示了该方法的整体框架。该框架包含两个结构完全相同的分支，分别命名为事件分支和强度图像分支。训练时，强度图像分支将海量纹理知识和稠密结构信息传递至事件分支。整个蒸馏过程包含三个层级：浅层特征蒸馏、深层特征蒸馏以及logit级蒸馏。同时，考虑到浅层特征之间存在的显著模态差异。该研究并未采用简单的对齐方式，以防止干扰到原始模态的专属信息。具体来说，该研究从长距离和局部两个视角，采取综合的蒸馏策略。在推理阶段，仅保留事件分就能实现高效且稠密的视差预测，更重要的是，这种设计保留了事件数据的低延迟特性。
图2 MVSEC数据集定性比较
在两个公开的数据集MVSEC和DSEC上进行了全面的实验，图2为在MVSEC数据集中密集视差估计的定性比较。该研究所提出的方法在训练阶段充分利用了强度图像的细节和纹理信息，与现有技术相比展现出优越性。
论文页面：https://iccv.thecvf.com/Conferences/2025/AcceptedPapers
