实验室在类非平衡点云语义分割方面科研成果被IEEE TPAMI接收
点云语义分割能够增强对3D环境的理解，是视觉任务的重要组成部分。基于深度学习的分割模型的性能和泛化能力本质上取决于训练数据质量与特性。然而，获取类间平衡的数据往往具有挑战性，使用不平衡数据训练智能分割网络可能导致认知偏差。该研究提出了一种网络框架InvSpaceNet，其通过生成逆特征空间来缓解数据不平衡引起的认知偏差，如图1所示。具体而言，该框架设计了双分支训练架构：将实例平衡采样数据的优质特征表征与所提逆采样数据引入的认知修正相结合。在辅助分支生成的点云逆特征空间中，通过对比损失约束按类别聚合的中心点。为了优化逆特征空间的类认知，通过动量更新将特征转化为点云类原型。这些来自逆空间的类原型被用于生成与主分支分割网络正向特征空间对齐的特征图和结构图。通过不同损失函数反向传播的梯度，动态引导主分支的训练。
图1: InvSpaceNet缓解认知偏向于多数类别的示意图
图2: InvSpaceNet整体框架图
图2展示了该方法的整体框架。顶部分支为逆特征空间生成过程，在训练阶段通过逆特征空间中的特征原型监督底部分支的主特征空间。推理阶段仅保留主分支，从而避免引入额外计算开销。InvSpaceNet能有效缓解类别不平衡分布带来的负面影响，在不增加推理计算复杂度的前提下显著超越基线模型性能。此外，本文提出一种点云逆特征空间生成方法：通过对聚合后的中心点特征施加对比损失约束，优化该空间的特征分布；同时采用动量更新策略生成特征图与结构图，使其与主分支特征对齐并作为逆特征空间的信息传输通道。针对不同损失的反向传播梯度尺度差异，本文还设计了动态损失权重调整策略以平衡信息传递过程。
该工作由北京理工大学信息与电子学院博士研究生韩嘉威、刘凯琪助理教授（通讯作者）、李伟教授、张峰副教授，美国特拉华大学夏香根教授共同合作完成。论文成果《Generating Inverse Feature Space for Class Imbalance in Point Cloud Semantic Segmentation》被接收于计算机视觉、模式识别和人工智能领域顶级期刊—《IEEE Transactions on Pattern Analysis and Machine Intelligence》(影响因子IF="20.8)。
代码链接：https://github.com/Javion11/PointLiBR
