站长之家（ChinaZ.com）10月8日 消息:CoDA是一个端到端的开放词汇3D目标检测框架，旨在同时实现新对象的定位和分类。它主要包括两大特点:
1.3D新对象发现策略:利用3D几何先验和2D语义先验联合发现场景中的新对象，生成新对象的伪标签。
2. 基于发现的跨模态对齐:将3D点云特征与图像/文本特征对齐，利用已有类别和不断发现的新对象类别进行对齐，使对齐迭代增强。
项目地址：https://yangcaoai.github.io/publications/CoDA.html
新对象发现可以直接影响跨模态对齐，更好的特征对齐又可以反过来提升定位能力，形成一个统一的开放词汇3D检测框架。
CoDA的创新之处在于:
1. 提出利用3D几何和2D语义联合发现新对象，实现开放词汇场景下的新对象定位。
2. 基于发现的新对象，进行跨模态特征对齐，实现新对象的分类。
3. 新对象发现和跨模态对齐协同训练，相互促进，形成一个端到端框架。
与仅利用CLIP进行开放词汇检测的方法相比，CoDA可以发现更多新对象，同时检测更多已知类别目标，实现了更好的开放世界检测能力。
综上，CoDA是一个非常创新的开放词汇3D目标检测框架，旨在解决这个领域的两个核心问题:新对象的定位和分类，具有非常高的学术价值和应用前景。
（举报）