基用于3D目标检测的层级图网络

作者: 徐家兴

来源: 学术头条

发布日期: 2020-09-01

本文提出了一种基于层级图网络(HGNet)的图卷积(GConv),用于3D点云目标检测。HGNet通过形状注意图卷积(SA-GConv)捕捉物体形状,结合U形网络和改进的voting模块生成多级特征,最终通过候选推理模块提升检测性能。该方法在SUN RGB-D和ScanNet-V2数据集上表现优异,并通过消融实验验证了各模块的有效性。

由于大多数现有的点云对象检测方法不能充分适应点云的特征(例如稀疏性),所以一些关键的语义信息(如物体形状)不能被很好的捕捉到。本文提出了一种基于层级图网络(HGNet)的图卷积(GConv),可以直接将点云作为输入来预测3D的边界框。

形状注意图卷积(SA-GConv)可以通过剑模点的位置星系来描述物体形状,基于SA-GConv的U形网络可以通过改进的voting模块获取多层级的特征进而生成候选,然后一个基于图卷积的候选推理模块考虑全局的场景语义来对边界框进行预测。该框架在两个大规模点云数据上的表现超过了目前最先进的模型。

由于点云的稀疏性,一些已有的为网格形式数据设计的方法(如CNN)在点云上的表现并不好,为解决这一问题,最近有一些对点云数据的方法被提出,例如基于投影的方法、基于体卷积的方法和基于PointNet的方法。前两种试图将点云数据严格转换为网格结构数据,而后一种则在不明确考虑点的几何位置的情况下聚合特征。与其他方法相比,PointNet++可以保留点的稀疏特点,因此被广泛作为框架的骨架。

当目前仍有一些未能很好解决的挑战,首先由于没有考虑点的相对几何位置,因此使用PointNet++作为主干忽略了一些局部形状信息。其次,框架的结构没有充分利用多级语义,这可能会忽略一些有助于目标检测的信息。

本文提出了一个基于图卷积(GCONV)的层级图网络(HGNet)用于基于点云的3D目标检测。HGNet包含三部分:一个基于图卷积的U形网络(GUnet)、一个候选生成器以及一个候选推理模块(ProRe Module)。整个HGNet以端到端的方式进行培训。在本文的框架中,点云的局部形状信息、多级语义和全局场景信息(候选的特征)已被层级图模型充分捕获、聚合和合并,充分考虑了点云数据的特征。

本文的主要贡献如下:(A)开发了一种新的层级图网络(HGNet),用于在点云上进行3D对象检测,其表现好于已有方法。(B)提出了一种新颖的SA-(De)GConv,它可以有效地聚合特征并捕获点云中对象的形状信息。(C)构建了一个新的GU-net,用于生成多级特征,这对于3D对象检测至关重要。(D)利用全局信息,ProRe模块通过对候选进行推理来提高效果。

本文在SUN RGB-D和ScanNet-V2两个数据集上进行了实验。此外,本文还进行了消融实验以证明各模块的有效性。本文提出了一种新颖的HGNet框架,该框架通过层级图建模学习语义。具体来说,作者提出了一种新颖且轻巧的形状注意图卷积来捕获局部形状语义,该语义聚合了点的相对几何位置的特征。基于SA-GConv和SA-DeGConv构建了GU-net,生成了包含多级语义的特征金字塔。

要素金字塔投票的点将位于相应的对象中心,并且进一步聚合多级语义以生成候选。然后使用ProRe模块在候选之间合并和传播特征,从而利用全局场景语义来提高检测性能。最后,对边界框和类别进行了预测。

UUID: 5714aff1-5e81-45e8-a463-b7ffab99410f

原始文件名: /home/andie/dev/tudou/annot/AI语料库-20240917-V2/AI语料库/学术头条公众号-pdf2txt/学术头条2020年-下/2020-09-01_CVPR2020基用于3D目标检测的层级图网络.txt

是否为广告: 否

处理费用: 0.0043 元