MASKGROUP: HIERARCHICAL POINT GROUPING AND MASKING FOR 3D INSTANCE SEGMENTATION

ABSTRACT

本文研究了 3D 实例分割问题，该问题在机器人技术和增强现实等现实世界中具有多种应用。由于3D物体的周围环境非常复杂，不同物体的分离非常困难。为了解决这个具有挑战性的问题，我们提出了一个新的框架来对 3D 实例进行分组和优化。在实践中，我们首先为每个点学习一个偏移向量并将其移动到其预测的实例中心。为了更好地对这些点进行分组，我们提出了一种分层点分组算法来逐步合并集中聚合的点。所有点都被分组为小簇，这些小簇进一步逐渐经历另一个聚类过程以合并成更大的组。这些多尺度组被用于实例预测，这有利于预测具有不同尺度的实例。此外，还开发了一种新颖的 MaskScoreNet 来生成这些组的二进制点掩码，以进一步细化分割结果。在 ScanNetV2 和 S3DIS 基准上进行的大量实验证明了所提出方法的有效性。例如，我们的 MaskGroup 在 ScanNetV2 测试集上以 0.5 IoU 阈值实现了 66.4% 的 mAP，比最先进的方法高出 1.9%。

索引词——点云、3D 实例分割、分层点分组

1. INTRODUCTION

为了解决 3D 实例分割问题，探索了一系列基于检测的方法 [1、2]，用于从观察到的点数据预测 3D 边界框。这些方法生成一个掩码以获取边界框内的实例。此外，基于嵌入的方法 [3、4、5、6、7] 为每个点学习空间或特征嵌入向量，并利用聚类算法获得实例。例如，Jiang 等人 [6] 提出了 PointGroup，这是一种端到端的自底向上架构，它通过考虑对象之间的空隙空间来对 3D 点进行分组。 PointGroup 首先学习空间偏移以将对象点移向它们的实例中心。然后，根据空白区域的距离对所有点进行聚类。一定距离内的两个点合并为一组。然而，很难确定一个特定的单一距离来满足各种情况&