当前位置：首页 > news >正文

SLAIM：一个实时的RGB-D NeRF-SLAM系统

news 文章来源：https://blog.csdn.net/weixin_40359938/article/details/138491053 2024/10/24 13:18:02

SLAIM：一个实时的RGB-D NeRF-SLAM系统与现有的NeRF-SLAM系统相比，我们的方法在跟踪性能上始终表现出更强的竞争力。我们的方法采用体积密度表示，并引入了一种新的KL正则化器在射线终止分布上，将场景几何限制为空隙空间和不透明表面。https://mp.weixin.qq.com/s/YzUdxIIvgebqpszaL1okLA

01 引言

尽管最近的NeRF-SLAM系统在跟踪和3D重建方面取得了进展，但它们的跟踪性能通常仍然不如传统的SLAM系统。一些最近的工作通过使用高斯金字塔滤波器来平滑输入信号，从而扩大了优化损失函数的吸引域，以避免陷入局部最小值。

本文提出了一种名为SLAIM的基于神经辐射场(NeRF)的鲁棒稠密实时RGB-D SLAM系统，该系统能够在线进行跟踪和建图。作者指出，现有的NeRF-SLAM系统在跟踪性能上通常不如传统的SLAM系统。为了解决这个问题，作者提出了一种新的基于NeRF的粗细粒度跟踪和建图方法。

02 方法

作者提出了一个基于高斯金字塔滤波的粗细粒度跟踪和建图方法。他们首先在重建的图像和真实图像上都应用了高斯金字塔滤波器，以在早期迭代中有效平滑输入信号，从而扩大优化损失函数的吸引域，避免陷入局部最小值。然后，他们通过在多个金字塔层上采样像素，并计算对应的颜色和深度值，来限制NeRF像素重建的范围。

2.1 NeRF pre-requisites

该节介绍了NeRF的预先要求，包括：

· 使用多分辨率哈希网格表示场景几何，并使用两个浅层MLP解码器来估计给定3D输入位置的颜色和密度。

· 定义了射线终止分布 $w(r)$ ，并通过采样方法将其近似为高斯分布。

· 渲染颜色和深度像素时，使用alpha合成沿射线的值。

· 场景被限制在单位立方体内，并且使用固定步长 $\Delta r$ 进行均匀采样。

2.2 Depth Supervision

该节介绍了使用深度监督的重要性。使用直接对深度值进行回归的方法可能会导致在只有有限视角的区域出现重构错误。因此，作者提出了一种新的方法，通过在射线终止分布上应用KL正则化，使其成为单峰分布，并将其中心对准深度测量。

2.3 Coarse-to-fine Tracking and Mapping

该节提出了一种基于高斯金字塔滤波的粗细粒度跟踪和建图方法。使用高斯金字塔滤波器平滑输入信号，以在早期迭代中扩大优化损失函数的吸引域，避免陷入局部最小值。在重建图像和真实图像上都应用了高斯金字塔滤波器。

· 高斯金字塔滤波：作者在重建的图像和真实图像上都应用了高斯金字塔滤波器，以在早期迭代中有效平滑输入信号，从而扩大优化损失函数的吸引域，避免陷入局部最小值。具体来说，作者在重建图像上使用了卷积滤波器，在真实图像上使用了中值滤波器。

· 像素采样：作者在多个金字塔层上采样像素，并计算对应的颜色和深度值，来限制NeRF像素重建的范围。这个采样范围对应于原始图像的某一感受野。

· 粗细粒度跟踪和建图：作者将这种粗细粒度的策略应用于跟踪和建图过程中。在跟踪过程中，作者首先在粗粒度图像上进行局部束调整，然后在细粒度图像上进行全局束调整，以获得最佳的跟踪和重建结果。在建图过程中，作者首先在粗粒度图像上进行局部优化，然后在细粒度图像上进行全局优化。

03 实验

作者在多个数据集(ScanNet, TUM, Replica)上进行了实验，结果表明，与仅使用粗粒度或细粒度的方法相比，这种联合使用可以获得更好的跟踪和重建性能。

04 结论

本论文介绍SLAIM，一个鲁棒的实时的RGB-D NeRF-SLAM系统，能够在实时中进行在线跟踪和建图。与现有的NeRF-SLAM系统相比，我们的方法在跟踪性能上始终表现出更强的竞争力。我们的方法采用体积密度表示，并引入了一种新的KL正则化器在射线终止分布上，将场景几何限制为空隙空间和不透明表面。我们的解决方案实现了局部和全局束调整，以产生一个稳健（粗细粒度）和准确（KL正则化）的SLAM解决方案。

我们在多个数据集（ScanNet, TUM, Replica）上进行了实验，结果显示，在跟踪和重建准确性方面，我们的方法取得了最先进的结果。我们的方法是第一个在跟踪和3D重建方面同时达到最先进水平的NeRF-SLAM系统。