⚠️ 以下所有内容总结都来自于 大语言模型的能力，如有错误，仅供参考，谨慎使用
🔴 请注意：千万不要用于严肃的学术场景，只能用于论文阅读前的初筛！
💗 如果您觉得我们的项目对您有帮助 ChatPaperFree ，还请您给我们一些鼓励！⭐️ HuggingFace免费体验
2025-03-05 更新
GS-CPR: Efficient Camera Pose Refinement via 3D Gaussian Splatting
Authors:Changkun Liu, Shuai Chen, Yash Bhalgat, Siyan Hu, Ming Cheng, Zirui Wang, Victor Adrian Prisacariu, Tristan Braud
We leverage 3D Gaussian Splatting (3DGS) as a scene representation and propose a novel test-time camera pose refinement (CPR) framework, GS-CPR. This framework enhances the localization accuracy of state-of-the-art absolute pose regression and scene coordinate regression methods. The 3DGS model renders high-quality synthetic images and depth maps to facilitate the establishment of 2D-3D correspondences. GS-CPR obviates the need for training feature extractors or descriptors by operating directly on RGB images, utilizing the 3D foundation model, MASt3R, for precise 2D matching. To improve the robustness of our model in challenging outdoor environments, we incorporate an exposure-adaptive module within the 3DGS framework. Consequently, GS-CPR enables efficient one-shot pose refinement given a single RGB query and a coarse initial pose estimation. Our proposed approach surpasses leading NeRF-based optimization methods in both accuracy and runtime across indoor and outdoor visual localization benchmarks, achieving new state-of-the-art accuracy on two indoor datasets. The project page is available at https://xrim-lab.github.io/GS-CPR/.
我们利用3D高斯拼贴（3DGS）作为场景表示，并提出了一种新型测试时相机姿态优化（CPR）框架，GS-CPR。此框架提高了最先进的绝对姿态回归和场景坐标回归方法的定位精度。3DGS模型渲染高质量合成图像和深度图，以促进2D-3D对应关系的建立。GS-CPR通过直接在RGB图像上操作，利用三维基础模型MASt3R进行精确的2D匹配，从而无需训练特征提取器或描述符。为了提高我们的模型在具有挑战性的户外环境中的稳健性，我们在3DGS框架中引入了一个曝光自适应模块。因此，GS-CPR能够在单一RGB查询和粗略的初始姿态估计的情况下实现高效的一次性姿态优化。我们的方法在室内和室外视觉定位基准测试中都超越了领先的基于NeRF的优化方法，在两项室内数据集上达到了新的最先进的精度。项目页面可通过https://xrim-lab.github.io/GS-CPR/访问。
论文及项目相关链接
PDF Accepted to International Conference on Learning Representations (ICLR) 2025. During the ICLR review process, we changed the name of our framework from GSLoc to GS-CPR (Camera Pose Refinement), according to reviewers’ comments. The project page is available at https://xrim-lab.github.io/GS-CPR/
Summary
基于三维高斯拼贴（3DGS）的场景表示，提出了一种新型测试时相机姿态优化（CPR）框架GS-CPR。该框架提高了最先进的绝对姿态回归和场景坐标回归方法的定位精度。通过渲染高质量合成图像和深度图，GS-CPR促进了二维到三维对应关系的建立，无需训练特征提取器或描述符，可直接在RGB图像上操作。结合3DGS框架内的曝光自适应模块，提高了模型在户外环境中的稳健性。GS-CPR能够实现利用单个RGB查询和粗略的初始姿态估计进行高效的一次性姿态优化。该方法在室内和室外视觉定位基准测试上的准确性和运行时间均超过了领先的NeRF优化方法，并在两个室内数据集上达到了新的最先进准确性。项目页面可通过链接访问：https://xrim-lab.github.io/GS-CPR/。
Key Takeaways
- 利用三维高斯拼贴（3DGS）作为场景表示方法。
- 提出了一种新型的测试时相机姿态优化（CPR）框架GS-CPR。
- 通过渲染高质量合成图像和深度图，促进二维到三维对应关系的建立。
- GS-CPR可直接在RGB图像上操作，无需训练特征提取器或描述符。
- 结合曝光自适应模块增强了模型在户外环境的稳健性。
- GS-CPR能够实现高效的一次性姿态优化，只需一个RGB查询和粗略的初始姿态估计。
点此查看论文截图
NGM-SLAM: Gaussian Splatting SLAM with Radiance Field Submap
Authors:Mingrui Li, Jingwei Huang, Lei Sun, Aaron Xuxiang Tian, Tianchen Deng, Hongyu Wang
SLAM systems based on Gaussian Splatting have garnered attention due to their capabilities for rapid real-time rendering and high-fidelity mapping. However, current Gaussian Splatting SLAM systems usually struggle with large scene representation and lack effective loop closure detection. To address these issues, we introduce NGM-SLAM, the first 3DGS based SLAM system that utilizes neural radiance field submaps for progressive scene expression, effectively integrating the strengths of neural radiance fields and 3D Gaussian Splatting. We utilize neural radiance field submaps as supervision and achieve high-quality scene expression and online loop closure adjustments through Gaussian rendering of fused submaps. Our results on multiple real-world scenes and large-scale scene datasets demonstrate that our method can achieve accurate hole filling and high-quality scene expression, supporting monocular, stereo, and RGB-D inputs, and achieving state-of-the-art scene reconstruction and tracking performance.
基于高斯混合法的SLAM系统由于其快速的实时渲染和高保真映射能力而受到关注。然而，当前的高斯混合SLAM系统在大型场景表示方面通常面临困难，并且缺乏有效的闭环检测。为了解决这些问题，我们引入了NGM-SLAM，它是基于3DGS的第一个SLAM系统，利用神经辐射场子图进行渐进场景表达，有效地结合了神经辐射场和3D高斯混合法的优点。我们以神经辐射场子图作为监督，通过融合子图的高斯渲染实现高质量的场景表达和在线闭环调整。我们在多个真实场景和大场景数据集上的结果证明，我们的方法可以实现精确的空洞填充和高质量的场景表达，支持单目、立体和RGB-D输入，达到最先进的场景重建和跟踪性能。
论文及项目相关链接
PDF 9pages, 4 figures
Summary
基于高斯贴图的SLAM系统因其实时渲染和高保真映射能力而受到关注，但在大场景表示和有效回路闭合检测方面存在挑战。为解决这些问题，我们推出了NGM-SLAM，它是首个利用神经辐射场子图进行渐进场景表达的3DGS基SLAM系统，有效结合了神经辐射场和3D高斯贴图的优点。通过高斯融合子图的渲染，实现了高质量场景表达和在线回路闭合调整。
Key Takeaways
- NGM-SLAM是基于神经辐射场子图和3D高斯贴图的SLAM系统。
- 该系统旨在解决大场景表示和有效回路闭合检测的问题。
- 通过利用神经辐射场子图作为监督，实现了高质量场景表达。
- 系统支持单目、立体和RGB-D输入。
- 高斯融合子图的渲染实现了在线回路闭合调整。
- 在多个真实场景和大场景数据集上的实验结果表明，该方法在场景重建和跟踪性能上达到了最新水平。
点此查看论文截图
