⚠️ 以下所有内容总结都来自于 大语言模型的能力，如有错误，仅供参考，谨慎使用
🔴 请注意：千万不要用于严肃的学术场景，只能用于论文阅读前的初筛！
💗 如果您觉得我们的项目对您有帮助 ChatPaperFree ，还请您给我们一些鼓励！⭐️ HuggingFace免费体验
2025-02-28 更新
Scaffold-SLAM: Structured 3D Gaussians for Simultaneous Localization and Photorealistic Mapping
Authors:Tianci Wen, Zhiang Liu, Biao Lu, Yongchun Fang
3D Gaussian Splatting (3DGS) has recently revolutionized novel view synthesis in the Simultaneous Localization and Mapping (SLAM). However, existing SLAM methods utilizing 3DGS have failed to provide high-quality novel view rendering for monocular, stereo, and RGB-D cameras simultaneously. Notably, some methods perform well for RGB-D cameras but suffer significant degradation in rendering quality for monocular cameras. In this paper, we present Scaffold-SLAM, which delivers simultaneous localization and high-quality photorealistic mapping across monocular, stereo, and RGB-D cameras. We introduce two key innovations to achieve this state-of-the-art visual quality. First, we propose Appearance-from-Motion embedding, enabling 3D Gaussians to better model image appearance variations across different camera poses. Second, we introduce a frequency regularization pyramid to guide the distribution of Gaussians, allowing the model to effectively capture finer details in the scene. Extensive experiments on monocular, stereo, and RGB-D datasets demonstrate that Scaffold-SLAM significantly outperforms state-of-the-art methods in photorealistic mapping quality, e.g., PSNR is 16.76% higher in the TUM RGB-D datasets for monocular cameras.
3D高斯喷溅（3DGS）最近为同时定位与地图构建（SLAM）中的新视角合成带来了革命性的变化。然而，现有的使用3DGS的SLAM方法未能同时为单目、立体和RGB-D相机提供高质量的新视角渲染。值得注意的是，一些方法为RGB-D相机表现良好，但在单目相机上渲染质量显著下降。在本文中，我们提出了Scaffold-SLAM，它能在单目、立体和RGB-D相机上实现同时定位和高品质写实映射。我们通过两项关键创新实现了最先进的视觉品质。首先，我们提出了运动中的外观嵌入（Appearance-from-Motion embedding），使3D高斯更好地对不同相机姿态下的图像外观变化进行建模。其次，我们引入频率正则化金字塔来引导高斯的分布，使模型能够更有效地捕捉场景中的细节。在单目、立体和RGB-D数据集上的大量实验表明，Scaffold-SLAM在写实映射质量上显著优于最新方法，例如在TUM RGB-D数据集中，对于单目相机，PSNR高出16.76%。
论文及项目相关链接
PDF 12 pages, 6 figures
Summary
本文介绍了基于三维高斯点渲染技术（3DGS）的新型视角合成技术，通过介绍框架型即时定位与地图构建系统（Scaffold-SLAM），实现了在单目摄像头、立体摄像头和RGB-D摄像头上的高质量全景地图构建。该系统的两大创新点为动态影像外观嵌入和高频正规模块的应用，提升了在图像在构建模型时细节的捕获。测试证明其在多个数据集上超越了现有的顶级水准，特别是在单目相机数据集中性能卓越。具体如在对RGB-D数据集的实验中，其峰值信噪比提高了16.76%。
Key Takeaways
- Scaffold-SLAM系统结合了三维高斯点渲染技术（3DGS），实现了多种类型摄像头下的高质量全景地图构建。
- 通过引入动态影像外观嵌入技术，提高了在不同相机角度下的图像外观变化建模的准确性。
- 采用高频正规模块，有效地捕捉场景中的细节信息。
- 在单目摄像头、立体摄像头和RGB-D数据集上的实验表明，Scaffold-SLAM系统显著超越了现有技术。
点此查看论文截图
GStex: Per-Primitive Texturing of 2D Gaussian Splatting for Decoupled Appearance and Geometry Modeling
Authors:Victor Rong, Jingxiang Chen, Sherwin Bahmani, Kiriakos N. Kutulakos, David B. Lindell
Gaussian splatting has demonstrated excellent performance for view synthesis and scene reconstruction. The representation achieves photorealistic quality by optimizing the position, scale, color, and opacity of thousands to millions of 2D or 3D Gaussian primitives within a scene. However, since each Gaussian primitive encodes both appearance and geometry, these attributes are strongly coupled–thus, high-fidelity appearance modeling requires a large number of Gaussian primitives, even when the scene geometry is simple (e.g., for a textured planar surface). We propose to texture each 2D Gaussian primitive so that even a single Gaussian can be used to capture appearance details. By employing per-primitive texturing, our appearance representation is agnostic to the topology and complexity of the scene’s geometry. We show that our approach, GStex, yields improved visual quality over prior work in texturing Gaussian splats. Furthermore, we demonstrate that our decoupling enables improved novel view synthesis performance compared to 2D Gaussian splatting when reducing the number of Gaussian primitives, and that GStex can be used for scene appearance editing and re-texturing.
高斯涂斑（Gaussian splatting）在视图合成和场景重建方面表现出卓越的性能。该表示方法通过优化场景内数千至数百万个二维或三维高斯原始要素的位置、尺度、颜色和透明度，达到逼真的质量。然而，由于每个高斯原始要素都编码了外观和几何信息，这些属性是紧密耦合的，因此，即使场景几何结构很简单（例如，对于纹理平面表面），高保真外观建模也需要大量高斯原始要素。我们提出对每个二维高斯原始要素进行纹理处理，以便即使单个高斯也能捕捉到外观细节。通过采用基于原始要素的纹理处理，我们的外观表示对于场景几何的拓扑和复杂性是无关紧要的。我们显示，我们的方法GStex在纹理高斯涂斑方面优于先前的工作，提高了视觉质量。此外，我们证明我们的解耦方法在减少高斯原始要素数量时，与二维高斯涂斑相比，可以实现改进的新型视图合成性能，并且GStex可用于场景外观编辑和重新纹理处理。
论文及项目相关链接
PDF Project page: https://lessvrong.com/cs/gstex. WACV 2025 camera-ready version
Summary
高斯贴图技术通过对二维或三维高斯基元的位置、尺度、颜色和透明度进行优化，实现了场景的光照合成和重建的逼真效果。但每个高斯基元同时编码外观和几何属性，导致它们之间存在强耦合。为了解决这个问题，我们提出对每一个二维高斯基元进行纹理处理，使得单个高斯基元就能捕捉场景的外观细节。此方法对场景的拓扑结构和复杂性不敏感，相较于先前的高斯贴图技术，我们的方法GStex在视觉质量上有所提升。同时，我们的解耦技术还能在减少高斯基元数量的同时提升新型视图合成性能，并且GStex还可用于场景外观编辑和重新贴图。
Key Takeaways
- 高斯贴图技术通过优化高斯基元的位置、尺度、颜色和透明度，实现了场景的光照合成和重建的逼真效果。
- 每个高斯基元同时编码外观和几何属性，存在强耦合问题。
- 对每个二维高斯基元进行纹理处理，使单个高斯基元能捕捉场景的外观细节。
- 此方法对于场景的拓扑结构和复杂性不敏感。
- 相较于先前的高斯贴图技术，GStex在视觉质量上有所提升。
- 解耦技术能在减少高斯基元数量的同时提升新型视图合成性能。
点此查看论文截图
