⚠️ 以下所有内容总结都来自于 大语言模型的能力，如有错误，仅供参考，谨慎使用
🔴 请注意：千万不要用于严肃的学术场景，只能用于论文阅读前的初筛！
💗 如果您觉得我们的项目对您有帮助 ChatPaperFree ，还请您给我们一些鼓励！⭐️ HuggingFace免费体验
2025-09-30 更新
MS-GS: Multi-Appearance Sparse-View 3D Gaussian Splatting in the Wild
Authors:Deming Li, Kaiwen Jiang, Yutao Tang, Ravi Ramamoorthi, Rama Chellappa, Cheng Peng
In-the-wild photo collections often contain limited volumes of imagery and exhibit multiple appearances, e.g., taken at different times of day or seasons, posing significant challenges to scene reconstruction and novel view synthesis. Although recent adaptations of Neural Radiance Field (NeRF) and 3D Gaussian Splatting (3DGS) have improved in these areas, they tend to oversmooth and are prone to overfitting. In this paper, we present MS-GS, a novel framework designed with Multi-appearance capabilities in Sparse-view scenarios using 3DGS. To address the lack of support due to sparse initializations, our approach is built on the geometric priors elicited from monocular depth estimations. The key lies in extracting and utilizing local semantic regions with a Structure-from-Motion (SfM) points anchored algorithm for reliable alignment and geometry cues. Then, to introduce multi-view constraints, we propose a series of geometry-guided supervision at virtual views in a fine-grained and coarse scheme to encourage 3D consistency and reduce overfitting. We also introduce a dataset and an in-the-wild experiment setting to set up more realistic benchmarks. We demonstrate that MS-GS achieves photorealistic renderings under various challenging sparse-view and multi-appearance conditions and outperforms existing approaches significantly across different datasets.
在野外的照片集通常包含有限的图像数量，并且表现出多种外观，例如在不同时间或季节拍摄的照片，给场景重建和新颖视角合成带来重大挑战。尽管最近的神经辐射场（NeRF）和三维高斯喷绘（3DGS）的改进在这方面有所进步，但它们往往过于平滑且容易过度拟合。在本文中，我们提出了MS-GS，这是一个在稀疏视角情况下使用3DGS的多外观能力的新型框架。为了解决由于稀疏初始化而导致的支持不足的问题，我们的方法建立在从单眼深度估计中引发的几何先验之上。关键在于通过结构从运动（SfM）点锚定算法提取和利用局部语义区域，以实现可靠的对应和几何线索。然后，为了引入多视图约束，我们在精细粒度和粗略方案中提出了以几何为导向的监督措施在虚拟视图上的约束来鼓励三维一致性并减少过度拟合。我们还介绍了一个数据集和在野外进行实验设置来建立更现实的基准测试。我们证明了MS-GS在各种具有挑战性的稀疏视角和多外观条件下能够实现逼真的渲染，并在不同的数据集上显著优于现有方法。
论文及项目相关链接
PDF fixed typos
Summary
本文提出了一种基于多外观能力的稀疏视图场景的新型框架MS-GS，利用3DGS解决野外照片集中场景重建和新颖视角合成面临的挑战。通过结合单目深度估计引发的几何先验和SfM点锚定算法，引入多视图约束和虚拟视图的几何导向监督，有效改善稀疏初始化问题并提升性能。数据集实验显示MS-GS在多种具有挑战性的稀疏视图和多外观条件下实现了逼真的渲染效果，并在不同数据集上显著优于现有方法。
Key Takeaways
- MS-GS框架旨在解决野外照片集中场景重建和新颖视角合成面临的挑战。
- 该框架结合了多外观能力和稀疏视图场景技术，利用3DGS改进现有技术。
- 通过结合几何先验和SfM点锚定算法，提升可靠性并对齐几何线索。
- 引入多视图约束和虚拟视图的几何导向监督，改善稀疏初始化问题并提升性能。
- 提出了一种新的数据集和实验设置，以建立更现实的基准测试。
- MS-GS实现了在各种条件下的逼真渲染效果。
点此查看论文截图
