3DGS

⚠️ 以下所有内容总结都来自于 大语言模型的能力，如有错误，仅供参考，谨慎使用
🔴 请注意：千万不要用于严肃的学术场景，只能用于论文阅读前的初筛！
💗 如果您觉得我们的项目对您有帮助 ChatPaperFree ，还请您给我们一些鼓励！⭐️ HuggingFace免费体验

2025-09-08 更新

FreeSplatter: Pose-free Gaussian Splatting for Sparse-view 3D Reconstruction

Authors:Jiale Xu, Shenghua Gao, Ying Shan

Sparse-view reconstruction models typically require precise camera poses, yet obtaining these parameters from sparse-view images remains challenging. We introduce FreeSplatter, a scalable feed-forward framework that generates high-quality 3D Gaussians from uncalibrated sparse-view images while estimating camera parameters within seconds. Our approach employs a streamlined transformer architecture where self-attention blocks facilitate information exchange among multi-view image tokens, decoding them into pixel-aligned 3D Gaussian primitives within a unified reference frame. This representation enables both high-fidelity 3D modeling and efficient camera parameter estimation using off-the-shelf solvers. We develop two specialized variants–for object-centric and scene-level reconstruction–trained on comprehensive datasets. Remarkably, FreeSplatter outperforms several pose-dependent Large Reconstruction Models (LRMs) by a notable margin while achieving comparable or even better pose estimation accuracy compared to state-of-the-art pose-free reconstruction approach MASt3R in challenging benchmarks. Beyond technical benchmarks, FreeSplatter streamlines text/image-to-3D content creation pipelines, eliminating the complexity of camera pose management while delivering exceptional visual fidelity.

稀疏视图重建模型通常需要精确的相机姿态，然而从稀疏视图图像中获取这些参数仍然具有挑战性。我们引入了FreeSplatter，这是一个可扩展的前馈框架，能够从未校准的稀疏视图图像中生成高质量的三维高斯，并在几秒内估计相机参数。我们的方法采用简化的转换器架构，其中的自注意力块促进了多视图图像标记之间的信息交换，将它们解码为统一参考框架内的像素对齐三维高斯基本体。这种表示形式既可实现高保真三维建模，又可使用现成的求解器进行高效的相机参数估计。我们针对对象中心和场景级别的重建开发了两个专业变体，并在综合数据集上进行训练。值得注意的是，FreeSplatter在具有挑战性的基准测试中显著超越了若干依赖于姿态的大型重建模型（LRMs），同时在姿态估计的准确性方面与最先进的无姿态重建方法MASt3R相比也达到了相当或更好的水平。除了技术基准测试之外，FreeSplatter简化了文本/图像到三维内容创建管道，消除了管理相机姿态的复杂性，同时提供了出色的视觉保真度。

论文及项目相关链接

PDF Project page: https://bluestyle97.github.io/projects/freesplatter/

Summary

本文介绍了一种名为FreeSplatter的可扩展前馈框架，能够从未校准的稀疏视角图像生成高质量的三维高斯模型，并快速估计相机参数。该框架采用简化的转换器架构，通过自注意力块实现多视角图像标记之间的信息交换，在统一参考框架内解码为像素对齐的三维高斯基本体。此方法不仅可实现高保真三维建模，而且可使用现成的求解器进行高效的相机参数估计。FreeSplatter有两种针对对象级和场景级重建的专用变体，在全面数据集上进行训练。在实际挑战中，其表现显著超越了依赖于姿态的大型重建模型（LRMs），并且在姿态估计准确性方面与最先进的无姿态重建方法MASt3R相比也有竞争力或更佳。此外，FreeSplatter简化了文本/图像到三维内容创建流程，消除了相机姿态管理的复杂性，同时提供了出色的视觉保真度。

Key Takeaways

1. FreeSplatter是一个可扩展的前馈框架，能够从稀疏视角图像生成高质量的三维高斯模型。
2. 该框架通过自注意力块实现多视角图像信息交换，生成像素对齐的三维高斯基本体。
3. FreeSplatter可以同时进行高保真三维建模和高效的相机参数估计。
4. 有两种针对对象级和场景级重建的专用FreeSplatter变体。
5. FreeSplatter在实际挑战中超越了某些大型重建模型（LRMs），在姿态估计方面也有良好的表现。
6. FreeSplatter简化了文本/图像到三维内容创建流程，消除了相机姿态管理的复杂性。

Cool Papers

点此查看论文截图