⚠️ 以下所有内容总结都来自于 大语言模型的能力，如有错误，仅供参考，谨慎使用
🔴 请注意：千万不要用于严肃的学术场景，只能用于论文阅读前的初筛！
💗 如果您觉得我们的项目对您有帮助 ChatPaperFree ，还请您给我们一些鼓励！⭐️ HuggingFace免费体验
2025-05-28 更新
ErpGS: Equirectangular Image Rendering enhanced with 3D Gaussian Regularization
Authors:Shintaro Ito, Natsuki Takama, Koichi Ito, Hwann-Tzong Chen, Takafumi Aoki
The use of multi-view images acquired by a 360-degree camera can reconstruct a 3D space with a wide area. There are 3D reconstruction methods from equirectangular images based on NeRF and 3DGS, as well as Novel View Synthesis (NVS) methods. On the other hand, it is necessary to overcome the large distortion caused by the projection model of a 360-degree camera when equirectangular images are used. In 3DGS-based methods, the large distortion of the 360-degree camera model generates extremely large 3D Gaussians, resulting in poor rendering accuracy. We propose ErpGS, which is Omnidirectional GS based on 3DGS to realize NVS addressing the problems. ErpGS introduce some rendering accuracy improvement techniques: geometric regularization, scale regularization, and distortion-aware weights and a mask to suppress the effects of obstacles in equirectangular images. Through experiments on public datasets, we demonstrate that ErpGS can render novel view images more accurately than conventional methods.
使用360度相机采集的多视角图像可以重建一个广阔区域的3D空间。存在基于NeRF和3DGS的等距图像3D重建方法，以及新型视图合成（NVS）方法。另一方面，在使用等距图像时，需要克服由360度相机的投影模型造成的大失真问题。在基于3DGS的方法中，360度相机模型的大失真会产生非常大的3D高斯，从而导致渲染精度较低。我们提出基于3DGS的全方位GS（ErpGS），以实现NVS并解决这些问题。ErpGS引入了一些提高渲染精度的技术：几何正则化、尺度正则化，以及感知失真的权重和掩膜，以抑制等距图像中障碍物的影响。在公共数据集上的实验表明，与传统的渲染方法相比，ErpGS可以更准确地进行新颖视图图像的渲染。
论文及项目相关链接
PDF Accepted to ICIP2025
Summary
多视角图像通过360度相机采集，结合NeRF和3DGS等技术进行三维重建和新型视图合成（NVS）。然而，使用等距图像时，需解决因相机投影模型产生的大畸变问题。在基于3DGS的方法中，大畸变导致生成的三维高斯模型过于庞大，影响渲染精度。本研究提出基于3DGS的全方位GS（ErpGS），通过几何正则化、尺度正则化及考虑畸变的权重和掩膜等技术，改善渲染精度，尤其能抑制等距图像中的障碍影响。在公开数据集上的实验表明，ErpGS较传统方法能更准确地渲染新型视图图像。
Key Takeaways
- 使用多视角图像和360度相机采集技术可以进行更广泛的三维空间重建。
- 现有方法在使用等距图像进行三维重建时面临大畸变问题。
- 基于3DGS的方法在处理大畸变时生成过于庞大的三维高斯模型，导致渲染精度下降。
- ErpGS是新型的全方位GS方法，旨在解决上述问题，并通过几何正则化等技术提高渲染精度。
- ErpGS特别设计了机制来抑制等距图像中的障碍影响。
- 实验结果表明，ErpGS在渲染新型视图图像方面较传统方法有更高的准确性。
点此查看论文截图
X-GRM: Large Gaussian Reconstruction Model for Sparse-view X-rays to Computed Tomography
Authors:Yifan Liu, Wuyang Li, Weihao Yu, Chenxin Li, Alexandre Alahi, Max Meng, Yixuan Yuan
Computed Tomography serves as an indispensable tool in clinical workflows, providing non-invasive visualization of internal anatomical structures. Existing CT reconstruction works are limited to small-capacity model architecture and inflexible volume representation. In this work, we present X-GRM (X-ray Gaussian Reconstruction Model), a large feedforward model for reconstructing 3D CT volumes from sparse-view 2D X-ray projections. X-GRM employs a scalable transformer-based architecture to encode sparse-view X-ray inputs, where tokens from different views are integrated efficiently. Then, these tokens are decoded into a novel volume representation, named Voxel-based Gaussian Splatting (VoxGS), which enables efficient CT volume extraction and differentiable X-ray rendering. This combination of a high-capacity model and flexible volume representation, empowers our model to produce high-quality reconstructions from various testing inputs, including in-domain and out-domain X-ray projections. Our codes are available at: https://github.com/CUHK-AIM-Group/X-GRM.
计算机断层扫描（Computed Tomography）在临床工作流程中是不可或缺的工具，它提供了无创的内部解剖结构可视化。现有的CT重建工作受限于小容量的模型结构和不灵活的体积表示。在这项工作中，我们提出了X-GRM（X射线高斯重建模型），这是一个大型前馈模型，可以从稀疏视角的2D X射线投影重建3D CT体积。X-GRM采用可扩展的基于transformer的架构对稀疏视角的X射线输入进行编码，其中不同视角的标记被高效集成。然后，这些标记被解码为一种新型体积表示，称为基于体素的高斯飞溅（VoxGS），这能够实现高效的CT体积提取和可微分的X射线渲染。这种高容量模型与灵活体积表示的结合，使我们的模型能够产生高质量的重建结果，适用于各种测试输入，包括领域内的和跨领域的X射线投影。我们的代码在：https://github.com/CUHK-AIM-Group/X-GRM获取。
论文及项目相关链接
Summary
该文介绍了计算机断层扫描（CT）在临床工作流中的重要性，以及现有CT重建工作的局限性。为此，提出一种基于大型前馈神经网络模型X-GRM（X射线高斯重建模型）的解决方法，用于从稀疏视角的二维X射线投影重建三维CT体积。该模型采用可扩展的基于transformer的架构来编码稀疏视角的X射线输入，并有效地整合不同视角的标记。然后，这些标记被解码成一种新型体积表示——基于体素的高斯溅射（VoxGS），使高效的CT体积提取和可微分的X射线渲染成为可能。该模型能够产生高质量的重建结果，适用于各种测试输入，包括领域内的和跨领域的X射线投影。相关代码已公开。
Key Takeaways
- 计算机断层扫描（CT）是临床工作流程中的重要工具，可实现非侵入性地可视化内部解剖结构。
- 现有CT重建工作存在模型容量小和体积表示不灵活的问题。
- 提出一种名为X-GRM的大型前馈神经网络模型，用于从稀疏视角的二维X射线投影重建三维CT体积。
- X-GRM采用基于transformer的可扩展架构进行编码，并有效地整合不同视角的标记。
- X-GRM引入了一种新型体积表示方法——VoxGS，实现了高效的CT体积提取和可微分的X射线渲染。
- X-GRM模型能够产生高质量的重建结果，适用于多种类型的测试输入。
点此查看论文截图
