元宇宙/虚拟人

⚠️ 以下所有内容总结都来自于 大语言模型的能力，如有错误，仅供参考，谨慎使用
🔴 请注意：千万不要用于严肃的学术场景，只能用于论文阅读前的初筛！
💗 如果您觉得我们的项目对您有帮助 ChatPaperFree ，还请您给我们一些鼓励！⭐️ HuggingFace免费体验

2024-12-12 更新

GASP: Gaussian Avatars with Synthetic Priors

Authors:Jack Saunders, Charlie Hewitt, Yanan Jian, Marek Kowalski, Tadas Baltrusaitis, Yiye Chen, Darren Cosker, Virginia Estellers, Nicholas Gyde, Vinay P. Namboodiri, Benjamin E Lundell

Gaussian Splatting has changed the game for real-time photo-realistic rendering. One of the most popular applications of Gaussian Splatting is to create animatable avatars, known as Gaussian Avatars. Recent works have pushed the boundaries of quality and rendering efficiency but suffer from two main limitations. Either they require expensive multi-camera rigs to produce avatars with free-view rendering, or they can be trained with a single camera but only rendered at high quality from this fixed viewpoint. An ideal model would be trained using a short monocular video or image from available hardware, such as a webcam, and rendered from any view. To this end, we propose GASP: Gaussian Avatars with Synthetic Priors. To overcome the limitations of existing datasets, we exploit the pixel-perfect nature of synthetic data to train a Gaussian Avatar prior. By fitting this prior model to a single photo or video and fine-tuning it, we get a high-quality Gaussian Avatar, which supports 360$^\circ$ rendering. Our prior is only required for fitting, not inference, enabling real-time application. Through our method, we obtain high-quality, animatable Avatars from limited data which can be animated and rendered at 70fps on commercial hardware. See our project page (https://microsoft.github.io/GASP/) for results.

高斯混绘技术改变了实时逼真的渲染规则。高斯混绘的一个最受欢迎的应用是创建可动画的化身，即高斯化身。近期的工作提高了质量和渲染效率，但仍存在两个主要局限。它们要么需要昂贵的多摄像头装置来生成具有自由视角渲染的化身，要么它们可以使用单个相机进行训练，但仅能从这一固定视角进行高质量渲染。理想的模型应使用可用的硬件（如网络摄像头）拍摄的单眼视频或图像进行训练，并能从任何视角进行渲染。为此，我们提出了GASP：带有合成先验的高斯化身。为了克服现有数据集的局限性，我们利用合成数据的像素完美特性来训练高斯化身先验。通过将此先验模型拟合到一张照片或视频并进行微调，我们获得了支持360°渲染的高质量高斯化身。我们的先验仅适用于拟合，不适用于推理，可实现实时应用。通过我们的方法，我们从有限数据中获得了高质量的可动画化身，可以在商业硬件上以70帧/秒的速度进行动画和渲染。有关结果，请访问我们的项目页面（https://microsoft.github.io/GASP/）。

论文及项目相关链接

PDF Project page: https://microsoft.github.io/GASP/

Summary
高斯混合技术革新了实时逼真的渲染技术，广泛应用于创建动态头像（Gaussian Avatars）。当前研究在质量和渲染效率方面有所突破，但仍存在两大局限：一是需要昂贵的多相机设备来制作可在任意视角渲染的头像；二是可用单相机拍摄，但仅能从固定视角高质量渲染。理想模型应能通过现有硬件如网络摄像头录制的一小段单目视频或图片进行训练，并从任意视角进行渲染。为此，我们提出GASP：带有合成先验的高斯头像技术。为克服现有数据集的限制，我们利用合成数据的像素完美性训练高斯头像先验模型。将此先验模型适配到单张照片或视频并进行微调后，可获得支持360°渲染的高质量高斯头像。我们的先验模型仅用于适配，而非推理过程，可实现实时应用。通过我们的方法，在有限数据下可获得高质量、可动态控制的头像，可在商业硬件上以70帧/秒的速度进行动画和渲染。详情可见我们的项目页面（https://microsoft.github.io/GASP/）。

Key Takeaways

1. Gaussian Splatting技术改变了实时逼真的渲染方式，特别是在创建动态头像（Gaussian Avatars）方面的应用受到广泛关注。
2. 当前研究在提升质量和渲染效率方面取得突破，但仍面临两大主要挑战：设备需求和数据限制。
3. 理想模型应能通过单目视频或图片进行训练，并从任意视角进行渲染。
4. GASP技术通过利用合成数据的像素完美性，训练高斯头像先验模型以克服现有数据集的限制。
5. GASP技术的先验模型仅用于适配，而非推理，提升了实时应用的性能。
6. GASP技术能够在有限数据下生成高质量、可动态控制的头像。

点此查看论文截图

MixedGaussianAvatar: Realistically and Geometrically Accurate Head Avatar via Mixed 2D-3D Gaussian Splatting

Authors:Peng Chen, Xiaobao Wei, Qingpo Wuwu, Xinyi Wang, Xingyu Xiao, Ming Lu

Reconstructing high-fidelity 3D head avatars is crucial in various applications such as virtual reality. The pioneering methods reconstruct realistic head avatars with Neural Radiance Fields (NeRF), which have been limited by training and rendering speed. Recent methods based on 3D Gaussian Splatting (3DGS) significantly improve the efficiency of training and rendering. However, the surface inconsistency of 3DGS results in subpar geometric accuracy; later, 2DGS uses 2D surfels to enhance geometric accuracy at the expense of rendering fidelity. To leverage the benefits of both 2DGS and 3DGS, we propose a novel method named MixedGaussianAvatar for realistically and geometrically accurate head avatar reconstruction. Our main idea is to utilize 2D Gaussians to reconstruct the surface of the 3D head, ensuring geometric accuracy. We attach the 2D Gaussians to the triangular mesh of the FLAME model and connect additional 3D Gaussians to those 2D Gaussians where the rendering quality of 2DGS is inadequate, creating a mixed 2D-3D Gaussian representation. These 2D-3D Gaussians can then be animated using FLAME parameters. We further introduce a progressive training strategy that first trains the 2D Gaussians and then fine-tunes the mixed 2D-3D Gaussians. We demonstrate the superiority of MixedGaussianAvatar through comprehensive experiments. The code will be released at: https://github.com/ChenVoid/MGA/.

重建高保真3D头像在虚拟现实等各种应用中至关重要。开创性的方法使用神经辐射场（NeRF）重建逼真的头像，但受到训练和渲染速度的限制。基于3D高斯平铺（3DGS）的最新方法显著提高了训练和渲染的效率。然而，3DGS的表面不一致导致几何精度不佳；后来的2DGS使用2D曲面提高了几何精度，但牺牲了渲染保真度。为了利用2DGS和3DGS的优势，我们提出了一种名为MixedGaussianAvatar的新方法，用于进行真实且几何精确的头像重建。我们的主要思想是利用2D高斯重建3D头像的表面，确保几何精度。我们将2D高斯附着在FLAME模型的三角网格上，并在2DGS渲染质量不足的地方连接额外的3D高斯，创建混合的2D-3D高斯表示。这些2D-3D高斯可以使用FLAME参数进行动画处理。我们还引入了一种渐进的训练策略，首先训练2D高斯，然后对混合的2D-3D高斯进行微调。我们通过全面的实验证明了MixedGaussianAvatar的优越性。代码将在https://github.com/ChenVoid/MGA/发布。

论文及项目相关链接

PDF Project: https://chenvoid.github.io/MGA/

Summary

该文本介绍了在虚拟现实中重建高保真3D头像的重要性，并探讨了基于Neural Radiance Fields（NeRF）技术的传统方法所面临的训练与渲染速度问题。为提高效率，出现了基于3D Gaussian Splatting（3DGS）的方法，但其几何精度有待提高。为结合两者的优势，提出一种名为MixedGaussianAvatar的混合方法，利用2D Gaussians重建3D头像表面，确保几何精度，并在必要时辅以额外的3D Gaussians以提高渲染质量。该方法还采用了一种渐进式训练策略，并展示了其优越性。

Key Takeaways

1. 重建高保真3D头像在虚拟现实等应用中至关重要。
2. 传统方法使用Neural Radiance Fields（NeRF）技术，但存在训练和渲染速度限制。
3. 3D Gaussian Splatting（3DGS）提高了效率，但几何精度有限。
4. MixedGaussianAvatar方法结合了2DGS和3DGS的优势，利用2D Gaussians确保几何精度，必要时辅以额外的3D Gaussians以提高渲染质量。
5. 采用了一种渐进式训练策略进行模型训练。
6. 方法展示了其优越性并通过实验进行了验证。

点此查看论文截图