元宇宙/虚拟人

⚠️ 以下所有内容总结都来自于 大语言模型的能力，如有错误，仅供参考，谨慎使用
🔴 请注意：千万不要用于严肃的学术场景，只能用于论文阅读前的初筛！
💗 如果您觉得我们的项目对您有帮助 ChatPaperFree ，还请您给我们一些鼓励！⭐️ HuggingFace免费体验

2025-02-27 更新

LAM: Large Avatar Model for One-shot Animatable Gaussian Head

Authors:Yisheng He, Xiaodong Gu, Xiaodan Ye, Chao Xu, Zhengyi Zhao, Yuan Dong, Weihao Yuan, Zilong Dong, Liefeng Bo

We present LAM, an innovative Large Avatar Model for animatable Gaussian head reconstruction from a single image. Unlike previous methods that require extensive training on captured video sequences or rely on auxiliary neural networks for animation and rendering during inference, our approach generates Gaussian heads that are immediately animatable and renderable. Specifically, LAM creates an animatable Gaussian head in a single forward pass, enabling reenactment and rendering without additional networks or post-processing steps. This capability allows for seamless integration into existing rendering pipelines, ensuring real-time animation and rendering across a wide range of platforms, including mobile phones. The centerpiece of our framework is the canonical Gaussian attributes generator, which utilizes FLAME canonical points as queries. These points interact with multi-scale image features through a Transformer to accurately predict Gaussian attributes in the canonical space. The reconstructed canonical Gaussian avatar can then be animated utilizing standard linear blend skinning (LBS) with corrective blendshapes as the FLAME model did and rendered in real-time on various platforms. Our experimental results demonstrate that LAM outperforms state-of-the-art methods on existing benchmarks.

我们提出了LAM，这是一种用于从单张图像重建可动画的高斯人脸的创新大型化身模型。与以往需要大量视频序列训练或依赖辅助神经网络进行推理过程中的动画和渲染的方法不同，我们的方法能够生成可立即进行动画和渲染的高斯人脸。具体来说，LAM通过一次前向传递创建可动画的高斯人脸，实现无需额外网络或后处理步骤即可进行重播和渲染。这种能力可无缝集成到现有渲染管道中，确保在广泛平台上进行实时动画和渲染，包括移动电话。我们的框架的核心是规范高斯属性生成器，它利用FLAME规范点作为查询。这些点与多尺度图像特征通过Transformer进行交互，以准确预测规范空间中的高斯属性。然后，重建的规范高斯化身可以使用标准线性混合蒙皮（LBS）进行动画，如同FLAME模型使用校正混合形状一样，并可在各种平台上实时渲染。我们的实验结果表明，LAM在现有基准测试上的表现优于最新方法。

论文及项目相关链接

PDF

Summary

基于单幅图像构建大型动态高动态范围（HDR）头像的新方法LAM。不同于依赖视频序列捕捉训练或辅助神经网络进行动画和渲染的方法，LAM可在单次前向传递中生成可动画化的HDR头像，实现无需额外网络或后处理步骤的重演和渲染。该技术的核心是典型高斯属性生成器，其使用FLAME典型点作为查询，与多尺度图像特征通过Transformer进行交互，准确预测典型空间中的高斯属性。重建的典型高斯头像可以利用标准线性混合皮肤（LBS）进行动画化，并像FLAME模型一样使用修正的blendshapes进行实时渲染。实验结果表明，LAM在现有基准测试中优于其他先进技术。

Key Takeaways

• LAM是一种基于单幅图像的大型Avatar模型，用于构建可动画化的Gaussian头。
• 该方法无需复杂的视频序列训练或辅助神经网络进行动画和渲染。
• LAM通过单次前向传递生成Gaussian头像，简化了重演和渲染过程。
• 核心是典型高斯属性生成器，使用FLAME典型点作为查询，结合多尺度图像特征进行预测。
• 重建的头像是基于标准的线性混合皮肤（LBS）进行动画化，并能实时在各种平台上渲染。
• LAM在现有基准测试中表现优于其他先进技术。

Cool Papers

点此查看论文截图