发布日期: 2025-01-13

更新日期: 2025-01-27

文章字数: 956

阅读时长: 3 分

阅读次数:

⚠️ 以下所有内容总结都来自于大语言模型的能力，如有错误，仅供参考，谨慎使用
🔴 请注意：千万不要用于严肃的学术场景，只能用于论文阅读前的初筛！
💗 如果您觉得我们的项目对您有帮助 ChatPaperFree ，还请您给我们一些鼓励！⭐️ HuggingFace免费体验

2025-01-13 更新

Arc2Avatar: Generating Expressive 3D Avatars from a Single Image via ID Guidance

Authors:Dimitrios Gerogiannis, Foivos Paraperas Papantoniou, Rolandos Alexandros Potamias, Alexandros Lattas, Stefanos Zafeiriou

Inspired by the effectiveness of 3D Gaussian Splatting (3DGS) in reconstructing detailed 3D scenes within multi-view setups and the emergence of large 2D human foundation models, we introduce Arc2Avatar, the first SDS-based method utilizing a human face foundation model as guidance with just a single image as input. To achieve that, we extend such a model for diverse-view human head generation by fine-tuning on synthetic data and modifying its conditioning. Our avatars maintain a dense correspondence with a human face mesh template, allowing blendshape-based expression generation. This is achieved through a modified 3DGS approach, connectivity regularizers, and a strategic initialization tailored for our task. Additionally, we propose an optional efficient SDS-based correction step to refine the blendshape expressions, enhancing realism and diversity. Experiments demonstrate that Arc2Avatar achieves state-of-the-art realism and identity preservation, effectively addressing color issues by allowing the use of very low guidance, enabled by our strong identity prior and initialization strategy, without compromising detail.

受3D高斯摊铺（3DGS）在多视角设置下重建详细3D场景的有效性，以及大型二维人类基础模型的出现的启发，我们引入了Arc2Avatar。这是基于SDS的首个方法，仅使用单张图像作为输入，以人类面部基础模型为指导。为了实现这一点，我们通过微调合成数据并修改其条件，将该模型扩展到多视角的人头生成。我们的虚拟角色与一个人脸网格模板保持密集的对应关系，允许基于blendshape的表情生成。这是通过修改后的3DGS方法、连接正则器和针对我们任务的策略初始化来实现的。此外，我们还提出了一种可选的基于SDS的校正步骤，以优化blendshape表情，提高真实感和多样性。实验表明，Arc2Avatar达到了最先进的真实感和身份保留效果，通过我们的强大身份先验和初始化策略，允许使用非常低的指导来解决颜色问题，不会损失细节。

论文及项目相关链接

PDF

Summary

Arc2Avatar是首个基于SDS的方法，利用人脸基础模型指导，仅通过单张图片输入，进行多视角的人头像生成。它通过微调合成数据、修改条件设定，实现了密集对应人脸网格模板的avatar生成，并基于blendshape实现表情生成。此方法改进了3DGS方法，引入连接正则化和针对任务的策略初始化，并提出高效的SDS修正步骤，提升了表情的真实性和多样性。实验证明Arc2Avatar在真实感和身份保留方面达到最佳水平，通过强大的身份先验和初始化策略，允许使用非常低的指导，解决了色彩问题而不损失细节。

Key Takeaways