⚠️ 以下所有内容总结都来自于 大语言模型的能力，如有错误，仅供参考，谨慎使用
🔴 请注意：千万不要用于严肃的学术场景，只能用于论文阅读前的初筛！
💗 如果您觉得我们的项目对您有帮助 ChatPaperFree ，还请您给我们一些鼓励！⭐️ HuggingFace免费体验
2025-07-09 更新
AvatarMakeup: Realistic Makeup Transfer for 3D Animatable Head Avatars
Authors:Yiming Zhong, Xiaolin Zhang, Ligang Liu, Yao Zhao, Yunchao Wei
Similar to facial beautification in real life, 3D virtual avatars require personalized customization to enhance their visual appeal, yet this area remains insufficiently explored. Although current 3D Gaussian editing methods can be adapted for facial makeup purposes, these methods fail to meet the fundamental requirements for achieving realistic makeup effects: 1) ensuring a consistent appearance during drivable expressions, 2) preserving the identity throughout the makeup process, and 3) enabling precise control over fine details. To address these, we propose a specialized 3D makeup method named AvatarMakeup, leveraging a pretrained diffusion model to transfer makeup patterns from a single reference photo of any individual. We adopt a coarse-to-fine idea to first maintain the consistent appearance and identity, and then to refine the details. In particular, the diffusion model is employed to generate makeup images as supervision. Due to the uncertainties in diffusion process, the generated images are inconsistent across different viewpoints and expressions. Therefore, we propose a Coherent Duplication method to coarsely apply makeup to the target while ensuring consistency across dynamic and multiview effects. Coherent Duplication optimizes a global UV map by recoding the averaged facial attributes among the generated makeup images. By querying the global UV map, it easily synthesizes coherent makeup guidance from arbitrary views and expressions to optimize the target avatar. Given the coarse makeup avatar, we further enhance the makeup by incorporating a Refinement Module into the diffusion model to achieve high makeup quality. Experiments demonstrate that AvatarMakeup achieves state-of-the-art makeup transfer quality and consistency throughout animation.
与现实生活中的面部美容类似，3D虚拟化身需要个性化定制以增强其视觉吸引力，但这个领域仍然没有得到足够的探索。尽管当前的3D高斯编辑方法可以被改编用于面部化妆，但这些方法未能满足实现真实化妆效果的基本要求：1）在可驱动的表情中保持外观的一致性，2）在化妆过程中保持身份识别，3）对细节进行精确控制。为了解决这个问题，我们提出了一种专门的3D化妆方法，名为AvatarMakeup，它利用预训练的扩散模型从任何个人的单张参考照片中转移化妆模式。我们采用由粗到细的理念，首先保持外观和身份的的一致性，然后改进细节。特别是，扩散模型被用来生成化妆图像作为监督。由于扩散过程中的不确定性，生成的图像在不同的观点和表情上是不一致的。因此，我们提出了一种一致复制的方法，将化妆粗略地应用到目标上，同时确保动态和多视角效果的一致性。一致复制通过重新编码生成化妆图像之间的平均面部属性来优化全局UV映射。通过查询全局UV映射，它很容易合成来自任意观点和表情的连贯化妆指导，以优化目标化身。给定粗略的化妆化身，我们进一步通过将细化模块融入到扩散模型中，以提高化妆品质量。实验表明，AvatarMakeup达到了最先进的化妆转移质量和动画一致性。
论文及项目相关链接
Summary
该文探讨3D虚拟角色化妆技术，提出一种名为AvatarMakeup的3D化妆方法。该方法利用预训练的扩散模型从单一参考照片转移妆容，采用由粗到细的策略确保妆容的一致性和身份识别，同时精细控制细节。为了解决扩散过程中的不确定性问题，采用Coherent Duplication方法确保妆容在动态和多视角下的一致性。最后，通过引入细化模块进一步提高妆容质量。
Key Takeaways
- 3D虚拟角色需要个性化定制以增强其视觉吸引力，但当前技术在此方面探索不足。
- 当前3D高斯编辑方法虽然可用于面部化妆，但无法满足实现真实妆容效果的基本要求。
- AvatarMakeup方法利用预训练的扩散模型从单一参考照片转移妆容，确保妆容的一致性和身份识别。
- Coherent Duplication方法用于解决不同视角和表情下的妆容不一致问题。
- 妆容合成采用由粗到细的策略，首先进行大致的妆容应用，再对细节进行精细化处理。
- 引入细化模块进一步提高妆容质量。
点此查看论文截图
AniCrafter: Customizing Realistic Human-Centric Animation via Avatar-Background Conditioning in Video Diffusion Models
Authors:Muyao Niu, Mingdeng Cao, Yifan Zhan, Qingtian Zhu, Mingze Ma, Jiancheng Zhao, Yanhong Zeng, Zhihang Zhong, Xiao Sun, Yinqiang Zheng
Recent advances in video diffusion models have significantly improved character animation techniques. However, current approaches rely on basic structural conditions such as DWPose or SMPL-X to animate character images, limiting their effectiveness in open-domain scenarios with dynamic backgrounds or challenging human poses. In this paper, we introduce \textbf{AniCrafter}, a diffusion-based human-centric animation model that can seamlessly integrate and animate a given character into open-domain dynamic backgrounds while following given human motion sequences. Built on cutting-edge Image-to-Video (I2V) diffusion architectures, our model incorporates an innovative ‘’avatar-background’’ conditioning mechanism that reframes open-domain human-centric animation as a restoration task, enabling more stable and versatile animation outputs. Experimental results demonstrate the superior performance of our method. Codes are available at https://github.com/MyNiuuu/AniCrafter.
近期视频扩散模型的进步极大地改进了角色动画技术。然而，当前的方法依赖于基本结构条件，如DWPose或SMPL-X来驱动角色图像，这在具有动态背景或挑战性人类姿态的开放场景中限制了其有效性。在本文中，我们介绍了AniCrafter，这是一个基于扩散的人类中心动画模型，可以无缝集成并将给定的角色动画化，使其适应开放领域的动态背景，同时遵循给定的人类运动序列。该模型建立在最前沿的图像到视频（I2V）扩散架构上，融入了一种创新的“化身背景”条件机制，将开放领域的人类中心动画重新构建为恢复任务，从而实现更稳定和多样化的动画输出。实验结果表明我们的方法表现出卓越的性能。代码可访问 https://github.com/MyNiuuu/AniCrafter。
论文及项目相关链接
PDF Homepage: https://myniuuu.github.io/AniCrafter ; Codes: https://github.com/MyNiuuu/AniCrafter
Summary
近期视频扩散模型的进步显著提升了角色动画技术。然而，当前方法依赖于基本结构条件（如DWPose或SMPL-X）来驱动角色图像，这在开放领域的动态背景或复杂人体姿态场景中效果有限。本文介绍了一种基于扩散的人本动画模型——AniCrafter，它能无缝集成并驱动给定角色进入开放领域的动态背景，同时遵循给定的人体运动序列。该模型采用先进的图像到视频（I2V）扩散架构，并引入了一种创新的“角色-背景”条件机制，将开放领域的人本动画重新构建为一个恢复任务，从而实现更稳定和多样化的动画输出。实验结果证明了该方法的卓越性能。
Key Takeaways
- 近期视频扩散模型的进步已经显著提高了角色动画技术。
- 当前的角色动画方法受限于基本结构条件，难以处理开放领域的动态背景和复杂人体姿态。
- AniCrafter是一种基于扩散的人本动画模型，能无缝集成并驱动角色进入动态背景。
- AniCrafter遵循给定的人体运动序列，实现更稳定和多样化的动画输出。
- 该模型采用先进的图像到视频（I2V）扩散架构。
- AniCrafter引入了“角色-背景”条件机制，将人本动画构建为恢复任务。
点此查看论文截图
