元宇宙/虚拟人

⚠️ 以下所有内容总结都来自于 大语言模型的能力，如有错误，仅供参考，谨慎使用
🔴 请注意：千万不要用于严肃的学术场景，只能用于论文阅读前的初筛！
💗 如果您觉得我们的项目对您有帮助 ChatPaperFree ，还请您给我们一些鼓励！⭐️ HuggingFace免费体验

2025-08-19 更新

Gen-AFFECT: Generation of Avatar Fine-grained Facial Expressions with Consistent identiTy

Authors:Hao Yu, Rupayan Mallick, Margrit Betke, Sarah Adel Bargal

Different forms of customized 2D avatars are widely used in gaming applications, virtual communication, education, and content creation. However, existing approaches often fail to capture fine-grained facial expressions and struggle to preserve identity across different expressions. We propose GEN-AFFECT, a novel framework for personalized avatar generation that generates expressive and identity-consistent avatars with a diverse set of facial expressions. Our framework proposes conditioning a multimodal diffusion transformer on an extracted identity-expression representation. This enables identity preservation and representation of a wide range of facial expressions. GEN-AFFECT additionally employs consistent attention at inference for information sharing across the set of generated expressions, enabling the generation process to maintain identity consistency over the array of generated fine-grained expressions. GEN-AFFECT demonstrates superior performance compared to previous state-of-the-art methods on the basis of the accuracy of the generated expressions, the preservation of the identity and the consistency of the target identity across an array of fine-grained facial expressions.

定制化的二维个性化角色在各种游戏应用、虚拟通讯、教育和内容创作等领域有着广泛的应用。然而，现有方法往往无法捕捉到细微的面部表情，并且在不同的表情下很难保持个性化特征的一致性。我们提出了一种新型个性化角色生成框架——GEN-AFFECT，它能够生成具有丰富面部表情的一致个性化角色。我们的框架采用了一种多模式扩散变换器，以提取身份表达表征作为条件。这有助于保持个性化角色的身份一致性并表达各种面部表情。此外，GEN-AFFECT在推理过程中采用一致注意力机制，实现生成表情集合之间的信息共享，使得生成过程能够在各种精细表情中保持身份一致性。相较于之前的最优方法，GEN-AFFECT在生成的准确性、身份保留以及目标身份在各种精细面部表情中的一致性方面表现出卓越的性能。

论文及项目相关链接

PDF

Summary
个性化二维头像定制广泛应用于游戏应用、虚拟通讯、教育和内容创作等领域。然而，现有方法往往无法捕捉精细的面部表情，并且在不同表情下难以保持身份一致性。我们提出GEN-AFFECT框架，生成个性化头像，实现表情丰富且身份一致。该框架采用多模态扩散变压器处理身份表达表示数据，支持身份保持和广泛面部表情表现。此外，在推理过程中采用一致注意力机制实现生成表情集的信息共享，确保生成过程中身份一致性。GEN-AFFECT在表情生成准确性、身份保持和一致性方面表现优于现有方法。

Key Takeaways

1. 定制二维头像广泛应用于多个领域，但现有方法难以捕捉精细面部表情和保持身份一致性。
2. 引入GEN-AFFECT框架，实现个性化头像生成，支持丰富表情和身份一致性。
3. 采用多模态扩散变压器处理身份表达数据，确保身份保持和广泛面部表情表现。
4. 一致注意力机制用于信息分享，在生成不同表情时维持身份一致性。
5. GEN-AFFECT在表情生成准确性上表现优越。
6. 该框架在保持身份和一致性方面较现有方法有所改进。

Cool Papers

点此查看论文截图