⚠️ 以下所有内容总结都来自于 大语言模型的能力，如有错误，仅供参考，谨慎使用
🔴 请注意：千万不要用于严肃的学术场景，只能用于论文阅读前的初筛！
💗 如果您觉得我们的项目对您有帮助 ChatPaperFree ，还请您给我们一些鼓励！⭐️ HuggingFace免费体验
2025-03-01 更新
GHOST 2.0: generative high-fidelity one shot transfer of heads
Authors:Alexander Groshev, Anastasiia Iashchenko, Pavel Paramonov, Denis Dimitrov, Andrey Kuznetsov
While the task of face swapping has recently gained attention in the research community, a related problem of head swapping remains largely unexplored. In addition to skin color transfer, head swap poses extra challenges, such as the need to preserve structural information of the whole head during synthesis and inpaint gaps between swapped head and background. In this paper, we address these concerns with GHOST 2.0, which consists of two problem-specific modules. First, we introduce enhanced Aligner model for head reenactment, which preserves identity information at multiple scales and is robust to extreme pose variations. Secondly, we use a Blender module that seamlessly integrates the reenacted head into the target background by transferring skin color and inpainting mismatched regions. Both modules outperform the baselines on the corresponding tasks, allowing to achieve state of the art results in head swapping. We also tackle complex cases, such as large difference in hair styles of source and target. Code is available at https://github.com/ai-forever/ghost-2.0
脸部替换任务虽然已经引起研究社区的注意，但与之相关的头部替换问题仍未被充分探索。除了肤色转移，头部替换带来了额外的挑战，如在合成过程中保留整个头部的结构信息，以及在替换的头部和目标背景之间填充间隙。在本文中，我们针对这些问题提出了GHOST 2.0解决方案，其包含两个针对特定问题的模块。首先，我们引入了增强的对齐模型进行头部再现，该模型能够在多个尺度上保留身份信息，并且对极端姿势变化具有鲁棒性。其次，我们采用Blender模块，通过转移肤色并填充不匹配区域，无缝地将再现的头部集成到目标背景中。这两个模块在相应任务上的表现均优于基线，从而实现头部替换的业界领先结果。我们还解决了复杂的情况，如源和目标之间发型存在较大差异的问题。代码可在https://github.com/ai-forever/ghost-2.0找到。
论文及项目相关链接
Summary
面部替换任务已受到研究社区的广泛关注，但头部替换问题仍然鲜有研究。除了肤色转移外，头部替换还面临额外的挑战，如合成过程中需要保持整个头部的结构信息，以及填补替换头部与背景之间的间隙。本文采用GHOST 2.0解决这些问题，其包含两个针对问题的模块：一是增强的对齐模型，用于头部再现，能够在多个尺度上保留身份信息，并对极端姿势变化具有鲁棒性；二是混合器模块，能够无缝地将再现的头部集成到目标背景中，通过肤色转移和填充不匹配区域。两个模块在相应任务上的表现均优于基线，实现了头部替换的最新结果。此外，还解决了源和目标之间发型差异较大的复杂情况。代码可在https://github.com/ai-forever/ghost-2.0找到。
Key Takeaways
- 头部替换相比于面部替换更具挑战性，需保留整个头部的结构信息并在合成过程中填补间隙。
- GHOST 2.0包含两个针对性模块，用于解决头部替换的特定问题。
- 增强的对齐模型能够在多个尺度上保留身份信息，并对极端姿势变化具有鲁棒性。
- 混合器模块能无缝集成再现的头部到目标背景，通过肤色转移和填充不匹配区域实现高质量替换。
- GHOST 2.0在头部替换任务上实现最新结果，优于其他基线方法。
- 代码公开，方便研究者和开发者使用与进一步探索。
点此查看论文截图
