⚠️ 以下所有内容总结都来自于 大语言模型的能力，如有错误，仅供参考，谨慎使用
🔴 请注意：千万不要用于严肃的学术场景，只能用于论文阅读前的初筛！
💗 如果您觉得我们的项目对您有帮助 ChatPaperFree ，还请您给我们一些鼓励！⭐️ HuggingFace免费体验
2025-02-28 更新
GHOST 2.0: generative high-fidelity one shot transfer of heads
Authors:Alexander Groshev, Anastasiia Iashchenko, Pavel Paramonov, Denis Dimitrov, Andrey Kuznetsov
While the task of face swapping has recently gained attention in the research community, a related problem of head swapping remains largely unexplored. In addition to skin color transfer, head swap poses extra challenges, such as the need to preserve structural information of the whole head during synthesis and inpaint gaps between swapped head and background. In this paper, we address these concerns with GHOST 2.0, which consists of two problem-specific modules. First, we introduce enhanced Aligner model for head reenactment, which preserves identity information at multiple scales and is robust to extreme pose variations. Secondly, we use a Blender module that seamlessly integrates the reenacted head into the target background by transferring skin color and inpainting mismatched regions. Both modules outperform the baselines on the corresponding tasks, allowing to achieve state of the art results in head swapping. We also tackle complex cases, such as large difference in hair styles of source and target. Code is available at https://github.com/ai-forever/ghost-2.0
脸部替换任务虽然已经引起研究社区的注意，但头部替换的相关问题仍然很少被探索。除了肤色转移外，头部替换还带来额外的挑战，如在合成过程中需要保持整个头部的结构信息，以及填补替换头部与背景之间的间隙。在本文中，我们借助GHOST 2.0来解决这些问题，它包含两个针对问题的模块。首先，我们引入增强的对齐模型进行头部再现，该模型能够在多个尺度上保留身份信息，并且对极端姿势变化具有鲁棒性。其次，我们采用Blender模块，通过转移肤色和填充不匹配区域，无缝地将再现的头部集成到目标背景中。两个模块在相应任务上的表现都超过了基线水平，实现了头部替换的先进结果。我们还解决了复杂的情况，如源和目标之间发型存在较大差异。代码可在https://github.com/ai-forever/ghost-2.0找到。
论文及项目相关链接
Summary
面部替换任务已受到研究关注，但头部替换问题仍未得到充分探索。本研究通过引入改进的GHOST 2.0技术解决此问题，该技术包括两个针对头部替换问题的模块：增强对齐模型用于头部重建，能多尺度保留身份信息且适应极端姿态变化；另一个模块为Blender模块，能将重建的头部无缝集成到目标背景中，实现皮肤颜色转移和未匹配区域的修复。此方法在头部替换任务上取得显著成果，包括处理复杂情况如源和目标之间发型差异较大等。代码已公开。
Key Takeaways
- 研究指出面部替换受到关注，但头部替换研究尚未得到充分探索。
- GHOST 2.0技术包括两个针对头部替换问题的模块。
- 增强对齐模型用于头部重建，能多尺度保留身份信息并适应极端姿态变化。
- Blender模块能将重建的头部无缝集成到目标背景中。
- 技术实现皮肤颜色转移和未匹配区域的修复功能。
- 此方法在头部替换任务上取得显著成果。
点此查看论文截图
