⚠️ 以下所有内容总结都来自于 大语言模型的能力，如有错误，仅供参考，谨慎使用
🔴 请注意：千万不要用于严肃的学术场景，只能用于论文阅读前的初筛！
💗 如果您觉得我们的项目对您有帮助 ChatPaperFree ，还请您给我们一些鼓励！⭐️ HuggingFace免费体验
2025-06-11 更新
GHOST 2.0: generative high-fidelity one shot transfer of heads
Authors:Alexander Groshev, Anastasiia Iashchenko, Pavel Paramonov, Denis Dimitrov, Andrey Kuznetsov
While the task of face swapping has recently gained attention in the research community, a related problem of head swapping remains largely unexplored. In addition to skin color transfer, head swap poses extra challenges, such as the need to preserve structural information of the whole head during synthesis and inpaint gaps between swapped head and background. In this paper, we address these concerns with GHOST 2.0, which consists of two problem-specific modules. First, we introduce enhanced Aligner model for head reenactment, which preserves identity information at multiple scales and is robust to extreme pose variations. Secondly, we use a Blender module that seamlessly integrates the reenacted head into the target background by transferring skin color and inpainting mismatched regions. Both modules outperform the baselines on the corresponding tasks, allowing to achieve state of the art results in head swapping. We also tackle complex cases, such as large difference in hair styles of source and target. Code is available at https://github.com/ai-forever/ghost-2.0
虽然面部替换任务最近才在学术界受到关注，但头部替换的相关问题仍然很少被探索。除了肤色转移外，头部替换还带来了额外的挑战，例如需要在合成过程中保留整个头部的结构信息，以及填充被替换头部与背景之间的间隙。在本文中，我们针对这些问题提出了Ghost 2.0解决方案，它包括两个针对特定问题的模块。首先，我们引入了增强的对齐模型进行头部重新演绎，该模型可以在多个尺度上保留身份信息，并且对于极端的姿势变化具有鲁棒性。其次，我们使用Blender模块，通过转移肤色和填充不匹配的区域，无缝地将重新演绎的头部集成到目标背景中。这两个模块在相应的任务上都优于基线方法，从而实现了头部替换的先进结果。我们还解决了复杂的情况，如源图像和目标图像之间头发风格存在较大差异的问题。代码可从https://github.com/ai-forever/ghost-2.0获取。
论文及项目相关链接
总结
本文探讨了头替换技术的挑战和问题，并提出了解决这些问题的新框架，名为Ghost 2.0。通过两个针对性的模块：增强型对齐模型用于头部重新表现，能在不同极端姿态下保持身份信息的准确性；同时利用混合器模块将重新表现的头部无缝集成到目标背景中，实现皮肤颜色的转移和背景不匹配区域的填充。该框架在头替换任务上取得了最先进的成果，包括处理头发风格差异较大的复杂情况。代码已公开在GitHub上。
关键见解
- 头替换技术相较于面部替换技术更具挑战性，涉及更多问题如头部结构的保留和背景融合等。
- Ghost 2.0框架包含两个针对头替换问题的模块，旨在解决对齐和混合问题。
- 增强型对齐模型能够在不同姿态下保持身份信息的准确性。
- 混合器模块实现了无缝集成头部到目标背景，包括皮肤颜色转移和背景不匹配区域的填充。
- Ghost 2.0框架在头替换任务上取得了最先进的成果。
- 该框架能够处理头发风格差异较大的复杂情况。
点此查看论文截图
