⚠️ 以下所有内容总结都来自于 大语言模型的能力，如有错误，仅供参考，谨慎使用
🔴 请注意：千万不要用于严肃的学术场景，只能用于论文阅读前的初筛！
💗 如果您觉得我们的项目对您有帮助 ChatPaperFree ，还请您给我们一些鼓励！⭐️ HuggingFace免费体验
2025-02-27 更新
GHOST 2.0: generative high-fidelity one shot transfer of heads
Authors:Alexander Groshev, Anastasiia Iashchenko, Pavel Paramonov, Denis Dimitrov, Andrey Kuznetsov
While the task of face swapping has recently gained attention in the research community, a related problem of head swapping remains largely unexplored. In addition to skin color transfer, head swap poses extra challenges, such as the need to preserve structural information of the whole head during synthesis and inpaint gaps between swapped head and background. In this paper, we address these concerns with GHOST 2.0, which consists of two problem-specific modules. First, we introduce enhanced Aligner model for head reenactment, which preserves identity information at multiple scales and is robust to extreme pose variations. Secondly, we use a Blender module that seamlessly integrates the reenacted head into the target background by transferring skin color and inpainting mismatched regions. Both modules outperform the baselines on the corresponding tasks, allowing to achieve state of the art results in head swapping. We also tackle complex cases, such as large difference in hair styles of source and target.
虽然面部替换任务最近才引起研究界的关注，但头部替换的相关问题仍然很大程度上未被探索。除了肤色转移，头部替换带来了额外的挑战，例如需要在合成过程中保持整个头部的结构信息，以及在替换的头部和目标背景之间填充空白区域。在本文中，我们通过GHOST 2.0解决了这些担忧，该网络由两个针对特定问题的模块组成。首先，我们引入了增强的对齐模型进行头部再现，该模型能够在多个尺度上保留身份信息，并且对于极端姿态变化具有很强的鲁棒性。其次，我们使用Blender模块，通过肤色转移和填充不匹配区域，无缝地将再现的头部集成到目标背景中。这两个模块在相应的任务上都优于基线，实现了头部替换的先进结果。我们还解决了复杂的情况，如源头发和目标头发的风格存在较大差异的问题。
论文及项目相关链接
Summary
脸部替换任务虽受关注，但头部替换问题仍被忽视。本研究通过采用具有增强对齐功能的头重现模型与先进的融合技术，解决了头部替换中的挑战性问题。通过色彩转移与背景融合技术，实现了无缝集成头部替换效果。此方法在头部替换领域达到领先水平，并成功应对复杂情况如不同发型差异等挑战。
Key Takeaways
- 头部替换是一个未被充分研究的问题，相比于脸部替换，更具挑战性。
- 该研究引入了一种增强对齐功能的头重现模型（GHOST 2.0），解决了头部替换中的关键难题。
- 模型通过多尺度保留身份信息，对极端姿态变化具有鲁棒性。
- 研究采用先进的融合技术，实现了头部与背景的无缝集成。这包括皮肤颜色转移和背景融合技术。
点此查看论文截图
