⚠️ 以下所有内容总结都来自于 大语言模型的能力，如有错误，仅供参考，谨慎使用
🔴 请注意：千万不要用于严肃的学术场景，只能用于论文阅读前的初筛！
💗 如果您觉得我们的项目对您有帮助 ChatPaperFree ，还请您给我们一些鼓励！⭐️ HuggingFace免费体验
2025-09-17 更新
A Controllable 3D Deepfake Generation Framework with Gaussian Splatting
Authors:Wending Liu, Siyun Liang, Huy H. Nguyen, Isao Echizen
We propose a novel 3D deepfake generation framework based on 3D Gaussian Splatting that enables realistic, identity-preserving face swapping and reenactment in a fully controllable 3D space. Compared to conventional 2D deepfake approaches that suffer from geometric inconsistencies and limited generalization to novel view, our method combines a parametric head model with dynamic Gaussian representations to support multi-view consistent rendering, precise expression control, and seamless background integration. To address editing challenges in point-based representations, we explicitly separate the head and background Gaussians and use pre-trained 2D guidance to optimize the facial region across views. We further introduce a repair module to enhance visual consistency under extreme poses and expressions. Experiments on NeRSemble and additional evaluation videos demonstrate that our method achieves comparable performance to state-of-the-art 2D approaches in identity preservation, as well as pose and expression consistency, while significantly outperforming them in multi-view rendering quality and 3D consistency. Our approach bridges the gap between 3D modeling and deepfake synthesis, enabling new directions for scene-aware, controllable, and immersive visual forgeries, revealing the threat that emerging 3D Gaussian Splatting technique could be used for manipulation attacks.
我们提出了一种基于3D高斯拼贴的新型深度伪造生成框架，该框架可在完全可控的3D空间中进行逼真、身份保留的面部交换和重新演绎。与传统的2D深度伪造方法相比，我们的方法结合了参数化头部模型和动态高斯表示，支持多视图一致渲染、精确的表情控制和无缝的背景集成，克服了因几何不一致和缺乏对新型视图的泛化而导致的挑战。为了解决点基表示中的编辑挑战，我们明确地将头部和背景高斯分开，并使用预先训练的2D指导来优化视图间的面部区域。我们还引入了一个修复模块，以提高极端姿势和表情下的视觉一致性。在NeRSemble上的实验和其他评估视频表明，我们的方法在身份保留、姿势和表情一致性方面达到了最新先进2D方法的性能水平，同时在多视图渲染质量和3D一致性方面显著优于它们。我们的方法填补了3D建模和深度伪造合成之间的空白，为场景感知、可控和沉浸式视觉伪造开启了新的方向，揭示了新兴的3D高斯拼贴技术可能用于操纵攻击所带来的威胁。
论文及项目相关链接
摘要
基于三维高斯拼贴技术，我们提出了一种新型的三维深度伪造生成框架，可实现逼真的身份保留三维空间中对面部进行换脸和重建控制操作。与传统二维深度伪造方法相比，我们的方法通过结合参数化头部模型和动态高斯表示来支持多视角一致渲染、精确的表情控制和无缝背景集成，克服了几何不一致性和对新颖视角的有限泛化问题。为解决点表示中的编辑挑战，我们明确区分头部和背景的高斯模型，并使用预训练的二维指导对视图间的面部区域进行优化。我们进一步引入修复模块以增强极端姿势和表情下的视觉一致性。在NeRSemble和其他评估视频上的实验表明，我们的方法在身份保留方面达到最新技术的性能水平，在姿态和表情一致性方面也表现出同等性能，同时显著提高多视角渲染质量和三维一致性。我们的方法结合了三维建模和深度伪造合成的差距，为场景感知、可控和沉浸式视觉伪造开辟了新方向，揭示了新兴的三维高斯拼贴技术可能被用于操纵攻击的风险。
要点总结
- 提出基于三维高斯拼贴的深度伪造生成框架，支持三维空间中的面部换脸和重建控制操作。
- 与传统二维深度伪造方法相比，支持多视角一致渲染、精确表情控制及无缝背景集成。
- 通过区分头部和背景的高斯模型解决点表示编辑挑战。
- 利用预训练的二维指导优化不同视图间的面部区域。
- 引入修复模块提高极端姿势和表情下的视觉一致性。
- 实验表明在身份保留、姿态和表情一致性方面表现优异，同时提高多视角渲染质量和三维一致性。
- 揭示了新兴三维高斯拼贴技术可能存在的操纵攻击风险。
点此查看论文截图
