Face Swapping

⚠️ 以下所有内容总结都来自于 大语言模型的能力，如有错误，仅供参考，谨慎使用
🔴 请注意：千万不要用于严肃的学术场景，只能用于论文阅读前的初筛！
💗 如果您觉得我们的项目对您有帮助 ChatPaperFree ，还请您给我们一些鼓励！⭐️ HuggingFace免费体验

2025-06-17 更新

FAME: A Lightweight Spatio-Temporal Network for Model Attribution of Face-Swap Deepfakes

Authors:Wasim Ahmad, Yan-Tsung Peng, Yuan-Hao Chang

The widespread emergence of face-swap Deepfake videos poses growing risks to digital security, privacy, and media integrity, necessitating effective forensic tools for identifying the source of such manipulations. Although most prior research has focused primarily on binary Deepfake detection, the task of model attribution – determining which generative model produced a given Deepfake – remains underexplored. In this paper, we introduce FAME (Fake Attribution via Multilevel Embeddings), a lightweight and efficient spatio-temporal framework designed to capture subtle generative artifacts specific to different face-swap models. FAME integrates spatial and temporal attention mechanisms to improve attribution accuracy while remaining computationally efficient. We evaluate our model on three challenging and diverse datasets: Deepfake Detection and Manipulation (DFDM), FaceForensics++, and FakeAVCeleb. Results show that FAME consistently outperforms existing methods in both accuracy and runtime, highlighting its potential for deployment in real-world forensic and information security applications.

人脸替换深度伪造视频的广泛出现给数字安全、隐私和媒体完整性带来了日益增长的风险，因此需要有效的取证工具来识别此类操纵的来源。尽管大多数先前的研究主要集中在二元深度伪造检测上，但模型归属任务——确定哪个生成模型产生了特定的深度伪造——仍然被忽视。在本文中，我们介绍了FAME（通过多层嵌入进行伪造归属），这是一个轻量级且高效的空间时间框架，旨在捕捉不同人脸替换模型特有的细微生成痕迹。FAME结合了空间和时间的注意力机制，以提高归属的准确性，同时保持计算效率。我们在三个具有挑战性和多样性的数据集上评估了我们的模型：深度伪造检测和操纵数据集（DFDM）、FaceForensics++和FakeAVCeleb。结果表明，无论是在准确性还是运行时间上，FAME都始终优于现有方法，凸显其在现实世界取证和信息安全应用中的部署潜力。

论文及项目相关链接

PDF

Summary

本文介绍了面部交换Deepfake视频的广泛涌现对数字安全、隐私和媒体完整性的日益增长风险。尽管大多数先前的研究主要集中在二进制Deepfake检测上，但确定生成特定Deepfake的生成模型的模型归属任务仍然被忽视。本文引入FAME（通过多层次嵌入进行假冒归属），这是一个轻巧高效的空间时间框架，旨在捕捉不同面部交换模型的微妙生成特征。FAME结合了空间和时间注意力机制，以提高归属准确性，同时保持计算效率。我们在三个具有挑战性和多样性的数据集上评估了我们的模型：Deepfake检测与操纵（DFDM）、FaceForensics++和FakeAVCeleb。结果表明，FAME在准确性和运行时间上均优于现有方法，凸显其在现实世界的司法鉴定和信息安全应用中的部署潜力。

Key Takeaways

1. 面部交换Deepfake视频的普及对数字安全、隐私和媒体完整性造成风险。
2. 大多数研究集中在Deepfake检测上，而模型归属任务（确定特定Deepfake的生成模型）仍被忽视。
3. 引入FAME框架，结合空间和时间注意力机制，能有效捕捉不同面部交换模型的微妙生成特征。
4. FAME在多个数据集上的表现优于现有方法，具有高效和准确的优点。
5. FAME框架具有在真实世界的司法鉴定和信息安全应用中部署的潜力。
6. 该研究强调了模型归属任务在识别和防范Deepfake视频中的重要作用。

Cool Papers

点此查看论文截图