⚠️ 以下所有内容总结都来自于 大语言模型的能力，如有错误，仅供参考，谨慎使用
🔴 请注意：千万不要用于严肃的学术场景，只能用于论文阅读前的初筛！
💗 如果您觉得我们的项目对您有帮助 ChatPaperFree ，还请您给我们一些鼓励！⭐️ HuggingFace免费体验
2025-03-07 更新
DFREC: DeepFake Identity Recovery Based on Identity-aware Masked Autoencoder
Authors:Peipeng Yu, Hui Gao, Jianwei Fei, Zhitao Huang, Zhihua Xia, Chip-Hong Chang
Recent advances in deepfake forensics have primarily focused on improving the classification accuracy and generalization performance. Despite enormous progress in detection accuracy across a wide variety of forgery algorithms, existing algorithms lack intuitive interpretability and identity traceability to help with forensic investigation. In this paper, we introduce a novel DeepFake Identity Recovery scheme (DFREC) to fill this gap. DFREC aims to recover the pair of source and target faces from a deepfake image to facilitate deepfake identity tracing and reduce the risk of deepfake attack. It comprises three key components: an Identity Segmentation Module (ISM), a Source Identity Reconstruction Module (SIRM), and a Target Identity Reconstruction Module (TIRM). The ISM segments the input face into distinct source and target face information, and the SIRM reconstructs the source face and extracts latent target identity features with the segmented source information. The background context and latent target identity features are synergetically fused by a Masked Autoencoder in the TIRM to reconstruct the target face. We evaluate DFREC on six different high-fidelity face-swapping attacks on FaceForensics++, CelebaMegaFS and FFHQ-E4S datasets, which demonstrate its superior recovery performance over state-of-the-art deepfake recovery algorithms. In addition, DFREC is the only scheme that can recover both pristine source and target faces directly from the forgery image with high fadelity.
近期深度伪造取证技术的进展主要集中在提高分类精度和泛化性能上。虽然在检测各种伪造算法的准确性方面取得了巨大进展，但现有算法缺乏直观的解读性和身份可追溯性，无法帮助进行法医学调查。在本文中，我们引入了一种新型的深度伪造身份恢复方案（DFREC）来填补这一空白。DFREC旨在从深度伪造图像中恢复源和目标人脸对，以便于深度伪造身份追踪，并降低深度伪造攻击的风险。它包含三个关键组件：身份分割模块（ISM）、源身份重建模块（SIRM）和目标身份重建模块（TIRM）。ISM将输入的人脸分割为独特的源和目标人脸信息，SIRM则利用分割的源信息重建源人脸并提取潜在的目标身份特征。背景上下文和潜在的目标身份特征被协同地融合到一个掩码自动编码器中，在TIRM中重建目标人脸。我们在FaceForensics++、CelebaMegaFS和FFHQ-E4S数据集上对DFREC进行了六种不同高保真度人脸交换攻击的评估，结果表明其在深度伪造恢复算法上具有出色的恢复性能。此外，DFREC是唯一一种能够从伪造图像中直接恢复高保真度的原始源和目标人脸的方案。
论文及项目相关链接
Summary
本文介绍了一种新型的DeepFake身份恢复方案（DFREC），旨在从深度伪造图像中恢复源和目标人脸，以便进行深度伪造身份追踪，降低深度伪造攻击的风险。该方案包括三个关键组件：身份分割模块（ISM）、源身份重建模块（SIRM）和目标身份重建模块（TIRM）。DFREC在FaceForensics++、CelebaMegaFS和FFHQ-E4S数据集上的六种不同高保真人脸交换攻击上的评估表明，其恢复性能优于最先进的深度伪造恢复算法。
Key Takeaways
- DFREC是一种新型的DeepFake身份恢复方案，旨在从深度伪造图像中恢复源和目标人脸。
- DFREC包括三个关键组件：身份分割模块（ISM）、源身份重建模块（SIRM）和目标身份重建模块（TIRM）。
- ISM能够将输入的人脸分割成不同的源和目标人脸信息。
- SIRM能够重建源人脸并提取潜在的目标身份特征。
- TIRM通过使用Masked Autoencoder协同融合背景上下文和潜在目标身份特征来重建目标人脸。
- DFREC在多个数据集上的评估表现优越，能够高保真地直接从伪造图像中恢复源和目标人脸。
点此查看论文截图
