⚠️ 以下所有内容总结都来自于 大语言模型的能力，如有错误，仅供参考，谨慎使用
🔴 请注意：千万不要用于严肃的学术场景，只能用于论文阅读前的初筛！
💗 如果您觉得我们的项目对您有帮助 ChatPaperFree ，还请您给我们一些鼓励！⭐️ HuggingFace免费体验
2025-11-05 更新
A Dual-Branch CNN for Robust Detection of AI-Generated Facial Forgeries
Authors:Xin Zhang, Yuqi Song, Fei Zuo
The rapid advancement of generative AI has enabled the creation of highly realistic forged facial images, posing significant threats to AI security, digital media integrity, and public trust. Face forgery techniques, ranging from face swapping and attribute editing to powerful diffusion-based image synthesis, are increasingly being used for malicious purposes such as misinformation, identity fraud, and defamation. This growing challenge underscores the urgent need for robust and generalizable face forgery detection methods as a critical component of AI security infrastructure. In this work, we propose a novel dual-branch convolutional neural network for face forgery detection that leverages complementary cues from both spatial and frequency domains. The RGB branch captures semantic information, while the frequency branch focuses on high-frequency artifacts that are difficult for generative models to suppress. A channel attention module is introduced to adaptively fuse these heterogeneous features, highlighting the most informative channels for forgery discrimination. To guide the network’s learning process, we design a unified loss function, FSC Loss, that combines focal loss, supervised contrastive loss, and a frequency center margin loss to enhance class separability and robustness. We evaluate our model on the DiFF benchmark, which includes forged images generated from four representative methods: text-to-image, image-to-image, face swap, and face edit. Our method achieves strong performance across all categories and outperforms average human accuracy. These results demonstrate the model’s effectiveness and its potential contribution to safeguarding AI ecosystems against visual forgery attacks.
生成式人工智能的迅速发展，已经能够生成高度逼真的伪造面部图像，对人工智能安全、数字媒体完整性和公众信任度构成了重大威胁。面部伪造技术，包括面部替换、属性编辑以及强大的基于扩散的图像合成等，正越来越多地被用于恶意目的，如传播错误信息、身份欺诈和诽谤等。这一日益严峻的挑战突显了作为人工智能安全基础设施关键组成部分的稳健且可推广的面部伪造检测方法的迫切需求。在这项工作中，我们提出了一种用于面部伪造检测的新型双分支卷积神经网络，该网络利用来自空间域和频率域的互补线索。RGB分支捕捉语义信息，而频率分支则专注于生成模型难以抑制的高频伪影。引入了一个通道注意力模块，自适应地融合这些异构特征，突出最具有鉴别伪造信息作用的通道。为了引导网络的学习过程，我们设计了一种统一的损失函数FSC Loss，它结合了焦点损失、监督对比损失和频率中心边距损失，以提高类别的可分性和稳健性。我们在DiFF基准测试集上评估了我们的模型，该测试集包括由四种代表性方法生成的伪造图像：文本到图像、图像到图像、面部交换和面部编辑。我们的方法在所有类别中都取得了强劲的表现，并超越了平均人类精度。这些结果证明了该模型的有效性及其对保护人工智能生态系统免受视觉伪造攻击所做的潜在贡献。
论文及项目相关链接
Summary
随着生成式AI的迅速发展，面部图像伪造技术日益逼真，对AI安全、数字媒体完整性和公众信任构成重大威胁。本文提出了一种基于双分支卷积神经网络的新型面部伪造检测法，该法结合空间域和频域线索，实现语义信息和高频伪造的捕捉。引入通道注意力模块自适应融合这些异构特征，强调最具判别力的通道信息。设计了一种统一损失函数FSC Loss，结合焦点损失、监督对比损失和频率中心边距损失，提高类别可分性和稳健性。在DiFF基准测试上评估，该模型在各类面部伪造图像上表现强劲，超越了平均人类准确率，为保卫AI生态系统免受视觉伪造攻击提供了有效工具。
Key Takeaways
- 生成式AI的快速发展导致面部图像伪造技术日益先进，对AI安全和公众信任构成严重威胁。
- 面部伪造技术如脸部替换和属性编辑等，被越来越多地用于恶意目的，如传播错误信息、身份欺诈和诽谤。
- 亟需开发稳健且可推广的面部伪造检测法，作为AI安全基础设施的关键组成部分。
- 提出的双分支卷积神经网络模型能有效检测面部伪造，该模型结合空间域和频域线索。
- 模型包含RGB分支捕捉语义信息及频率分支专注于难以被生成模型抑制的高频伪像。
- 引入通道注意力模块自适应融合异构特征，强调最具有判别力的通道。
点此查看论文截图
Unmasking Puppeteers: Leveraging Biometric Leakage to Disarm Impersonation in AI-based Videoconferencing
Authors:Danial Samadi Vahdati, Tai Duc Nguyen, Ekta Prashnani, Koki Nagano, David Luebke, Orazio Gallo, Matthew Stamm
AI-based talking-head videoconferencing systems reduce bandwidth by sending a compact pose-expression latent and re-synthesizing RGB at the receiver, but this latent can be puppeteered, letting an attacker hijack a victim’s likeness in real time. Because every frame is synthetic, deepfake and synthetic video detectors fail outright. To address this security problem, we exploit a key observation: the pose-expression latent inherently contains biometric information of the driving identity. Therefore, we introduce the first biometric leakage defense without ever looking at the reconstructed RGB video: a pose-conditioned, large-margin contrastive encoder that isolates persistent identity cues inside the transmitted latent while cancelling transient pose and expression. A simple cosine test on this disentangled embedding flags illicit identity swaps as the video is rendered. Our experiments on multiple talking-head generation models show that our method consistently outperforms existing puppeteering defenses, operates in real-time, and shows strong generalization to out-of-distribution scenarios.
基于AI的谈话头部视频会议系统通过发送紧凑的姿态表情潜在信息并在接收器端重新合成RGB来减少带宽，但这种潜在信息可以被操纵，从而让攻击者实时劫持受害者的肖像。由于每一帧都是合成的，深度伪造和合成视频检测器直接失效。为了解决这一安全问题，我们利用了一个关键观察结果：姿态表情潜在信息本质上包含了驱动身份的生物识别信息。因此，我们引入了第一个无需查看重建的RGB视频的生物识别泄露防御：一个姿态调节、大边缘对比编码器，能够在传输的潜在信息中隔离持久的身份线索，同时取消瞬时的姿态和表情。在这种脱离嵌入的简单余弦测试中，在视频渲染时会标记出非法身份交换。我们在多个谈话头部生成模型上的实验表明，我们的方法始终优于现有的木偶操纵防御，可实时操作，对超出分布范围的场景具有很强的通用性。
论文及项目相关链接
摘要
基于AI的通话头视频会议系统通过发送紧凑的姿态表情潜像并在接收端重新合成RGB来降低带宽，但这种潜像可以被操纵，使攻击者能够在实时中劫持受害者的肖像。由于每一帧都是合成的，深度伪造和合成视频检测器完全失效。为了解决这一安全问题，我们利用了一个关键观察结果：姿态表情潜像本身包含驱动身份的生物识别信息。因此，我们引入了首个无需查看重建RGB视频的生物识别泄露防御：一个姿态调节、大边缘对比编码器，可在传输的潜像中隔离持久的身份线索，同时取消短暂姿态和表情。在这个分离的嵌入上进行的简单余弦测试在视频渲染过程中就能标记出非法身份切换。我们在多个通话头生成模型上的实验表明，我们的方法一直优于现有的木偶防御方法，能实时操作，对超出分布范围的场景具有强大的泛化能力。
关键见解
- AI通话头视频会议系统利用潜像传输以降低带宽。
- 系统潜像被操纵的风险使得攻击者能够实时劫持受害者肖像。
- 由于视频帧的合成性质，现有深度伪造和合成视频检测器无效。
- 姿态表情潜像包含生物识别信息，可用于防御身份操纵。
- 提出了一种新的防御方法，通过姿态调节的对比编码器隔离身份线索，同时消除短暂姿态和表情影响。
- 通过在分离的嵌入上进行余弦测试来检测非法身份切换。
点此查看论文截图
FaceTracer: Unveiling Source Identities from Swapped Face Images and Videos for Fraud Prevention
Authors:Zhongyi Zhang, Jie Zhang, Wenbo Zhou, Xinghui Zhou, Qing Guo, Weiming Zhang, Tianwei Zhang, Nenghai Yu
Face-swapping techniques have advanced rapidly with the evolution of deep learning, leading to widespread use and growing concerns about potential misuse, especially in cases of fraud. While many efforts have focused on detecting swapped face images or videos, these methods are insufficient for tracing the malicious users behind fraudulent activities. Intrusive watermark-based approaches also fail to trace unmarked identities, limiting their practical utility. To address these challenges, we introduce FaceTracer, the first non-intrusive framework specifically designed to trace the identity of the source person from swapped face images or videos. Specifically, FaceTracer leverages a disentanglement module that effectively suppresses identity information related to the target person while isolating the identity features of the source person. This allows us to extract robust identity information that can directly link the swapped face back to the original individual, aiding in uncovering the actors behind fraudulent activities. Extensive experiments demonstrate FaceTracer’s effectiveness across various face-swapping techniques, successfully identifying the source person in swapped content and enabling the tracing of malicious actors involved in fraudulent activities. Additionally, FaceTracer shows strong transferability to unseen face-swapping methods including commercial applications and robustness against transmission distortions and adaptive attacks.Our code is available at: https://github.com/zzy224/FaceTracer.
随着深度学习的进步，换脸技术得到了快速发展，这导致了其被广泛应用以及人们对潜在误用（特别是欺诈）的担忧日益增加。虽然许多工作都集中在检测换脸图像或视频上，但这些方法对于追踪欺诈活动背后的恶意用户是不够的。基于侵入性水印的方法也无法追踪未标记的身份，从而限制了其实用性。为了应对这些挑战，我们引入了FaceTracer，这是一个专门设计的非侵入性框架，可从换脸图像或视频中追踪源人物的身份。具体来说，FaceTracer利用解纠缠模块有效地抑制与目标人物相关的身份信息，同时隔离源人物的身份特征。这使我们能够提取稳健的身份信息，直接将换脸内容链接回原始个人，有助于揭露欺诈活动背后的行为人。广泛的实验表明，FaceTracer在各种换脸技术中效果显著，能够在换脸内容中成功识别出源人物并追踪参与欺诈活动的恶意行为人。此外，FaceTracer对未见过的换脸方法具有很强的可迁移性，包括商业应用，并且对传输失真和自适应攻击具有稳健性。我们的代码可在：https://github.com/zzy224/FaceTracer获取。
论文及项目相关链接
PDF 17 pages, 16 figures, TPAMI version
Summary
随着深度学习的发展，换脸技术迅速进步，广泛应用于各个领域，同时也引发了潜在误用的担忧，尤其是在欺诈方面。现有方法主要关注检测换脸图像或视频，但追踪恶意用户的能力有限。为此，我们推出FaceTracer，首款非侵入式追踪框架，可从换脸图像或视频中追踪身份源头。FaceTracer采用分离模块，有效抑制目标人物身份信息，同时隔离源人物的身份特征。此框架可提取稳健的身份信息，直接链接换脸内容与原始个体，有助于揭露欺诈活动背后的参与者。实验证明，FaceTracer对多种换脸技术有效，可识别换脸内容中的身份源头，并追踪参与欺诈活动的恶意人员。此外，FaceTracer对未见过的换脸方法表现出强大的迁移性和对传输失真和自适应攻击的稳健性。
Key Takeaways
- 换脸技术广泛应用但存在潜在误用风险，尤其在欺诈方面。
- 现有方法主要关注检测换脸图像或视频，难以追踪恶意用户。
- FaceTracer是首款非侵入式追踪框架，可从换脸内容中追踪身份源头。
- FaceTracer采用分离模块技术，有效抑制目标人物身份信息，同时隔离源人物身份特征。
- FaceTracer可提取稳健的身份信息，直接链接换脸内容与原始个体。
- 实验证明FaceTracer对多种换脸技术有效，并表现出强大的迁移性和对传输失真及自适应攻击的稳健性。
- FaceTracer代码已公开可用。
点此查看论文截图
