人脸相关

⚠️ 以下所有内容总结都来自于 大语言模型的能力，如有错误，仅供参考，谨慎使用
🔴 请注意：千万不要用于严肃的学术场景，只能用于论文阅读前的初筛！
💗 如果您觉得我们的项目对您有帮助 ChatPaperFree ，还请您给我们一些鼓励！⭐️ HuggingFace免费体验

2025-10-11 更新

Efficient Label Refinement for Face Parsing Under Extreme Poses Using 3D Gaussian Splatting

Authors:Ankit Gahlawat, Anirban Mukherjee, Dinesh Babu Jayagopi

Accurate face parsing under extreme viewing angles remains a significant challenge due to limited labeled data in such poses. Manual annotation is costly and often impractical at scale. We propose a novel label refinement pipeline that leverages 3D Gaussian Splatting (3DGS) to generate accurate segmentation masks from noisy multiview predictions. By jointly fitting two 3DGS models, one to RGB images and one to their initial segmentation maps, our method enforces multiview consistency through shared geometry, enabling the synthesis of pose-diverse training data with only minimal post-processing. Fine-tuning a face parsing model on this refined dataset significantly improves accuracy on challenging head poses, while maintaining strong performance on standard views. Extensive experiments, including human evaluations, demonstrate that our approach achieves superior results compared to state-of-the-art methods, despite requiring no ground-truth 3D annotations and using only a small set of initial images. Our method offers a scalable and effective solution for improving face parsing robustness in real-world settings.

在极端视角下准确进行人脸解析仍然是一个重大挑战，因为在这些姿势下的标记数据有限。手动标注成本高昂，在大规模场景下往往不切实际。我们提出了一种新型标签优化管道，它利用3D高斯拼贴（3DGS）技术，从嘈杂的多视角预测中生成精确的分割蒙版。我们通过联合拟合两个3DGS模型，一个用于RGB图像，一个用于其初始分割图，通过共享几何结构来强制执行多视角一致性，从而实现了仅用最小的后期处理就能合成姿态多样的训练数据。在精细化数据集上对人脸解析模型进行微调，能显著提高在具有挑战的头部位姿上的准确度，同时在标准视图上保持强大的性能。包括人类评估在内的广泛实验表明，我们的方法即使在不需要真实3D注释的情况下，仅使用一组初始图像也能达到优于最新技术的方法的优越结果。我们的方法提供了一个可扩展且有效的解决方案，能在现实世界中提高人脸解析的稳健性。

论文及项目相关链接

PDF Accepted to VCIP 2025 (International Conference on Visual Communications and Image Processing 2025)

Summary
本文提出一种利用3D高斯展开技术（3DGS）进行标签优化的方法，通过从多角度预测生成精确分割掩膜，解决极端视角下面部解析的难题。通过两个3DGS模型的联合拟合，实现多视角一致性，仅通过少量后处理即可合成多种姿态的训练数据。实验证明，该方法在具有挑战性的头部姿态上显著提高了面部解析模型的准确性，同时保持了标准视图上的性能。该方法无需地面真实三维标注，只需少量初始图像即可实现优于现有技术的结果。

Key Takeaways

1. 提出一种利用3D高斯展开技术（3DGS）解决在极端视角下准确面部解析的挑战性问题。
2. 通过多视角预测生成精确分割掩膜，优化标签处理方法。
3. 通过联合拟合两个3DGS模型实现多视角一致性，合成多种姿态的训练数据。
4. 方法仅需少量后处理，具有可扩展性和实用性。
5. 精细调整面部解析模型在具有挑战性的头部姿态上显著提高准确性。
6. 在标准视图上保持强大的性能表现。

Cool Papers

点此查看论文截图

Towards Real-World Deepfake Detection: A Diverse In-the-wild Dataset of Forgery Faces

Authors:Junyu Shi, Minghui Li, Junguo Zuo, Zhifei Yu, Yipeng Lin, Shengshan Hu, Ziqi Zhou, Yechao Zhang, Wei Wan, Yinzhe Xu, Leo Yu Zhang

Deepfakes, leveraging advanced AIGC (Artificial Intelligence-Generated Content) techniques, create hyper-realistic synthetic images and videos of human faces, posing a significant threat to the authenticity of social media. While this real-world threat is increasingly prevalent, existing academic evaluations and benchmarks for detecting deepfake forgery often fall short to achieve effective application for their lack of specificity, limited deepfake diversity, restricted manipulation techniques.To address these limitations, we introduce RedFace (Real-world-oriented Deepfake Face), a specialized facial deepfake dataset, comprising over 60,000 forged images and 1,000 manipulated videos derived from authentic facial features, to bridge the gap between academic evaluations and real-world necessity. Unlike prior benchmarks, which typically rely on academic methods to generate deepfakes, RedFace utilizes 9 commercial online platforms to integrate the latest deepfake technologies found “in the wild”, effectively simulating real-world black-box scenarios.Moreover, RedFace’s deepfakes are synthesized using bespoke algorithms, allowing it to capture diverse and evolving methods used by real-world deepfake creators. Extensive experimental results on RedFace (including cross-domain, intra-domain, and real-world social network dissemination simulations) verify the limited practicality of existing deepfake detection schemes against real-world applications. We further perform a detailed analysis of the RedFace dataset, elucidating the reason of its impact on detection performance compared to conventional datasets. Our dataset is available at: https://github.com/kikyou-220/RedFace.

深度伪造技术利用先进的AIGC（人工智能生成内容）技术，创建高度逼真的合成人脸图像和视频，对社会媒体的真实性构成重大威胁。虽然这一现实世界的威胁越来越普遍，但现有的学术评估和基准测试在检测深度伪造时往往因缺乏特异性、深度伪造多样性有限、操作技术受限而难以实现有效应用。为了解决这些局限性，我们推出了RedFace（面向现实世界的深度伪造人脸）专项面部深度伪造数据集，包含超过6万张伪造图像和1000个操作视频，这些视频基于真实的人脸特征衍生而来，旨在弥合学术评价与现实生活需求之间的差距。不同于以往主要依赖学术方法生成深度伪造的基准测试，RedFace利用9个商业在线平台集成了最新的深度伪造技术，有效模拟现实世界的黑箱场景。此外，RedFace的深度伪造是通过专用算法合成的，能够捕捉现实世界中深度伪造创作者使用的多样化和不断发展的方法。在RedFace上的广泛实验（包括跨域、域内以及社交媒体网络传播模拟）验证了现有深度伪造检测方案在实际应用中的局限性。我们还对RedFace数据集进行了详细分析，阐明了其对检测性能的影响与传统数据集相比的原因。我们的数据集可在https://github.com/kikyou-220/RedFace上获取。

论文及项目相关链接

PDF

Summary
借助先进的人工智能生成内容（AIGC）技术，深度伪造（Deepfakes）能创造出超逼真的人脸合成图像和视频，对社交媒体的真实性构成重大威胁。针对学术评估在检测深度伪造方面的局限性，我们推出了RedFace数据集，包含超过6万张伪造图像和1000个经真实面部特征操作的视频，以弥补学术评估与实际应用之间的鸿沟。RedFace利用9个商业在线平台集成最新的深度伪造技术，模拟真实世界的黑箱场景。此外，RedFace的伪造图像采用专用算法合成，能捕捉现实世界中深度伪造创作者使用的多样化和不断演变的方法。

Key Takeaways

1. 深度伪造技术能创建超逼真的人脸合成图像和视频，对社交媒体的真实性构成威胁。
2. 现有的学术评估在检测深度伪造方面存在局限性，需要更专业的数据集来应对。
3. RedFace数据集包含超过6万张伪造图像和1000个操作视频，以真实面部特征为基础。
4. RedFace利用商业在线平台集成最新的深度伪造技术，模拟真实世界的场景。
5. RedFace的伪造图像采用专用算法合成，以捕捉现实世界中深度伪造创作者的多样化方法。
6. RedFace数据集填补了学术评估与实际应用之间的鸿沟，对现有深度伪造检测方案进行了验证。

Cool Papers

点此查看论文截图