⚠️ 以下所有内容总结都来自于 大语言模型的能力，如有错误，仅供参考，谨慎使用
🔴 请注意：千万不要用于严肃的学术场景，只能用于论文阅读前的初筛！
💗 如果您觉得我们的项目对您有帮助 ChatPaperFree ，还请您给我们一些鼓励！⭐️ HuggingFace免费体验
2025-04-25 更新
OSDFace: One-Step Diffusion Model for Face Restoration
Authors:Jingkai Wang, Jue Gong, Lin Zhang, Zheng Chen, Xing Liu, Hong Gu, Yutong Liu, Yulun Zhang, Xiaokang Yang
Diffusion models have demonstrated impressive performance in face restoration. Yet, their multi-step inference process remains computationally intensive, limiting their applicability in real-world scenarios. Moreover, existing methods often struggle to generate face images that are harmonious, realistic, and consistent with the subject’s identity. In this work, we propose OSDFace, a novel one-step diffusion model for face restoration. Specifically, we propose a visual representation embedder (VRE) to better capture prior information and understand the input face. In VRE, low-quality faces are processed by a visual tokenizer and subsequently embedded with a vector-quantized dictionary to generate visual prompts. Additionally, we incorporate a facial identity loss derived from face recognition to further ensure identity consistency. We further employ a generative adversarial network (GAN) as a guidance model to encourage distribution alignment between the restored face and the ground truth. Experimental results demonstrate that OSDFace surpasses current state-of-the-art (SOTA) methods in both visual quality and quantitative metrics, generating high-fidelity, natural face images with high identity consistency. The code and model will be released at https://github.com/jkwang28/OSDFace.
扩散模型在人脸修复方面表现出令人印象深刻的性能。然而，其多步推理过程仍然计算密集，限制了其在现实世界场景中的应用。此外，现有方法往往难以生成和谐、逼真且与人脸身份一致的人脸图像。在这项工作中，我们提出了OSDFace，这是一种用于人脸修复的新型一步扩散模型。具体来说，我们提出了一种视觉表示嵌入器（VRE）来更好地捕获先验信息并理解输入的人脸。在VRE中，低质量的人脸通过视觉令牌化器进行处理，然后利用向量量化的词典进行嵌入，以生成视觉提示。此外，我们结合了来自人脸识别的面部身份损失，进一步确保身份一致性。我们还采用生成对抗网络（GAN）作为指导模型，以鼓励修复的人脸与真实数据之间的分布对齐。实验结果表明，OSDFace在视觉质量和定量指标方面都超越了当前先进的方法，生成了高保真、自然的人脸图像，具有较高的身份一致性。代码和模型将在https://github.com/jkwang28/OSDFace上发布。
论文及项目相关链接
PDF Accepted to CVPR 2025. The code and model will be available at https://github.com/jkwang28/OSDFace
Summary
本文提出了一种名为OSDFace的新型一步扩散模型，用于面部修复。该模型通过视觉表示嵌入器（VRE）更好地捕捉先验信息并理解输入面部。此外，还结合了面部身份损失来保证身份一致性。最后，利用生成对抗网络（GAN）作为引导模型，使修复后的面部与真实面部之间的分布对齐。实验结果表明，OSDFace在视觉质量和定量指标上均超越了当前最佳方法，能够生成高保真、自然的面部图像，具有高度的身份一致性。
Key Takeaways
- OSDFace是一个一步扩散模型，用于面部修复，旨在提高计算效率和图像质量。
- 通过视觉表示嵌入器（VRE）捕捉先验信息并理解输入面部。
- 使用视觉令牌器和向量量化词典生成视觉提示。
- 面部身份损失确保生成的面部图像与主体身份一致。
- 利用生成对抗网络（GAN）作为引导模型，实现修复面部与真实面部之间的分布对齐。
- OSDFace在视觉质量和定量指标上均超越了当前最佳方法。
点此查看论文截图
