⚠️ 以下所有内容总结都来自于 大语言模型的能力，如有错误，仅供参考，谨慎使用
🔴 请注意：千万不要用于严肃的学术场景，只能用于论文阅读前的初筛！
💗 如果您觉得我们的项目对您有帮助 ChatPaperFree ，还请您给我们一些鼓励！⭐️ HuggingFace免费体验
2025-02-20 更新
Personalized Image Generation with Deep Generative Models: A Decade Survey
Authors:Yuxiang Wei, Yiheng Zheng, Yabo Zhang, Ming Liu, Zhilong Ji, Lei Zhang, Wangmeng Zuo
Recent advancements in generative models have significantly facilitated the development of personalized content creation. Given a small set of images with user-specific concept, personalized image generation allows to create images that incorporate the specified concept and adhere to provided text descriptions. Due to its wide applications in content creation, significant effort has been devoted to this field in recent years. Nonetheless, the technologies used for personalization have evolved alongside the development of generative models, with their distinct and interrelated components. In this survey, we present a comprehensive review of generalized personalized image generation across various generative models, including traditional GANs, contemporary text-to-image diffusion models, and emerging multi-model autoregressive models. We first define a unified framework that standardizes the personalization process across different generative models, encompassing three key components, i.e., inversion spaces, inversion methods, and personalization schemes. This unified framework offers a structured approach to dissecting and comparing personalization techniques across different generative architectures. Building upon this unified framework, we further provide an in-depth analysis of personalization techniques within each generative model, highlighting their unique contributions and innovations. Through comparative analysis, this survey elucidates the current landscape of personalized image generation, identifying commonalities and distinguishing features among existing methods. Finally, we discuss the open challenges in the field and propose potential directions for future research. We keep tracing related works at https://github.com/csyxwei/Awesome-Personalized-Image-Generation.
近期生成模型的进展极大地促进了个性化内容创作的发展。给定一组包含用户特定概念的图片，个性化图片生成能够创造出融入指定概念并符合提供的文本描述的图片。由于其内容创作的广泛应用，近年来人们对此领域的投入努力不断增加。然而，个性化技术随着生成模型的发展而演变，它们具有独特且相互关联的各个组件。在这篇综述中，我们全面回顾了跨各种生成模型的通用个性化图片生成，包括传统GAN、当代文本到图片的扩散模型和新兴的多模式自回归模型。我们首先定义了一个统一框架，该框架标准化了不同生成模型中的个性化过程，包含三个关键组件，即反空间、反方法、个性化方案。此统一框架提供了一个结构化方法来分析和比较不同生成架构中的个性化技术。基于这个统一框架，我们进一步深入分析了每个生成模型中的个性化技术，突出其独特贡献和创新之处。通过对比分析，这篇综述阐明了个性化图片生成的当前状况，识别了现有方法的共性和特征。最后，我们讨论了该领域的开放挑战，并提出了未来研究的潜在方向。我们持续追踪相关作品，请访问 https://github.com/csyxwei/Awesome-Personalized-Image-Generation 进行查看。
论文及项目相关链接
PDF 39 pages; under submission; more information: https://github.com/csyxwei/Awesome-Personalized-Image-Generation
Summary
近期生成模型的进展极大促进了个性化内容创作的发展。个性化图像生成允许用户基于少量图像和特定概念，生成符合文本描述的图像。随着其在内容创作领域的广泛应用，个性化技术也伴随生成模型的发展而不断进步。本文综述了跨多种生成模型的广义个性化图像生成，包括传统GAN、现代文本到图像扩散模型和新兴的多模态自回归模型。文章定义了一个统一框架，标准化不同生成模型中的个性化过程，包括反转空间、反转方法和个性化方案。基于此框架，本文深入分析了每个生成模型中的个性化技术，并比较了它们的独特贡献和创新。本文还探讨了该领域的开放挑战和未来研究方向。
Key Takeaways
- 生成模型的最新进展促进了个性化内容创作的快速发展。
- 个性化图像生成允许基于用户特定概念和少量图像来创建符合文本描述的图像。
- 近年来的技术努力集中在个性化领域，伴随生成模型的发展而演变。
- 文章提供了一个统一框架，用以标准化不同生成模型中的个性化过程，包括反转空间、反转方法和个性化方案。
- 文章深入分析了不同生成模型中的个性化技术，并进行了比较分析。
- 当前个性化图像生成领域仍面临一些开放挑战。
点此查看论文截图
