⚠️ 以下所有内容总结都来自于 大语言模型的能力，如有错误，仅供参考，谨慎使用
🔴 请注意：千万不要用于严肃的学术场景，只能用于论文阅读前的初筛！
💗 如果您觉得我们的项目对您有帮助 ChatPaperFree ，还请您给我们一些鼓励！⭐️ HuggingFace免费体验
2025-10-03 更新
SMaRt: Improving GANs with Score Matching Regularity
Authors:Mengfei Xia, Yujun Shen, Ceyuan Yang, Ran Yi, Wenping Wang, Yong-Jin Liu
Generative adversarial networks (GANs) usually struggle in learning from highly diverse data, whose underlying manifold is complex. In this work, we revisit the mathematical foundations of GANs, and theoretically reveal that the native adversarial loss for GAN training is insufficient to fix the problem of \textit{subsets with positive Lebesgue measure of the generated data manifold lying out of the real data manifold}. Instead, we find that score matching serves as a promising solution to this issue thanks to its capability of persistently pushing the generated data points towards the real data manifold. We thereby propose to improve the optimization of GANs with score matching regularity (SMaRt). Regarding the empirical evidences, we first design a toy example to show that training GANs by the aid of a ground-truth score function can help reproduce the real data distribution more accurately, and then confirm that our approach can consistently boost the synthesis performance of various state-of-the-art GANs on real-world datasets with pre-trained diffusion models acting as the approximate score function. For instance, when training Aurora on the ImageNet $64\times64$ dataset, we manage to improve FID from 8.87 to 7.11, on par with the performance of one-step consistency model. Code is available at \href{https://github.com/thuxmf/SMaRt}{https://github.com/thuxmf/SMaRt}.
生成对抗网络（GANs）在处理高度多样化的数据时通常面临挑战，这些数据的底层流形是复杂的。在这项工作中，我们重新审视了GANs的数学基础，并从理论上揭示了GAN训练的原始对抗损失不足以解决“生成数据流形中实际数据流形之外的具有正勒贝格测度的子集”的问题。相反，我们发现分数匹配为解决此问题提供了一个有前途的解决方案，因为它能够持续地将生成的数据点推向实际数据流形。因此，我们提出通过分数匹配规则（SMaRt）改进GAN的优化。关于经验证据，我们首先设计了一个简单的例子来展示借助真实分数函数训练GAN可以帮助更准确地重建真实数据分布，然后证实我们的方法可以在具有预训练扩散模型的现实数据集上持续提高各种最新GAN的合成性能，这些扩散模型作为近似分数函数。例如，在ImageNet 64x64数据集上训练Aurora时，我们将FID从8.87改进到7.11，与一步一致性模型的性能相当。代码可在https://github.com/thuxmf/SMaRt找到。
论文及项目相关链接
Summary
本文重新审视了生成对抗网络（GANs）的数学基础，发现原生对抗损失在处理复杂数据分布时存在局限。为解决生成数据流形中正值勒贝格测度子集不在真实数据流形中的问题，提出了一种结合得分匹配的方法，通过持续推动生成数据点向真实数据流形靠拢来解决问题。通过实证证据，证明了借助真实得分函数训练GANs的可行性，且该方法能提升各种先进GAN在现实世界数据集上的合成性能。以ImageNet 64x64数据集上的Aurora为例，将FID从8.87降至7.11，与一步一致性模型的性能相当。
Key Takeaways
- GAN在处理复杂数据分布时存在局限，特别是生成数据流形与真实数据流形不匹配的问题。
- 得分匹配作为一种方法，能有效推动生成数据点向真实数据流形靠拢，为解决上述问题提供新的思路。
- 通过设计玩具实验，证明了借助真实得分函数训练GANs的可行性。
- 在现实数据集上，该方法能提升各种先进GAN的合成性能。
- 在ImageNet 64x64数据集上的Aurora实验，FID得分有所下降，显示出该方法的实际效果。
- 提供了代码实现，可供进一步研究使用。
点此查看论文截图
