⚠️ 以下所有内容总结都来自于 大语言模型的能力，如有错误，仅供参考，谨慎使用
🔴 请注意：千万不要用于严肃的学术场景，只能用于论文阅读前的初筛！
💗 如果您觉得我们的项目对您有帮助 ChatPaperFree ，还请您给我们一些鼓励！⭐️ HuggingFace免费体验
2025-01-13 更新
The GAN is dead; long live the GAN! A Modern GAN Baseline
Authors:Yiwen Huang, Aaron Gokaslan, Volodymyr Kuleshov, James Tompkin
There is a widely-spread claim that GANs are difficult to train, and GAN architectures in the literature are littered with empirical tricks. We provide evidence against this claim and build a modern GAN baseline in a more principled manner. First, we derive a well-behaved regularized relativistic GAN loss that addresses issues of mode dropping and non-convergence that were previously tackled via a bag of ad-hoc tricks. We analyze our loss mathematically and prove that it admits local convergence guarantees, unlike most existing relativistic losses. Second, our new loss allows us to discard all ad-hoc tricks and replace outdated backbones used in common GANs with modern architectures. Using StyleGAN2 as an example, we present a roadmap of simplification and modernization that results in a new minimalist baseline – R3GAN. Despite being simple, our approach surpasses StyleGAN2 on FFHQ, ImageNet, CIFAR, and Stacked MNIST datasets, and compares favorably against state-of-the-art GANs and diffusion models.
有一种广为流传的观点认为生成对抗网络（GANs）难以训练，文献中的GAN架构充斥着经验性的技巧。我们针对这一观点提供了证据，并以更有原则的方式建立了现代GAN基准。首先，我们推导出了表现良好的正则化相对GAN损失，解决了模式丢失和非收敛的问题，这些问题之前都是通过一系列临时性的技巧来解决的。我们从数学上分析了我们的损失，并证明它与大多数现有的相对论损失不同，具有局部收敛性保证。其次，我们的新损失允许我们放弃所有临时性的技巧，并用现代架构替代常见GAN中使用的过时主干。以StyleGAN2为例，我们提出了简化与现代化的路线图，这导致了一个新的极简基线——R3GAN的诞生。尽管方法简单，但我们的方法在FFHQ、ImageNet、CIFAR和堆叠MNIST数据集上超越了StyleGAN2，并与最先进的GAN和扩散模型相比表现良好。
论文及项目相关链接
PDF Accepted to NeurIPS 2024. Code available at https://github.com/brownvc/R3GAN/
Summary
现代GAN基线的研究证据表明，GANs的训练并不像传闻中那么困难。该研究提出了一种表现良好的正则化相对GAN损失，解决了模式丢失和非收敛的问题，这些问题过去只能通过一系列临时技巧来解决。新损失允许放弃所有临时技巧，并用现代架构取代常见GAN中过时的主干。以StyleGAN2为例，该研究提出了简化与现代化的路线图，由此产生了新的极简基线——R3GAN。尽管方法简单，但在FFHQ、ImageNet、CIFAR和堆叠MNIST数据集上，其表现超越了StyleGAN2，并与最先进的GAN和扩散模型相比具有竞争力。
Key Takeaways
- 该研究对GAN训练困难的普遍观点提出反驳，并提出了一种新的现代GAN基线。
- 研究人员提出了一种表现良好的正则化相对GAN损失，解决了模式丢失和非收敛的问题。
- 与过去使用临时技巧不同，新损失允许放弃所有临时技巧并使用现代架构更新常见GAN的骨干。
- 以StyleGAN2为基础，研究提出了简化与现代化的路线图。
- 研究提出了一个新的极简GAN基线——R3GAN。
- R3GAN在多个数据集上的表现超越了StyleGAN2。
点此查看论文截图
Patch-GAN Transfer Learning with Reconstructive Models for Cloud Removal
Authors:Wanli Ma, Oktay Karakus, Paul L. Rosin
Cloud removal plays a crucial role in enhancing remote sensing image analysis, yet accurately reconstructing cloud-obscured regions remains a significant challenge. Recent advancements in generative models have made the generation of realistic images increasingly accessible, offering new opportunities for this task. Given the conceptual alignment between image generation and cloud removal tasks, generative models present a promising approach for addressing cloud removal in remote sensing. In this work, we propose a deep transfer learning approach built on a generative adversarial network (GAN) framework to explore the potential of the novel masked autoencoder (MAE) image reconstruction model in cloud removal. Due to the complexity of remote sensing imagery, we further propose using a patch-wise discriminator to determine whether each patch of the image is real or not. The proposed reconstructive transfer learning approach demonstrates significant improvements in cloud removal performance compared to other GAN-based methods. Additionally, whilst direct comparisons with some of the state-of-the-art cloud removal techniques are limited due to unclear details regarding their train/test data splits, the proposed model achieves competitive results based on available benchmarks.
云去除在增强遥感图像分析方面起着至关重要的作用，然而，准确地重建被云层遮挡的区域仍然是一个巨大的挑战。最近生成模型的发展使得生成真实图像变得越来越容易，为这项任务提供了新的机会。鉴于图像生成和云去除任务之间的概念一致性，生成模型在解决遥感中的云去除方面显示出有前途的潜力。在这项工作中，我们提出了一种基于生成对抗网络（GAN）框架的深度迁移学习方法，以探索新型掩码自动编码器（MAE）图像重建模型在云去除中的潜力。由于遥感图像的复杂性，我们进一步建议使用局部判别器来确定图像的每个块是否真实。与基于GAN的其他方法相比，所提出的重建迁移学习方法在云去除性能上显示出显著改进。尽管由于训练/测试数据分割的细节不明确，无法直接与非云去除技术中的一些最新技术进行比较，但基于现有的基准测试，所提出模型取得了具有竞争力的结果。
论文及项目相关链接
Summary：
基于生成对抗网络（GAN）框架的深度迁移学习方法在云移除方面具有巨大潜力。本研究提出了一种新的基于MAE图像重建模型的云移除方法，采用分块判别器以区分图像每个区块的真实性。相较于其他GAN方法，此方法在云移除性能上有了显著提升，并在现有基准测试中取得了有竞争力的结果。
Key Takeaways：
- 云移除在增强遥感图像分析中具有重要作用，但重建云遮挡区域仍是重大挑战。
- 生成模型的发展为真实图像生成提供了新的机会，为云移除任务提供了潜在解决方案。
- 本研究提出了基于GAN框架的深度迁移学习方法进行云移除。
- 引入新型MAE图像重建模型以改善云移除效果。
- 采用分块判别器来评估图像每个区块的真实性。
- 此方法在云移除性能上较其他GAN方法有所提升。
点此查看论文截图
