⚠️ 以下所有内容总结都来自于 大语言模型的能力，如有错误，仅供参考，谨慎使用
🔴 请注意：千万不要用于严肃的学术场景，只能用于论文阅读前的初筛！
💗 如果您觉得我们的项目对您有帮助 ChatPaperFree ，还请您给我们一些鼓励！⭐️ HuggingFace免费体验
2025-11-10 更新
NeurOp-Diff:Continuous Remote Sensing Image Super-Resolution via Neural Operator Diffusion
Authors:Zihao Xu, Yuzhi Tang, Bowen Xu, Qingquan Li
Most publicly accessible remote sensing data suffer from low resolution, limiting their practical applications. To address this, we propose a diffusion model guided by neural operators for continuous remote sensing image super-resolution (NeurOp-Diff). Neural operators are used to learn resolution representations at arbitrary scales, encoding low-resolution (LR) images into high-dimensional features, which are then used as prior conditions to guide the diffusion model for denoising. This effectively addresses the artifacts and excessive smoothing issues present in existing super-resolution (SR) methods, enabling the generation of high-quality, continuous super-resolution images. Specifically, we adjust the super-resolution scale by a scaling factor s, allowing the model to adapt to different super-resolution magnifications. Furthermore, experiments on multiple datasets demonstrate the effectiveness of NeurOp-Diff. Our code is available at https://github.com/zerono000/NeurOp-Diff.
大部分公开可访问的遥感数据存在分辨率低的问题，这限制了它们的实际应用。为了解决这一问题，我们提出了一种由神经算子引导的扩散模型，用于连续遥感图像超分辨率（NeurOp-Diff）。神经算子被用来学习任意尺度的分辨率表示，将低分辨率（LR）图像编码为高维特征，然后作为先验条件来指导扩散模型进行去噪。这有效地解决了现有超分辨率（SR）方法中出现的伪影和过度平滑问题，能够生成高质量、连续的超高分辨率图像。具体来说，我们通过缩放因子s调整超分辨率尺度，使模型能够适应不同的超分辨率放大倍数。此外，多个数据集上的实验证明了NeurOp-Diff的有效性。我们的代码在https://github.com/zerono000/NeurOp-Diff上提供。
论文及项目相关链接
摘要
针对大多数公开可用的遥感数据分辨率低的问题，我们提出了一种由神经算子引导的扩散模型，用于连续遥感图像超分辨率（NeurOp-Diff）。神经算子用于学习任意尺度的分辨率表示，将低分辨率（LR）图像编码为高维特征，然后作为先验条件引导扩散模型进行去噪。这有效地解决了现有超分辨率（SR）方法中的伪影和过度平滑问题，能够生成高质量、连续的超级分辨率图像。通过缩放因子s调整超分辨率尺度，使模型能够适应不同的超分辨率放大倍数。在多个数据集上的实验证明了NeurOp-Diff的有效性。
要点
- 提出了一个基于神经算子和扩散模型的遥感图像超分辨率方法。
- 神经算子用于学习任意尺度的分辨率表示，并将低分辨率图像转化为高维特征。
- 扩散模型在神经算子的引导下进行去噪，解决了现有超分辨率方法中的伪影和过度平滑问题。
- 通过缩放因子s调整超分辨率尺度，适应不同的放大需求。
- 在多个数据集上进行了实验验证，证明了该方法的有效性。
- 提供了模型代码公开访问。
点此查看论文截图
Evaluating and Improving the Effectiveness of Synthetic Chest X-Rays for Medical Image Analysis
Authors:Eva Prakash, Jeya Maria Jose Valanarasu, Zhihong Chen, Eduardo Pontes Reis, Andrew Johnston, Anuj Pareek, Christian Bluethgen, Sergios Gatidis, Cameron Olsen, Akshay Chaudhari, Andrew Ng, Curtis Langlotz
Purpose: To explore best-practice approaches for generating synthetic chest X-ray images and augmenting medical imaging datasets to optimize the performance of deep learning models in downstream tasks like classification and segmentation. Materials and Methods: We utilized a latent diffusion model to condition the generation of synthetic chest X-rays on text prompts and/or segmentation masks. We explored methods like using a proxy model and using radiologist feedback to improve the quality of synthetic data. These synthetic images were then generated from relevant disease information or geometrically transformed segmentation masks and added to ground truth training set images from the CheXpert, CANDID-PTX, SIIM, and RSNA Pneumonia datasets to measure improvements in classification and segmentation model performance on the test sets. F1 and Dice scores were used to evaluate classification and segmentation respectively. One-tailed t-tests with Bonferroni correction assessed the statistical significance of performance improvements with synthetic data. Results: Across all experiments, the synthetic data we generated resulted in a maximum mean classification F1 score improvement of 0.150453 (CI: 0.099108-0.201798; P=0.0031) compared to using only real data. For segmentation, the maximum Dice score improvement was 0.14575 (CI: 0.108267-0.183233; P=0.0064). Conclusion: Best practices for generating synthetic chest X-ray images for downstream tasks include conditioning on single-disease labels or geometrically transformed segmentation masks, as well as potentially using proxy modeling for fine-tuning such generations.
目的：旨在探索生成合成胸部X射线图像的最佳实践方法，并增强医学影像数据集，以优化下游任务（如分类和分割）中深度学习模型的表现。材料和方法：我们利用潜在扩散模型，根据文本提示和/或分割掩膜来条件生成合成胸部X射线图像。我们探索了使用代理模型和使用放射科医生反馈的方法来提高合成数据的质量。这些合成图像是根据相关疾病信息或几何变换的分割掩膜生成的，并添加到来自CheXpert、CANDID-PTX、SIIM和RSNA肺炎数据集的真实训练集图像中，以测量测试集中分类和分割模型性能的改进情况。F1分数和Dice系数分别用于评估分类和分割的性能。采用单尾t检验Bonferroni校正法评估合成数据对性能改进的统计显著性。结果：在所有实验中，我们生成的合成数据在分类方面相比仅使用真实数据，最大平均F1分数提高了0.150453（置信区间：0.099108-0.201798；P=0.0031）。对于分割，最大的Dice分数提高了0.14575（置信区间：0.108267-0.183233；P=0.0064）。结论：对于下游任务生成合成胸部X射线图像的最佳实践包括根据单一疾病标签或几何变换的分割掩膜进行条件化，以及可能使用代理模型对生成结果进行微调。
论文及项目相关链接
摘要
本文探索了生成合成胸X射线图像和增强医学成像数据集的最佳实践方法，以优化下游任务如分类和分割中深度学习模型的表现。通过使用潜在扩散模型，根据文本提示和/或分割掩膜进行合成胸X射线的生成。探索了使用代理模型和放射科医生反馈来提高合成数据质量的方法。这些合成图像从相关疾病信息或几何变换分割掩膜生成，并添加到来自CheXpert、CANDID-PTX、SIIM和RSNA Pneumonia数据集的地面真实训练集图像中，以测量分类和分割模型在测试集上的性能改进。使用F1分数和Dice系数分别评估分类和分割。通过单尾t检验Bonferroni校正评估了使用合成数据后性能改进的统计学意义。在所有实验中，与仅使用真实数据相比，生成的合成数据使平均分类F1分数最大提高了0.150453（CI：0.099108-0.201798；P= 0.0031）。对于分割而言，Dice分数的最大提高了为0.14575（CI：0.108267- 0.183233；P= 0.0064）。结论是，对于下游任务而言，生成合成胸X射线图像的最佳实践包括根据单疾病标签或几何变换分割掩膜进行条件化，以及可能使用代理模型对生成结果进行微调。
Key Takeaways
- 使用潜在扩散模型生成合成胸X射线图像。
- 通过文本提示和/或分割掩膜条件化生成图像。
- 探索了使用代理模型和放射科医生反馈提高合成数据质量的方法。
- 合成数据可以显著提高深度学习模型在分类和分割任务上的表现。
- 合成数据在分类任务中的最大平均F1分数提高了约0.15。
- 在分割任务中，Dice分数的最大提高了约0.14。
点此查看论文截图
