⚠️ 以下所有内容总结都来自于 大语言模型的能力,如有错误,仅供参考,谨慎使用
🔴 请注意:千万不要用于严肃的学术场景,只能用于论文阅读前的初筛!
💗 如果您觉得我们的项目对您有帮助 ChatPaperFree ,还请您给我们一些鼓励!⭐️ HuggingFace免费体验
2025-11-19 更新
MRIQT: Physics-Aware Diffusion Model for Image Quality Transfer in Neonatal Ultra-Low-Field MRI
Authors:Malek Al Abed, Sebiha Demir, Anne Groteklaes, Elodie Germani, Shahrooz Faghihroohi, Hemmen Sabir, Shadi Albarqouni
Portable ultra-low-field MRI (uLF-MRI, 0.064 T) offers accessible neuroimaging for neonatal care but suffers from low signal-to-noise ratio and poor diagnostic quality compared to high-field (HF) MRI. We propose MRIQT, a 3D conditional diffusion framework for image quality transfer (IQT) from uLF to HF MRI. MRIQT combines realistic K-space degradation for physics-consistent uLF simulation, v-prediction with classifier-free guidance for stable image-to-image generation, and an SNR-weighted 3D perceptual loss for anatomical fidelity. The model denoises from a noised uLF input conditioned on the same scan, leveraging volumetric attention-UNet architecture for structure-preserving translation. Trained on a neonatal cohort with diverse pathologies, MRIQT surpasses recent GAN and CNN baselines in PSNR 15.3% with 1.78% over the state of the art, while physicians rated 85% of its outputs as good quality with clear pathology present. MRIQT enables high-fidelity, diffusion-based enhancement of portable ultra-low-field (uLF) MRI for deliable neonatal brain assessment.
便携式超低场磁共振成像(uLF-MRI,0.064T)为新生儿护理提供了可及的神经影像学检查手段,但相较于高场(HF)MRI,其信噪比低,诊断质量较差。我们提出了MRIQT,这是一个用于从uLF到HF MRI的图像质量转移(IQT)的3D条件扩散框架。MRIQT结合了逼真的K空间退化进行物理一致的uLF模拟、v预测与无分类器引导的稳定图像到图像生成,以及一个用于解剖学真实性的SNR加权3D感知损失。该模型从噪声uLF输入中去除噪声,并以相同的扫描为条件,利用体积注意力UNet架构进行结构保留翻译。MRIQT在新生儿队列中接受了多种病理训练,超越了最近的GAN和CNN基线,PSNR提高了15.3%,超出最新技术1.78%,同时医生评价其输出的85%为质量良好,病理清晰可见。MRIQT实现了基于扩散的高保真增强便携式超低场(uLF)MRI,可用于可靠的新生儿脑评估。
论文及项目相关链接
PDF 5 pages, 4 figures
Summary
便携式超低场磁共振成像(uLF-MRI)在新生儿护理中具有可访问性,但其信号噪声比较低,诊断质量较差。提出一种名为MRIQT的3D条件扩散框架,实现从uLF到HF MRI的图像质量转换。该框架结合了逼真的K空间退化模拟、v预测的无分类器引导的图像生成以及基于SNR的3D感知损失,以实现解剖结构保真。模型使用噪声uLF输入进行训练,并借助卷积神经网络架构进行结构保留翻译。在具有不同病理的新生儿队列上进行训练后,MRIQT在峰值信噪比方面超过了现有的生成对抗网络和卷积神经网络基线,医生评价其输出的图像中有85%具有良好的质量和清晰的病理表现。MRIQT实现了便携式超低场磁共振成像的高质量扩散增强,可信赖地用于新生儿大脑评估。
Key Takeaways
- 便携式超低场MRI(uLF-MRI)在新生儿护理中提供了方便的神经影像学检查方式,但相比高场MRI,其信号噪声比较低且诊断质量较差。
- 提出一种名为MRIQT的3D条件扩散框架,通过结合先进的图像处理技术,实现从uLF到HF MRI的图像质量提升。
- MRIQT框架包括逼真的K空间退化模拟、v预测的无分类器引导的稳定图像生成以及基于SNR的感知损失函数用于保持解剖结构准确性。
- 模型通过噪声uLF输入进行训练,借助卷积神经网络架构实现结构保留的图像转换。
- 与现有技术相比,MRIQT在峰值信噪比方面表现出优越性,医生对其输出图像的质量评价较高。
点此查看论文截图
DGS-Net: Distillation-Guided Gradient Surgery for CLIP Fine-Tuning in AI-Generated Image Detection
Authors:Jiazhen Yan, Ziqiang Li, Fan Wang, Boyu Wang, Zhangjie Fu
The rapid progress of generative models such as GANs and diffusion models has led to the widespread proliferation of AI-generated images, raising concerns about misinformation, privacy violations, and trust erosion in digital media. Although large-scale multimodal models like CLIP offer strong transferable representations for detecting synthetic content, fine-tuning them often induces catastrophic forgetting, which degrades pre-trained priors and limits cross-domain generalization. To address this issue, we propose the Distillation-guided Gradient Surgery Network (DGS-Net), a novel framework that preserves transferable pre-trained priors while suppressing task-irrelevant components. Specifically, we introduce a gradient-space decomposition that separates harmful and beneficial descent directions during optimization. By projecting task gradients onto the orthogonal complement of harmful directions and aligning with beneficial ones distilled from a frozen CLIP encoder, DGS-Net achieves unified optimization of prior preservation and irrelevant suppression. Extensive experiments on 50 generative models demonstrate that our method outperforms state-of-the-art approaches by an average margin of 6.6, achieving superior detection performance and generalization across diverse generation techniques.
生成对抗网络(GANs)和扩散模型等生成模型的快速发展导致了人工智能生成图像的广泛传播,引发了关于误导信息、侵犯隐私和数字媒体信任侵蚀的担忧。虽然像CLIP这样的大规模多模式模型为检测合成内容提供了强大的可转移表示,但对它们进行微调往往会引发灾难性遗忘,这降低了预训练先验知识并限制了跨域泛化。为了解决这一问题,我们提出了Distillation-guided Gradient Surgery Network(DGS-Net)这一新型框架,它能够保留可转移的预训练先验知识,同时抑制任务无关成分。具体来说,我们引入了一种梯度空间分解,能够在优化过程中分离有害和有益的下降方向。通过将任务梯度投影到有害方向的正交补集上,并与从冻结的CLIP编码器中提炼出的有益梯度对齐,DGS-Net实现了先验知识保留和无关因素抑制的统一优化。在50个生成模型上的大量实验表明,我们的方法比最新方法平均高出6.6个百分点,在多种生成技术上实现了卓越的检测性能和泛化能力。
论文及项目相关链接
Summary
生成模型如GAN和扩散模型的快速发展导致AI生成图像的大量涌现,引发了对虚假信息、隐私侵犯和数字媒体信任侵蚀的担忧。为解决大型多模态模型如CLIP在检测合成内容时出现的灾难性遗忘问题,提出一种新型框架DGS-Net,它可保留可迁移的预训练先验知识,同时抑制与任务无关的成分。通过梯度空间分解,分离优化过程中的有害和有益下降方向。实验证明,DGS-Net在50个生成模型上的表现优于现有最佳方法,平均提高6.6%,具有优越的检测性能和跨不同生成技术的泛化能力。
Key Takeaways
- 生成模型如GAN和扩散模型的快速发展导致了AI生成图像的大量出现。
- AI生成图像的出现引发了关于虚假信息、隐私侵犯和数字媒体信任问题的担忧。
- 大型多模态模型如CLIP在检测合成内容时会出现灾难性遗忘问题。
- DGS-Net框架旨在解决这一问题,能够保留预训练先验知识并抑制与任务无关的成分。
- DGS-Net通过梯度空间分解来分离优化过程中的有益和有害下降方向。
- DGS-Net实现了先验知识的保留和与任务无关成分的抑制的统一优化。
点此查看论文截图
NS-Net: Decoupling CLIP Semantic Information through NULL-Space for Generalizable AI-Generated Image Detection
Authors:Jiazhen Yan, Fan Wang, Weiwei Jiang, Ziqiang Li, Zhangjie Fu
The rapid progress of generative models, such as GANs and diffusion models, has facilitated the creation of highly realistic images, raising growing concerns over their misuse in security-sensitive domains. While existing detectors perform well under known generative settings, they often fail to generalize to unknown generative models, especially when semantic content between real and fake images is closely aligned. In this paper, we revisit the use of CLIP features for AI-generated image detection and uncover a critical limitation: the high-level semantic information embedded in CLIP’s visual features hinders effective discrimination. To address this, we propose NS-Net, a novel detection framework that leverages NULL-Space projection to decouple semantic information from CLIP’s visual features, followed by contrastive learning to capture intrinsic distributional differences between real and generated images. Furthermore, we design a Patch Selection strategy to preserve fine-grained artifacts by mitigating semantic bias caused by global image structures. Extensive experiments on an open-world benchmark comprising images generated by 40 diverse generative models show that NS-Net outperforms existing state-of-the-art methods, achieving a 7.4% improvement in detection accuracy, thereby demonstrating strong generalization across both GAN- and diffusion-based image generation techniques.
生成模型(如GAN和扩散模型)的快速发展促进了高度逼真图像的创建,这引发了人们对这些模型在安全性敏感领域误用的日益关注。虽然现有的检测器在已知的生成设置下表现良好,但它们往往无法推广到未知的生成模型,特别是在真实和虚假图像之间的语义内容紧密对齐时更是如此。在本文中,我们重新审视了使用CLIP特征进行AI生成图像检测,并发现了一个重要限制:CLIP视觉特征中嵌入的高级语义信息阻碍了有效的辨别。为了解决这个问题,我们提出了NS-Net,这是一个新的检测框架,它利用空空间投影来解耦CLIP视觉特征中的语义信息,然后通过对比学习来捕捉真实和生成图像之间的内在分布差异。此外,我们设计了一种Patch Selection策略,通过缓解全局图像结构引起的语义偏差来保留细微的伪迹。在由40种不同的生成模型生成的开放世界基准测试集上进行的大量实验表明,NS-Net在检测准确性上优于现有的最新方法,实现了7.4%的改进,从而证明了它在基于GAN和扩散的图像生成技术中的强大泛化能力。
论文及项目相关链接
Summary
高保真图像生成技术(如GANs和扩散模型)的进步引发了安全敏感领域对其误用的担忧。当前检测器在已知生成环境下表现良好,但在未知生成模型下往往无法有效泛化,特别是在真实和虚假图像语义内容紧密对齐时。本文重新审视CLIP特性在AI图像检测中的应用,发现其语义信息会阻碍有效鉴别。为此,我们提出NS-Net检测框架,通过NULL-Space投影分离CLIP视觉特征的语义信息,并利用对比学习捕捉真实与生成图像之间的内在分布差异。此外,我们设计局部补丁选择策略,以缓解全局图像结构引起的语义偏见,保留精细纹理。在包含由不同生成模型生成的图像的开放世界基准测试中,NS-Net优于现有技术前沿方法,检测准确率提高7.4%,在GAN和扩散模型图像生成技术中均表现出强大的泛化能力。
Key Takeaways
- 生成模型如GANs和扩散模型的快速发展带来了创建高度逼真图像的能力,引发了对安全敏感领域误用的担忧。
- 当前检测器在已知生成环境下表现良好,但在未知生成模型环境下泛化能力有限。
- CLIP特性中的高级语义信息会阻碍对真实和生成图像的有效鉴别。
- 提出NS-Net检测框架,通过NULL-Space投影分离CLIP视觉特征的语义信息。
- 利用对比学习捕捉真实与生成图像之间的内在分布差异。
- 设计局部补丁选择策略以缓解全局图像结构引起的语义偏见。