Diffusion Models

⚠️ 以下所有内容总结都来自于 大语言模型的能力，如有错误，仅供参考，谨慎使用
🔴 请注意：千万不要用于严肃的学术场景，只能用于论文阅读前的初筛！
💗 如果您觉得我们的项目对您有帮助 ChatPaperFree ，还请您给我们一些鼓励！⭐️ HuggingFace免费体验

2025-11-08 更新

Proto-LeakNet: Towards Signal-Leak Aware Attribution in Synthetic Human Face Imagery

Authors:Claudio Giusti, Luca Guarnera, Sebastiano Battiato

The growing sophistication of synthetic image and deepfake generation models has turned source attribution and authenticity verification into a critical challenge for modern computer vision systems. Recent studies suggest that diffusion pipelines unintentionally imprint persistent statistical traces, known as signal leaks, within their outputs, particularly in latent representations. Building on this observation, we propose Proto-LeakNet, a signal-leak-aware and interpretable attribution framework that integrates closed-set classification with a density-based open-set evaluation on the learned embeddings, enabling analysis of unseen generators without retraining. Operating in the latent domain of diffusion models, our method re-simulates partial forward diffusion to expose residual generator-specific cues. A temporal attention encoder aggregates multi-step latent features, while a feature-weighted prototype head structures the embedding space and enables transparent attribution. Trained solely on closed data and achieving a Macro AUC of 98.13%, Proto-LeakNet learns a latent geometry that remains robust under post-processing, surpassing state-of-the-art methods, and achieves strong separability between known and unseen generators. These results demonstrate that modeling signal-leak bias in latent space enables reliable and interpretable AI-image and deepfake forensics. The code for the whole work will be available upon submission.

随着合成图像和深度伪造生成模型的日益成熟，源归属和真实性验证已成为现代计算机视觉系统面临的一项重大挑战。最近的研究表明，扩散管道在其输出中无意中留下了持久统计痕迹，称为信号泄漏，特别是在潜在表示中。基于这一观察，我们提出了Proto-LeakNet，这是一个信号泄漏感知和可解释的归属框架，它将封闭集分类与基于密度的开放集评估相结合，在学习的嵌入上进行分析，无需重新训练即可分析未见过的生成器。我们的方法在扩散模型的潜在领域运行，通过重新模拟部分正向扩散来暴露残留的生成器特定线索。一个临时注意力编码器聚合多步潜在特征，而一个特征加权原型头则构建嵌入空间并实现透明的归属。Proto-LeakNet仅在封闭数据上进行训练，宏观AUC达到98.13%，学习了一种潜在几何结构，在后期制作下保持稳健，超越了现有方法，并在已知和未知生成器之间实现了强大的可分离性。这些结果表明，在潜在空间中建模信号泄漏偏差可实现可靠和可解释的AI图像和深度伪造取证。整个工作的代码将在提交时提供。

论文及项目相关链接

PDF 13 pages, 6 figures, 5 tables

Summary
针对合成图像和深度伪造生成模型的日益成熟，源归属和真实性验证成为现代计算机视觉系统面临的关键挑战。最新研究表明，扩散管道在其输出中无意间留下了持久统计痕迹，即信号泄漏，特别是在潜在表示中。基于此观察，提出Proto-LeakNet，一个信号泄漏感知和可解释的归属框架，将封闭集分类与基于密度的开放集评估相结合，在学习的嵌入中进行分析，无需重新训练即可分析看不见的生成器。在扩散模型的潜在领域中操作，该方法重新模拟部分正向扩散过程以暴露残余的生成器特定线索。时序注意力编码器聚合多步潜在特征，而特征加权原型头则构建嵌入空间并实现透明的归属。仅对封闭数据进行训练且宏AUC达到98.13%，Proto-LeakNet学习一种潜在几何结构，在后期处理下保持稳健性，超越现有方法，并在已知和未知生成器之间实现强大的可分离性。这证明了在潜在空间中建模信号泄漏偏差可实现可靠且可解释的AI图像和深度伪造取证。

Key Takeaways

1. 合成图像和深度伪造生成模型的进步带来了源归属和真实性验证的挑战。
2. 扩散管道在其输出中留下信号泄漏。
3. Proto-LeakNet是一个信号泄漏感知的归属框架，能在无需重新训练的情况下分析生成器。
4. Proto-LeakNet在潜在领域操作，通过模拟扩散过程暴露生成器特定线索。
5. 该方法结合了封闭集分类和基于密度的开放集评估。
6. Proto-LeakNet仅对封闭数据进行训练，实现了高宏AUC值，并表现出强大的生成器间可分离性。

Cool Papers

点此查看论文截图

Shallow Diffuse: Robust and Invisible Watermarking through Low-Dimensional Subspaces in Diffusion Models

Authors:Wenda Li, Huijie Zhang, Qing Qu

The widespread use of AI-generated content from diffusion models has raised significant concerns regarding misinformation and copyright infringement. Watermarking is a crucial technique for identifying these AI-generated images and preventing their misuse. In this paper, we introduce Shallow Diffuse, a new watermarking technique that embeds robust and invisible watermarks into diffusion model outputs. Unlike existing approaches that integrate watermarking throughout the entire diffusion sampling process, Shallow Diffuse decouples these steps by leveraging the presence of a low-dimensional subspace in the image generation process. This method ensures that a substantial portion of the watermark lies in the null space of this subspace, effectively separating it from the image generation process. Our theoretical and empirical analyses show that this decoupling strategy greatly enhances the consistency of data generation and the detectability of the watermark. Extensive experiments further validate that our Shallow Diffuse outperforms existing watermarking methods in terms of robustness and consistency. The codes are released at https://github.com/liwd190019/Shallow-Diffuse.

人工智能生成的扩散模型内容（Diffusion Models）的广泛应用引起了人们对错误信息和版权侵犯的担忧。水印是识别这些AI生成的图像并防止其被滥用的一种关键技术。在本文中，我们介绍了Shallow Diffuse，这是一种新的水印技术，可以将稳健且不可见的水印嵌入到扩散模型输出中。与在整个扩散采样过程中集成水印的现有方法不同，Shallow Diffuse通过利用图像生成过程中存在的低维子空间来实现这些步骤的解耦。这种方法确保大部分水印位于该子空间的零空间中，从而有效地将其与图像生成过程分离。我们的理论和实证分析表明，这种解耦策略大大提高了数据生成的连贯性和水印的可检测性。进一步的广泛实验验证表明，我们的Shallow Diffuse在稳健性和连贯性方面优于现有水印方法。代码已发布在https://github.com/liwd190019/Shallow-Diffuse。

论文及项目相关链接

PDF NeurIPS 2025 Spotlight

Summary
新技术Shallow Diffuse水印方法，能在扩散模型生成的图像中嵌入稳健且不可见的水印，以识别AI生成内容并防止版权侵犯。该方法通过利用图像生成过程中的低维子空间，实现了与扩散采样过程解耦的水印嵌入，提高了数据生成的连贯性和水印的可检测性。实验证明，Shallow Diffuse在稳健性和连贯性方面优于现有水印方法。

Key Takeaways

1. AI生成内容的普及引发了关于误导信息和版权侵犯的担忧，需要水印技术来识别这些AI生成图像并防止其滥用。
2. Shallow Diffuse是一种新的水印技术，能够稳健地在扩散模型输出中嵌入不可见水印。
3. Shallow Diffuse利用图像生成过程中的低维子空间，实现了与扩散采样过程解耦的水印嵌入。
4. 该方法提高了数据生成的连贯性和水印的可检测性。
5. 理论与实验分析证明了这种解耦策略的有效性。
6. 与现有水印方法相比，Shallow Diffuse在稳健性和连贯性方面表现出优越性能。

Cool Papers

点此查看论文截图

X-Diffusion: Generating Detailed 3D MRI Volumes From a Single Image Using Cross-Sectional Diffusion Models

Authors:Emmanuelle Bourigault, Abdullah Hamdi, Amir Jamaludin

Magnetic Resonance Imaging (MRI) is a crucial diagnostic tool, but high-resolution scans are often slow and expensive due to extensive data acquisition requirements. Traditional MRI reconstruction methods aim to expedite this process by filling in missing frequency components in the K-space, performing 3D-to-3D reconstructions that demand full 3D scans. In contrast, we introduce X-Diffusion, a novel cross-sectional diffusion model that reconstructs detailed 3D MRI volumes from extremely sparse spatial-domain inputs, achieving 2D-to-3D reconstruction from as little as a single 2D MRI slice or few slices. A key aspect of X-Diffusion is that it models MRI data as holistic 3D volumes during the cross-sectional training and inference, unlike previous learning approaches that treat MRI scans as collections of 2D slices in standard planes (coronal, axial, sagittal). We evaluated X-Diffusion on brain tumor MRIs from the BRATS dataset and full-body MRIs from the UK Biobank dataset. Our results demonstrate that X-Diffusion not only surpasses state-of-the-art methods in quantitative accuracy (PSNR) on unseen data but also preserves critical anatomical features such as tumor profiles, spine curvature, and brain volume. Remarkably, the model generalizes beyond the training domain, successfully reconstructing knee MRIs despite being trained exclusively on brain data. Medical expert evaluations further confirm the clinical relevance and fidelity of the generated images.To our knowledge, X-Diffusion is the first method capable of producing detailed 3D MRIs from highly limited 2D input data, potentially accelerating MRI acquisition and reducing associated costs. The code is available on the project website https://emmanuelleb985.github.io/XDiffusion/ .

磁共振成像（MRI）是一种重要的诊断工具，但高分辨率扫描通常由于需要大量数据采集而缓慢且昂贵。传统的MRI重建方法旨在通过填充K空间中的缺失频率成分来加速这一过程，进行需要完整3D扫描的3D到3D重建。与此相反，我们引入了X-Diffusion，这是一种新型截面扩散模型，可从极稀疏的空间域输入重建详细的3D MRI体积，实现从单个2D MRI切片或少量切片开始的2D到3D重建。X-Diffusion的一个关键方面是，它在截面训练和推理过程中将MRI数据建模为整体3D体积，这与以前的学习方法不同，后者将MRI扫描视为标准平面（冠状面、轴面、矢状面）中的2D切片的集合。我们对BRATS数据集中的脑肿瘤MRI和UK Biobank数据集中的全身MRI评估了X-Diffusion。结果表明，X-Diffusion不仅在未见数据上的定量准确性（PSNR）上超越了最先进的方法，而且还保留了关键解剖特征，如肿瘤概况、脊柱曲率和脑容量。值得注意的是，该模型在训练域之外也能通用化，尽管只接受脑部数据训练，但仍能成功重建膝盖MRI。医学专家评估进一步证实了生成图像的临床相关性和保真度。据我们所知，X-Diffusion是第一种能够从高度有限的2D输入数据生成详细的3D MRI的方法，有可能加速MRI采集并降低相关成本。代码可在项目网站https://emmanuelleb985.github.io/XDiffusion/上找到。

论文及项目相关链接

PDF accepted at ICCV 2025 GAIA workshop https://era-ai-biomed.github.io/GAIA/ , project website: https://emmanuelleb985.github.io/XDiffusion/

Summary

高解析度的磁共振成像（MRI）扫描常常因为需要大量数据收集而耗费时间和成本。传统的MRI重建方法主要填充K-空间的缺失频率成分，进行3D到3D的重建，需要完整的3D扫描。与此不同，我们提出了X-Diffusion，一种新型的截面扩散模型，可以从极少量的空间域输入重建详细的3D MRI体积，实现从2D到3D的重建，仅需一个或几个2D MRI切片。X-Diffusion将MRI数据视为整体3D体积进行跨截面训练和推理，这在以前的学习方法中是罕见的，传统方法将MRI扫描视为标准平面（冠状面、轴面、矢状面）中的2D切片集合。在BRATS数据集的大脑肿瘤MRI和UK Biobank数据集的全身MRI上的评估结果表明，X-Diffusion不仅在未见数据上超越了最先进方法在定量准确性（PSNR）上的表现，还保持了肿瘤特征、脊柱曲率和大脑体积等重要解剖特征。此外，该模型在训练域之外进行推广，成功重建了膝盖MRI，尽管它仅接受过大脑数据的训练。医学专家评价进一步证实了生成图像的临床相关性和保真度。据了解，X-Diffusion是第一个能从高度限制的2D输入数据生成详细的3D MRI的方法，有望加速MRI采集并降低成本。

Key Takeaways

1. X-Diffusion是一种新型的截面扩散模型，能够从极少量的空间域输入重建详细的3D MRI体积。
2. X-Diffusion实现了从2D到3D的MRI重建，仅需单个或少数2D MRI切片。
3. X-Diffusion将MRI数据视为整体3D体积进行跨截面处理和分析，与以往将MRI扫描视为2D切片集合的方法不同。
4. 在大脑肿瘤和全身MRI数据的评估中，X-Diffusion在定量准确性和保留解剖特征方面超越了现有方法。
5. X-Diffusion能够推广至训练域之外，成功重建膝盖MRI，尽管其训练数据仅为大脑数据。
6. 医学专家评价证实了X-Diffusion生成图像的临床相关性和保真度。

Cool Papers

点此查看论文截图