发布日期: 2025-11-08

更新日期: 2025-11-08

文章字数: 4.2k

阅读时长: 17 分

阅读次数:

⚠️ 以下所有内容总结都来自于大语言模型的能力，如有错误，仅供参考，谨慎使用
🔴 请注意：千万不要用于严肃的学术场景，只能用于论文阅读前的初筛！
💗 如果您觉得我们的项目对您有帮助 ChatPaperFree ，还请您给我们一些鼓励！⭐️ HuggingFace免费体验

2025-11-08 更新

Building Trust in Virtual Immunohistochemistry: Automated Assessment of Image Quality

Authors:Tushar Kataria, Shikha Dubey, Mary Bronner, Jolanta Jedrzkiewicz, Ben J. Brintz, Shireen Y. Elhabian, Beatrice S. Knudsen

Deep learning models can generate virtual immunohistochemistry (IHC) stains from hematoxylin and eosin (H&E) images, offering a scalable and low-cost alternative to laboratory IHC. However, reliable evaluation of image quality remains a challenge as current texture- and distribution-based metrics quantify image fidelity rather than the accuracy of IHC staining. Here, we introduce an automated and accuracy grounded framework to determine image quality across sixteen paired or unpaired image translation models. Using color deconvolution, we generate masks of pixels stained brown (i.e., IHC-positive) as predicted by each virtual IHC model. We use the segmented masks of real and virtual IHC to compute stain accuracy metrics (Dice, IoU, Hausdorff distance) that directly quantify correct pixel - level labeling without needing expert manual annotations. Our results demonstrate that conventional image fidelity metrics, including Frechet Inception Distance (FID), peak signal-to-noise ratio (PSNR), and structural similarity (SSIM), correlate poorly with stain accuracy and pathologist assessment. Paired models such as PyramidPix2Pix and AdaptiveNCE achieve the highest stain accuracy, whereas unpaired diffusion- and GAN-based models are less reliable in providing accurate IHC positive pixel labels. Moreover, whole-slide images (WSI) reveal performance declines that are invisible in patch-based evaluations, emphasizing the need for WSI-level benchmarks. Together, this framework defines a reproducible approach for assessing the quality of virtual IHC models, a critical step to accelerate translation towards routine use by pathologists.

深度学习模型可以从苏木精和伊红（H&E）图像生成虚拟免疫组织化学（IHC）染色，为实验室IHC染色提供一种可扩展且低成本的替代方案。然而，由于现有的基于纹理和分布的指标衡量的是图像保真度而不是IHC染色的准确性，因此可靠地评估图像质量仍然是一个挑战。在这里，我们引入了一个自动化且以准确性为基础的框架，用于确定16个配对或非配对图像翻译模型的图像质量。我们使用颜色反卷积生成由每个虚拟IHC模型预测的棕色染色（即IHC阳性）的像素掩膜。我们使用真实和虚拟IHC的分割掩膜来计算染色准确度指标（Dice、IoU、Hausdorff距离），这些指标可以直接量化正确的像素级标签，而无需专家手动注释。我们的结果表明，传统的图像保真度指标，包括Frechet Inception Distance（FID）、峰值信噪比（PSNR）和结构相似性（SSIM）与染色准确性和病理学家评估的相关性较差。配对模型（如PyramidPix2Pix和AdaptiveNCE）的染色准确度最高，而基于扩散和无配对的生成对抗网络（GAN）的模型在提供准确的IHC阳性像素标签方面则不那么可靠。此外，全幻灯片图像（WSI）揭示了性能下降的情况，这些情况在基于补丁的评估中是看不见的，这强调了需要在WSI级别进行基准测试。总的来说，该框架定义了一种可重复的评估虚拟IHC模型质量的方法，这是加速病理学家常规使用翻译的一个关键步骤。

论文及项目相关链接

PDF

Summary
深度学习模型能够从苏木精-伊红（H&E）图像生成虚拟免疫组织化学（IHC）染色，为实验室IHC染色提供可扩展和低成本的选择。然而，如何可靠地评估图像质量仍是挑战，因为当前基于纹理和分布的度量主要衡量图像保真度而非IHC染色的准确性。本文介绍了一个自动化和准确的框架，用于评估十六种配对和非配对图像翻译模型的图像质量。通过颜色反卷积生成预测的虚拟IHC染色遮罩，并使用真实和虚拟IHC的分割遮罩来计算染色准确性指标（如Dice系数、IoU和Hausdorff距离），这些指标可直接量化像素级别的正确标签，无需专家手动注释。研究结果表明，传统的图像保真度指标（如Frechet Inception Distance、峰值信噪比和结构相似性）与染色准确性和病理学家评估的相关性较差。配对模型（如PyramidPix2Pix和AdaptiveNCE）的染色准确性最高，而基于扩散和无配对GAN的模型在提供准确的IHC阳性像素标签方面不太可靠。此外，全幻灯片图像揭示了基于补丁的评估中未见性能下降，强调了全幻灯片级别的基准测试的需求。本文定义的框架为评估虚拟IHC模型的质量提供了可复制的方法，是推动病理学家常规使用虚拟IHC的重要一步。

Key Takeaways

深度学习模型能够从H&E图像生成虚拟IHC染色，提供低成本替代方案。
当前图像质量评估主要基于纹理和分布度量，难以反映IHC染色的准确性。
通过颜色反卷积生成虚拟IHC遮罩，并计算染色准确性指标以量化预测准确性。
传统图像保真度指标与染色准确性及病理学家评估相关性较差。
配对模型在染色准确性方面表现最佳，而基于扩散和GAN的模型可靠性较低。
全幻灯片图像性能下降揭示了基于补丁评估的不足，需要全幻灯片级别的评估基准。

Cool Papers

点此查看论文截图

Adversarial and Score-Based CT Denoising: CycleGAN vs Noise2Score

Authors:Abu Hanif Muhammad Syarubany

We study CT image denoising in the unpaired and self-supervised regimes by evaluating two strong, training-data-efficient paradigms: a CycleGAN-based residual translator and a Noise2Score (N2S) score-matching denoiser. Under a common evaluation protocol, a configuration sweep identifies a simple standard U-Net backbone within CycleGAN (lambda_cycle = 30, lambda_iden = 2, ngf = ndf = 64) as the most reliable setting; we then train it to convergence with a longer schedule. The selected CycleGAN improves the noisy input from 34.66 dB / 0.9234 SSIM to 38.913 dB / 0.971 SSIM and attains an estimated score of 1.9441 and an unseen-set (Kaggle leaderboard) score of 1.9343. Noise2Score, while slightly behind in absolute PSNR / SSIM, achieves large gains over very noisy inputs, highlighting its utility when clean pairs are unavailable. Overall, CycleGAN offers the strongest final image quality, whereas Noise2Score provides a robust pair-free alternative with competitive performance. Source code is available at https://github.com/hanifsyarubany/CT-Scan-Image-Denoising-using-CycleGAN-and-Noise2Score.

我们研究了在无配对和自监督环境下的CT图像去噪，通过评估两种强大且训练数据效率高的范式：基于CycleGAN的残差翻译器和Noise2Score（N2S）评分匹配去噪器。在共同的评估协议下，配置扫描确定了CycleGAN中的简单标准U-Net主干（lambda_cycle = 30，lambda_iden = 2，ngf = ndf = 64）是最可靠的设置；然后我们使用更长的计划对其进行训练，直至收敛。所选的CycleGAN将嘈杂的输入从34.66 dB / 0.9234 SSIM提高到38.913 dB / 0.971 SSIM，估计得分为1.9441，未见集（Kaggle排行榜）得分为1.9343。Noise2Score虽然在绝对的PSNR / SSIM上略微落后，但在处理非常嘈杂的输入时取得了很大的进步，这突出了在无法使用清洁配对时的实用性。总的来说，CycleGAN提供了最强的最终图像质量，而Noise2Score则提供了一种无需配对的稳健替代方案，具有竞争力。源代码可在https://github.com/hanifsyarubany/CT-Scan-Image-Denoising-using-CycleGAN-and-Noise2Score上找到。

论文及项目相关链接

PDF

Summary
本文研究了在无配对和自监督条件下CT图像的降噪技术，通过评估两种训练数据高效的方法：基于CycleGAN的残差翻译器和Noise2Score（N2S）分数匹配去噪器。实验表明，在通用评估协议下，CycleGAN的U-Net主干网络配置（lambda_cycle = 30，lambda_iden = 2，ngf = ndf = 64）表现最可靠，并在更长的训练时间下达到最佳性能。CycleGAN提高了噪声输入的质量，而Noise2Score在绝对PSNR/SSIM上略逊一筹，但在非常嘈杂的输入上取得了很大进步。总体而言，CycleGAN提供最强的最终图像质量，而Noise2Score提供了一种稳健的无配对替代方案，表现具有竞争力。

Key Takeaways

研究了CT图像在无配对和自监督条件下的降噪技术。
评估了两种训练数据高效的方法：基于CycleGAN的残差翻译器和Noise2Score（N2S）分数匹配去噪器。
CycleGAN的U-Net配置在特定参数设置下表现最可靠。
CycleGAN提高了噪声输入的质量，最终图像质量最佳。
Noise2Score在非常嘈杂的输入上取得了显著进步，即使略逊于CycleGAN在绝对PSNR/SSIM指标上。
Noise2Score作为一种稳健的无配对替代方案，具有竞争力。
项目的源代码已公开可用。

Cool Papers

点此查看论文截图

Noise Injection: Improving Out-of-Distribution Generalization for Limited Size Datasets

Authors:Duong Mai, Lawrence Hall

Deep learned (DL) models for image recognition have been shown to fail to generalize to data from different devices, populations, etc. COVID-19 detection from Chest X-rays (CXRs), in particular, has been shown to fail to generalize to out-of-distribution (OOD) data from new clinical sources not covered in the training set. This occurs because models learn to exploit shortcuts - source-specific artifacts that do not translate to new distributions - rather than reasonable biomarkers to maximize performance on in-distribution (ID) data. Rendering the models more robust to distribution shifts, our study investigates the use of fundamental noise injection techniques (Gaussian, Speckle, Poisson, and Salt and Pepper) during training. Our empirical results demonstrate that this technique can significantly reduce the performance gap between ID and OOD evaluation from 0.10-0.20 to 0.01-0.06, based on results averaged over ten random seeds across key metrics such as AUC, F1, accuracy, recall and specificity. Our source code is publicly available at https://github.com/Duongmai127/Noisy-ood

图像识别深度学习的模型被证明无法推广到来自不同设备、人群等不同数据源的数据。特别是从胸部X射线（CXRs）检测COVID-19，模型无法推广到训练集未涵盖的新临床来源的离群分布（OOD）数据。这是因为模型学习利用捷径——特定来源的伪像，这些伪像无法转化为新的分布，而不是合理的生物标志物来最大化内部分布（ID）数据上的性能。为了增强模型对分布变化的稳健性，我们的研究探讨了训练过程中基本噪声注入技术（高斯噪声、斑点噪声、泊松噪声和椒盐噪声）的使用。我们的实证结果表明，该技术可以显著缩小ID和OOD评估之间的性能差距，从0.10-0.20缩小到0.01-0.06，这是基于平均曲线下面积（AUC）、F1分数、准确度、召回率和特异性等主要指标上十个随机种子的结果。我们的源代码可在https://github.com/Duongmai127/Noisy-ood上公开获取。

论文及项目相关链接

PDF Abstract accepted for oral presentation at SPIE Medical Imaging 2026: Computer-Aided Diagnosis

Summary

深度学习方法在图像识别领域的模型通常无法推广到不同设备、人群等的数据。特别是在使用胸部X光影像进行COVID-19检测时，模型在未见过的临床来源数据上的表现不佳。这是因为模型倾向于利用捷径，即特定来源的伪特征，而非合理的生物标志物，以最大化现有数据的性能。本研究通过训练过程中引入基础噪声注入技术（如高斯噪声、斑点噪声、泊松噪声和盐与胡椒噪声）来提高模型的稳健性。实验结果显示，这种方法能显著缩小在关键指标（如AUC、F1分数、准确率、召回率和特异性）上，模型在内部数据与外部数据评估之间的性能差距，从0.10-0.20降至0.01-0.06。相关源码已公开，可供访问。

Key Takeaways

深度学习方法在图像识别中的模型存在通用化问题，特别是在处理来自不同设备或人群的数据时。
COVID-19通过胸部X光影像检测时，模型在未见过的数据上表现不佳。
模型倾向于利用特定来源的伪特征（捷径），而非合理的生物标志物进行优化。
通过训练过程中引入噪声注入技术可以提高模型的稳健性。
噪声注入技术包括高斯噪声、斑点噪声、泊松噪声和盐与胡椒噪声等。
实验结果显示，噪声注入技术能显著缩小模型在内部数据与外部数据评估间的性能差距。

Cool Papers

点此查看论文截图

Diffusion & Adversarial Schrödinger Bridges via Iterative Proportional Markovian Fitting

Authors:Sergei Kholkin, Grigoriy Ksenofontov, David Li, Nikita Kornilov, Nikita Gushchin, Alexandra Suvorikova, Alexey Kroshnin, Evgeny Burnaev, Alexander Korotin

The Iterative Markovian Fitting (IMF) procedure, which iteratively projects onto the space of Markov processes and the reciprocal class, successfully solves the Schr"odinger Bridge (SB) problem. However, an efficient practical implementation requires a heuristic modification – alternating between fitting forward and backward time diffusion at each iteration. This modification is crucial for stabilizing training and achieving reliable results in applications such as unpaired domain translation. Our work reveals a close connection between the modified version of IMF and the Iterative Proportional Fitting (IPF) procedure – a foundational method for the SB problem, also known as Sinkhorn’s algorithm. Specifically, we demonstrate that the heuristic modification of the IMF effectively integrates both IMF and IPF procedures. We refer to this combined approach as the Iterative Proportional Markovian Fitting (IPMF) procedure. Through theoretical and empirical analysis, we establish the convergence of the IPMF procedure under various settings, contributing to developing a unified framework for solving SB problems. Moreover, from a practical standpoint, the IPMF procedure enables a flexible trade-off between image similarity and generation quality, offering a new mechanism for tailoring models to specific tasks.

迭代马尔可夫拟合（IMF）程序通过将问题投影到马尔可夫过程和倒数类的空间，成功地解决了薛定谔桥（SB）问题。然而，要进行有效的实践实施，需要在每次迭代时交替进行正向和反向时间扩散的拟合。这一修改对于稳定训练和在诸如无配对域翻译等应用中实现可靠结果至关重要。我们的工作揭示了IMF的修改版本与解决SB问题的基本方法——迭代比例拟合（IPF）程序之间的密切联系，也被称为Sinkhorn算法。具体来说，我们证明了IMF的启发式修改有效地结合了IMF和IPF程序。我们将这种综合方法称为迭代比例马尔可夫拟合（IPMF）程序。通过理论分析和实证分析，我们确定了IPMF程序在各种设置下的收敛性，为解决SB问题建立了统一的框架。此外，从实际的角度来看，IPMF程序能够在图像相似性和生成质量之间进行灵活权衡，为针对特定任务定制模型提供了新的机制。

论文及项目相关链接

PDF

Summary

IMF程序通过迭代投影到马尔可夫过程和倒数类空间成功解决了薛定谔桥问题。但为提高实际应用效率，需采用交替前向和反向时间扩散的启发式修改。此修改对稳定训练并在如非配对领域翻译等应用中实现可靠结果至关重要。本研究揭示了修改版IMF与解决SB问题的基础方法——迭代比例拟合（IPF）程序的密切联系，并证明IMF的启发式修改有效地融合了IMF和IPF程序。我们称此综合方法为迭代比例马尔可夫拟合（IPMF）程序。通过理论分析和实证研究，我们确定了IPMF程序在各种设置下的收敛性，为解决SB问题建立了统一框架。同时，从实际应用角度看，IPMF程序可在图像相似性和生成质量之间实现灵活权衡，为针对特定任务定制模型提供了新的机制。

Key Takeaways