医学图像

⚠️ 以下所有内容总结都来自于 大语言模型的能力，如有错误，仅供参考，谨慎使用
🔴 请注意：千万不要用于严肃的学术场景，只能用于论文阅读前的初筛！
💗 如果您觉得我们的项目对您有帮助 ChatPaperFree ，还请您给我们一些鼓励！⭐️ HuggingFace免费体验

2025-10-10 更新

Validation of Various Normalization Methods for Brain Tumor Segmentation: Can Federated Learning Overcome This Heterogeneity?

Authors:Jan Fiszer, Dominika Ciupek, Maciej Malawski

Deep learning (DL) has been increasingly applied in medical imaging, however, it requires large amounts of data, which raises many challenges related to data privacy, storage, and transfer. Federated learning (FL) is a training paradigm that overcomes these issues, though its effectiveness may be reduced when dealing with non-independent and identically distributed (non-IID) data. This study simulates non-IID conditions by applying different MRI intensity normalization techniques to separate data subsets, reflecting a common cause of heterogeneity. These subsets are then used for training and testing models for brain tumor segmentation. The findings provide insights into the influence of the MRI intensity normalization methods on segmentation models, both training and inference. Notably, the FL methods demonstrated resilience to inconsistently normalized data across clients, achieving the 3D Dice score of 92%, which is comparable to a centralized model (trained using all data). These results indicate that FL is a solution to effectively train high-performing models without violating data privacy, a crucial concern in medical applications. The code is available at: https://github.com/SanoScience/fl-varying-normalization.

深度学习（DL）在医学成像领域的应用日益广泛，然而，它需要大量的数据，这就引发了与数据隐私、存储和传输相关的许多挑战。联合学习（FL）是一种克服这些问题的训练范式，但在处理非独立同分布（non-IID）数据时，其效果可能会降低。本研究通过应用不同的MRI强度归一化技术来模拟非IID条件，将数据集分离，以反映异质性的常见原因。这些子集随后用于训练和测试脑肿瘤分割模型。研究结果提供了MRI强度归一化方法对分割模型训练和推理影响的见解。值得注意的是，联邦学习方法对客户端间归一化不一致的数据表现出韧性，实现了3DDice分数为92%，与集中模型（使用全部数据训练）相当。这些结果表明，联邦学习是有效训练高性能模型而不违反数据隐私的解决方案，这是医学应用中一个关键的问题。代码可在https://github.com/SanoScience/fl-varying-normalization获取。

论文及项目相关链接

PDF

Summary
深度学习在医学成像领域应用广泛，但需要大量数据，带来数据隐私、存储和传输方面的挑战。联邦学习（FL）克服了这些问题，但在处理非独立同分布（non-IID）数据时效果可能降低。本研究通过应用不同的MRI强度归一化技术来模拟非IID条件，用于训练和测试脑肿瘤分割模型。研究发现MRI强度归一化方法对分割模型的影响，联邦学习方法对不一致归一化数据具有韧性，3D Dice评分达到92%，与集中模型相当。这证明联邦学习是有效训练高性能模型且不会侵犯数据隐私的解决方案，这在医学应用中至关重要。

Key Takeaways

1. 深度学习在医学成像中广泛应用，但需大量数据，引发数据隐私、存储和传输挑战。
2. 联邦学习克服这些问题，但在处理非独立同分布（non-IID）数据时效果可能降低。
3. 研究通过MRI强度归一化技术模拟非IID条件，用于训练和测试脑肿瘤分割模型。
4. 联邦学习方法对不一致归一化数据具有韧性。
5. 3D Dice评分达到92%，与集中模型相当，证明联邦学习的有效性。
6. 联邦学习是有效训练高性能模型且不会侵犯数据隐私的解决方案。

Cool Papers

点此查看论文截图

U-Bench: A Comprehensive Understanding of U-Net through 100-Variant Benchmarking

Authors:Fenghe Tang, Chengqi Dong, Wenxin Ma, Zikang Xu, Heqin Zhu, Zihang Jiang, Rongsheng Wang, Yuhao Wang, Chenxu Wu, Shaohua Kevin Zhou

Over the past decade, U-Net has been the dominant architecture in medical image segmentation, leading to the development of thousands of U-shaped variants. Despite its widespread adoption, there is still no comprehensive benchmark to systematically evaluate their performance and utility, largely because of insufficient statistical validation and limited consideration of efficiency and generalization across diverse datasets. To bridge this gap, we present U-Bench, the first large-scale, statistically rigorous benchmark that evaluates 100 U-Net variants across 28 datasets and 10 imaging modalities. Our contributions are threefold: (1) Comprehensive Evaluation: U-Bench evaluates models along three key dimensions: statistical robustness, zero-shot generalization, and computational efficiency. We introduce a novel metric, U-Score, which jointly captures the performance-efficiency trade-off, offering a deployment-oriented perspective on model progress. (2) Systematic Analysis and Model Selection Guidance: We summarize key findings from the large-scale evaluation and systematically analyze the impact of dataset characteristics and architectural paradigms on model performance. Based on these insights, we propose a model advisor agent to guide researchers in selecting the most suitable models for specific datasets and tasks. (3) Public Availability: We provide all code, models, protocols, and weights, enabling the community to reproduce our results and extend the benchmark with future methods. In summary, U-Bench not only exposes gaps in previous evaluations but also establishes a foundation for fair, reproducible, and practically relevant benchmarking in the next decade of U-Net-based segmentation models. The project can be accessed at: https://fenghetan9.github.io/ubench. Code is available at: https://github.com/FengheTan9/U-Bench.

过去十年里，U-Net在医学图像分割领域占据主导地位，并催生了数千种U型变体。尽管其应用广泛，但仍缺乏一个综合基准来系统地评估它们的性能和实用性，这主要是因为统计验证不足，以及对不同数据集的效率和推广的考虑有限。为了弥补这一差距，我们推出了U-Bench，这是第一个大规模、统计严谨的基准，评估了28个数据集的100种U-Net变体以及10种成像模式。我们的贡献分为三个部分：（1）全面评估：U-Bench从三个关键维度对模型进行评估：统计稳健性、零射击泛化能力和计算效率。我们引入了一种新型指标U-Score，它联合捕获性能效率权衡，为模型进展提供了面向部署的视角。（2）系统分析与模型选择指南：我们对大规模评估的关键发现进行了总结，并对数据集特性和架构范式对模型性能的影响进行了系统分析。基于这些见解，我们提出了一个模型顾问代理，帮助研究人员为特定数据集和任务选择最合适的模型。（3）公开可用：我们提供了所有代码、模型、协议和权重，使社区能够复制我们的结果并用未来方法对基准测试进行扩展。总之，U-Bench不仅揭示了以前评估中的差距，而且为下一个十年U-Net基分割模型的公平、可重复和实际相关的基准测试奠定了基础。项目可通过以下网址访问：https://fenghetan9.github.io/ubench。代码可通过以下网址获取：https://github.com/FengheTan9/U-Bench。

论文及项目相关链接

PDF 54 pages. The project can be accessed at: https://fenghetan9.github.io/ubench. Code is available at: https://github.com/FengheTan9/U-Bench

摘要
十年来，U-Net在医学图像分割中占据主导地位，并催生出数千种U型变体。尽管其广泛应用，但目前仍缺乏综合基准测试来系统地评估它们的性能和实用性，这主要是因为统计验证不足以及对不同数据集效率与泛化能力的有限考虑。为了弥补这一空白，我们推出了U-Bench，这是第一个大规模、统计严谨的基准测试，评估了100种U-Net变体在28个数据集和10种成像模态下的性能。我们的贡献有三方面：首先，全面评估：U-Bench从三个关键维度评估模型：统计稳健性、零样本泛化能力和计算效率。我们引入了一种新的指标U-Score，它联合捕捉性能与效率的权衡，为模型进展提供了面向部署的视角。其次，系统分析与模型选择指南：我们总结了大规模评估的关键发现，并对数据集特性和架构范式对模型性能的影响进行了系统分析。基于这些见解，我们提出了一个模型顾问代理，指导研究人员为特定数据集和任务选择最合适的模型。最后，公共可用性：我们提供了所有代码、模型、协议和权重，使社区能够复制我们的结果并用未来的方法扩展基准测试。总之，U-Bench不仅揭示了以往评估中的差距，还为未来十年U-Net基分割模型的公平、可重复和实用基准测试奠定了基础。项目可通过链接访问。代码可在链接找到。

Key Takeaways

1. U-Net在医学图像分割中占据主导地位，衍生出众多变体。
2. 缺乏综合基准测试来评估U-Net变体的性能。
3. U-Bench作为首个大规模、统计严谨的基准测试，评估了U-Net变体的性能。
4. U-Bench从统计稳健性、零样本泛化能力和计算效率三个维度评估模型。
5. 引入新型评估指标U-Score，以评估性能与效率的权衡。
6. 基于大规模评估结果，提供了模型选择指南。

Cool Papers

点此查看论文截图

1FLAT: a Firmamento-based catalog of AGN in Fermi-LAT high Galactic latitude γ-ray sources

Authors:P. Giommi, M. Doro, M. Gouvêa, L. Fronte, F. Metruccio, F. Arneodo, U. Barres de Almeida, S. Di Pippo, T. Kerscher, A. Macció, B. Mazzon, M. Morrone, E. Prandini, A. Rodríguez, A. Ruina, N. Sahakyan, L. Silveri, D. Tripathi

We present a systematic reassessment of 5,062 high-Galactic latitude gamma-ray sources from the Fermi-LAT 4FGL-DR4 catalog using Firmamento, a web-based platform for multi-frequency source discovery and analysis. Our goal is to provide an independent evaluation of LAT gamma-ray source associations through alternative spectral and spatial methods that combine recent and legacy survey data, supplemented by human supervision of spectral energy distributions (SEDs), source morphology, flux variability, and template-based comparisons. Firmamento confirms the 4FGL-DR4 and 4LAC-DR3 counterparts or unassociated sources in 4,493 cases (88.8%), demonstrating the robustness of both approaches. Beyond this general agreement, we identify 421 new blazar counterparts among previously unassociated sources, thereby reducing the fraction of unidentified extragalactic Fermi-LAT sources from 25% to 17%. In addition, in 64 cases we find alternative blazar associations, while in 49 instances we do not confirm the 4FGL-DR4 association. For all confirmed blazar counterparts we provide homogeneous estimates of synchrotron peak frequency and peak flux using machine-learning and template-based methods; these agree with 4LAC-DR3 values in most cases, though significant discrepancies appear for a few dozen sources, often due to improved X-ray coverage. The primary outcome of this work is the 1st Firmamento LAT AGN table (1FLAT), made publicly available through the Firmamento platform (https://firmamento.nyuad.nyu.edu), where all related multi-wavelength data and images are available. The project involved extensive manual validation and benefited from the active participation of graduate and undergraduate students, highlighting the platform’s value for both research and education.

我们利用Firmamento这一基于网络的多频率源发现与分析平台，对费米LAT 4FGL-DR4目录中的5062个高银道纬度伽马射线源进行了系统的重新评估。我们的目标是通过对光谱和空间方法的替代方案，提供对LAT伽马射线源关联的独立评估。这种方法结合了最新的和传统的观测数据，辅以谱能量分布（SEDs）、源形态、流量变化和基于模板的比较等人为监督。Firmamento确认了4FGL-DR4和4LAC-DR3的对应物或未关联的源在4493个案例中的存在（占88.8%），证明了这两种方法的稳健性。除了这种普遍的一致性外，我们在之前的未关联源中确定了421个新的耀星对应物，从而将未识别的费米LAT外星系的源比例从25%降至17%。此外，在64个案例中我们找到了替代的耀星关联，而在另外49个案例中我们没有确认其对应于已知对象的信息是否关联与实际的4FGL-DR4有所不同。对于所有确认的耀星对应物，我们使用机器学习和基于模板的方法提供了关于同步峰值频率和峰值流量的均匀估计值；这些在多数情况下与大多数案例中的共识相一致。我们通过比较获得大量证据表明少量例外主要是受益于我们进一步完善的X射线覆盖范围得到了显著提升和关键的数据校准技术提升及具有深远见解的专家分析。这项工作的主要成果是首个Firmamento LAT AGN表（简称“LAT”），通过Firmamento平台公开提供（网址为：https://firmamento.nyuad.nyu.edu）。所有相关的多波长数据和图像都在该平台公开访问和使用。（项目还包括大量的手动验证流程），同时得益于研究生和本科生的积极参与从而强调了该平台对于研究和教育的价值。

论文及项目相关链接

PDF Accepted for publication in ApJS

Summary

这是一篇关于使用Firmamento平台对高银道纬度伽马射线源进行系统性重新评估的研究。该研究旨在通过结合多种频谱和空间方法，结合最新的调研数据，对4FGL-DR4目录中的5,062个伽马射线源进行独立评估。通过这一评估，确认了大多数源，同时识别出了一批新的耀发对应体，降低了未识别的费米-LAT外星源的比例。同时提供了统一的同步峰值频率和峰值流量估计。最重要的成果是公开可用的Firmamento平台上的首个LAT AGN表（1FLAT），该平台提供了所有相关的多波长数据和图像。此项目涉及广泛的手动验证，并得益于学生和本科生积极参与，突显了其在研究和教育方面的价值。

Key Takeaways

1. 使用Firmamento平台对高银道纬度伽马射线源进行系统评估。
2. 对4FGL-DR4目录中的伽马射线源进行独立评估，确认大多数源并发现新的耀发对应体。
3. 降低了未识别的费米-LAT外星源的比例。
4. 为所有确认的耀发对应体提供了统一的同步峰值频率和峰值流量估计。
5. 公开可用的Firmamento平台上的首个LAT AGN表（1FLAT）。
6. 该项目涉及广泛的手动验证，以确保数据的准确性。

Cool Papers

点此查看论文截图

Lung Infection Severity Prediction Using Transformers with Conditional TransMix Augmentation and Cross-Attention

Authors:Bouthaina Slika, Fadi Dornaika, Fares Bougourzi, Karim Hammoudi

Lung infections, particularly pneumonia, pose serious health risks that can escalate rapidly, especially during pandemics. Accurate AI-based severity prediction from medical imaging is essential to support timely clinical decisions and optimize patient outcomes. In this work, we present a novel method applicable to both CT scans and chest X-rays for assessing lung infection severity. Our contributions are twofold: (i) QCross-Att-PVT, a Transformer-based architecture that integrates parallel encoders, a cross-gated attention mechanism, and a feature aggregator to capture rich multi-scale features; and (ii) Conditional Online TransMix, a custom data augmentation strategy designed to address dataset imbalance by generating mixed-label image patches during training. Evaluated on two benchmark datasets, RALO CXR and Per-COVID-19 CT, our method consistently outperforms several state-of-the-art deep learning models. The results emphasize the critical role of data augmentation and gated attention in improving both robustness and predictive accuracy. This approach offers a reliable, adaptable tool to support clinical diagnosis, disease monitoring, and personalized treatment planning. The source code of this work is available at https://github.com/bouthainas/QCross-Att-PVT.

肺部感染，尤其是肺炎，会带来严重的健康风险，特别是在大流行期间，这些风险可能会迅速升级。因此，利用医学图像进行准确的AI严重程度预测对于支持及时的临床决策和优化患者结果至关重要。在这项工作中，我们提出了一种可用于CT扫描和胸部X射线评估肺部感染严重程度的新型方法。我们的贡献有两方面：（i）QCross-Att-PVT，这是一种基于Transformer的架构，它集成了并行编码器、交叉门控注意机制和特征聚合器，以捕获丰富的多尺度特征；（ii）Conditional Online TransMix，这是一种自定义的数据增强策略，旨在通过训练过程中生成混合标签图像补丁来解决数据集不平衡问题。在RALO CXR和Per-COVID-19 CT两个基准数据集上评估，我们的方法始终优于几种最先进的深度学习模型。结果强调了数据增强和门控注意在改善稳健性和预测精度方面的关键作用。该方法提供了一个可靠、灵活的工具，可支持临床诊断、疾病监测和个性化治疗计划。该工作的源代码可在https://github.com/bouthainas/QCross-Att-PVT获取。

论文及项目相关链接

PDF

Summary

本文介绍了一种用于评估肺部感染严重程度的全新方法，适用于CT扫描和胸部X光。该方法采用基于Transformer的架构QCross-Att-PVT，融合了并行编码器、交叉门控注意机制和特征聚合器，以捕捉丰富的多尺度特征。此外，还提出了自定义数据增强策略Conditional Online TransMix，以解决数据集不平衡问题。在两家基准数据集上的评估结果表明，该方法优于多个最新深度学习模型，强调了数据增强和门控注意在提高稳健性和预测精度方面的关键作用。此工具可为临床诊断、疾病监测和个性化治疗计划提供可靠支持。

Key Takeaways

1. 介绍了一种基于AI的方法用于评估肺部感染严重性。
2. 方法采用新型架构QCross-Att-PVT，整合了多种技术如并行编码器、交叉门控注意机制以及特征聚合器。
3. 提出数据增强策略Conditional Online TransMix以处理数据集不平衡问题。
4. 在两个基准数据集上的表现优于其他先进深度学习模型。
5. 数据增强和门控注意在提高模型的稳健性和预测精度方面发挥了关键作用。
6. 此方法可作为临床辅助诊断、疾病监测和个性化治疗的有效工具。

Cool Papers

点此查看论文截图

Hard X-ray view of two $γ$-ray detected low-luminosity active galactic nuclei: NGC 315 and NGC 4261

Authors:Yuwei Yu, Jin Zhang

Aims. The accretion disk of low-luminosity active galactic nuclei (LLAGNs) is a radiatively inefficient accretion flow (RIAF). Our goal is to find evidence of RIAF radiation from LLAGNs with jets and analyze their radiation properties, which also adds samples to future research on LLAGNs. Methods. Weconducted an analysis of the X-ray data obtained from NuSTAR and XMM-Newton observations of NGC 315 and NGC 4261, encompassing both timing and spectral investigations. The joint X-ray spectra of the two LLAGNs were fitted using various functional forms and radiative models in XSPEC. Results. No significant variability on timescales of days is observed for both NGC 315 and NGC 4261. The X-ray continuum emission of NGC 315 is suitable for cutoff power-law (PL) fitting, yielding a cutoff energy of Ecut = 18.45 keV, which is the lowest value found in LLAGNssofar. In contrast, the X-ray continuum of NGC 4261 is composed of two PL components, with no signs of a cutoff energy. A prominent neutral Fe K{\alpha} line is observed in NGC 315, while an ionized Fe XXV line is seen in NGC 4261. The derived reflection fractions are R = 0.61 for NGC 315 and R = 0.18 for NGC 4579. Neither NGC 315 nor NGC 4261 shows evidence of a Compton reflection bump. Conclusions. The X-ray spectral characteristics support the RIAF emission as the dominant origin of the X-rays in both sources, although an additional soft PL component originating from the inner jet is observed in NGC 4261. The higher reflection fraction compared to other LLAGNs, along with the detection of a neutral Fe K{\alpha} line, suggests the existence of a truncated accretion disk with a relatively small radius in NGC 315. Bremsstrahlung radiation appears to be the dominant cooling mechanism for the plasma in NGC315, while Comptonization within the RIAF is more likely responsible for the X-ray emission in NGC 4261.

摘要。低光度活动星系核（LLAGNs）的吸积盘是一种辐射效率较低的吸积流（RIAF）。我们的目标是寻找LLAGNs中有喷流的RIAF辐射的证据，并分析其辐射特性，这也为LLAGNs的进一步研究增加了样本。方法。我们对NGC 315和NGC 4261的NuSTAR和XMM-Newton观测所得的X射线数据进行了分析，包括时序和光谱分析。使用XSPEC中的各种函数形式和辐射模型对这两个LLAGNs的联合X射线光谱进行拟合。结果。NGC 315和NGC 4261在几天的时间尺度上均没有观察到显著的变化。NGC 315的X射线连续谱适合用截止幂律（PL）拟合，得到截止能量Ecut=18.45 keV，这是迄今为止在LLAGNs中发现的最低值。相比之下，NGC 4261的X射线连续谱由两个PL分量组成，没有截止能量的迹象。在NGC 315中观察到明显的中性Fe Kα线，而在NGC 4261中观察到电离Fe XXV线。推导出的反射率分别为R=0.61（NGC 315）和R=0.18（NGC 4579）。NGC 315和NGC 4261均没有显示出康普顿反射峰的证据。结论。X射线光谱特征支持RIAF发射是这两个源X射线的主要来源，尽管在NGC 4261中观察到来自内部喷射器的额外软PL分量。与其他LLAGNs相比，较高的反射率以及中性Fe Kα线的检测，表明NGC 315中存在一个半径较小的截断吸积盘。NGC 315中的轫致辐射似乎是等离子体主要的冷却机制，而在NGC 4261中，RIAF内的康普顿化更可能是X射线发射的原因。

论文及项目相关链接

PDF 11 pages, 6 figures, 6 tables

Summary
本文研究低光度活动星系核（LLAGNs）的辐射特性，特别是其射流辐射的证据。通过对NGC 315和NGC 4261的X射线数据进行分析，发现两者的X射线连续发射与RIAF（辐射低效吸积流）相关。NGC 315的X射线连续发射适合用截断幂律拟合，而NGC 4261则包含两个幂律成分。两者均未显示康普顿反射峰的证据。研究结果支持RIAF辐射是这两个源X射线的主要来源。

Key Takeaways

1. LLAGNs的辐射特性研究旨在寻找RIAF的证据，并增加对未来LLAGNs研究的样本。
2. 对NGC 315和NGC 4261的X射线数据进行了时序和光谱分析。
3. NGC 315的X射线连续发射适合用截断幂律模型拟合，截断能量Ecut较低。
4. NGC 4261的X射线连续发射包含两个幂律成分，未发现截断能量。
5. 中性Fe Kα线在NGC 315中明显可见，而在NGC 4261中观察到电离的Fe XXV线。
6. 反射分数R在NGC 315中较高，暗示存在截断半径较小的吸积盘。

Cool Papers

点此查看论文截图

Fitzpatrick Thresholding for Skin Image Segmentation

Authors:Duncan Stothers, Sophia Xu, Carlie Reeves, Lia Gracey

Accurate estimation of the body surface area (BSA) involved by a rash, such as psoriasis, is critical for assessing rash severity, selecting an initial treatment regimen, and following clinical treatment response. Attempts at segmentation of inflammatory skin disease such as psoriasis perform markedly worse on darker skin tones, potentially impeding equitable care. We assembled a psoriasis dataset sourced from six public atlases, annotated for Fitzpatrick skin type, and added detailed segmentation masks for every image. Reference models based on U-Net, ResU-Net, and SETR-small are trained without tone information. On the tuning split we sweep decision thresholds and select (i) global optima and (ii) per Fitzpatrick skin tone optima for Dice and binary IoU. Adapting Fitzpatrick specific thresholds lifted segmentation performance for the darkest subgroup (Fitz VI) by up to +31 % bIoU and +24 % Dice on UNet, with consistent, though smaller, gains in the same direction for ResU-Net (+25 % bIoU, +18 % Dice) and SETR-small (+17 % bIoU, +11 % Dice). Because Fitzpatrick skin tone classifiers trained on Fitzpatrick-17k now exceed 95 % accuracy, the cost of skin tone labeling required for this technique has fallen dramatically. Fitzpatrick thresholding is simple, model-agnostic, requires no architectural changes, no re-training, and is virtually cost free. We demonstrate the inclusion of Fitzpatrick thresholding as a potential future fairness baseline.

准确估计体表面积（BSA）的皮炎病变区域，如牛皮癣等，对于评估皮炎严重程度、选择初始治疗方案以及跟踪临床治疗反应至关重要。对牛皮癣等炎症性皮肤疾病进行分割的尝试在深色肤色上的表现明显较差，可能阻碍公平的医疗护理。我们收集了一个牛皮癣数据集，该数据集来源于六个公开图谱，根据Fitzpatrick皮肤类型进行标注，并为每张图像添加了详细的分割掩膜。基于U-Net、ResU-Net和SETR-small的参考模型在不使用肤色信息的情况下进行训练。在调优分割时，我们调整决策阈值，并选择（i）全局最优和（ii）针对Fitzpatrick皮肤类型的最优阈值，以进行Dice和二进制IoU评估。适应Fitzpatrick特定阈值提高了最暗亚组（Fitz VI）的分割性能，在UNet上bIoU提高了+31%，Dice提高了+24%，ResU-Net和SETR-small也有一致且较小的提升（+25% bIoU，+18% Dice和+17% bIoU，+11% Dice）。由于基于Fitzpatrick-17k训练的Fitzpatrick皮肤色调分类器的准确率现在超过95%，因此这项技术所需的肤色标签成本已大幅下降。Fitzpatrick阈值设置简单，与模型无关，不需要进行架构更改、重新训练，并且几乎无需成本。我们展示了将Fitzpatrick阈值设置作为未来公平基准线的潜力。

论文及项目相关链接

PDF Accepted to MICCAI 2025 ISIC Workshop. 24 minute Oral presentation given. Awarded “Best Paper - Honorable Mention”

摘要

本文关注于准确估算由皮炎（如银屑病）引起的体表面积（BSA），这对评估皮炎严重程度、选择初始治疗方案以及跟踪临床治疗反应至关重要。针对肤色较暗的人群，皮炎等炎症性皮肤病的分割效果较差，可能影响公平护理。本研究收集了一个包含六种公开图谱的银屑病数据集，按Fitzpatrick皮肤类型进行标注，并为每张图像添加了详细的分割掩膜。基于U-Net、ResU-Net和SETR-small的参考模型在不使用肤色信息的情况下进行训练。在调整分割阈值时，我们选择了全局最优和针对Fitzpatrick皮肤类型的最优阈值，以评估Dice和二进制IoU。适应Fitzpatrick特定阈值可提高最暗亚组（Fitz VI）的分割性能，在UNet上bIoU和Dice分别提高了+31%和+24%，ResU-Net和SETR-small也有类似的提高。由于基于Fitzpatrick-17k训练的Fitzpatrick皮肤色调分类器的准确度现在超过了95%，因此此技术所需的肤色标签成本已大幅下降。Fitzpatrick阈值设置简单，模型通用性强，无需进行架构更改或重新训练，且几乎无需成本。我们展示了将Fitzpatrick阈值设置作为未来公平性的基准的潜力。

要点

1. 准确估算皮炎涉及的体表面积对于评估皮炎严重程度和治疗反应至关重要。
2. 在肤色较暗的人群中，皮炎分割效果较差，可能影响公平护理。
3. 研究收集了包含多种图像的银屑病数据集，并按Fitzpatrick皮肤类型标注。
4. 研究采用了U-Net、ResU-Net和SETR-small模型进行训练，无需使用肤色信息。
5. 通过适应Fitzpatrick特定阈值，可以显著提高最暗肤色的亚组的分割性能。
6. Fitzpatrick皮肤色调分类器的准确度现在超过了95%，降低了肤色标签的成本。

Cool Papers

点此查看论文截图

FEAorta: A Fully Automated Framework for Finite Element Analysis of the Aorta From 3D CT Images

Authors:Jiasong Chen, Linchen Qian, Ruonan Gong, Christina Sun, Tongran Qin, Thuy Pham, Caitlin Martin, Mohammad Zafar, John Elefteriades, Wei Sun, Liang Liang

Aortic aneurysm disease ranks consistently in the top 20 causes of death in the U.S. population. Thoracic aortic aneurysm is manifested as an abnormal bulging of thoracic aortic wall and it is a leading cause of death in adults. From the perspective of biomechanics, rupture occurs when the stress acting on the aortic wall exceeds the wall strength. Wall stress distribution can be obtained by computational biomechanical analyses, especially structural Finite Element Analysis. For risk assessment, probabilistic rupture risk of TAA can be calculated by comparing stress with material strength using a material failure model. Although these engineering tools are currently available for TAA rupture risk assessment on patient specific level, clinical adoption has been limited due to two major barriers: labor intensive 3D reconstruction current patient specific anatomical modeling still relies on manual segmentation, making it time consuming and difficult to scale to a large patient population, and computational burden traditional FEA simulations are resource intensive and incompatible with time sensitive clinical workflows. The second barrier was successfully overcome by our team through the development of the PyTorch FEA library and the FEA DNN integration framework. By incorporating the FEA functionalities within PyTorch FEA and applying the principle of static determinacy, we reduced the FEA based stress computation time to approximately three minutes per case. Moreover, by integrating DNN and FEA through the PyTorch FEA library, our approach further decreases the computation time to only a few seconds per case. This work focuses on overcoming the first barrier through the development of an end to end deep neural network capable of generating patient specific finite element meshes of the aorta directly from 3D CT images.

主动脉瘤疾病一直是美国人口死亡原因的前20名之一。胸主动脉瘤表现为胸主动脉壁异常凸起，是成人死亡的主要原因之一。从生物力学角度看，当作用于主动脉壁的应力超过其强度时，就会发生破裂。通过计算生物力学分析，特别是结构有限元分析，可以获得壁应力分布。对于风险评估，通过材料失效模型比较应力与材料强度，可以计算胸主动脉瘤的破裂概率。尽管目前这些工程工具可用于针对特定患者的胸主动脉瘤破裂风险评估，但由于两大障碍，临床采用受到了限制：一是目前针对特定患者的解剖模型重建仍依赖于手动分割，这使得其耗时且难以扩展到大量患者；二是传统有限元分析模拟计算量大，不符合时间敏感的临床工作流程。我们团队成功克服了第二个障碍，通过开发PyTorch有限元库和有限元深度神经网络集成框架。通过在PyTorch有限元库中融入有限元功能并应用静定原理，我们将基于有限元的应力计算时间减少到大约每例三分钟。此外，通过深度神经网络与有限元分析集成，我们的方法将计算时间进一步降低到每例仅几秒钟。本工作专注于开发端到端的深度神经网络，以克服第一个障碍，该网络能够从3D CT图像直接生成针对特定患者的有限元素网格。

论文及项目相关链接

PDF

Summary
主动脉动脉瘤疾病是美国人口死亡的主要原因之一。从生物力学角度看，胸主动脉瘤的破裂是因为主动脉壁上的应力超过了其承受力。本文开发了一种端到端的深度神经网络，用于直接从3D CT图像生成患者的特定有限元网格模型，克服了当前评估胸主动脉瘤破裂风险的两大障碍，提高了评估效率和准确性。

Key Takeaways

1. 主动脉动脉瘤疾病是美国人口死亡的主要原因之一，特别是在成人群体中。
2. 从生物力学角度看，胸主动脉瘤的破裂是因为主动脉壁上的应力超过了其承受力。
3. 胸主动脉瘤破裂风险的评估受限于两个主要障碍：当前患者特定解剖模型的建立依赖于手动分割，过程耗时且难以应用于大规模患者群体；传统的有限元分析（FEA）模拟计算量大，不适用于时间敏感的临床工作流程。
4. 开发PyTorch FEA库和FEA深度神经网络（DNN）集成框架成功克服了第二个障碍，将有限元分析的应力计算时间减少到大约每例三分钟。
5. 通过在PyTorch FEA库中集成DNN和FEA，进一步将计算时间减少到每例仅几秒钟。
6. 本文的重点是开发一种端到端的深度神经网络，该网络能够直接从3D CT图像生成患者的特定有限元网格模型，以克服第一个障碍。

Cool Papers

点此查看论文截图

Self-supervised Physics-guided Model with Implicit Representation Regularization for Fast MRI Reconstruction

Authors:Jingran Xu, Yuanyuan Liu, Yanjie Zhu

Magnetic Resonance Imaging (MRI) is a vital clinical diagnostic tool, yet its widespread application is limited by prolonged scan times. Fast MRI reconstruction techniques effectively reduce acquisition duration by reconstructing high-fidelity MR images from undersampled k-space data. In recent years, deep learning-based methods have demonstrated remarkable progress in this field, with self-supervised and unsupervised learning approaches proving particularly valuable in scenarios where fully sampled data are difficult to obtain. This paper proposes a novel zero-shot self-supervised reconstruction framework named UnrollINR, which enables scan-specific MRI reconstruction without relying on external training data. The method adopts a physics-guided unrolled iterative reconstruction architecture and introduces Implicit Neural Representation (INR) as a regularization prior to effectively constrain the solution space. By combining a deep unrolled structure with the powerful implicit representation capability of INR, the model’s interpretability and reconstruction performance are enhanced. Experimental results demonstrate that even at a high acceleration rate of 10, UnrollINR achieves superior reconstruction performance compared to the supervised learning method, validating the superiority of the proposed method.

磁共振成像（MRI）是一种重要的临床诊断工具，但其广泛应用受限于扫描时间的延长。快速MRI重建技术通过从欠采样的k空间数据中重建高保真MR图像，有效地减少了采集时间。近年来，基于深度学习的方法在该领域取得了显著的进步，自监督和无监督的学习方法在难以获取全采样数据的情况下，特别具有价值。本文提出了一种新型的零样本自监督重建框架，名为UnrollINR，它能够在不依赖外部训练数据的情况下实现特定扫描的MRI重建。该方法采用物理引导展开的迭代重建架构，并引入隐式神经表示（INR）作为正则化先验，以有效地约束解空间。通过将深度展开结构与INR的强大隐式表示能力相结合，提高了模型的可解释性和重建性能。实验结果表明，即使在高达10倍的加速率下，UnrollINR的重建性能也优于监督学习方法，验证了所提方法的优越性。

论文及项目相关链接

PDF

Summary
MRI重建技术利用深度学习实现高保真度快速扫描。本研究提出一种新型零样本自监督重建框架UnrollINR，可在无需外部训练数据的情况下实现特定扫描MRI重建。结合物理引导展开迭代重建架构与隐式表示（INR）先验，增强模型可解释性和重建性能。实验证明，在加速率为10时，UnrollINR相较于监督学习方法仍表现优越。

Key Takeaways

1. MRI是一种重要的临床诊断工具，但其应用受限于长时间的扫描。
2. 快速MRI重建技术通过从欠采样的k-space数据中重建高保真图像来减少采集时间。
3. 深度学习在MRI重建领域取得显著进展，特别是在难以获取全采样数据的情况下，自监督和无监督学习方法尤为有价值。
4. 本研究提出了一种新型的零样本自监督重建框架UnrollINR，无需外部训练数据即可实现特定扫描MRI重建。
5. UnrollINR结合物理引导展开迭代重建架构和隐式表示（INR）先验，增强了模型的解释性和重建性能。
6. 实验结果表明，UnrollINR在高速率（如加速率为10）下仍能实现优异的重建性能，优于监督学习方法。

Cool Papers

点此查看论文截图

Improving Artifact Robustness for CT Deep Learning Models Without Labeled Artifact Images via Domain Adaptation

Authors:Justin Cheung, Samuel Savine, Calvin Nguyen, Lin Lu, Alhassan S. Yasin

Deep learning models which perform well on images from their training distribution can degrade substantially when applied to new distributions. If a CT scanner introduces a new artifact not present in the training labels, the model may misclassify the images. Although modern CT scanners include design features which mitigate these artifacts, unanticipated or difficult-to-mitigate artifacts can still appear in practice. The direct solution of labeling images from this new distribution can be costly. As a more accessible alternative, this study evaluates domain adaptation as an approach for training models that maintain classification performance despite new artifacts, even without corresponding labels. We simulate ring artifacts from detector gain error in sinogram space and evaluate domain adversarial neural networks (DANN) against baseline and augmentation-based approaches on the OrganAMNIST abdominal CT dataset. Our results demonstrate that baseline models trained only on clean images fail to generalize to images with ring artifacts, and traditional augmentation with other distortion types provides no improvement on unseen artifact domains. In contrast, the DANN approach successfully maintains high classification accuracy on ring artifact images using only unlabeled artifact data during training, demonstrating the viability of domain adaptation for artifact robustness. The domain-adapted model achieved classification performance on ring artifact test data comparable to models explicitly trained with labeled artifact images, while also showing unexpected generalization to uniform noise. These findings provide empirical evidence that domain adaptation can effectively address distribution shift in medical imaging without requiring expensive expert labeling of new artifact distributions, suggesting promise for deployment in clinical settings where novel artifacts may emerge.

在深学习效果模型中，针对其训练图像分布的效果显著，但当应用于新的分布时性能会明显下降。如果CT扫描仪引入了训练标签中不存在的新的伪影，模型可能会误分类图像。尽管现代CT扫描仪包括减少这些伪影的设计功能，但在实践中仍可能出现无法预见或难以消除的伪影。直接解决新分布图像标签的问题成本高昂。作为更可行的替代方案，本研究评估了域适应作为一种训练模型的方法，该方法能够在新的伪影出现的情况下保持分类性能，即使在没有相应标签的情况下也是如此。我们在辛诺图空间中模拟了由检测器增益误差引起的环形伪影，并在OrganAMNIST腹部CT数据集上对域对抗神经网络（DANN）与基线方法和基于增强的方法进行了评估。结果表明，仅在干净图像上训练的基线模型无法推广到带有环形伪影的图像，而其他失真类型的传统增强对未见过的伪影域没有改善作用。相比之下，DANN方法仅使用无标签的伪影数据对环形伪影图像进行训练，成功地保持了较高的分类精度，证明了域适应在伪影稳健性方面的可行性。域适应模型在环形伪影测试数据上的分类性能与用带标签的伪影图像明确训练的模型相当，并且还显示出对均匀噪声的意外泛化能力。这些发现提供了实证证据表明，域适应可以有效地解决医学影像中的分布转移问题，而无需对新伪影分布进行昂贵的专家标注，这在可能出现新型伪影的临床环境中部署时具有广阔的前景。

论文及项目相关链接

PDF 8 pages, 12 figures, 1 table

摘要

深度学习模型在图像分布上表现良好，但当应用于新的分布时，性能可能会大幅下降。如果CT扫描仪引入新的训练中不存在的伪影，模型可能会对图像误分类。尽管现代CT扫描仪设计了一些减少伪影的特征，但在实践中仍然可能出现难以预见或难以消除的伪影。对此新分布进行标注的直接解决方案成本高昂。作为更可行的替代方案，本研究评估了域适应作为训练模型的方法，即使面对新伪影，也能保持分类性能，无需对应标签。我们在辛图拉空间模拟了因探测器增益误差而产生的环形伪影，并在OrganAMNIST腹部CT数据集上评估了域对抗神经网络（DANN）与基准方法和基于增强方法的效果。结果表明，仅对干净图像进行训练的基准模型无法推广到带有环形伪影的图像，而其他类型畸变的传统增强方法对未见过的伪影域没有任何改进。相比之下，DANN方法仅使用训练过程中的无标签伪影数据，便成功地在环形伪影图像上保持了较高的分类精度，证明了域适应在伪影稳健性方面的可行性。域适应模型的分类性能与明确使用标记伪影图像训练的模型在环形伪影测试数据上的表现相当，并且还意外地推广到了均匀噪声。这些发现提供了实证证据表明，域适应可以有效地解决医学成像中的分布转移问题，而无需昂贵的专家为新伪影分布进行标注，这为在临床环境中部署提供了希望，因为那里可能会出现新的伪影。

关键见解

1. 深度学习模型在面对新的图像分布时可能会遭受性能下降的问题，特别是在医学图像领域。
2. 当CT扫描仪引入新的伪影时，模型可能对图像产生误分类。
3. 现代CT扫描仪的设计特性虽然能减少伪影，但在实践中仍可能出现不可预见或难以消除的伪影。
4. 直接对新分布的图像进行标注成本高昂且不可行。
5. 域适应是一种有效的训练模型方法，能在面对新伪影时保持分类性能，且无需对应标签。
6. 在模拟环形伪影的情况下，域对抗神经网络（DANN）表现出优异的性能，能够在无标签伪影数据的训练中保持高分类精度。

Cool Papers

点此查看论文截图

Conditional Denoising Diffusion Model-Based Robust MR Image Reconstruction from Highly Undersampled Data

Authors:Mohammed Alsubaie, Wenxi Liu, Linxia Gu, Ovidiu C. Andronesi, Sirani M. Perera, Xianqi Li

Magnetic Resonance Imaging (MRI) is a critical tool in modern medical diagnostics, yet its prolonged acquisition time remains a critical limitation, especially in time-sensitive clinical scenarios. While undersampling strategies can accelerate image acquisition, they often result in image artifacts and degraded quality. Recent diffusion models have shown promise for reconstructing high-fidelity images from undersampled data by learning powerful image priors; however, most existing approaches either (i) rely on unsupervised score functions without paired supervision or (ii) apply data consistency only as a post-processing step. In this work, we introduce a conditional denoising diffusion framework with iterative data-consistency correction, which differs from prior methods by embedding the measurement model directly into every reverse diffusion step and training the model on paired undersampled-ground truth data. This hybrid design bridges generative flexibility with explicit enforcement of MRI physics. Experiments on the fastMRI dataset demonstrate that our framework consistently outperforms recent state-of-the-art deep learning and diffusion-based methods in SSIM, PSNR, and LPIPS, with LPIPS capturing perceptual improvements more faithfully. These results demonstrate that integrating conditional supervision with iterative consistency updates yields substantial improvements in both pixel-level fidelity and perceptual realism, establishing a principled and practical advance toward robust, accelerated MRI reconstruction.

磁共振成像（MRI）是现代医学诊断中的重要工具，但其长时间的采集时间仍是其关键限制，特别是在时间敏感的临床场景中。尽管欠采样策略可以加速图像采集，但它们通常会导致图像出现伪影和质量下降。最近的扩散模型通过学习强大的图像先验来从欠采样数据中重建高保真图像，显示出很大的潜力；然而，大多数现有方法（i）依赖于无配对监督的无监督分数函数，或者（ii）仅将数据一致性作为后处理步骤应用。在这项工作中，我们引入了一个具有迭代数据一致性校正的条件去噪扩散框架，它与先前的方法不同，将测量模型直接嵌入到每个反向扩散步骤中，并在配对欠采样-真实数据上训练模型。这种混合设计结合了生成灵活性和对MRI物理的显式强制执行。在fastMRI数据集上的实验表明，我们的框架在结构相似性度量（SSIM）、峰值信噪比（PSNR）和局部感知图像相似性（LPIPS）方面始终优于最新的深度学习和扩散方法。LPIPS更真实地捕捉到了感知改进。这些结果表明，将条件监督与迭代一致性更新相结合，在像素级保真度和感知真实性方面都取得了重大改进，为实现稳健、加速的MRI重建提供了有原则且实用的进步。

论文及项目相关链接

PDF

Summary
本文提出了一种结合条件去噪扩散框架与迭代数据一致性校正的方法，用于加速磁共振成像（MRI）的重建过程。该方法将测量模型直接嵌入到每个反向扩散步骤中，并在配对欠采样-真实数据上进行训练。实验表明，该方法在SSIM、PSNR和LPIPS指标上均优于最新的深度学习和扩散方法，特别是在感知改善方面表现更出色。

Key Takeaways

1. 磁共振成像（MRI）是现代医学诊断中的重要工具，但其长时间的采集时间仍是限制其应用的关键因素。
2. 欠采样策略可以加速图像采集，但可能导致图像出现伪影和质量下降。
3. 扩散模型在从未完全采样的数据中重建高质量图像方面显示出潜力。
4. 现有方法大多依赖于无监督的评分函数或仅将数据一致性作为后处理步骤。
5. 本文介绍了一种结合条件去噪扩散框架和迭代数据一致性校正的方法，将测量模型直接嵌入到每个反向扩散步骤中。
6. 该方法在配对欠采样-真实数据上进行训练，在SSIM、PSNR和LPIPS指标上表现出卓越性能。

Cool Papers

点此查看论文截图

Soft-Evidence Fused Graph Neural Network for Cancer Driver Gene Identification across Multi-View Biological Graphs

Authors:Bang Chen, Lijun Guo, Houli Fan, Wentao He, Rong Zhang

Identifying cancer driver genes (CDGs) is essential for understanding cancer mechanisms and developing targeted therapies. Graph neural networks (GNNs) have recently been employed to identify CDGs by capturing patterns in biological interaction networks. However, most GNN-based approaches rely on a single protein-protein interaction (PPI) network, ignoring complementary information from other biological networks. Some studies integrate multiple networks by aligning features with consistency constraints to learn unified gene representations for CDG identification. However, such representation-level fusion often assumes congruent gene relationships across networks, which may overlook network heterogeneity and introduce conflicting information. To address this, we propose Soft-Evidence Fusion Graph Neural Network (SEFGNN), a novel framework for CDG identification across multiple networks at the decision level. Instead of enforcing feature-level consistency, SEFGNN treats each biological network as an independent evidence source and performs uncertainty-aware fusion at the decision level using Dempster-Shafer Theory (DST). To alleviate the risk of overconfidence from DST, we further introduce a Soft Evidence Smoothing (SES) module that improves ranking stability while preserving discriminative performance. Experiments on three cancer datasets show that SEFGNN consistently outperforms state-of-the-art baselines and exhibits strong potential in discovering novel CDGs.

识别癌症驱动基因（CDGs）对于理解癌症机制和开发靶向疗法至关重要。图神经网络（GNNs）最近被用来通过捕捉生物交互网络中的模式来识别CDGs。然而，大多数基于GNN的方法都依赖于单一的蛋白质-蛋白质相互作用（PPI）网络，忽略了其他生物网络中的补充信息。一些研究通过特征对齐和一致性约束来整合多个网络，以学习统一的基因表示来进行CDG识别。然而，这种表示级别的融合通常假设网络之间的基因关系是一致的，这可能会忽略网络的异质性并引入冲突信息。为了解决这一问题，我们提出了Soft-Evidence Fusion Graph Neural Network（SEFGNN），这是一个在决策层面进行跨多个网络CDG识别的新型框架。与强制特征层面的一致性不同，SEFGNN将每个生物网络视为独立的证据来源，并使用Dempster-Shafer理论（DST）在决策层面进行不确定性感知融合。为了进一步减轻DST过度自信的风险，我们进一步引入了Soft Evidence Smoothing（SES）模块，该模块提高了排名稳定性，同时保留了鉴别性能。在三个癌症数据集上的实验表明，SEFGNN始终优于最先进的基线，并在发现新的CDGs方面表现出强大的潜力。

论文及项目相关链接

PDF 8pages

Summary

本文介绍了一种基于图神经网络（GNNs）的新方法——软证据融合图神经网络（SEFGNN），用于在多个网络层面识别癌症驱动基因（CDGs）。SEFGNN利用Dempster-Shafer理论（DST）进行决策层面的不确定性感知融合，而非特征层面的融合，从而提高对多种生物网络信息的利用效率。同时，引入软证据平滑（SES）模块，提高排名稳定性并保持鉴别性能。在三个癌症数据集上的实验表明，SEFGNN持续超越现有基线，并在发现新的CDGs方面展现出强大潜力。

Key Takeaways

1. GNNs已被用于识别癌症驱动基因（CDGs），通过捕捉生物交互网络中的模式来实现。
2. 现有方法大多依赖单一的蛋白质-蛋白质交互（PPI）网络，忽略了其他生物网络中的互补信息。
3. 一些研究通过特征对齐和一致性约束来整合多个网络，学习统一的基因表示来进行CDG识别，但这种方法可能忽略网络异质性和引入冲突信息。
4. SEFGNN框架被提出，用于在决策层面跨多个网络进行CDG识别。
5. SEFGNN不强制特征一致性，而是将每个生物网络视为独立的证据源，使用Dempster-Shafer理论（DST）进行不确定性感知的融合。
6. 为了减轻DST可能带来的过度自信风险，引入了Soft Evidence Smoothing（SES）模块，提高了排名稳定性并保持鉴别性能。

Cool Papers

点此查看论文截图

SER-Diff: Synthetic Error Replay Diffusion for Incremental Brain Tumor Segmentation

Authors:Sashank Makanaboyina

Incremental brain tumor segmentation is critical for models that must adapt to evolving clinical datasets without retraining on all prior data. However, catastrophic forgetting, where models lose previously acquired knowledge, remains a major obstacle. Recent incremental learning frameworks with knowledge distillation partially mitigate forgetting but rely heavily on generative replay or auxiliary storage. Meanwhile, diffusion models have proven effective for refining tumor segmentations, but have not been explored in incremental learning contexts. We propose Synthetic Error Replay Diffusion (SER-Diff), the first framework that unifies diffusion-based refinement with incremental learning. SER-Diff leverages a frozen teacher diffusion model to generate synthetic error maps from past tasks, which are replayed during training on new tasks. A dual-loss formulation combining Dice loss for new data and knowledge distillation loss for replayed errors ensures both adaptability and retention. Experiments on BraTS2020, BraTS2021, and BraTS2023 demonstrate that SER-Diff consistently outperforms prior methods. It achieves the highest Dice scores of 95.8%, 94.9%, and 94.6%, along with the lowest HD95 values of 4.4 mm, 4.7 mm, and 4.9 mm, respectively. These results indicate that SER-Diff not only mitigates catastrophic forgetting but also delivers more accurate and anatomically coherent segmentations across evolving datasets.

增量脑肿瘤分割对于必须适应不断演变的临床数据集而无需对所有先前数据进行再训练模型至关重要。然而，灾难性遗忘（模型失去先前获得的知识）仍然是主要障碍。最近的增量学习框架通过知识蒸馏在一定程度上减轻了遗忘，但严重依赖于生成回放或辅助存储。同时，扩散模型在细化肿瘤分割方面已被证明是有效的，但在增量学习环境中尚未得到探索。我们提出了合成误差回放扩散（SER-Diff），这是第一个将基于扩散的精炼与增量学习统一起来的框架。SER-Diff利用冻结的教师扩散模型生成合成误差图，这些误差图会在新任务训练期间进行回放。结合Dice损失（用于新数据）和知识蒸馏损失（用于回放误差）的双损失公式确保了适应性和保留性。在BraTS2020、BraTS2021和BraTS2023上的实验表明，SER-Diff始终优于先前的方法。它达到了最高的Dice分数分别为95.8％、94.9％和94.6％，以及最低的HD95值分别为4.4毫米、4.7毫米和4.9毫米。这些结果表明，SER-Diff不仅减轻了灾难性遗忘，而且在不断发展的数据集中提供了更准确和解剖结构连贯的分割。

论文及项目相关链接

PDF

Summary
本文提出了一种结合扩散模型与增量学习的新框架——合成错误回放扩散（SER-Diff），用于逐步优化肿瘤分割模型，在不重新训练所有数据的情况下适应不断发展的临床数据集。通过利用冻结的教师扩散模型生成合成误差图，并对其进行回放训练，SER-Diff有效解决了模型遗忘先前知识的问题，同时保证了对新数据的适应性和知识的保留。实验结果表明，SER-Diff在BraTS数据集上的表现优于其他方法。

Key Takeaways

1. 增量脑肿瘤分割对于适应不断发展的临床数据集至关重要，但模型遗忘先前知识的问题仍是主要挑战。
2. 现有的增量学习框架借助知识蒸馏减轻遗忘，但依赖生成回放或辅助存储。
3. 扩散模型已被证明能有效改进肿瘤分割，但在增量学习环境中尚未被探索。
4. 提出了一种新的框架——合成错误回放扩散（SER-Diff），结合了扩散模型的精炼和增量学习。
5. SER-Diff利用冻结的教师扩散模型生成合成误差图，这些误差图在新任务训练期间进行回放。
6. 通过结合Dice损失和回放误差的知识蒸馏损失，确保模型的适应性和知识保留。

Cool Papers

点此查看论文截图

A Total Variation Regularized Framework for Epilepsy-Related MRI Image Segmentation

Authors:Mehdi Rabiee, Sergio Greco, Reza Shahbazian, Irina Trubitsyna

Focal Cortical Dysplasia (FCD) is a primary cause of drug-resistant epilepsy and is difficult to detect in brain {magnetic resonance imaging} (MRI) due to the subtle and small-scale nature of its lesions. Accurate segmentation of FCD regions in 3D multimodal brain MRI images is essential for effective surgical planning and treatment. However, this task remains highly challenging due to the limited availability of annotated FCD datasets, the extremely small size and weak contrast of FCD lesions, the complexity of handling 3D multimodal inputs, and the need for output smoothness and anatomical consistency, which is often not addressed by standard voxel-wise loss functions. This paper presents a new framework for segmenting FCD regions in 3D brain MRI images. We adopt state-of-the-art transformer-enhanced encoder-decoder architecture and introduce a novel loss function combining Dice loss with an anisotropic {Total Variation} (TV) term. This integration encourages spatial smoothness and reduces false positive clusters without relying on post-processing. The framework is evaluated on a public FCD dataset with 85 epilepsy patients and demonstrates superior segmentation accuracy and consistency compared to standard loss formulations. The model with the proposed TV loss shows an 11.9% improvement on the Dice coefficient and 13.3% higher precision over the baseline model. Moreover, the number of false positive clusters is reduced by 61.6%

皮层发育不良（Focal Cortical Dysplasia，简称FCD）是导致药物难治性癫痫的主要原因之一。由于其病变具有细微和小规模的特点，在脑部磁共振成像（MRI）中难以检测。在3D多模态脑部MRI图像中对FCD区域进行准确的分割对于有效的手术规划和治疗至关重要。然而，这一任务仍然极具挑战性，主要是由于标注的FCD数据集有限、FCD病变极小且对比度极弱、处理3D多模态输入的复杂性以及需要输出平滑和解剖一致性，而标准像素级损失函数通常无法解决这一问题。本文提出了一种新的框架，用于在3D脑部MRI图像中分割FCD区域。我们采用了最先进的增强型转换器编码器-解码器架构，并引入了一种结合Dice损失和各项异性总变差（Total Variation，简称TV）术语的新型损失函数。这种集成鼓励空间平滑性，并减少假阳性簇，无需依赖后处理。该框架在包含85名癫痫患者的公共FCD数据集上进行了评估，并展示了与标准损失公式相比的优越分割精度和一致性。采用所提TV损失的模型在Dice系数上提高了11.9%，并且在精度上比基线模型提高了13.3%。此外，假阳性簇的数量减少了61.6%。

论文及项目相关链接

PDF

摘要
本文提出了一种新的框架，用于在3D脑MRI图像中准确分割Focal Cortical Dysplasia（FCD）区域。采用先进的基于transformer的编码器-解码器架构，并引入了一种结合Dice损失和各项异性Total Variation（TV）术语的新型损失函数。该框架在公共FCD数据集上进行了评估，包含85名癫痫患者，展示了出色的分割精度和一致性。与传统的损失函数相比，新框架提高了Dice系数的11.9%，精确度提高了13.3%，并减少了61.6%的误报簇数量。

要点

1. FCD是药物难治性癫痫的主要原因，其在脑MRI中的检测由于病变细微且小规模而具有挑战性。
2. 准确分割FCD区域对于有效的手术规划和治疗至关重要。
3. 当前FCD区域分割面临挑战，包括数据集标注有限、FCD病变尺寸小且对比度低、处理3D多模态输入的复杂性以及需要输出平滑和解剖一致性的要求。
4. 本文提出了一种新的框架，采用先进的基于transformer的编码器-解码器架构进行FCD区域分割。
5. 引入了一种结合Dice损失和各项异性Total Variation（TV）术语的新型损失函数，鼓励空间平滑性并减少误报簇，无需依赖后处理。
6. 在公共FCD数据集上的评估显示，新框架在分割准确性和一致性方面表现出优越性，与基准模型相比，Dice系数提高了11.9%，精确度提高了13.3%，误报簇数量减少了61.6%。
7. 新框架的提出有望改善FCD的诊断和治疗，为癫痫患者的手术规划提供更有力的支持。

Cool Papers

点此查看论文截图

Efficient Universal Models for Medical Image Segmentation via Weakly Supervised In-Context Learning

Authors:Jiesi Hu, Yanwu Yang, Zhiyu Ye, Jinyan Zhou, Jianfeng Cao, Hanyang Peng, Ting Ma

Universal models for medical image segmentation, such as interactive and in-context learning (ICL) models, offer strong generalization but require extensive annotations. Interactive models need repeated user prompts for each image, while ICL relies on dense, pixel-level labels. To address this, we propose Weakly Supervised In-Context Learning (WS-ICL), a new ICL paradigm that leverages weak prompts (e.g., bounding boxes or points) instead of dense labels for context. This approach significantly reduces annotation effort by eliminating the need for fine-grained masks and repeated user prompting for all images. We evaluated the proposed WS-ICL model on three held-out benchmarks. Experimental results demonstrate that WS-ICL achieves performance comparable to regular ICL models at a significantly lower annotation cost. In addition, WS-ICL is highly competitive even under the interactive paradigm. These findings establish WS-ICL as a promising step toward more efficient and unified universal models for medical image segmentation. Our code and model are publicly available at https://github.com/jiesihu/Weak-ICL.

针对医学图像分割的通用模型，如交互式和上下文学习（ICL）模型等，虽然具有较强的泛化能力，但需要大量的标注。交互式模型需要针对每张图像进行多次用户提示，而ICL则依赖于密集的像素级标签。为解决这一问题，我们提出了弱监督上下文学习（WS-ICL）这一新的ICL范式，它利用弱提示（如边界框或点）而不是密集标签来进行上下文学习。这种方法通过消除对精细掩膜和所有图像重复用户提示的需求，显著减少了标注工作量。我们在三个独立的基准测试上对提出的WS-ICL模型进行了评估。实验结果表明，WS-ICL在标注成本显著降低的情况下实现了与常规ICL模型相当的性能。此外，即使在交互式范式下，WS-ICL也具有很强的竞争力。这些发现表明，WS-ICL是朝着更高效、更统一的医学图像分割通用模型迈出的有前途的一步。我们的代码和模型已在https://github.com/jiesihu/Weak-ICL公开可用。

论文及项目相关链接

PDF

Summary
医学图像分割的通用模型，如交互式和上下文学习（ICL）模型，虽然具有良好的泛化能力，但需要大量的标注。交互式模型需要针对每张图像进行多次用户提示，而ICL则依赖于密集的像素级标签。为解决这一问题，我们提出了弱监督上下文学习（WS-ICL）这一新的ICL模式，它利用弱提示（如边界框或点）而不是密集标签来提供上下文。这种方法通过消除对精细掩膜和所有图像重复用户提示的需求，大大降低了标注工作量。我们在三个独立的基准测试上对WS-ICL模型进行了评估。实验结果表明，WS-ICL在性能上可与常规ICL模型相媲美，同时大大降低了标注成本。此外，即使在交互式模式下，WS-ICL也表现出强大的竞争力。这些发现表明WS-ICL是朝着更高效、更统一的医学图像分割通用模型的重要一步。

Key Takeaways

1. 医学图像分割的通用模型需要解决标注成本高昂的问题。
2. 交互式和上下文学习（ICL）模型具有良好的泛化能力，但需要大量标注。
3. WS-ICL是一种新的ICL模式，利用弱提示来提供上下文信息，显著降低了标注工作量。
4. WS-ICL模型性能与常规ICL模型相当，且更节省标注成本。
5. WS-ICL在交互式模式下也表现出强大的竞争力。
6. 实验结果在三个基准测试上验证了WS-ICL的有效性和优越性。

Cool Papers

点此查看论文截图

acia-workflows: Automated Single-cell Imaging Analysis for Scalable and Deep Learning-based Live-cell Imaging Analysis Workflows

Authors:Johannes Seiffarth, Keitaro Kasahara, Michelle Bund, Benita Lückel, Richard D. Paul, Matthias Pesch, Lennart Witting, Michael Bott, Dietrich Kohlheyer, Katharina Nöh

Live-cell imaging (LCI) technology enables the detailed spatio-temporal characterization of living cells at the single-cell level, which is critical for advancing research in the life sciences, from biomedical applications to bioprocessing. High-throughput setups with tens to hundreds of parallel cell cultivations offer the potential for robust and reproducible insights. However, these insights are obscured by the large amount of LCI data recorded per experiment. Recent advances in state-of-the-art deep learning methods for cell segmentation and tracking now enable the automated analysis of such large data volumes, offering unprecedented opportunities to systematically study single-cell dynamics. The next key challenge lies in integrating these powerful tools into accessible, flexible, and user-friendly workflows that support routine application in biological research. In this work, we present acia-workflows, a platform that combines three key components: (1) the Automated live-Cell Imaging Analysis (acia) Python library, which supports the modular design of image analysis pipelines offering eight deep learning segmentation and tracking approaches; (2) workflows that assemble the image analysis pipeline, its software dependencies, documentation, and visualizations into a single Jupyter Notebook, leading to accessible, reproducible and scalable analysis workflows; and (3) a collection of application workflows showcasing the analysis and customization capabilities in real-world applications. Specifically, we present three workflows to investigate various types of microfluidic LCI experiments ranging from growth rate comparisons to precise, minute-resolution quantitative analyses of individual dynamic cells responses to changing oxygen conditions. Our collection of more than ten application workflows is open source and publicly available at https://github.com/JuBiotech/acia-workflows.

活细胞成像（LCI）技术能够在单细胞水平上对活细胞进行详细的时空特征表征，这对于推动生命科学领域的研究至关重要，从生物医学应用到生物加工。具有数十到数百个并行细胞培养的高通量设置提供了获得稳健且可重复见解的潜力。然而，这些见解被每次实验记录的大量LCI数据所掩盖。最近先进的深度学习细胞分割和追踪方法的进步现在能够实现此类大数据量的自动分析，为系统研究单细胞动态提供了前所未有的机会。下一个关键挑战在于将这些强大工具集成到可访问、灵活且用户友好的工作流中，以支持生物学研究中的常规应用。在这项工作中，我们推出了acia-workflows平台，该平台结合了三个关键组件：（1）Automated live-Cell Imaging Analysis（acia）Python库，支持图像分析管道模块化设计，提供八种深度学习分割和追踪方法；（2）将图像分析管道、其软件依赖项、文档和可视化组装成单个Jupyter Notebook的工作流，从而实现可访问、可重复和可扩展的分析工作流；（3）展示实际应用程序中分析和定制能力的一系列应用工作流。具体来说，我们推出了三种工作流，用于研究从生长速率比较到对变化氧气条件下单个动态细胞的精确分钟分辨率定量分析的各种类型的微流体LCI实验。我们的超过十个应用工作流是开源的，可在https://github.com/JuBiotech/acia-workflows公开访问。

论文及项目相关链接

PDF

Summary
活体细胞成像技术可实现单细胞水平的时空特征详细表征，对生命科学领域的研究至关重要。深度学习方法的最新进展为细胞分割和追踪提供了自动化分析大型数据集的机会，为研究单细胞动态提供了前所未有的机会。当前的关键挑战在于将这些强大工具集成到易于访问、灵活和用户友好的工作流中，以支持生物学研究中的常规应用。在此，我们展示了acia-workflows平台，该平台结合了自动化活细胞成像分析库、图像分析管道的工作流以及展示实际应用的分析和定制能力的工作流集合。

Key Takeaways

• 活细胞成像技术对于生命科学领域的研究至关重要，能够实现单细胞水平的详细时空表征。
• 深度学习方法的最新进展为细胞分割和追踪的自动化分析提供了机会。
• 目前挑战在于将自动化分析工具集成到易于访问、灵活和用户友好的工作流中。
• acia-workflows平台结合了自动化活细胞成像分析库、图像分析管道的工作流以及展示工作流集合的应用程序。
• 提供了超过十种应用工作流，均为开源并可在公开渠道获取。

Cool Papers

点此查看论文截图

TFM Dataset: A Novel Multi-task Dataset and Integrated Pipeline for Automated Tear Film Break-Up Segmentation

Authors:Guangrong Wan, Jun liu, Qiyang Zhou, Tang tang, Lianghao Shi, Wenjun Luo, TingTing Xu

Tear film break-up (TFBU) analysis is critical for diagnosing dry eye syndrome, but automated TFBU segmentation remains challenging due to the lack of annotated datasets and integrated solutions. This paper introduces the Tear Film Multi-task (TFM) Dataset, the first comprehensive dataset for multi-task tear film analysis, comprising 15 high-resolution videos (totaling 6,247 frames) annotated with three vision tasks: frame-level classification (‘clear’, ‘closed’, ‘broken’, ‘blur’), Placido Ring detection, and pixel-wise TFBU area segmentation. Leveraging this dataset, we first propose TF-Net, a novel and efficient baseline segmentation model. TF-Net incorporates a MobileOne-mini backbone with re-parameterization techniques and an enhanced feature pyramid network to achieve a favorable balance between accuracy and computational efficiency for real-time clinical applications. We further establish benchmark performance on the TFM segmentation subset by comparing TF-Net against several state-of-the-art medical image segmentation models. Furthermore, we design TF-Collab, a novel integrated real-time pipeline that synergistically leverages models trained on all three tasks of the TFM dataset. By sequentially orchestrating frame classification for BUT determination, pupil region localization for input standardization, and TFBU segmentation, TF-Collab fully automates the analysis. Experimental results demonstrate the effectiveness of the proposed TF-Net and TF-Collab, providing a foundation for future research in ocular surface diagnostics. Our code and the TFM datasets are available at https://github.com/glory-wan/TF-Net

泪膜破裂分析（TFBU）对于干眼综合征的诊断至关重要，但由于缺乏标注数据集和集成解决方案，自动化TFBU分割仍然是一个挑战。本文介绍了泪膜多任务（TFM）数据集，这是用于多任务泪膜分析的首个综合数据集，包含15个高清视频（共6247帧），标注了三个视觉任务：帧级别分类（清晰、闭合、破裂、模糊）、普拉萨多环检测和像素级TFBU区域分割。利用该数据集，我们首次提出了TF-Net，这是一种新颖且高效的分割基线模型。TF-Net采用MobileOne-mini骨干网与重新参数化技术，并增强特征金字塔网络，以实现准确性和计算效率的平衡，适用于实时临床应用。我们进一步通过将TF-Net与几种最先进的医学图像分割模型进行比较，在TFM分割子集上建立了基准性能。此外，我们设计了TF-Collab，这是一个新颖的一体化实时管道，它协同利用在TFM数据集所有三个任务上训练的模型。通过按顺序协调帧分类以确定BUT、定位瞳孔区域以实现输入标准化和TFBU分割，TF-Collab实现了分析的全自动化。实验结果表明TF-Net和TF-Collab的有效性，为眼表诊断的未来研究提供了基础。我们的代码和TFM数据集可在https://github.com/glory-wan/TF-Net上获得。

论文及项目相关链接

PDF

Summary

本文介绍了针对干眼综合征诊断中的泪膜破裂分析的重要性，并指出自动化TFBU分割面临的挑战。为解决这些问题，本文引入了Tear Film Multi-task（TFM）数据集，这是首个用于多任务泪膜分析的综合数据集。此外，还提出了TF-Net，一种高效且准确的分割模型，能够在实时临床应用中实现准确性和计算效率之间的良好平衡。最后，建立了一个集成实时管道TF-Collab，该管道能够协同利用在TFM数据集所有任务上训练的模型，全自动进行泪膜分析。

Key Takeaways

1. 介绍了泪膜破裂分析在干眼综合征诊断中的重要性。
2. 自动化TFBU分割面临缺乏标注数据集和综合解决方案的挑战。
3. 引入了Tear Film Multi-task（TFM）数据集，包含用于多任务泪膜分析的高分辨率视频。
4. 提出了TF-Net，一种用于实时临床应用的高效且准确的分割模型。
5. TF-Net采用MobileOne-mini作为骨干网，并通过参数化技术和增强的特征金字塔网络实现准确性和计算效率的平衡。
6. 建立了一个集成实时管道TF-Collab，该管道能全自动进行泪膜分析，包括帧分类、瞳孔区域定位和TFBU分割。

Cool Papers

点此查看论文截图

Advances in Medical Image Segmentation: A Comprehensive Survey with a Focus on Lumbar Spine Applications

Authors:Ahmed Kabil, Ghada Khoriba, Mina Yousef, Essam A. Rashed

Medical Image Segmentation (MIS) stands as a cornerstone in medical image analysis, playing a pivotal role in precise diagnostics, treatment planning, and monitoring of various medical conditions. This paper presents a comprehensive and systematic survey of MIS methodologies, bridging the gap between traditional image processing techniques and modern deep learning approaches. The survey encompasses thresholding, edge detection, region-based segmentation, clustering algorithms, and model-based techniques while also delving into state-of-the-art deep learning architectures such as Convolutional Neural Networks (CNNs), Fully Convolutional Networks (FCNs), and the widely adopted U-Net and its variants. Moreover, integrating attention mechanisms, semi-supervised learning, generative adversarial networks (GANs), and Transformer-based models is thoroughly explored. In addition to covering established methods, this survey highlights emerging trends, including hybrid architectures, cross-modality learning, federated and distributed learning frameworks, and active learning strategies, which aim to address challenges such as limited labeled datasets, computational complexity, and model generalizability across diverse imaging modalities. Furthermore, a specialized case study on lumbar spine segmentation is presented, offering insights into the challenges and advancements in this relatively underexplored anatomical region. Despite significant progress in the field, critical challenges persist, including dataset bias, domain adaptation, interpretability of deep learning models, and integration into real-world clinical workflows.

医学影像分割（MIS）是医学影像分析中的基石技术，在精确诊断、治疗规划和各种医疗状况监测中发挥着关键作用。本文对MIS方法进行全面系统的综述，弥合了传统图像处理技术与现代深度学习技术之间的差距。综述内容包括阈值分割、边缘检测、基于区域的分割、聚类算法和基于模型的技巧，同时深入探讨了最新的深度学习架构，如卷积神经网络（CNN）、全卷积网络（FCN）以及广泛采用的U-Net及其变体。此外，本文还深入探讨了集成注意力机制、半监督学习、生成对抗网络（GANs）和基于Transformer的模型。除了涵盖已建立的方法外，本文还强调了新兴趋势，包括混合架构、跨模态学习、联邦和分布式学习框架以及主动学习策略，旨在解决诸如有限标记数据集、计算复杂度和模型在不同成像方式下的泛化能力挑战。此外，还对腰椎分割进行了专项案例研究，深入探讨了这一相对未被充分研究的解剖区域的挑战和进展。尽管该领域取得了重大进展，但仍存在关键挑战，包括数据集偏见、域适应、深度学习模型的解释性和融入现实临床工作流程等。

论文及项目相关链接

PDF Computers in Biology and Medicine (to appear)

Summary

本文全面系统地综述了医学图像分割（MIS）的方法，涵盖了从传统图像处理技术到现代深度学习方法的过渡。文章介绍了包括阈值分割、边缘检测、基于区域的分割、聚类算法和模型基础技术等在内的分割方法，并深入探讨了卷积神经网络（CNNs）、全卷积网络（FCNs）以及广泛采用的U-Net及其变体等最新深度学习架构。此外，文章还探讨了集成注意力机制、半监督学习、生成对抗网络（GANs）和基于Transformer的模型等趋势。文章还通过腰椎分割的案例研究，展示了该领域的挑战和进展。尽管有所进展，但仍存在数据集偏见、域适应、深度学习模型的可解释性和与真实临床工作流程的融合等挑战。

Key Takeaways

• 医学图像分割（MIS）是医学图像分析的核心，对精确诊断、治疗规划和各种医疗状况的监督至关重要。
• 本文综述了MIS的传统图像处理方法，如阈值分割、边缘检测等，以及现代深度学习方法，如卷积神经网络等。
• 文章还探讨了集成注意力机制、半监督学习、生成对抗网络等趋势，并介绍了新兴趋势，如混合架构、跨模态学习等。
• 腰椎分割的案例研究展示了该领域的挑战和进展。
• 尽管MIS有所进展，但仍面临数据集偏见、域适应、模型可解释性和与临床工作流程的融合等挑战。

Cool Papers

点此查看论文截图

Semantic Similarity in Radiology Reports via LLMs and NER

Authors:Beth Pearson, Ahmed Adnan, Zahraa S. Abdallah

Radiology report evaluation is a crucial part of radiologists’ training and plays a key role in ensuring diagnostic accuracy. As part of the standard reporting workflow, a junior radiologist typically prepares a preliminary report, which is then reviewed and edited by a senior radiologist to produce the final report. Identifying semantic differences between preliminary and final reports is essential for junior doctors, both as a training tool and to help uncover gaps in clinical knowledge. While AI in radiology is a rapidly growing field, the application of large language models (LLMs) remains challenging due to the need for specialised domain knowledge. In this paper, we explore the ability of LLMs to provide explainable and accurate comparisons of reports in the radiology domain. We begin by comparing the performance of several LLMs in comparing radiology reports. We then assess a more traditional approach based on Named-Entity-Recognition (NER). However, both approaches exhibit limitations in delivering accurate feedback on semantic similarity. To address this, we propose Llama-EntScore, a semantic similarity scoring method using a combination of Llama 3.1 and NER with tunable weights to emphasise or de-emphasise specific types of differences. Our approach generates a quantitative similarity score for tracking progress and also gives an interpretation of the score that aims to offer valuable guidance in reviewing and refining their reporting. We find our method achieves 67% exact-match accuracy and 93% accuracy within +/- 1 when compared to radiologist-provided ground truth scores - outperforming both LLMs and NER used independently. Code is available at: https://github.com/otmive/llama_reports

放射学报告评估是放射科医生培训的重要组成部分，对于确保诊断准确性起着关键作用。作为标准报告工作流的一部分，初级放射科医生通常会编写初步报告，然后由高级放射科医生审查并编辑以产生最终报告。识别初步报告和最终报告之间的语义差异对初级医生至关重要，既作为培训工具，也有助于发现临床知识方面的差距。虽然人工智能在放射学领域是一个快速发展的领域，但由于需要专业的领域知识，大型语言模型（LLM）的应用仍然具有挑战性。在本文中，我们探讨了大型语言模型在放射学报告比较方面的解释性和准确性能力。我们首先比较了多个大型语言模型在比较放射学报告方面的性能。然后评估了基于命名实体识别（NER）的更传统的方法。然而，这两种方法在提供语义相似性准确反馈方面都表现出局限性。为了解决这一问题，我们提出了Llama-EntScore方法，这是一种使用Llama 3.1和NER的组合的语义相似性评分方法，通过调整权重来强调或淡化特定类型的差异。我们的方法生成一个定量相似性分数来跟踪进度，并给出一个分数解释，旨在提供有价值的指导来审查和修正报告。我们发现，与放射科医生提供的真实分数相比，我们的方法达到了67%的精确匹配准确率和93%的+/- 1准确率，超过了单独使用的大型语言模型和NER的性能。相关代码可通过以下网址获取：https://github.com/otmive/llama_reports 。

论文及项目相关链接

PDF

Summary

本文探讨了大型语言模型（LLMs）在放射学报告比较中的应用，并提出了一种新的语义相似性评分方法Llama-EntScore。该方法结合了Llama 3.1和命名实体识别（NER），可以生成定量相似性评分并解释评分，旨在提供有价值的指导，帮助医生评估和精进报告质量。实验结果显示，该方法在放射学报告评估中的准确率高于单纯使用LLMs和NER。

Key Takeaways

1. 放射学报告评估是放射科医生培训的关键环节，有助于确保诊断准确性。
2. 初步报告与最终报告之间的语义差异分析对初级医生具有训练价值，有助于发现临床知识上的不足。
3. 大型语言模型（LLMs）在放射学领域的应用正逐渐受到关注，但存在专业领域知识需求的挑战。
4. 单一的LLMs和命名实体识别（NER）方法在评估报告相似性方面存在局限性。
5. 提出了Llama-EntScore方法，结合了Llama 3.1和NER，并可通过调整权重来强调或淡化特定类型的差异。
6. Llama-EntScore方法实现了较高的评估准确率，与放射科医生提供的真实评分相比，精确匹配准确率为67%，在±1范围内的准确率为93%。

Cool Papers

点此查看论文截图

Mask What Matters: Controllable Text-Guided Masking for Self-Supervised Medical Image Analysis

Authors:Ruilang Wang, Shuotong Xu, Bowen Liu, Runlin Huang, Donglong Chen, Weifeng Su

The scarcity of annotated data in specialized domains such as medical imaging presents significant challenges to training robust vision models. While self-supervised masked image modeling (MIM) offers a promising solution, existing approaches largely rely on random high-ratio masking, leading to inefficiency and poor semantic alignment. Moreover, region-aware variants typically depend on reconstruction heuristics or supervised signals, limiting their adaptability across tasks and modalities. We propose Mask What Matters, a controllable text-guided masking framework for self-supervised medical image analysis. By leveraging vision-language models for prompt-based region localization, our method flexibly applies differentiated masking to emphasize diagnostically relevant regions while reducing redundancy in background areas. This controllable design enables better semantic alignment, improved representation learning, and stronger cross-task generalizability. Comprehensive evaluation across multiple medical imaging modalities, including brain MRI, chest CT, and lung X-ray, shows that Mask What Matters consistently outperforms existing MIM methods (e.g., SparK), achieving gains of up to +3.1 percentage points in classification accuracy, +1.3 in box average precision (BoxAP), and +1.1 in mask average precision (MaskAP) for detection. Notably, it achieves these improvements with substantially lower overall masking ratios (e.g., 40% vs. 70%). This work demonstrates that controllable, text-driven masking can enable semantically aligned self-supervised learning, advancing the development of robust vision models for medical image analysis.

在医学成像等专业领域，标注数据的稀缺性给训练稳健的视觉模型带来了巨大的挑战。虽然自监督的掩码图像建模（MIM）提供了很有前途的解决方案，但现有的方法大多依赖于随机的高比例掩码，导致效率低下和语义对齐不佳。此外，区域感知变体通常依赖于重建启发式或监督信号，这限制了它们在任务和模态之间的适应性。我们提出了“Mask What Matters”（掩藏关键信息），这是一种用于自监督医学图像分析的可控文本引导式掩码框架。通过利用基于视觉语言模型的提示进行区域定位，我们的方法可以灵活地应用差异化掩码，以强调与诊断相关的区域，同时减少背景区域的冗余信息。这种可控的设计实现了更好的语义对齐、改进了表征学习，并增强了跨任务的泛化能力。在包括脑部MRI、胸部CT和肺部X射线等多种医学影像模态上的全面评估表明，“Mask What Matters”始终优于现有的MIM方法（例如SparK），在分类准确度上提高了高达+3.1个百分点，框平均精度（BoxAP）提高了+1.3，掩膜平均精度（MaskAP）在检测方面提高了+1.1。值得注意的是，它在实现这些改进的同时，整体掩码比例大大降低（例如，40%对70%）。这项工作表明，可控的、文本驱动的掩码可以实现对齐语义的自监督学习，推动医学图像分析领域稳健视觉模型的发展。

论文及项目相关链接

PDF

Summary
医学图像领域面临标注数据稀缺的挑战，自监督掩膜图像建模（MIM）是解决该问题的一种有前景的方法。然而，现有方法大多依赖随机高比例掩膜，导致效率低下和语义对齐不佳。本文提出Mask What Matters，一种可控文本引导掩膜框架，用于自监督医学图像分析。该方法通过利用视觉语言模型进行基于提示的区域定位，灵活应用差异化掩膜，强调诊断相关区域，减少背景区域的冗余。该可控设计实现了更好的语义对齐、改进了表示学习和更强的跨任务泛化能力。在多种医学成像模态上的综合评估表明，Mask What Matters在分类精度、框平均精度和掩膜平均精度方面均优于现有MIM方法，且实现这些改进的同时使用更低的总体掩膜比率。

Key Takeaways

1. 医学图像领域面临标注数据稀缺的挑战。
2. 自监督掩膜图像建模（MIM）是解决该问题的一种有前景的方法，但现有方法存在随机高比例掩膜导致的效率低下和语义对齐不佳的问题。
3. Mask What Matters是一种可控文本引导掩膜框架，用于自监督医学图像分析。
4. 该方法利用视觉语言模型进行基于提示的区域定位，实现差异化掩膜，强调诊断相关区域。
5. Mask What Matters实现了更好的语义对齐、改进了表示学习和更强的跨任务泛化能力。
6. 在多种医学成像模态上的综合评估表明，Mask What Matters优于现有MIM方法。

Cool Papers

点此查看论文截图

EMedNeXt: An Enhanced Brain Tumor Segmentation Framework for Sub-Saharan Africa using MedNeXt V2 with Deep Supervision

Authors:Ahmed Jaheen, Abdelrahman Elsayed, Damir Kim, Daniil Tikhonov, Matheus Scatolin, Mohor Banerjee, Qiankun Ji, Mostafa Salem, Hu Wang, Sarim Hashmi, Mohammad Yaqub

Brain cancer affects millions worldwide, and in nearly every clinical setting, doctors rely on magnetic resonance imaging (MRI) to diagnose and monitor gliomas. However, the current standard for tumor quantification through manual segmentation of multi-parametric MRI is time-consuming, requires expert radiologists, and is often infeasible in under-resourced healthcare systems. This problem is especially pronounced in low-income regions, where MRI scanners are of lower quality and radiology expertise is scarce, leading to incorrect segmentation and quantification. In addition, the number of acquired MRI scans in Africa is typically small. To address these challenges, the BraTS-Lighthouse 2025 Challenge focuses on robust tumor segmentation in sub-Saharan Africa (SSA), where resource constraints and image quality degradation introduce significant shifts. In this study, we present EMedNeXt – an enhanced brain tumor segmentation framework based on MedNeXt V2 with deep supervision and optimized post-processing pipelines tailored for SSA. EMedNeXt introduces three key contributions: a larger region of interest, an improved nnU-Net v2-based architectural skeleton, and a robust model ensembling system. Evaluated on the hidden validation set, our solution achieved an average LesionWise DSC of 0.897 with an average LesionWise NSD of 0.541 and 0.84 at a tolerance of 0.5 mm and 1.0 mm, respectively.

脑癌影响全球数百万人，在几乎所有的临床环境中，医生都依赖磁共振成像（MRI）来诊断和监测胶质瘤。然而，通过多参数MRI进行肿瘤量化的手动分割是目前的标准，这一过程既耗时又需要专业放射科医生，且在资源不足的卫生保健系统中通常不可行。这一问题在低收入地区尤为突出，那里的MRI扫描仪质量较低且缺乏放射学专家，导致分割和量化不准确。此外，非洲获得的MRI扫描次数通常较少。为了应对这些挑战，BraTS-Lighthouse 2025挑战赛的重点是撒哈拉以南非洲（SSA）的稳健肿瘤分割，那里的资源约束和图像质量退化引入了重大变化。在这项研究中，我们提出了EMedNeXt——一个基于MedNeXt V2的增强型脑肿瘤分割框架，具有深度监督和针对SSA优化的后处理管道。EMedNeXt有三个主要贡献：更大的感兴趣区域、改进的nnU-Net v2基础架构和稳健的模型集成系统。在隐藏验证集上评估，我们的解决方案平均LesionWise DSC达到0.897，平均LesionWise NSD为0.541和0.84，容忍度分别为0.5毫米和1.0毫米。

论文及项目相关链接

PDF Submitted to the BraTS-Lighthouse 2025 Challenge (MICCAI 2025)

Summary
针对非洲地区医疗资源匮乏、MRI扫描质量较差的问题，EMedNeXt框架被提出以解决脑胶质瘤分割的挑战。该框架优化了肿瘤分割流程，引入了更大感兴趣区域、改进型nnU-Net v2架构和稳健模型集成系统，并在隐藏验证集上取得了良好的表现。

Key Takeaways

1. 当前的脑癌诊断主要依赖MRI，但在资源不足的卫生系统中进行肿瘤量化分割仍然面临挑战。特别是在低收入和医疗资源匮乏的地区，如非洲。
2. EMedNeXt框架是为了解决在撒哈拉以南非洲地区（SSA）进行稳健的肿瘤分割问题而开发的。这一地区面临着资源约束和图像质量下降的挑战。
3. EMedNeXt框架基于MedNeXt V2进行了增强设计，引入了深度监督和优化后的后处理管道。
4. 该框架有三个关键贡献：更大的感兴趣区域、改进的nnU-Net v2架构和稳健的模型集成系统。
5. 在隐藏验证集上进行的评估显示，EMedNeXt的解决方案在LesionWise DSC上取得了平均0.897的成绩，LesionWise NSD的平均成绩为0.541和0.84（容忍度为0.5毫米和1毫米）。这表明该框架在肿瘤分割方面具有良好的性能。
6. 该研究强调了开发适用于资源受限地区的医疗技术的必要性，并展示了如何利用现代机器学习技术来改善全球公共卫生状况。

Cool Papers

点此查看论文截图