⚠️ 以下所有内容总结都来自于 大语言模型的能力，如有错误，仅供参考，谨慎使用
🔴 请注意：千万不要用于严肃的学术场景，只能用于论文阅读前的初筛！
💗 如果您觉得我们的项目对您有帮助 ChatPaperFree ，还请您给我们一些鼓励！⭐️ HuggingFace免费体验
2025-10-21 更新
CCD: Mitigating Hallucinations in Radiology MLLMs via Clinical Contrastive Decoding
Authors:Xi Zhang, Zaiqiao Meng, Jake Lever, Edmond S. L. Ho
Multimodal large language models (MLLMs) have recently achieved remarkable progress in radiology by integrating visual perception with natural language understanding. However, they often generate clinically unsupported descriptions, known as medical hallucinations, which pose serious risks in medical applications that demand accuracy and image-grounded outputs. Through empirical analysis, we find that prompt-induced hallucinations remain prevalent in radiology MLLMs, largely due to over-sensitivity to clinical sections. To address this, we introduce Clinical Contrastive Decoding (CCD), a training-free and retrieval-free inference framework that integrates structured clinical signals from task-specific radiology expert models. CCD introduces a dual-stage contrastive mechanism to refine token-level logits during generation, thereby enhancing clinical fidelity without modifying the base MLLM. Experiments on three datasets and multiple models demonstrate that CCD consistently improves overall performance on radiology report generation (RRG). On the MIMIC-CXR dataset, it yields up to a 17% improvement in RadGraph-F1 when applied to state-of-the-art RRG models. Our approach provides a lightweight and generalisable solution for mitigating medical hallucinations, effectively bridging expert models and MLLMs in radiology.
多模态大型语言模型（MLLMs）通过融合视觉感知和自然语言理解，在放射学领域取得了显著的进步。然而，它们往往会生成临床不支持的描述，即所谓的医学幻觉，这在需要准确性和图像基础输出的医学应用中带来了严重的风险。通过实证分析，我们发现提示诱导的幻觉在放射学MLLMs中仍然普遍存在，很大程度上是由于对临床部分的过度敏感。为了解决这一问题，我们引入了临床对比解码（CCD），这是一种无需训练和检索的推理框架，它集成了来自特定任务放射学专家模型的结构化临床信号。CCD引入了一种双阶段对比机制，在生成过程中细化令牌级别的逻辑，从而提高临床保真度，同时不修改基础MLLM。在三个数据集和多个模型上的实验表明，CCD在放射学报告生成（RRG）方面始终提高了总体性能。在MIMIC-CXR数据集上，当应用于最先进的RRG模型时，它在RadGraph-F1上实现了高达17%的改进。我们的方法提供了一种轻便且通用的解决方案，用于缓解医学幻觉，有效地桥接了专家模型和MLLMs在放射学中的应用。
论文及项目相关链接
PDF Preprint, 27 pages, 3 figures
Summary
本文介绍了多模态大型语言模型（MLLMs）在放射学领域的最新进展，它们通过整合视觉感知与自然语言理解取得了显著成果。然而，这些模型常产生临床上不受支持的描述，即所谓的医学幻觉，这在需要精确性和图像基础输出的医学应用中带来了严重风险。研究通过实证分析发现，提示诱导的幻觉在放射学MLLMs中普遍存在，主要是因为对临床部分的过度敏感。为解决这一问题，研究提出了临床对比解码（CCD）方法，这是一种无需训练和检索的推理框架，它整合了来自特定任务放射学专家模型的结构化临床信号。CCD通过引入双阶段对比机制，在生成过程中优化令牌级别的逻辑，从而提高临床准确性，而不修改基础MLLM。实验表明，CCD在放射学报告生成（RRG）方面始终提高整体性能。在MIMIC-CXR数据集上，当应用于最先进的RRG模型时，其在RadGraph-F1上的改进高达17%。该研究提供了一种轻量级且通用的解决方案，用于缓解医学幻觉，有效地桥接了专家模型和MLLMs在放射学领域的应用。
Key Takeaways
- 多模态大型语言模型（MLLMs）在放射学领域通过整合视觉感知与语言理解取得显著进展。
- MLLMs常出现医学幻觉问题，即生成临床上不受支持的描述，这在医学应用中带来风险。
- 医学幻觉问题主要源于MLLMs对临床部分的过度敏感。
- 为解决医学幻觉问题，提出了临床对比解码（CCD）方法。
- CCD是一种无需训练和检索的推理框架，通过整合结构化临床信号提高临床准确性。
- 实验证明，CCD能提高放射学报告生成（RRG）的整体性能。
点此查看论文截图
