发布日期: 2025-06-24

更新日期: 2025-07-06

文章字数: 1.2k

阅读时长: 4 分

阅读次数:

⚠️ 以下所有内容总结都来自于大语言模型的能力，如有错误，仅供参考，谨慎使用
🔴 请注意：千万不要用于严肃的学术场景，只能用于论文阅读前的初筛！
💗 如果您觉得我们的项目对您有帮助 ChatPaperFree ，还请您给我们一些鼓励！⭐️ HuggingFace免费体验

2025-06-24 更新

Co-Seg++: Mutual Prompt-Guided Collaborative Learning for Versatile Medical Segmentation

Authors:Qing Xu, Yuxiang Luo, Wenting Duan, Zhen Chen

Medical image analysis is critical yet challenged by the need of jointly segmenting organs or tissues, and numerous instances for anatomical structures and tumor microenvironment analysis. Existing studies typically formulated different segmentation tasks in isolation, which overlooks the fundamental interdependencies between these tasks, leading to suboptimal segmentation performance and insufficient medical image understanding. To address this issue, we propose a Co-Seg++ framework for versatile medical segmentation. Specifically, we introduce a novel co-segmentation paradigm, allowing semantic and instance segmentation tasks to mutually enhance each other. We first devise a spatio-temporal prompt encoder (STP-Encoder) to capture long-range spatial and temporal relationships between segmentation regions and image embeddings as prior spatial constraints. Moreover, we devise a multi-task collaborative decoder (MTC-Decoder) that leverages cross-guidance to strengthen the contextual consistency of both tasks, jointly computing semantic and instance segmentation masks. Extensive experiments on diverse CT and histopathology datasets demonstrate that the proposed Co-Seg++ outperforms state-of-the-arts in the semantic, instance, and panoptic segmentation of dental anatomical structures, histopathology tissues, and nuclei instances. The source code is available at https://github.com/xq141839/Co-Seg-Plus.

医学影像分析非常重要，但在进行器官或组织的联合分割以及解剖结构、肿瘤微环境分析的多个实例方面面临挑战。现有研究通常独立地构建不同的分割任务，忽视了这些任务之间的基本相互依赖性，导致分割性能不佳和医学影像理解不足。为了解决这个问题，我们提出了一个用于通用医学分割的Co-Seg++框架。具体来说，我们引入了一种新型协同分割范式，允许语义分割和实例分割任务相互增强。我们首先设计了一种时空提示编码器（STP-Encoder），用于捕捉分割区域和图像嵌入之间的远程空间和时间关系，作为先验的空间约束。此外，我们还设计了一种多任务协作解码器（MTC-Decoder），它利用交叉指导来加强两种任务的上下文一致性，联合计算语义和实例分割掩膜。在多种CT和病理数据集上的大量实验表明，所提出的Co-Seg++在牙科解剖结构、病理组织以及细胞核实例的语义、实例和全景分割方面优于最新技术。源代码可在https://github.com/xq141839/Co-Seg-Plus获取。

论文及项目相关链接

PDF Under Review

Summary
医学图像分析需要同时进行器官或组织的分割以及解剖结构或肿瘤微环境的多个实例分割，这对分析提出了更高的要求。现有研究通常孤立地处理不同的分割任务，忽略了任务之间的相互依赖性，导致分割性能不佳和对医学图像理解不足。为解决这一问题，我们提出了一个通用的医学图像分割框架Co-Seg++。该框架引入了一种新型协同分割范式，允许语义分割和实例分割任务相互增强。通过时空提示编码器（STP-Encoder）捕捉分割区域和图像嵌入之间的远程空间和时间关系作为先验空间约束，同时设计了一种多任务协作解码器（MTC-Decoder），利用跨指导增强两个任务的上下文一致性，联合计算语义和实例分割掩膜。在多种CT和病理数据集上的实验表明，Co-Seg++在牙齿解剖结构、病理组织以及细胞核实例的语义、实例和全景分割方面均优于现有技术。

Key Takeaways