无监督/半监督/对比学习

⚠️ 以下所有内容总结都来自于 大语言模型的能力，如有错误，仅供参考，谨慎使用
🔴 请注意：千万不要用于严肃的学术场景，只能用于论文阅读前的初筛！
💗 如果您觉得我们的项目对您有帮助 ChatPaperFree ，还请您给我们一些鼓励！⭐️ HuggingFace免费体验

2025-03-15 更新

AI-assisted Early Detection of Pancreatic Ductal Adenocarcinoma on Contrast-enhanced CT

Authors:Han Liu, Riqiang Gao, Sasa Grbic

Pancreatic ductal adenocarcinoma (PDAC) is one of the most common and aggressive types of pancreatic cancer. However, due to the lack of early and disease-specific symptoms, most patients with PDAC are diagnosed at an advanced disease stage. Consequently, early PDAC detection is crucial for improving patients’ quality of life and expanding treatment options. In this work, we develop a coarse-to-fine approach to detect PDAC on contrast-enhanced CT scans. First, we localize and crop the region of interest from the low-resolution images, and then segment the PDAC-related structures at a finer scale. Additionally, we introduce two strategies to further boost detection performance: (1) a data-splitting strategy for model ensembling, and (2) a customized post-processing function. We participated in the PANORAMA challenge and ranked 1st place for PDAC detection with an AUROC of 0.9263 and an AP of 0.7243. Our code and models are publicly available at https://github.com/han-liu/PDAC_detection.

胰腺癌导管腺癌（PDAC）是胰腺癌最常见且最具侵袭性的类型之一。然而，由于早期和疾病特异性症状的缺乏，大多数PDAC患者在疾病晚期才被诊断出来。因此，早期发现PDAC对于改善患者的生活质量和扩大治疗选择至关重要。在这项工作中，我们开发了一种由粗到细的对比增强CT扫描检测PDAC的方法。首先，我们从低分辨率图像中定位和裁剪感兴趣区域，然后在更精细的尺度上分割与PDAC相关的结构。此外，我们还引入了两种策略来进一步提高检测性能：（1）模型集成中的数据拆分策略；（2）定制的后期处理功能。我们参加了PANORAMA挑战赛，在PDAC检测中荣获第一名，AUROC为0.9263，AP为0.7243。我们的代码和模型可在https://github.com/han-liu/PDAC_detection公开访问。

论文及项目相关链接

PDF 1st place in the PANORAMA Challenge (Team DTI)

Summary

本文介绍了一种针对胰腺癌检测的早期诊断方法。该方法采用从粗到细的识别策略，在增强型CT扫描图像上进行胰腺癌检测。首先，从低分辨率图像中定位和裁剪感兴趣区域，然后在更精细的尺度上分割胰腺癌相关结构。此外，还引入两种策略进一步提升检测性能：数据分割策略用于模型集成和自定义的后处理功能。该研究在PANORAMA挑战中荣获胰腺癌检测第一名，AUROC为0.9263，AP为0.7243。模型和代码已公开在GitHub上。

Key Takeaways

1. 采用从粗到细的识别策略进行胰腺癌早期检测。
2. 首先在低分辨率图像中定位和裁剪感兴趣区域。
3. 在精细尺度上分割胰腺癌相关结构。
4. 引入数据分割策略用于模型集成提升检测性能。
5. 自定义后处理功能进一步提升检测效果。
6. 在PANORAMA挑战中荣获胰腺癌检测第一名。

Cool Papers

点此查看论文截图

Prompt-Driven Contrastive Learning for Transferable Adversarial Attacks

Authors:Hunmin Yang, Jongoh Jeong, Kuk-Jin Yoon

Recent vision-language foundation models, such as CLIP, have demonstrated superior capabilities in learning representations that can be transferable across diverse range of downstream tasks and domains. With the emergence of such powerful models, it has become crucial to effectively leverage their capabilities in tackling challenging vision tasks. On the other hand, only a few works have focused on devising adversarial examples that transfer well to both unknown domains and model architectures. In this paper, we propose a novel transfer attack method called PDCL-Attack, which leverages the CLIP model to enhance the transferability of adversarial perturbations generated by a generative model-based attack framework. Specifically, we formulate an effective prompt-driven feature guidance by harnessing the semantic representation power of text, particularly from the ground-truth class labels of input images. To the best of our knowledge, we are the first to introduce prompt learning to enhance the transferable generative attacks. Extensive experiments conducted across various cross-domain and cross-model settings empirically validate our approach, demonstrating its superiority over state-of-the-art methods.

最近的视觉语言基础模型，如CLIP，在表示学习上表现出了卓越的能力，这些表示学习可以跨各种下游任务和领域进行迁移。随着这种强大模型的出现，如何有效利用它们的能力来解决具有挑战性的视觉任务已经变得至关重要。另一方面，只有少数工作关注于设计能够良好地转移到未知领域和模型架构的对抗样本。在本文中，我们提出了一种新的迁移攻击方法，称为PDCL-Attack，它利用CLIP模型来提高基于生成模型的攻击框架所产生的对抗性扰动的迁移能力。具体来说，我们通过利用文本语义表示能力，特别是输入图像的真实类标签，制定了一种有效的提示驱动特征指导。据我们所知，我们是第一个将提示学习引入到增强可迁移的生成攻击中。在跨领域和跨模型的设置下进行的广泛实验验证了我们的方法，证明其在最新技术上的优越性。

论文及项目相关链接

PDF Accepted to ECCV 2024 (Oral), Project Page: https://PDCL-Attack.github.io

Summary

基于CLIP模型的强大表示学习能力，本文提出了一种新型的迁移攻击方法——PDCL-Attack。该方法利用生成模型攻击框架生成对抗扰动，并通过文本语义表示能力增强对抗扰动的迁移性。实验证明，该方法在不同跨域和跨模型设置下均优于现有方法。

Key Takeaways

1. PDCL-Attack利用CLIP模型的表示学习能力增强对抗扰动的迁移性。
2. 提出了一种基于文本语义表示的prompt驱动特征指导方法。
3. 将prompt学习引入生成攻击，提高了攻击的迁移能力。
4. 实验证明，PDCL-Attack在不同跨域和跨模型设置下表现优越。
5. 该方法针对多种下游任务和领域具有广泛的应用潜力。
6. 目前首次将prompt学习应用于增强迁移攻击的研究。

Cool Papers

点此查看论文截图