无监督/半监督/对比学习

⚠️ 以下所有内容总结都来自于 大语言模型的能力，如有错误，仅供参考，谨慎使用
🔴 请注意：千万不要用于严肃的学术场景，只能用于论文阅读前的初筛！
💗 如果您觉得我们的项目对您有帮助 ChatPaperFree ，还请您给我们一些鼓励！⭐️ HuggingFace免费体验

2025-09-12 更新

Multimodal Contrastive Pretraining of CBCT and IOS for Enhanced Tooth Segmentation

Authors:Moo Hyun Son, Juyoung Bae, Zelin Qiu, Jiale Peng, Kai Xin Li, Yifan Lin, Hao Chen

Digital dentistry represents a transformative shift in modern dental practice. The foundational step in this transformation is the accurate digital representation of the patient’s dentition, which is obtained from segmented Cone-Beam Computed Tomography (CBCT) and Intraoral Scans (IOS). Despite the growing interest in digital dental technologies, existing segmentation methodologies frequently lack rigorous validation and demonstrate limited performance and clinical applicability. To the best of our knowledge, this is the first work to introduce a multimodal pretraining framework for tooth segmentation. We present ToothMCL, a Tooth Multimodal Contrastive Learning for pretraining that integrates volumetric (CBCT) and surface-based (IOS) modalities. By capturing modality-invariant representations through multimodal contrastive learning, our approach effectively models fine-grained anatomical features, enabling precise multi-class segmentation and accurate identification of F'ed'eration Dentaire Internationale (FDI) tooth numbering. Along with the framework, we curated CBCT-IOS3.8K, the largest paired CBCT and IOS dataset to date, comprising 3,867 patients. We then evaluated ToothMCL on a comprehensive collection of independent datasets, representing the largest and most diverse evaluation to date. Our method achieves state-of-the-art performance in both internal and external testing, with an increase of 12% for CBCT segmentation and 8% for IOS segmentation in the Dice Similarity Coefficient (DSC). Furthermore, ToothMCL consistently surpasses existing approaches in tooth groups and demonstrates robust generalizability across varying imaging conditions and clinical scenarios.

数字化牙科代表了现代牙科实践中的一项变革性转变。这一转变的基础步骤是获得患者的牙齿的准确数字化表示，这通常是通过分段锥形束计算机断层扫描（CBCT）和口腔内扫描（IOS）获得的。尽管数字牙科技术日益受到关注，但现有的分割方法在严格验证方面存在不足，性能和临床应用表现有限。据我们所知，这是首次引入用于牙齿分割的多模式预训练框架的工作。我们提出了ToothMCL，这是一种牙齿多模式对比学习预训练方法，它结合了体积（CBCT）和表面（IOS）模式。通过多模式对比学习捕获模态不变表示，我们的方法能够有效地模拟精细的解剖特征，从而实现精确的多类分割和准确的国际牙科联合会（FDI）牙齿编号的识别。除了框架之外，我们还整理了CBCT-IOS3.8K数据集，这是迄今为止最大的配对CBCT和IOS数据集，包含3867名患者。然后我们在一系列独立的综合数据集中评估了ToothMCL的性能，代表了迄今为止最大和最多样化的评估。我们的方法在内部和外部测试中均达到了最先进的表现，在Dice相似系数（DSC）方面，CBCT分割提高了12%，IOS分割提高了8%。此外，ToothMCL在牙齿分组上始终超越了现有方法，并在各种成像条件和临床情景下表现出稳健的通用性。

论文及项目相关链接

PDF

Summary

本文介绍了数字牙科领域的变革性进展，特别是牙齿分割的精准数字化表示。为改进现有分割方法在临床应用上的局限性，首次提出一种多模态预训练框架——ToothMCL。该框架结合了体积（CBCT）和表面（IOS）两种模态的数据，通过多模态对比学习捕获模态不变的表示，有效建模精细的解剖特征，实现多类别精确分割和准确的FDI牙齿编号识别。此外，还公开了迄今为止最大的配对CBCT和IOS数据集CBCT-IOS3.8K，并在独立数据集上评估了ToothMCL的性能，取得了州内外领先的结果。

Key Takeaways

1. 数字牙科代表现代牙科实践的变革性转变，其中准确的数字表示患者的牙齿状况是关键。
2. 现有牙齿分割方法缺乏严格的验证，性能和临床应用有限。
3. 提出了一种多模态预训练框架ToothMCL，融合了CBCT和IOS两种模态的数据。
4. ToothMCL通过多模态对比学习捕获模态不变的表示，有效建模精细的解剖特征。
5. ToothMCL实现了多类别的精确分割和准确的FDI牙齿编号识别。
6. 公开了迄今为止最大的配对CBCT和IOS数据集CBCT-IOS3.8K。

Cool Papers

点此查看论文截图