⚠️ 以下所有内容总结都来自于 大语言模型的能力，如有错误，仅供参考，谨慎使用
🔴 请注意：千万不要用于严肃的学术场景，只能用于论文阅读前的初筛！
💗 如果您觉得我们的项目对您有帮助 ChatPaperFree ，还请您给我们一些鼓励！⭐️ HuggingFace免费体验
2024-12-21 更新
THESAURUS: Contrastive Graph Clustering by Swapping Fused Gromov-Wasserstein Couplings
Authors:Bowen Deng, Tong Wang, Lele Fu, Sheng Huang, Chuan Chen, Tao Zhang
Graph node clustering is a fundamental unsupervised task. Existing methods typically train an encoder through selfsupervised learning and then apply K-means to the encoder output. Some methods use this clustering result directly as the final assignment, while others initialize centroids based on this initial clustering and then finetune both the encoder and these learnable centroids. However, due to their reliance on K-means, these methods inherit its drawbacks when the cluster separability of encoder output is low, facing challenges from the Uniform Effect and Cluster Assimilation. We summarize three reasons for the low cluster separability in existing methods: (1) lack of contextual information prevents discrimination between similar nodes from different clusters; (2) training tasks are not sufficiently aligned with the downstream clustering task; (3) the cluster information in the graph structure is not appropriately exploited. To address these issues, we propose conTrastive grapH clustEring by SwApping fUsed gRomov-wasserstein coUplingS (THESAURUS). Our method introduces semantic prototypes to provide contextual information, and employs a cross-view assignment prediction pretext task that aligns well with the downstream clustering task. Additionally, it utilizes Gromov-Wasserstein Optimal Transport (GW-OT) along with the proposed prototype graph to thoroughly exploit cluster information in the graph structure. To adapt to diverse real-world data, THESAURUS updates the prototype graph and the prototype marginal distribution in OT by using momentum. Extensive experiments demonstrate that THESAURUS achieves higher cluster separability than the prior art, effectively mitigating the Uniform Effect and Cluster Assimilation issues
图节点聚类是一项基本的无监督任务。现有方法通常通过自监督学习训练编码器，然后应用于编码器的输出进行K-均值聚类。一些方法直接使用这种聚类结果作为最终分配，而其他方法则基于这种初始聚类初始化质心，然后微调编码器和这些可学习的质心。然而，由于它们依赖于K-均值，这些方法继承了其缺点，在编码器输出的聚类可分性较低时面临挑战，例如统一效应和聚类同化。我们总结了现有方法中低聚类可分性的三个原因：（1）缺乏上下文信息导致无法区分来自不同簇的相似节点；（2）训练任务与下游聚类任务不够对齐；（3）没有适当地利用图结构中的聚类信息。为了解决这些问题，我们提出了通过交换使用图结构中的Gromov-Wasserstein耦合（THESAURUS）进行对比图聚类的方法。我们的方法引入语义原型以提供上下文信息，并采用跨视图分配预测伪装任务，该任务与下游聚类任务非常对齐。此外，它还利用Gromov-Wasserstein最优传输（GW-OT）和提出的原型图来充分利用图结构中的聚类信息。为了适应各种现实世界数据，THESAURUS通过动量更新原型图和原型边际分布。大量实验表明，THESAURUS比现有技术实现了更高的聚类可分性，有效地缓解了统一效应和聚类同化问题。
论文及项目相关链接
PDF Accepted by AAAI 2025
摘要
本文指出图节点聚类是一项基本的无监督任务，现有方法通常通过自监督学习训练编码器，然后应用K-means对编码器输出进行聚类。然而，由于依赖K-means，这些方法在簇分离度低时面临挑战，如均匀效应和簇同化问题。本文总结了现有方法低簇分离性的三个原因，并提出了针对性的解决方案。为解决这些问题，本文提出了基于交换使用的Gromov-Wasserstein耦合的对比图聚类方法（THESAURUS）。该方法引入语义原型提供上下文信息，采用跨视图分配预测前置任务与下游聚类任务对齐。同时，它利用Gromov-Wasserstein最优传输（GW-OT）和提出的原型图，充分利用图结构中的聚类信息。通过动量更新原型图和原型边缘分布以适应多样化的现实世界数据。实验表明，THESAURUS提高了簇分离性，有效缓解了均匀效应和簇同化问题。
关键见解
- 现有图节点聚类方法依赖K-means，在簇分离度低时面临挑战。
- 现有方法簇分离度低的三个原因：缺乏上下文信息、训练任务与下游聚类任务不对齐、图结构中的聚类信息未得到适当利用。
- THESAURUS方法引入语义原型提供上下文信息，改善簇分离度。
- THESAURUS采用跨视图分配预测前置任务，与下游聚类任务对齐。
- GW-OT和原型图的结合，充分利用图结构中的聚类信息。
- THESAURUS通过动量更新适应多样化的现实世界数据。
- 实验表明，THESAURUS提高了簇分离性，缓解了均匀效应和簇同化问题。
点此查看论文截图
