⚠️ 以下所有内容总结都来自于 大语言模型的能力，如有错误，仅供参考，谨慎使用
🔴 请注意：千万不要用于严肃的学术场景，只能用于论文阅读前的初筛！
💗 如果您觉得我们的项目对您有帮助 ChatPaperFree ，还请您给我们一些鼓励！⭐️ HuggingFace免费体验
2025-03-01 更新
Spatial-Spectral Diffusion Contrastive Representation Network for Hyperspectral Image Classification
Authors:Yimin Zhu, Linlin Xu
Although efficient extraction of discriminative spatial-spectral features is critical for hyperspectral images classification (HSIC), it is difficult to achieve these features due to factors such as the spatial-spectral heterogeneity and noise effect. This paper presents a Spatial-Spectral Diffusion Contrastive Representation Network (DiffCRN), based on denoising diffusion probabilistic model (DDPM) combined with contrastive learning (CL) for HSIC, with the following characteristics. First,to improve spatial-spectral feature representation, instead of adopting the UNets-like structure which is widely used for DDPM, we design a novel staged architecture with spatial self-attention denoising module (SSAD) and spectral group self-attention denoising module (SGSAD) in DiffCRN with improved efficiency for spectral-spatial feature learning. Second, to improve unsupervised feature learning efficiency, we design new DDPM model with logarithmic absolute error (LAE) loss and CL that improve the loss function effectiveness and increase the instance-level and inter-class discriminability. Third, to improve feature selection, we design a learnable approach based on pixel-level spectral angle mapping (SAM) for the selection of time steps in the proposed DDPM model in an adaptive and automatic manner. Last, to improve feature integration and classification, we design an Adaptive weighted addition modul (AWAM) and Cross time step Spectral-Spatial Fusion Module (CTSSFM) to fuse time-step-wise features and perform classification. Experiments conducted on widely used four HSI datasets demonstrate the improved performance of the proposed DiffCRN over the classical backbone models and state-of-the-art GAN, transformer models and other pretrained methods. The source code and pre-trained model will be made available publicly.
尽管对于高光谱图像分类（HSIC）而言，有效地提取判别性空间光谱特征至关重要，但由于空间光谱异质性和噪声影响等因素，实现这些特征很困难。本文提出了一种基于去噪扩散概率模型（DDPM）和对比学习（CL）的空间光谱扩散对比表示网络（DiffCRN），用于HSIC，具有以下特点。首先，为了提高空间光谱特征表示，我们没有采用广泛用于DDPM的U型网络结构，而是设计了带有空间自注意力去噪模块（SSAD）和光谱组自注意力去噪模块（SGSAD）的新型分阶段架构，提高了光谱空间特征学习的效率。其次，为了提升无监督特征学习效率，我们设计了一种新的DDPM模型，结合了对数绝对误差（LAE）损失和CL，提高了损失函数的有效性，并增强了实例级和跨类别之间的可辨别性。第三，为了改进特征选择，我们设计了一种基于像素级光谱角度映射（SAM）的可学习方法，以自适应和自动的方式选择所提议DDPM模型中的时间步骤。最后，为了改进特征融合和分类，我们设计了自适应加权添加模块（AWAM）和跨时间步长光谱空间融合模块（CTSSFM），以融合时间步长特征并执行分类。在四个广泛使用的HSI数据集上进行的实验表明，所提出的DiffCRN在经典的后端模型和最新的生成对抗网络、Transformer模型以及其他预训练方法的性能上有所提升。源代码和预训练模型将公开发布。
论文及项目相关链接
Summary
在利用扩散概率模型和对比学习对高光谱图像进行分类时，本文提出了一种名为DiffCRN的空间光谱扩散对比表示网络。该网络具有多个创新点，包括新型的分阶段架构、改进的DDPM模型、像素级光谱角度映射方法以及特征融合模块等。这些设计旨在提高空间光谱特征的提取效率、增强无监督特征学习的效能、优化特征选择以及提升特征融合和分类的准确性。实验结果证明，该网络在多个高光谱图像数据集上的性能优于其他经典模型和最新技术。源代码和预训练模型将公开提供。
Key Takeaways
- DiffCRN网络采用新型分阶段架构以提高空间光谱特征提取效率。该架构包括空间自注意力去噪模块和光谱组自注意力去噪模块。
- 结合对数绝对误差损失和对比学习，改进了DDPM模型，提高了损失函数的有效性和实例级别及跨类别的可区分性。
- 采用像素级光谱角度映射方法，自适应地选择时间步骤进行特征选择。
- 引入自适应加权添加模块和跨时间步长的光谱空间融合模块，以融合时间步特征并进行分类。
- DiffCRN在四个广泛使用的高光谱图像数据集上展示了优于经典模型和最新技术的性能。
- 该研究公开提供源代码和预训练模型，便于其他研究者使用和进一步改进。
点此查看论文截图
