检测/分割/跟踪

⚠️ 以下所有内容总结都来自于 大语言模型的能力，如有错误，仅供参考，谨慎使用
🔴 请注意：千万不要用于严肃的学术场景，只能用于论文阅读前的初筛！
💗 如果您觉得我们的项目对您有帮助 ChatPaperFree ，还请您给我们一些鼓励！⭐️ HuggingFace免费体验

2025-02-06 更新

FSPGD: Rethinking Black-box Attacks on Semantic Segmentation

Authors:Eun-Sol Park, MiSo Park, Seung Park, Yong-Goo Shin

Transferability, the ability of adversarial examples crafted for one model to deceive other models, is crucial for black-box attacks. Despite advancements in attack methods for semantic segmentation, transferability remains limited, reducing their effectiveness in real-world applications. To address this, we introduce the Feature Similarity Projected Gradient Descent (FSPGD) attack, a novel black-box approach that enhances both attack performance and transferability. Unlike conventional segmentation attacks that rely on output predictions for gradient calculation, FSPGD computes gradients from intermediate layer features. Specifically, our method introduces a loss function that targets local information by comparing features between clean images and adversarial examples, while also disrupting contextual information by accounting for spatial relationships between objects. Experiments on Pascal VOC 2012 and Cityscapes datasets demonstrate that FSPGD achieves superior transferability and attack performance, establishing a new state-of-the-art benchmark. Code is available at https://github.com/KU-AIVS/FSPGD.

迁移性是对一个模型制作的对抗性例子能够欺骗其他模型的能力，这在黑箱攻击中至关重要。尽管语义分割的攻击方法有所进展，但迁移性仍然有限，降低了它们在现实世界应用中的有效性。为了解决这一问题，我们引入了特征相似性投影梯度下降（FSPGD）攻击，这是一种新型的黑箱攻击方法，可以提高攻击性能和迁移性。不同于传统的依赖于输出预测进行梯度计算的分割攻击，FSPGD从中间层特征计算梯度。具体来说，我们的方法通过比较干净图像和对抗性示例之间的特征来定位局部信息，并考虑物体之间的空间关系来干扰上下文信息，从而引入了一个损失函数。在Pascal VOC 2012和Cityscapes数据集上的实验表明，FSPGD实现了卓越的迁移性和攻击性能，树立了新的业界标杆。代码可通过https://github.com/KU-AIVS/FSPGD获取。

论文及项目相关链接

PDF

Summary

本文介绍了针对语义分割模型的黑色盒子攻击方法的新进展。为提高攻击性能和跨模型欺骗能力，提出一种名为FSPGD的新型黑色盒子攻击方法。与传统方法不同，FSPGD利用中间层特征计算梯度，通过比较干净图像和对抗样本之间的特征以及考虑对象间的空间关系来干扰上下文信息。实验表明，FSPGD在Pascal VOC 2012和Cityscapes数据集上实现了出色的跨模型欺骗能力和攻击性能，树立了新的研究基准。

Key Takeaways

• 转移性是黑色盒子攻击的关键，特别是对于语义分割模型。
• FSPGD攻击是一种新型黑色盒子攻击方法，增强了攻击性能和转移性。
• FSPGD利用中间层特征计算梯度，不同于传统基于输出预测的梯度计算方法。
• FSPGD通过比较干净图像和对抗样本之间的特征来定位局部信息。
• FSPGD考虑了对象间的空间关系，干扰上下文信息。
• 实验在Pascal VOC 2012和Cityscapes数据集上证明了FSPGD的优越性能。

Cool Papers

点此查看论文截图

Complex Wavelet Mutual Information Loss: A Multi-Scale Loss Function for Semantic Segmentation

Authors:Renhao Lu

Recent advancements in deep neural networks have significantly enhanced the performance of semantic segmentation. However, class imbalance and instance imbalance remain persistent challenges, where smaller instances and thin boundaries are often overshadowed by larger structures. To address the multiscale nature of segmented objects, various models have incorporated mechanisms such as spatial attention and feature pyramid networks. Despite these advancements, most loss functions are still primarily pixel-wise, while regional and boundary-focused loss functions often incur high computational costs or are restricted to small-scale regions. To address this limitation, we propose complex wavelet mutual information (CWMI) loss, a novel loss function that leverages mutual information from subband images decomposed by a complex steerable pyramid. The complex steerable pyramid captures features across multiple orientations and preserves structural similarity across scales. Meanwhile, mutual information is well-suited for capturing high-dimensional directional features and exhibits greater noise robustness. Extensive experiments on diverse segmentation datasets demonstrate that CWMI loss achieves significant improvements in both pixel-wise accuracy and topological metrics compared to state-of-the-art methods, while introducing minimal computational overhead. The code is available at https://anonymous.4open.science/r/CWMI-83B7/

近期深度神经网络的发展极大地提升了语义分割的性能。然而，类别不平衡和实例不平衡仍是持续存在的挑战，其中较小的实例和薄边界通常被较大的结构所掩盖。为了解决分割对象的多尺度特性，各种模型已经融入了空间注意力机制和特征金字塔网络等机制。尽管有了这些进展，大多数损失函数仍然是基于像素的，而区域性和边界聚焦的损失函数往往带来较高的计算成本或仅限于小规模区域。为了解决这一局限性，我们提出了复杂小波互信息（CWMI）损失这一新型损失函数，它利用由可转向的复杂金字塔分解得到的子带图像的互信息。可转向的复杂金字塔能够捕获多个方向的特性并保留跨尺度的结构相似性。同时，互信息非常适合捕获高维方向特性并表现出更强的噪声鲁棒性。在多种分割数据集上的广泛实验表明，与最新方法相比，CWMI损失在像素级精度和拓扑度量方面都取得了显著改进，同时引入了极低的计算开销。代码可在[https://anonymous.4open.science/r/CWMI-83B7/]访问。

论文及项目相关链接

PDF 11 pages, 6 figures

Summary

本文介绍了针对语义分割中的多尺度问题以及类不平衡和实例不平衡的挑战，提出一种新型的损失函数——复杂小波互信息（CWMI）损失。该函数利用由复杂可转向金字塔分解得到的子带图像的互信息，以捕捉高维方向特征和增强噪声鲁棒性。实验证明，CWMI损失在像素精度和拓扑度量上均实现了显著改进，且计算开销较小。

Key Takeaways

• 语义分割面临多尺度问题、类不平衡和实例不平衡的挑战。
• 现有模型已尝试通过空间注意力和特征金字塔网络等方法解决多尺度问题。
• 大部分损失函数仍是像素级的，区域和边界导向的损失函数计算成本高或仅限于小区域。
• 提出新型损失函数CWMI，利用复杂可转向金字塔分解的互信息，适用于捕捉高维方向特征和增强噪声鲁棒性。
• CWMI损失在像素精度和拓扑度量上实现显著改进，且计算开销小。
• CWMI损失函数在多样化分割数据集上的实验证明了其有效性。

Cool Papers

点此查看论文截图