⚠️ 以下所有内容总结都来自于 大语言模型的能力，如有错误，仅供参考，谨慎使用
🔴 请注意：千万不要用于严肃的学术场景，只能用于论文阅读前的初筛！
💗 如果您觉得我们的项目对您有帮助 ChatPaperFree ，还请您给我们一些鼓励！⭐️ HuggingFace免费体验
2025-11-20 更新
MAVias: Mitigate any Visual Bias
Authors:Ioannis Sarridis, Christos Koutlis, Symeon Papadopoulos, Christos Diou
Mitigating biases in computer vision models is an essential step towards the trustworthiness of artificial intelligence models. Existing bias mitigation methods focus on a small set of predefined biases, limiting their applicability in visual datasets where multiple, possibly unknown biases exist. To address this limitation, we introduce MAVias, an open-set bias mitigation approach leveraging foundation models to discover spurious associations between visual attributes and target classes. MAVias first captures a wide variety of visual features in natural language via a foundation image tagging model, and then leverages a large language model to select those visual features defining the target class, resulting in a set of language-coded potential visual biases. We then translate this set of potential biases into vision-language embeddings and introduce an in-processing bias mitigation approach to prevent the model from encoding information related to them. Our experiments on diverse datasets, including CelebA, Waterbirds, ImageNet, and UrbanCars, show that MAVias effectively detects and mitigates a wide range of biases in visual recognition tasks outperforming current state-of-the-art.
计算机视觉模型的偏见缓解是实现人工智能模型可信化的重要步骤。现有的偏见缓解方法主要关注预先定义的一组偏见，这在存在多个可能未知的偏见的视觉数据集中限制了其适用性。为了解决这一局限性，我们引入了 MAVias，这是一种利用基础模型发现视觉属性与目标类别之间偶然关联的开放集偏见缓解方法。 MAVias首先通过基础图像标记模型在自然语言中捕获各种视觉特征，然后利用大型语言模型选择定义目标类别的视觉特征，形成一组语言编码的潜在视觉偏见。然后我们将这组潜在的偏见转化为视觉语言嵌入，并引入一种处理过程中的偏见缓解方法，以防止模型对这些偏见相关的信息进行编码。我们在包括CelebA、Waterbirds、ImageNet和UrbanCars等多个数据集上的实验表明，MAVias在视觉识别任务中有效检测并缓解了多种偏见，超越了当前的最先进水平。
论文及项目相关链接
Summary
本文介绍了针对计算机视觉模型中偏见问题的新方法——MAVias。该方法利用基础模型发现并消除视觉属性与目标类别之间的错误关联，从而减轻偏见。首先，使用图像标注模型捕捉自然语言中的丰富视觉特征，并使用大型语言模型筛选出定义目标类别的视觉特征，形成潜在的语言编码偏见。接着，将潜在偏见转化为视觉语言嵌入，并采用处理过程中的偏见缓解方法，防止模型编码与之相关的信息。实验证明，MAVias在多种数据集上有效检测和缓解视觉识别任务的偏见问题，表现优于当前先进技术。
Key Takeaways
- MAVias是一种用于缓解计算机视觉模型中偏见问题的开放集方法。
- 它通过发现和消除视觉属性与目标类别之间的错误关联来减轻偏见。
- MAVias使用图像标注模型捕捉自然语言中的视觉特征。
- 利用大型语言模型筛选出与目标类别相关的视觉特征，形成潜在偏见。
- MAVias将潜在偏见转化为视觉语言嵌入，采用处理过程中的方法防止模型编码偏见信息。
- 实验证明，MAVias在多种数据集上的表现优于当前先进技术。