⚠️ 以下所有内容总结都来自于 大语言模型的能力，如有错误，仅供参考，谨慎使用
🔴 请注意：千万不要用于严肃的学术场景，只能用于论文阅读前的初筛！
💗 如果您觉得我们的项目对您有帮助 ChatPaperFree ，还请您给我们一些鼓励！⭐️ HuggingFace免费体验
2025-09-10 更新
Talk Isn’t Always Cheap: Understanding Failure Modes in Multi-Agent Debate
Authors:Andrea Wynn, Harsh Satija, Gillian Hadfield
While multi-agent debate has been proposed as a promising strategy for improving AI reasoning ability, we find that debate can sometimes be harmful rather than helpful. The prior work has exclusively focused on debates within homogeneous groups of agents, whereas we explore how diversity in model capabilities influences the dynamics and outcomes of multi-agent interactions. Through a series of experiments, we demonstrate that debate can lead to a decrease in accuracy over time – even in settings where stronger (i.e., more capable) models outnumber their weaker counterparts. Our analysis reveals that models frequently shift from correct to incorrect answers in response to peer reasoning, favoring agreement over challenging flawed reasoning. These results highlight important failure modes in the exchange of reasons during multi-agent debate, suggesting that naive applications of debate may cause performance degradation when agents are neither incentivized nor adequately equipped to resist persuasive but incorrect reasoning.
虽然多智能体辩论已被提出作为一种有望提高人工智能推理能力的策略，但我们发现辩论有时是有害的而不是有益的。之前的研究只专注于智能体同质群体内部的辩论，而我们探索模型能力的多样性如何影响多智能体交互的动力和结果。通过一系列实验，我们证明了辩论会导致准确性随着时间的推移而下降——即使在更强的模型（即更强大的模型）数量超过较弱模型的环境中也是如此。我们的分析表明，模型在回应同行推理时会频繁地从正确转向错误的答案，更倾向于认同而非挑战有缺陷的推理。这些结果凸显了在多智能体辩论中交换理由时的失败模式，表明如果智能体既没有得到激励也没有足够的装备来抵制有说服力但错误的推理，那么单纯应用辩论可能会导致性能下降。
论文及项目相关链接
PDF ICML MAS Workshop 2025
Summary
多主体辩论作为提高AI推理能力的策略已有提出，但本研究发现辩论有时会起到负面效果而非积极作用。以往研究集中在能力同质化的主体间辩论，而本研究探索模型能力多样性对多主体交互动态和结果的影响。实验表明，辩论可能导致准确性随时间下降，即使在强模型多于弱模型的情境下也是如此。分析显示，模型在回应其他模型推理时，答案从正确转向错误的情况频繁发生，更倾向于同意而不是挑战有缺陷的推理。这突显了在多主体辩论的推理交换过程中存在的关键失败模式，提示如果主体既不受激励也没有足够能力去抵抗说服但错误的推理时，辩论的应用可能会导致性能下降。
Key Takeaways
- 多主体辩论不总是对提高AI推理能力有积极作用，有时可能产生负面影响。
- 以往研究主要关注能力同质化的主体间的辩论。
- 模型能力多样性影响多主体交互和辩论结果。
- 辩论可能导致AI准确性下降，即使在强模型占多数的环境中也是如此。
- 在辩论过程中，模型更可能跟随而非挑战错误的推理。
- 主体在没有激励或能力去抵抗错误推理的情况下，辩论应用可能导致性能下降。
点此查看论文截图
