⚠️ 以下所有内容总结都来自于 大语言模型的能力，如有错误，仅供参考，谨慎使用
🔴 请注意：千万不要用于严肃的学术场景，只能用于论文阅读前的初筛！
💗 如果您觉得我们的项目对您有帮助 ChatPaperFree ，还请您给我们一些鼓励！⭐️ HuggingFace免费体验
2025-11-20 更新
Listen Like a Teacher: Mitigating Whisper Hallucinations using Adaptive Layer Attention and Knowledge Distillation
Authors:Kumud Tripathi, Aditya Srinivas Menon, Aman Gaurav, Raj Prakash Gohil, Pankaj Wasnik
The Whisper model, an open-source automatic speech recognition system, is widely adopted for its strong performance across multilingual and zero-shot settings. However, it frequently suffers from hallucination errors, especially under noisy acoustic conditions. Previous works to reduce hallucinations in Whisper-style ASR systems have primarily focused on audio preprocessing or post-processing of transcriptions to filter out erroneous content. However, modifications to the Whisper model itself remain largely unexplored to mitigate hallucinations directly. To address this challenge, we present a two-stage architecture that first enhances encoder robustness through Adaptive Layer Attention (ALA) and further suppresses hallucinations using a multi-objective knowledge distillation (KD) framework. In the first stage, ALA groups encoder layers into semantically coherent blocks via inter-layer correlation analysis. A learnable multi-head attention module then fuses these block representations, enabling the model to jointly exploit low- and high-level features for more robust encoding. In the second stage, our KD framework trains the student model on noisy audio to align its semantic and attention distributions with a teacher model processing clean inputs. Our experiments on noisy speech benchmarks show notable reductions in hallucinations and word error rates, while preserving performance on clean speech. Together, ALA and KD offer a principled strategy to improve Whisper’s reliability under real-world noisy conditions.
whisper模型是一个开源的自动语音识别系统，广泛应用于多语种和零样本设置的环境中，表现出强大的性能。然而，它经常受到幻觉错误的影响，特别是在嘈杂的声学条件下。以前的研究工作主要通过音频预处理或转录后处理来过滤错误内容，以减少whisper型ASR系统中的幻觉。然而，对whisper模型本身的修改以直接减轻幻觉仍然未被充分探索。为了应对这一挑战，我们提出了一种两阶段的架构，第一阶段通过自适应层注意力（ALA）增强编码器稳健性，第二阶段使用多目标知识蒸馏（KD）框架进一步抑制幻觉。在第一阶段，ALA通过层间关联分析将编码器层分组为语义连贯的块。然后，一个可学习的多头注意力模块融合这些块表示，使模型能够联合利用低层次和高层次特征进行更稳健的编码。在第二阶段，我们的KD框架训练学生模型处理嘈杂音频的语义和注意力分布与处理干净输入的教师模型对齐。我们在嘈杂语音基准测试上的实验表明，幻觉和词错误率显著减少，同时在干净语音上保持性能。总之，ALA和KD提供了一种有原则的策略，以提高whisper在现实世界嘈杂条件下的可靠性。
论文及项目相关链接
PDF Accepted at AAAI 2026 - Main Technical Track
Summary
基于自适应层注意力（ALA）和多目标知识蒸馏（KD）框架的改进策略，针对广泛应用的开源自动语音识别系统Whisper模型在多语种和零样本环境下遭遇的幻想错误问题进行了探索与改进。特别是强化了编码器的鲁棒性并有效地抑制了噪音影响下的幻觉错误发生。ALA分组编码层产生语义相关块并利用注意力模块进行融合，从而充分利用低高级特征，而KD框架训练学生模型应对噪音音频处理并使之对齐于教师模型处理干净输入时的语义和注意力分布。在噪声语音基准测试中显著减少了幻觉和词错误率，同时保持了干净语音性能。提高了Whisper模型在现实噪音条件下的可靠性。
Key Takeaways
以下是提取的七个主要观点或发现：
- Whisper模型是一个广泛用于自动语音识别系统的开源模型，尤其擅长多语种和零样本环境下的表现。但在噪音条件下易犯幻觉错误。
- 先前的工作主要关注过滤错误内容来减少幻觉，但直接修改Whisper模型本身来减少幻觉的研究仍然较少。
点此查看论文截图
MCTSr-Zero: Self-Reflective Psychological Counseling Dialogues Generation via Principles and Adaptive Exploration
Authors:Hao Lu, Yanchi Gu, Haoyuan Huang, Yulin Zhou, Ningxin Zhu, Chen Li
The integration of Monte Carlo Tree Search (MCTS) with Large Language Models (LLMs) has demonstrated significant success in structured, problem-oriented tasks. However, applying these methods to open-ended dialogues, such as those in psychological counseling, presents unique challenges. Unlike tasks with objective correctness, success in therapeutic conversations depends on subjective factors like empathetic engagement, ethical adherence, and alignment with human preferences, for which strict “correctness” criteria are ill-defined. Existing result-oriented MCTS approaches can therefore produce misaligned responses. To address this, we introduce MCTSr-Zero, an MCTS framework designed for open-ended, human-centric dialogues. Its core innovation is “domain alignment”, which shifts the MCTS search objective from predefined end-states towards conversational trajectories that conform to target domain principles (e.g., empathy in counseling). Furthermore, MCTSr-Zero incorporates “Regeneration” and “Meta-Prompt Adaptation” mechanisms to substantially broaden exploration by allowing the MCTS to consider fundamentally different initial dialogue strategies. We evaluate MCTSr-Zero in psychological counseling by generating multi-turn dialogue data, which is used to fine-tune an LLM, PsyLLM. We also introduce PsyEval, a benchmark for assessing multi-turn psychological counseling dialogues. Experiments demonstrate that PsyLLM achieves state-of-the-art performance on PsyEval and other relevant metrics, validating MCTSr-Zero’s effectiveness in generating high-quality, principle-aligned conversational data for human-centric domains and addressing the LLM challenge of consistently adhering to complex psychological standards.
将Monte Carlo树搜索（MCTS）与大型语言模型（LLM）的结合在结构化和问题导向的任务中取得了显著的成功。然而，将这些方法应用于开放式对话，如心理咨询中的对话，却存在独特的挑战。不同于具有客观正确性的任务，治疗性对话的成功取决于主观因素，如共情投入、道德遵守以及与人类偏好的一致性，而严格的“正确性”标准则定义不清。因此，现有的以结果为导向的MCTS方法可能会产生不匹配的回应。为解决这一问题，我们推出了MCTSr-Zero，这是一个为开放式、以人为中心的对话而设计的MCTS框架。它的核心创新点是“领域对齐”，这将MCTS的搜索目标从预设的终端状态转向符合目标领域原则的对话轨迹（例如在咨询中的共情）。此外，MCTSr-Zero还融入了“再生”和“元提示适应”机制，通过允许MCTS考虑根本不同的初始对话策略，从而大大拓宽了探索范围。我们通过生成多轮对话数据来评估MCTSr-Zero在心理咨询方面的表现，这些数据被用来微调LLM（PsyLLM）。我们还介绍了PsyEval，一个用于评估多轮心理咨询对话的基准测试。实验表明，PsyLLM在PsyEval和其他相关指标上达到了最新技术水平，验证了MCTSr-Zero在生成高质量、符合原则的对话数据方面的有效性，解决了LLM在持续遵守复杂心理标准方面的挑战。
论文及项目相关链接
PDF 48 pages, 3 figures. Accepted in AAAI-2026 (Main Technical Track). For code and model, see this https://github.com/JianChengXingYun/Mctsr-Zero
Summary
基于Monte Carlo树搜索（MCTS）与大型语言模型（LLM）的集成在结构化的面向问题的任务中取得了显著的成功。然而，将这些方法应用于开放式对话，如心理咨询中的对话，存在独特的挑战。不同于具有客观正确性的任务，治疗对话的成功取决于主观因素，如共情、道德遵守以及与人类偏好的对齐等，这些主观因素缺乏严格的“正确性”标准。因此，现有的以结果为导向的MCTS方法可能会产生不匹配的响应。为解决这一问题，我们推出了MCTSr-Zero，这是一个面向开放式人类对话的MCTS框架。其核心创新在于“领域对齐”，它将MCTS的搜索目标从预设的结束状态转向符合目标领域原则（如咨询中的共情）的对话轨迹。此外，MCTSr-Zero结合了“再生”和“元提示适应”机制，通过允许MCTS考虑根本不同的初始对话策略来大大拓宽探索范围。我们通过在心理咨询中生成多轮对话数据来评估MCTSr-Zero，这些数据用于微调LLM（PsyLLM）。我们还介绍了PsyEval，一个用于评估多轮心理咨询对话的基准测试。实验表明，PsyLLM在PsyEval和其他相关指标上达到了最先进的性能，验证了MCTSr-Zero在生成高质量、符合原则的对话数据方面的有效性，并解决了LLM在持续遵守复杂心理标准方面的挑战。
Key Takeaways
- MCTS与LLM的结合在问题导向的任务中表现优异，但在开放式对话中存在挑战。
- 开放式对话的成功取决于共情、道德遵守等主观因素，这导致严格正确性标准的缺失。
- 现有MCTS方法可能产生不匹配的响应，需要新的框架来解决这一问题。
- MCTSr-Zero框架被引入用于开放式、人类为中心的对话。
- MCTSr-Zero的核心创新在于“领域对齐”，关注符合目标领域原则的对话轨迹。
- MCTSr-Zero通过“再生”和“元提示适应”机制拓宽了探索范围。