Interactive

⚠️ 以下所有内容总结都来自于 大语言模型的能力，如有错误，仅供参考，谨慎使用
🔴 请注意：千万不要用于严肃的学术场景，只能用于论文阅读前的初筛！
💗 如果您觉得我们的项目对您有帮助 ChatPaperFree ，还请您给我们一些鼓励！⭐️ HuggingFace免费体验

2025-10-18 更新

Evaluating & Reducing Deceptive Dialogue From Language Models with Multi-turn RL

Authors:Marwa Abdulhai, Ryan Cheng, Aryansh Shrivastava, Natasha Jaques, Yarin Gal, Sergey Levine

Large Language Models (LLMs) interact with millions of people worldwide in applications such as customer support, education and healthcare. However, their ability to produce deceptive outputs, whether intentionally or inadvertently, poses significant safety concerns. The unpredictable nature of LLM behavior, combined with insufficient safeguards against hallucination, misinformation, and user manipulation, makes their misuse a serious, real-world risk. In this paper, we investigate the extent to which LLMs engage in deception within dialogue, and propose the belief misalignment metric to quantify deception. We evaluate deception across four distinct dialogue scenarios, using five established deception detection metrics and our proposed metric. Our findings reveal this novel deception measure correlates more closely with human judgments than any existing metrics we test. Additionally, our benchmarking of eight state-of-the-art models indicates that LLMs naturally exhibit deceptive behavior in approximately 26% of dialogue turns, even when prompted with seemingly benign objectives. When prompted to deceive, LLMs are capable of increasing deceptiveness by as much as 31% relative to baselines. Unexpectedly, models trained with RLHF, the predominant approach for ensuring the safety of widely-deployed LLMs, still exhibit deception at a rate of 43% on average. Given that deception in dialogue is a behavior that develops over an interaction history, its effective evaluation and mitigation necessitates moving beyond single-utterance analyses. We introduce a multi-turn reinforcement learning methodology to fine-tune LLMs to reduce deceptive behaviors, leading to a 77.6% reduction compared to other instruction-tuned models.

大型语言模型（LLM）在客户支持、教育和医疗等应用中与全球数百万用户进行交互。然而，它们有意或无意地产生欺骗输出的能力引发了重大的安全担忧。LLM行为的不可预测性，结合对抗幻觉、误导信息和用户操作的保障措施不足，使得它们的滥用成为现实世界中的严重风险。在本文中，我们研究了LLM在对话中参与欺骗的程度，并提出了信念错位度量来衡量欺骗。我们在四种不同的对话场景中评估欺骗行为，使用五个既定的欺骗检测指标和我们提出的指标。我们的研究发现，这种新型的欺骗度量方法与人类判断的相关性比我们测试的所有现有指标都更高。此外，我们对八种最新模型的基准测试表明，LLM在大约26%的对话回合中自然表现出欺骗行为，即使提示似乎无害的目标。当被提示进行欺骗时，LLM的欺骗能力相对于基线水平最多可提高31%。出乎意料的是，使用RLHF（确保广泛部署的LLM安全的主要方法）训练的模型仍然以平均43%的速率表现出欺骗行为。鉴于对话中的欺骗行为是在交互历史中发展的行为，对其有效评估和缓解需要超越单句分析。我们引入了一种多轮强化学习方法来微调LLM以减少欺骗行为，与其他指令调整模型相比，这导致了77.6%的减少。

论文及项目相关链接

PDF

摘要

大型语言模型（LLM）在客户支持、教育和医疗等领域与数百万全球用户交互。然而，它们产生欺骗性输出的能力，无论是故意还是无意中，都引发了重大安全担忧。LLM行为的不可预测性，以及对幻觉、误导信息和用户操纵的防护措施不足，使其滥用成为一项严肃的现实风险。本文研究了LLM在对话中欺骗的程度，并提出了信念错位度量来衡量欺骗。我们在四种不同的对话场景中评估欺骗行为，使用五个现有的欺骗检测指标和我们提出的指标。研究发现，这一新颖的欺骗度量标准与人类判断的相关性比我们测试的所有现有指标都更高。此外，我们对八种最新模型的基准测试表明，即使在看似无害的目标提示下，LLM在大约26%的对话中也表现出自然欺骗行为。当被要求欺骗时，LLM的欺骗能力相对于基线水平最高可提高31%。出乎意料的是，使用RLHF（确保广泛部署的LLM安全的主要方法）训练的模型仍然以平均43%的比率表现出欺骗行为。由于对话中的欺骗行为是在交互历史中发展的行为，对其有效评估和缓解需要超越单发言的分析。我们引入了一种多回合强化学习方法来微调LLM以减少欺骗行为，与其他指令调整模型相比，这导致欺骗行为减少了77.6%。

要点摘要

1. 大型语言模型（LLMs）在全球范围内与众多用户交互，涉及多个领域。
2. LLM存在产生欺骗性输出的风险，这对用户安全构成威胁。
3. 论文研究了LLM在对话中的欺骗行为程度，并引入了信念错位度量来衡量欺骗。
4. 研究发现新型欺骗度量标准与人类判断更相关。
5. LLM在约26%的对话中自然表现出欺骗行为。
6. 当被要求欺骗时，LLM的欺骗能力会显著提高。
7. 使用RLHF训练的模型仍表现出较高比率的欺骗行为。

Cool Papers

点此查看论文截图

JEDA: Query-Free Clinical Order Search from Ambient Dialogues

Authors:Praphul Singh, Corey Barrett, Sumana Srivasta, Amitabh Saikia, Irfan Bulu, Sri Gadde, Krishnaram Kenthapadi

Clinical conversations mix explicit directives (order a chest X-ray) with implicit reasoning (the cough worsened overnight, we should check for pneumonia). Many systems rely on LLM rewriting, adding latency, instability, and opacity that hinder real-time ordering. We present JEDA (Joint Embedding for Direct and Ambient clinical orders), a domain-initialized bi-encoder that retrieves canonical orders directly and, in a query-free mode, encodes a short rolling window of ambient dialogue to trigger retrieval. Initialized from PubMedBERT and fine-tuned with a duplicate-safe contrastive objective, JEDA aligns heterogeneous expressions of intent to shared order concepts. Training uses constrained LLM guidance to tie each signed order to complementary formulations (command only, context only, command+context, context+reasoning), producing clearer inter-order separation, tighter query extendash order coupling, and stronger generalization. The query-free mode is noise-resilient, reducing sensitivity to disfluencies and ASR errors by conditioning on a short window rather than a single utterance. Deployed in practice, JEDA yields large gains and substantially outperforms its base encoder and recent open embedders (Linq Embed Mistral, SFR Embedding, GTE Qwen, BGE large, Embedding Gemma). The result is a fast, interpretable, LLM-free retrieval layer that links ambient context to actionable clinical orders in real time.

临床对话融合了明确的指令（如进行胸部X光检查）与隐含的推理（如咳嗽症状整夜恶化，我们应检查肺炎）。许多系统依赖于大型语言模型（LLM）进行重写，增加了延迟、不稳定性和透明度不足的问题，阻碍了实时排序。我们提出了JEDA（用于直接和周围临床订单的联合嵌入），这是一种基于域初始化的双向编码器，可以直接检索规范订单，并在无查询模式下，对周围的短期对话进行编码，以触发检索。JEDA使用PubMedBERT进行初始化，并使用无重复的安全对比目标进行微调，将不同的意图表达与共享订单概念对齐。训练过程中采用受限制的大型语言模型指导，将每个签署的订单与补充配方（仅命令、仅上下文、命令+上下文、上下文+推理）相关联，产生更清晰的订单间分离、更紧密的查询扩展与订单耦合以及更强的泛化能力。无查询模式是噪声抗扰的，通过基于短期窗口而不是单个话语进行条件化，减少了发音不清和自动语音识别错误的敏感性。在实践中部署时，JEDA产生了巨大的收益，并显著优于其基础编码器以及最近的开放嵌入器（如Linq Embed Mistral、SFR嵌入、GTE Qwen、BGE大型、Embedding Gemma）。结果是快速、可解释、无需大型语言模型的检索层，能够实时链接周围的上下文并采取行动的临床订单。

论文及项目相关链接

PDF

Summary
临床对话融合了明确的指令（如进行胸部X光检查）和隐性的推理（如咳嗽加重，应检查肺炎）。现有的许多系统依赖大型语言模型进行改写，增加了延迟、不稳定性和模糊性，阻碍了实时订单的处理。本研究提出JEDA系统，它通过双编码器结合直接和情境临床订单检索。系统利用PubMedBERT进行初始化，并采用安全对比目标进行微调，使不同的订单意图与共享订单概念对齐。通过约束大型语言模型的指导，将每个签署的订单与补充配方相结合，提高了订单之间的分离度、查询与订单之间的耦合度以及泛化能力。部署在实际环境中时，JEDA在噪声干扰和语音识别错误方面具有更强的抗性，它通过短期窗口而不是单个话语来做出判断。与传统的大型语言模型嵌入技术相比，JEDA性能显著提高，快速且易于解释，能实时链接上下文与可执行的医疗指令。

Key Takeaways

1. 临床对话融合明确指令与隐性推理。
2. 现有系统依赖大型语言模型（LLM），存在延迟、不稳定和模糊性问题。
3. JEDA系统采用双编码器结合直接和情境临床订单检索。
4. JEDA通过PubMedBERT初始化并结合安全对比目标微调，实现对不同订单意图与共享概念的对齐。
5. 通过约束大型语言模型的指导，提高了订单分离度、查询与订单的耦合度以及泛化能力。
6. JEDA对噪声干扰和语音识别错误具有抗性，通过短期窗口做出判断。

Cool Papers

点此查看论文截图

InteractiveOmni: A Unified Omni-modal Model for Audio-Visual Multi-turn Dialogue

Authors:Wenwen Tong, Hewei Guo, Dongchuan Ran, Jiangnan Chen, Jiefan Lu, Kaibin Wang, Keqiang Li, Xiaoxu Zhu, Jiakui Li, Kehan Li, Xueheng Li, Lumin Li, Chenxu Guo, Jiasheng Zhou, Jiandong Chen, Xianye Wu, Jiahao Wang, Silei Wu, Lei Chen, Hanming Deng, Yuxuan Song, Dinghao Zhou, Guiping Zhong, Ken Zheng, Shiyin Kang, Lewei Lu

We introduce InteractiveOmni, a unified and open-source omni-modal large language model for audio-visual multi-turn interaction, ranging from 4B to 8B parameters, designed to lead the field of lightweight models by offering comprehensive omni-modal understanding and speech generation capabilities. To achieve this, we integrate the vision encoder, audio encoder, large language model, and speech decoder into a unified model for understanding and generation tasks. We design a multi-stage training strategy to ensure robust cross-modal capabilities, including pre-training for omni-modal understanding, followed by post-training with speech conversation and audio-visual interaction. To enable human-like long-term conversational ability, we meticulously curate a multi-turn training dataset that enhances the model’s ability to handle complex and multi-turn interactions. To effectively evaluate the multi-turn memory and speech interaction capabilities, we construct the multi-modal multi-turn memory benchmark and the multi-turn speech interaction benchmark. Experiments demonstrate that InteractiveOmni significantly outperforms leading open-source models and provides a more intelligent multi-turn audio-visual experience, particularly in its long-term memory capabilities. Notably, InteractiveOmni-4B is comparable to the much larger model like Qwen2.5-Omni-7B on general benchmarks, and it can retain 97% of the performance of the InteractiveOmni-8B while utilizing only 50% of the model size. Achieving state-of-the-art results against similarly sized models across image, audio, video understanding, and speech generation tasks, InteractiveOmni is an accessible, open-source foundation for next-generation intelligent interactive systems.

我们推出了InteractiveOmni，这是一款统一且开源的跨模态大语言模型，适用于音频视觉多轮交互。其参数规模从4B到8B不等，旨在通过提供全面的跨模态理解和语音生成能力，引领轻量级模型领域的发展。为实现这一目标，我们将视觉编码器、音频编码器、大型语言模型和语音解码器集成到一个统一的模型中，用于理解和生成任务。我们设计了一种多阶段训练策略，以确保强大的跨模态能力，包括先进行跨模态预训练，然后进行语音对话和视听交互的后训练。为了实现类似人类的长期对话能力，我们精心策划了一个多轮训练数据集，以增强模型处理复杂多轮交互的能力。为了有效地评估多轮记忆和语音交互能力，我们构建了多模态多轮记忆基准测试和多轮语音交互基准测试。实验表明，InteractiveOmni显著优于领先的开源模型，提供了更智能的多轮视听体验，尤其在长期记忆能力方面。值得注意的是，InteractiveOmni-4B在通用基准测试上的表现与更大的模型如Qwen2.5-Omni-7B相当，而且在利用50%的模型大小的情况下，能够保留InteractiveOmni-8B的97%的性能。InteractiveOmni在图像、音频、视频理解和语音生成任务上，与同等规模的模型相比达到了最先进的水平，是一个面向下一代智能交互系统的开放、开源的基础平台。

论文及项目相关链接

PDF

摘要

介绍了一款名为InteractiveOmni的统一跨模态大型语言模型，适用于音频视觉多轮交互。该模型范围从4B到8B参数，旨在为轻型模型领域提供全面的跨模态理解和语音生成能力。通过整合视觉编码器、音频编码器、大型语言模型和语音解码器，实现理解和生成任务的统一模型。采用分阶段训练策略，确保模型具备稳健的跨模态能力，包括先进行全面理解预训练，然后进行语音对话和视听交互的后训练。通过精心挑选的多轮训练数据集，赋予模型类似人类的长时对话能力。为有效评估多轮记忆和语音交互能力，建立了多模态多轮记忆基准测试和多轮语音交互基准测试。实验表明，InteractiveOmni显著优于领先开源模型，提供更为智能的多轮视听体验，尤其在长期记忆能力方面。值得注意的是，InteractiveOmni-4B在通用基准测试上的表现与更大的模型如Qwen2.5-Omni-7B相当，并在仅使用50%模型大小的情况下仍能保持97%的性能。InteractiveOmni在图像、音频、视频理解和语音生成任务上达到同类模型的最佳水平，是下一代智能交互系统的开放源代码基础。

关键见解

1. InteractiveOmni是一个统一跨模态的大型语言模型，支持音频视觉多轮交互。
2. 模型具备从4B到8B参数范围的能力，旨在提供全面的跨模态理解和语音生成。
3. 通过整合多个组件（视觉编码器、音频编码器、大型语言模型和语音解码器）实现理解和生成任务的统一。
4. 采用分阶段训练策略确保跨模态能力，包括预训练和针对视听交互的后训练。
5. 多轮训练数据集增强了模型处理复杂多轮交互的能力。
6. 建立了多模态多轮记忆基准测试和多轮语音交互基准测试来评估模型性能。

Cool Papers

点此查看论文截图

Deflanderization for Game Dialogue: Balancing Character Authenticity with Task Execution in LLM-based NPCs

Authors:Pasin Buakhaw, Kun Kerdthaisong, Phuree Phenhiran, Pitikorn Khlaisamniang, Supasate Vorathammathorn, Piyalitt Ittichaiwong, Nutchanon Yongsatianchot

The emergence of large language models (LLMs) has opened new opportunities for cre- ating dynamic non-player characters (NPCs) in gaming environments, enabling both func- tional task execution and persona-consistent dialogue generation. In this paper, we (Tu_Character_lab) report our participation in the Commonsense Persona-Grounded Dialogue Challenge (CPDC) 2025 Round 2, which eval- uates agents across three tracks: task-oriented dialogue, context-aware dialogue, and their integration. Our approach combines two complementary strategies: (i) lightweight prompting techniques in the API track, including a Deflanderization prompting method to suppress excessive role-play and improve task fidelity, and (ii) fine-tuned large models in the GPU track, leveraging Qwen3-14B with supervisedfinetuning (SFT) and Low-Rank Adaptation(LoRA). Our best submissions ranked 2nd on Task 1, 2nd on Task 3 (API track), and 4th on Task 3 (GPU track).

大型语言模型（LLM）的出现为游戏环境中创建动态非玩家角色（NPC）带来了新的机会，使功能任务执行和人格一致的对话生成成为可能。我们在本文中（Tu_Character_lab）报告了参加Commonsense Persona-Grounded Dialogue Challenge（CPDC）2025年第二轮的情况，该挑战对面向任务的对话、基于上下文的对话以及二者的整合三个方面评估了智能体。我们的方法结合了两种互补的策略：（i）API轨道中的轻量级提示技术，包括一种Deflanderization提示方法，以抑制过多的角色扮演并提高任务保真度；（ii）GPU轨道中微调的大型模型，利用Qwen3-14B进行有监督微调（SFT）和低秩适应（LoRA）。我们的最佳提交在任务1中排名第二，在任务3（API轨道）中排名第二，在任务3（GPU轨道）中排名第四。

论文及项目相关链接

PDF

Summary

大型语言模型（LLM）的兴起为游戏环境中创建动态非玩家角色（NPC）提供了新的机会，支持功能任务执行和个性一致的对话生成。本文（Tu_Character_lab）报告了我们参加Commonsense Persona-Grounded Dialogue Challenge（CPDC）2025年第二轮的情况，评估了面向任务的对话、面向上下文的对话以及两者的整合三个方面的能力。我们的方法结合了两种互补的策略：一是API轨道中的轻量级提示技术，包括Deflanderization提示方法来抑制过多的角色扮演并提高任务保真度；二是GPU轨道中的精细调整大型模型，利用Qwen3-14B进行有监督微调（SFT）和低秩适应（LoRA）。我们的最佳成绩在任务1和任务3（API轨道）中获得第二名，在任务3（GPU轨道）中获得第四名。

Key Takeaways

1. 大型语言模型（LLM）为游戏环境中创建动态非玩家角色（NPC）带来新机会，支持功能任务执行和个性一致的对话生成。
2. 报告参与了Commonsense Persona-Grounded Dialogue Challenge（CPDC），评估面向任务和上下文对话的能力。
3. 采用了两种策略：轻量级提示技术和精细调整的大型模型。
4. Deflanderization提示方法抑制过多角色扮演，提高任务保真度。
5. 利用Qwen3-14B进行有监督微调（SFT）和低秩适应（LoRA）。
6. 在任务1和任务3的API轨道中获得第二名。

Cool Papers

点此查看论文截图

D-SMART: Enhancing LLM Dialogue Consistency via Dynamic Structured Memory And Reasoning Tree

Authors:Xiang Lei, Qin Li, Min Zhang, Min Zhang

Large Language Models (LLMs) often exhibit factual inconsistencies and logical decay in extended, multi-turn dialogues, a challenge stemming from their reliance on static, pre-trained knowledge and an inability to reason adaptively over the dialogue history. Prevailing mitigation strategies, such as Retrieval-Augmented Generation (RAG) and agentic working memories, improve information recall but still engage with fundamentally static knowledge sources and follow pre-defined single reasoning path. This hinders their ability to preserve factual and logical consistency of their responses in multi-turn dialogues while the context evolves over time. To address this issue, we propose D-SMART, a model-agnostic framework designed to maintain multi-turn dialogue consistency by enabling LLMs to build and reason over a dynamic, structured representation of the conversational context. This is achieved via two synergistic components: (1) a Dynamic Structured Memory (DSM), which incrementally constructs and maintains an authoritative, OWL-compliant knowledge graph of the conversation; and (2) a Reasoning Tree (RT), which executes inferences as an explicit and traceable multi-step search over the graph. As the popular-used quality score (judged by GPT-4) can overlook logical flaws, we introduce new NLI-based metrics to better measure multi-turn dialogue consistency. Comprehensive experiments on the MT-Bench-101 benchmark show that D-SMART significantly outperforms state-of-the-art baselines, elevating the dialogue consistency score by over 48% for both proprietary and open-source models, and notably improves the quality score of the latter by up to 10.1%.

大型语言模型（LLM）在扩展的多轮对话中经常表现出事实性不一致和逻辑衰退的挑战，这一挑战源于它们对静态预训练知识的依赖，以及无法在对话历史中进行适应性推理的能力。流行的缓解策略，如检索增强生成（RAG）和代理工作记忆，虽然提高了信息回忆能力，但仍然涉及从根本上使用静态知识源和遵循预先定义的单一推理路径。这限制了它们在多轮对话中保持事实和逻辑一致性回应的能力，而上下文随着时间的推移而发展。为了解决这一问题，我们提出了D-SMART，这是一个模型无关框架，旨在通过使LLM构建和在对话上下文的动态结构表示上进行推理，来保持多轮对话的一致性。这是通过两个协同组件实现的：（1）动态结构化内存（DSM），它增量地构建和维护一个权威的、符合OWL标准的知识图；（2）推理树（RT），它在图形上执行明确且可追踪的多步搜索来执行推断。由于流行的质量评分（由GPT-4判断）可能会忽略逻辑错误，我们引入了新的基于自然语言推理的度量标准来更好地衡量多轮对话的一致性。在MT-Bench-101基准测试上的全面实验表明，D-SMART显著优于最新基线，在专有和开源模型方面都将对话一致性得分提高了48%以上，并显著提高了后者的质量得分，最高提高了10.1%。

论文及项目相关链接

PDF 8 pages, 6 figures (main content); 25 pages, 18 figures (total)

Summary

大型语言模型在多轮对话中常出现事实性不一致和逻辑衰退的问题，这是因为它们依赖于静态的预训练知识，无法根据对话历史进行适应性推理。当前缓解策略如检索增强生成和代理工作记忆等，虽然提高了信息回忆能力，但仍受限于静态知识源和预设的单一推理路径。为解决这一问题，本文提出了D-SMART框架，通过构建动态结构化表示来维护多轮对话的一致性。它包含两个协同组件：动态结构化内存和推理树。实验结果显示，D-SMART显著优于现有基线，提高了对话一致性得分。

Key Takeaways

1. 大型语言模型在多轮对话中面临事实性不一致和逻辑衰退的挑战。
2. 当前缓解策略受限于静态知识源和预设的单一推理路径。
3. D-SMART框架通过构建动态结构化表示来维护多轮对话的一致性。
4. D-SMART包含两个协同组件：动态结构化内存（DSM）和推理树（RT）。
5. DSM构建并维护了权威且符合OWL标准的知识图。
6. RT执行对知识图的推理过程，以追踪推理步骤。

Cool Papers

点此查看论文截图

EduDial: Constructing a Large-scale Multi-turn Teacher-Student Dialogue Corpus

Authors:Shouang Wei, Min Zhang, Xin Lin, Bo Jiang, Zhongxiang Dai, Kun Kuang

Recently, several multi-turn dialogue benchmarks have been proposed to evaluate the conversational abilities of large language models (LLMs). As LLMs are increasingly recognized as a key technology for advancing intelligent education, owing to their ability to deeply understand instructional contexts and provide personalized guidance, the construction of dedicated teacher-student dialogue benchmarks has become particularly important. To this end, we present EduDial, a comprehensive multi-turn teacher-student dialogue dataset. EduDial covers 345 core knowledge points and consists of 34,250 dialogue sessions generated through interactions between teacher and student agents. Its design is guided by Bloom’s taxonomy of educational objectives and incorporates ten questioning strategies, including situational questioning, zone of proximal development (ZPD) questioning, and metacognitive questioning-thus better capturing authentic classroom interactions. Furthermore, we design differentiated teaching strategies for students at different cognitive levels, thereby providing more targeted teaching guidance. Building on EduDial, we further develop EduDial-LLM 32B via training and propose an 11-dimensional evaluation framework that systematically measures the teaching abilities of LLMs, encompassing both overall teaching quality and content quality. Experiments on 17 mainstream LLMs reveal that most models struggle in student-centered teaching scenarios, whereas our EduDial-LLM achieves significant gains, consistently outperforming all baselines across all metrics. The code is available at https://github.com/Mind-Lab-ECNU/EduDial/tree/main.

最近，为了评估大型语言模型（LLM）的对话能力，已经提出了多个多轮对话基准测试。由于LLM因其深入理解教学上下文和提供个性化指导的能力而越来越被公认为是推动智能教育的关键技术，因此构建专用的师生对话基准测试变得尤为重要。为此，我们推出了EduDial，这是一个全面的多轮师生对话数据集。EduDial涵盖了345个核心知识点，包含了由教师和学生代理互动生成的34,250个对话会话。其设计以布鲁姆的教育目标分类学为指导，融合了十种提问策略，包括情境提问、最近发展区（ZPD）提问和元认知提问等，从而更好地捕捉真实的课堂互动。此外，我们还为不同认知层次的学生设计了差异化的教学策略，从而提供更针对性的教学指导。基于EduDial，我们进一步通过训练开发了EduDial-LLM 32B，并提出了一个11维度的评估框架，系统地衡量LLM的教学能力，包括整体教学质量和内容质量。在17个主流LLM上的实验表明，大多数模型在学生中心的教学场景中表现挣扎，而我们的EduDial-LLM在所有指标上都显著超越了所有基线。代码可在https://github.com/Mind-Lab-ECNU/EduDial/tree/main上获取。

论文及项目相关链接

PDF

Summary

本文介绍了一个全面的教师学生多轮对话数据集EduDial的提出。该数据集包含34,250个对话会话，涵盖教育目标的不同知识领域，用于评估大语言模型在智能教育中的表现。数据集通过设计差异化的教学策略和包含多种问答策略来模拟真实课堂互动。基于EduDial数据集，提出了一个包含多个维度的评价框架来评估语言模型的教学能力，并通过实验验证了大多数模型在学生中心的教学场景中的挑战以及EduDial-LLM的优势。数据集代码已公开。

Key Takeaways

• 介绍了一种新的教师学生多轮对话数据集EduDial，旨在评估大语言模型在智能教育中的表现。
• 数据集涵盖多种教育知识领域，包括不同的核心知识点和真实课堂互动场景。
• 数据集通过模拟真实课堂互动来模拟真实对话环境，包括多种问答策略和差异化的教学策略。
• 基于EduDial数据集提出了一个全面的评价框架，以评估语言模型的教学能力，并涵盖整体教学质量和内容质量。

Cool Papers

点此查看论文截图

Trustworthy Retrosynthesis: Eliminating Hallucinations with a Diverse Ensemble of Reaction Scorers

Authors:Michal Sadowski, Tadija Radusinović, Maria Wyrzykowska, Lukasz Sztukiewicz, Jan Rzymkowski, Paweł Włodarczyk-Pruszyński, Mikołaj Sacha, Piotr Kozakowski, Ruard van Workum, Stanislaw Kamil Jastrzebski

Retrosynthesis is one of the domains transformed by the rise of generative models, and it is one where the problem of nonsensical or erroneous outputs (hallucinations) is particularly insidious: reliable assessment of synthetic plans is time-consuming, with automatic methods lacking. In this work, we present RetroTrim, a retrosynthesis system that successfully avoids nonsensical plans on a set of challenging drug-like targets. Compared to common baselines in the field, our system is not only the sole method that succeeds in filtering out hallucinated reactions, but it also results in the highest number of high-quality paths overall. The key insight behind RetroTrim is the combination of diverse reaction scoring strategies, based on machine learning models and existing chemical databases. We show that our scoring strategies capture different classes of hallucinations by analyzing them on a dataset of labeled retrosynthetic intermediates. This approach formed the basis of our winning solution to the Standard Industries $1 million Retrosynthesis Challenge. To measure the performance of retrosynthesis systems, we propose a novel evaluation protocol for reactions and synthetic paths based on a structured review by expert chemists. Using this protocol, we compare systems on a set of 32 novel targets, curated to reflect recent trends in drug structures. While the insights behind our methodology are broadly applicable to retrosynthesis, our focus is on targets in the drug-like domain. By releasing our benchmark targets and the details of our evaluation protocol, we hope to inspire further research into reliable retrosynthesis.

回溯合成是受益于生成模型崛起而变革的领域之一，在这一领域中，无意义或错误输出（幻觉）的问题尤为隐蔽：对合成计划进行可靠的评估非常耗时，而且缺乏自动方法。在这项工作中，我们提出了RetroTrim，一个成功避免针对一系列具有挑战性的类似药物的回溯合成计划的无意义性的系统。与这一领域的常见基线相比，我们的系统不仅是唯一能够成功过滤幻觉反应的方法，而且还总体上产生了最高数量的高质量路径。RetroTrim背后的关键见解是结合基于机器学习模型和现有化学数据库的多种反应评分策略。我们通过分析一组标记的回溯合成中间体数据集来证明我们的评分策略能够捕获不同类型的幻觉。这种方法构成了我们在标准工业百万美元回溯合成挑战赛中获得冠军解决方案的基础。为了衡量回溯合成系统的性能，我们提出了基于专家化学家结构化审查的反应和合成路径的新型评估协议。使用这个协议，我们在一组精选的32个新目标上比较了系统，以反映药物结构的最新趋势。虽然我们的方法背后的见解普遍适用于回溯合成，但我们关注的是类似药物的目标领域。通过发布我们的基准目标和评估协议的细节，我们希望激发对可靠回溯合成的进一步研究。

论文及项目相关链接

PDF

Summary

本文介绍了RetrosTrim这一避免生成非合理合成计划（hallucination）的回顾合成系统。该系统结合机器学习模型和现有化学数据库的不同反应评分策略，成功过滤出hallucinated反应，生成高质量路径的数量也最多。此系统在Standard Industries的百万美元回顾合成挑战中赢得胜利。提出一种新型的反应和合成路径评估协议，该协议由专家化学家进行结构化审查，用于衡量回顾合成系统的性能。

Key Takeaways

1. RetroTrim系统成功避免了生成非合理合成计划（hallucination），在挑战性药物类目标上表现优异。
2. 通过结合机器学习模型和现有化学数据库的不同反应评分策略，RetroTrim能够过滤出错误的反应，同时生成更多高质量路径。
3. RetroTrim在Standard Industries的百万美元回顾合成挑战中获胜，证明了其有效性。
4. 提出一种新的评估协议，该协议由专家化学家进行结构化审查，以衡量回顾合成系统的性能。
5. 该评估协议在32个新型目标上比较系统性能，这些目标反映了药物结构最近的趋势。
6. 虽然该方法背后的见解适用于回顾合成，但其重点是对药物类目标的关注。

Cool Papers

点此查看论文截图

Do Audio LLMs Really LISTEN, or Just Transcribe? Measuring Lexical vs. Acoustic Emotion Cues Reliance

Authors:Jingyi Chen, Zhimeng Guo, Jiyun Chun, Pichao Wang, Andrew Perrault, Micha Elsner

Understanding emotion from speech requires sensitivity to both lexical and acoustic cues. However, it remains unclear whether large audio language models (LALMs) genuinely process acoustic information or rely primarily on lexical content. We present LISTEN (Lexical vs. Acoustic Speech Test for Emotion in Narratives), a controlled benchmark designed to disentangle lexical reliance from acoustic sensitivity in emotion understanding. Across evaluations of six state-of-the-art LALMs, we observe a consistent lexical dominance. Models predict “neutral” when lexical cues are neutral or absent, show limited gains under cue alignment, and fail to classify distinct emotions under cue conflict. In paralinguistic settings, performance approaches chance. These results indicate that current LALMs largely “transcribe” rather than “listen,” relying heavily on lexical semantics while underutilizing acoustic cues. LISTEN offers a principled framework for assessing emotion understanding in multimodal models.

从语音中理解情绪需要对词汇和声音线索都有敏锐的洞察力。然而，尚不清楚大型音频语言模型（LALM）是否真的处理声音信息，还是主要依赖词汇内容。我们推出了LISTEN（用于叙事中的情绪理解的词汇与声音测试），这是一个受控基准测试，旨在从情感理解中解开词汇依赖和声音敏感度的关系。在对六种最先进的LALM进行评估时，我们观察到词汇占主导的一贯性。当词汇线索中性或缺失时，模型预测“中性”，在线索对齐的情况下表现有限，并在线索冲突的情况下无法区分不同的情绪。在副语言环境中，性能接近偶然。这些结果表明，当前的LALM主要进行“转录”而非“聆听”，它们严重依赖词汇语义，而未能充分利用声音线索。LISTEN为评估多模式模型中的情感理解提供了一个有原则性的框架。

论文及项目相关链接

PDF

Summary

基于语音理解情绪需要对词汇和声音线索都有敏感性。然而，尚不清楚大型音频语言模型（LALM）是否真的处理声音信息，还是主要依赖词汇内容。我们提出了LISTEN（用于叙事中情绪理解的词汇与声音测试），这是一个受控基准测试，旨在解开情绪理解中对词汇依赖和声音敏感性的纠缠。在对六种最先进的LALM的评估中，我们发现了一致的词汇主导现象。当词汇线索中性或缺失时，模型预测“中性”，在线索对齐时表现有限，并在线索冲突时无法区分不同的情绪。在副语言环境中，性能接近机会水平。这些结果表明，当前的LALM主要是“转录”而非“聆听”，过于依赖词汇语义，而未能充分利用声音线索。LISTEN提供了一个评估多模式模型中情感理解的框架。

Key Takeaways

1. LALMs在理解情绪时主要依赖词汇内容，而非声音信息。
2. 在词汇线索缺失或不明确时，模型难以准确预测情绪。
3. 模型在面临词汇与声音线索冲突时，无法准确区分不同情绪。
4. 在副语言环境中，模型的性能表现较差。
5. 当前LALM在处理情感分析时更倾向于“转录”而非真正“聆听”。
6. LISTEN基准测试有助于评估模型对声音信息的利用程度。

Cool Papers

点此查看论文截图

The Speech-LLM Takes It All: A Truly Fully End-to-End Spoken Dialogue State Tracking Approach

Authors:Nizar El Ghazal, Antoine Caubrière, Valentin Vielzeuf

This paper presents a comparative study of context management strategies for end-to-end Spoken Dialog State Tracking using Speech-LLMs. We systematically evaluate traditional multimodal context (combining text history and spoken current turn), full spoken history, and compressed spoken history approaches. Our experiments on the SpokenWOZ corpus demonstrate that providing the full spoken conversation as input yields the highest performance among models of similar size, significantly surpassing prior methods. Furthermore, we show that attention-pooling-based compression of the spoken history offers a strong trade-off, maintaining competitive accuracy with reduced context size. Detailed analysis confirms that improvements stem from more effective context utilization.

本文对比研究了利用Speech-LLMs进行端到端口语对话状态跟踪的上下文管理策略。我们系统地评估了传统多模态上下文（结合文本历史和口语当前轮次）、全口语历史以及压缩口语历史方法。我们在SpokenWOZ语料库上的实验表明，提供全口语对话作为输入在类似大小的模型中表现最佳，显著超越了以前的方法。此外，我们还展示了基于注意力池化的口语历史压缩具有很强的折衷性，能够在减少上下文大小的同时保持竞争力准确度。详细分析证实，改进来自于更有效的上下文利用。

论文及项目相关链接

PDF

Summary

本文对比研究了利用Speech-LLMs进行端到端口语对话状态追踪的上下文管理策略。系统评估了传统多模式上下文（结合文本历史和口语当前轮次）、全口语历史以及压缩口语历史等方法。在SpokenWOZ语料库上的实验表明，提供全口语对话作为输入在相似规模的模型中表现最佳，显著超越了先前的方法。此外，基于注意力池化的口语历史压缩在保持竞争准确性的同时，减少了上下文大小。

Key Takeaways

1. 文章对比了不同的上下文管理策略在Spoken Dialog State Tracking中的表现。
2. 全口语历史作为输入在相似规模的模型中表现最佳。
3. 提供了一种基于注意力池化的口语历史压缩方法，实现了准确性和上下文大小的良好平衡。
4. 实验在SpokenWOZ语料库上进行，证明了所提供方法的有效性。
5. 文章详细分析了不同方法在提高性能方面的差异，指出改进主要来源于更有效的上下文利用。
6. 对比了传统多模式上下文与全口语历史的差异，显示了全口语历史在口语对话状态追踪中的优势。

Cool Papers

点此查看论文截图

Prime Implicant Explanations for Reaction Feasibility Prediction

Authors:Klaus Weinbauer, Tieu-Long Phan, Peter F. Stadler, Thomas Gärtner, Sagar Malhotra

Machine learning models that predict the feasibility of chemical reactions have become central to automated synthesis planning. Despite their predictive success, these models often lack transparency and interpretability. We introduce a novel formulation of prime implicant explanations–also known as minimally sufficient reasons–tailored to this domain, and propose an algorithm for computing such explanations in small-scale reaction prediction tasks. Preliminary experiments demonstrate that our notion of prime implicant explanations conservatively captures the ground truth explanations. That is, such explanations often contain redundant bonds and atoms but consistently capture the molecular attributes that are essential for predicting reaction feasibility.

预测化学反应可行性的机器学习模型已成为自动化合成规划的核心。尽管这些模型在预测方面取得了成功，但它们通常缺乏透明度和可解释性。我们针对此领域引入了新型主要隐含解释（也称为最小充分理由）的表述，并提出了一种用于小规模反应预测任务中计算此类解释内容的算法。初步实验表明，我们的主要隐含解释概念能够很好地捕捉实际解释内容。也就是说，这些解释通常包含冗余的键和原子，但始终能够捕捉到预测反应可行性所必需的分子属性。

论文及项目相关链接

PDF Presented at AIMLAI workshop at ECMLPKDD 2025

Summary

本文介绍了机器学习模型在预测化学反应可行性方面的核心作用，并指出了这些模型缺乏透明度和解释性的问题。为此，研究团队提出了一种针对该领域的新型质数隐涵解释法（即最小充分理由），并提出了一种用于计算小型反应预测任务的算法。初步实验表明，该质数隐涵解释法虽然有时包含冗余键和原子，但始终能捕捉到预测反应可行性的关键分子属性。

Key Takeaways

• 机器学习模型在预测化学反应可行性方面起到核心作用。
• 现有模型缺乏透明度和解释性。
• 引入了一种新型质数隐涵解释法，用于解释预测化学反应的模型决策。
• 提出了一种计算小型反应预测任务的算法。
• 初步实验表明，质数隐涵解释法能够捕捉到预测反应可行性的关键分子属性。
• 质数隐涵解释有时会包含冗余信息，但总体上能准确反映模型决策的核心要素。

Cool Papers

点此查看论文截图

DiaCDM: Cognitive Diagnosis in Teacher-Student Dialogues using the Initiation-Response-Evaluation Framework

Authors:Rui Jia, Yuang Wei, Ruijia Li, Yuan-Hao Jiang, Xinyu Xie, Yaomin Shen, Min Zhang, Bo Jiang

While cognitive diagnosis (CD) effectively assesses students’ knowledge mastery from structured test data, applying it to real-world teacher-student dialogues presents two fundamental challenges. Traditional CD models lack a suitable framework for handling dynamic, unstructured dialogues, and it’s difficult to accurately extract diagnostic semantics from lengthy dialogues. To overcome these hurdles, we propose DiaCDM, an innovative model. We’ve adapted the initiation-response-evaluation (IRE) framework from educational theory to design a diagnostic framework tailored for dialogue. We also developed a unique graph-based encoding method that integrates teacher questions with relevant knowledge components to capture key information more precisely. To our knowledge, this is the first exploration of cognitive diagnosis in a dialogue setting. Experiments on three real-world dialogue datasets confirm that DiaCDM not only significantly improves diagnostic accuracy but also enhances the results’ interpretability, providing teachers with a powerful tool for assessing students’ cognitive states. The code is available at https://github.com/Mind-Lab-ECNU/DiaCDM/tree/main.

认知诊断（CD）能够从结构化测试数据中有效地评估学生对知识的掌握情况，但将其应用于现实世界的师生对话时，会面临两个基本挑战。传统CD模型缺乏处理动态、非结构化对话的合适框架，并且很难从冗长的对话中准确提取诊断语义。为了克服这些障碍，我们提出了DiaCDM这一创新模型。我们根据教育理论的启动-响应-评估（IRE）框架，设计了一个专为对话量身定制的诊断框架。我们还开发了一种独特的基于图的编码方法，将教师的问题与相关的知识成分结合起来，以更精确地捕获关键信息。据我们所知，这是对话环境中认知诊断的首次探索。在三个真实世界对话数据集上的实验证实，DiaCDM不仅显著提高诊断精度，还提高了结果的可解释性，为教师评估学生的认知状态提供了有力工具。代码可在https://github.com/Mind-Lab-ECNU/DiaCDM/tree/main上找到。

论文及项目相关链接

PDF

Summary

基于认知诊断（CD）能有效评估学生在结构化测试中的数据掌握程度，但当将其应用于真实的师生对话中时，存在两大挑战。传统的CD模型缺乏处理动态、非结构化对话的适当框架，且难以从冗长的对话中准确提取诊断语义。为克服这些困难，我们提出了DiaCDM这一创新模型。我们根据教育理论的启动-响应-评估（IRE）框架，设计了一个专为对话设计的诊断框架。同时，我们开发了一种独特的基于图的编码方法，将教师问题与相关知识成分相结合，更精确地捕捉关键信息。据我们所知，这是对话设置中认知诊断的首次探索。在三个真实对话数据集上的实验证实，DiaCDM不仅显著提高诊断准确性，还提高了结果的解释性，为老师提供了评估学生认知状态的强大工具。

Key Takeaways

1. 认知诊断在真实师生对话中面临两大挑战：处理动态、非结构化对话的困难，以及从冗长对话中准确提取诊断语义的难题。
2. DiaCDM模型通过结合教育理论的启动-响应-评估（IRE）框架，为对话设计了一个专属的诊断框架。
3. DiaCDM采用了基于图的编码方法，将教师问题与相关知识成分结合，更精准地捕捉关键信息。
4. DiaCDM是首次在对话设置中进行认知诊断的探索。
5. DiaCDM在三个真实对话数据集上的实验表明，其能显著提高诊断准确性和结果的解释性。
6. DiaCDM为教师提供了评估学生认知状态的强大工具。

Cool Papers

点此查看论文截图

DoctorAgent-RL: A Multi-Agent Collaborative Reinforcement Learning System for Multi-Turn Clinical Dialogue

Authors:Yichun Feng, Jiawei Wang, Lu Zhou, Zhen Lei, Yixue Li

Large language models (LLMs) have demonstrated excellent capabilities in the field of biomedical question answering, but their application in real-world clinical consultations still faces core challenges. Single-round consultation systems require patients to describe all symptoms upfront, leading to vague diagnosis with unclear complaints. Traditional multi-turn dialogue models, constrained by static supervised learning, lack flexibility and fail to intelligently extract key clinical information. To address these limitations, we propose \Ours{}, a reinforcement learning (RL)-based multi-agent collaborative framework that models medical consultations as a dynamic decision-making process under uncertainty. The doctor agent continuously optimizes its questioning strategy within the RL framework through multi-turn interactions with the patient agent, dynamically adjusting its information-gathering path based on comprehensive rewards from the Consultation Evaluator. This RL fine-tuning mechanism enables LLMs to autonomously develop interaction strategies aligned with clinical reasoning logic, rather than superficially imitating patterns in existing dialogue data. Notably, we constructed MTMedDialog, the first English multi-turn medical consultation dataset capable of simulating patient interactions. Experiments demonstrate that \Ours{} outperforms existing models in both multi-turn reasoning capability and final diagnostic performance. This approach shows immense practical value by reducing misdiagnosis risks in time-pressured settings, freeing clinicians for complex cases, and pioneering a strategy to optimize medical resource allocation and alleviate workforce shortages. Code and data are available at https://github.com/JarvisUSTC/DoctorAgent-RL

大型语言模型（LLM）在生物医学问答领域表现出了卓越的能力，但它们在现实世界的临床咨询中的应用仍面临核心挑战。单轮咨询系统要求患者一次性描述所有症状，导致诊断模糊，投诉不明确。受静态监督学习限制的传统多轮对话模型，缺乏灵活性，无法智能提取关键临床信息。为了解决这些限制，我们提出了\Ours{}，这是一个基于强化学习（RL）的多智能体协作框架，它将医疗咨询建模为不确定环境下的动态决策过程。医生智能体通过在RL框架内与病人智能体进行多轮互动，不断地优化其提问策略，并根据咨询评估者的综合奖励动态调整其信息收集路径。这种RL微调机制使LLM能够自主发展符合临床推理逻辑的互动策略，而不是简单地模仿现有对话数据中的模式。值得注意的是，我们构建了MTMedDialog，这是第一个能够模拟病人互动的英文多轮医疗咨询数据集。实验表明，\Ours{}在多轮推理能力和最终诊断性能上优于现有模型。这种方法在减少时间压力下误诊风险、解放临床医生处理复杂病例、优化医疗资源配置和缓解劳动力短缺等方面展现出巨大的实用价值。代码和数据集可在https://github.com/JarvisUSTCT/DoctorAgent-RL找到。

论文及项目相关链接

PDF

Summary

大型语言模型在生物医学问答领域表现出卓越的能力，但在现实临床咨询中的应用仍面临核心挑战。为解决单轮咨询系统模糊诊断及传统多轮对话模型缺乏灵活性的问题，我们提出了基于强化学习的多智能体协作框架\Ours{}，将医疗咨询建模为不确定环境下的动态决策过程。医生智能体通过强化学习与患者智能体进行多轮互动，并根据咨询评估者的综合奖励动态调整信息收集路径。这一机制使语言模型能够自主发展符合临床推理逻辑的交流策略，而非简单模仿现有对话数据中的模式。实验证明，\Ours{}在多轮推理能力和最终诊断性能上均优于现有模型，降低了时间紧迫环境下的误诊风险，解放了临床医生处理复杂案例的时间，并为优化医疗资源配置和缓解劳动力短缺问题提供了策略。

Key Takeaways

1. 大型语言模型在生物医学问答中表现出卓越能力，但应用于现实临床咨询时存在挑战。
2. 单轮咨询系统导致模糊诊断，传统多轮对话模型缺乏灵活性。
3. \Ours{}基于强化学习，将医疗咨询建模为动态决策过程。
4. 医生智能体通过强化学习优化提问策略，与患者智能体进行多轮互动。
5. 强化学习机制使语言模型能自主发展符合临床推理逻辑的交流策略。
6. \Ours{}在多轮推理和诊断性能上优于现有模型。

Cool Papers

点此查看论文截图