LLM

⚠️ 以下所有内容总结都来自于 大语言模型的能力，如有错误，仅供参考，谨慎使用
🔴 请注意：千万不要用于严肃的学术场景，只能用于论文阅读前的初筛！
💗 如果您觉得我们的项目对您有帮助 ChatPaperFree ，还请您给我们一些鼓励！⭐️ HuggingFace免费体验

2025-10-03 更新

Beyond the Algorithm: A Field Guide to Deploying AI Agents in Clinical Practice

Authors:Jack Gallifant, Katherine C. Kellogg, Matt Butler, Amanda Centi, Shan Chen, Patrick F. Doyle, Sayon Dutta, Joyce Guo, Matthew J. Hadfield, Esther H. Kim, David E. Kozono, Hugo JWL Aerts, Adam B. Landman, Raymond H. Mak, Rebecca G. Mishuris, Tanna L. Nelson, Guergana K. Savova, Elad Sharon, Benjamin C. Silverman, Umit Topaloglu, Jeremy L. Warner, Danielle S. Bitterman

Large language models (LLMs) integrated into agent-driven workflows hold immense promise for healthcare, yet a significant gap exists between their potential and practical implementation within clinical settings. To address this, we present a practitioner-oriented field manual for deploying generative agents that use electronic health record (EHR) data. This guide is informed by our experience deploying the “irAE-Agent”, an automated system to detect immune-related adverse events from clinical notes at Mass General Brigham, and by structured interviews with 20 clinicians, engineers, and informatics leaders involved in the project. Our analysis reveals a critical misalignment in clinical AI development: less than 20% of our effort was dedicated to prompt engineering and model development, while over 80% was consumed by the sociotechnical work of implementation. We distill this effort into five “heavy lifts”: data integration, model validation, ensuring economic value, managing system drift, and governance. By providing actionable solutions for each of these challenges, this field manual shifts the focus from algorithmic development to the essential infrastructure and implementation work required to bridge the “valley of death” and successfully translate generative AI from pilot projects into routine clinical care.

大型语言模型（LLM）被集成到代理驱动的工作流中，为医疗保健领域带来了巨大的潜力。然而，在临床环境中，它们的潜力与实际实施之间存在很大的差距。为了解决这一问题，我们面向实践者推出了使用电子健康记录（EHR）数据的生成代理部署现场手册。本指南的撰写参考了我们部署“irAE-Agent”的经验，这是一个在Mass General Brigham从临床笔记中检测免疫相关不良事件的自动化系统。此外，我们还参考了对参与该项目的20名临床医生、工程师和信息技术领导的结构性访谈。我们的分析揭示了临床人工智能发展中的关键不匹配问题：我们的努力中不到20%致力于即时工程和模型开发，而超过80%的努力却用于实施的社会技术工作。我们将这一努力归纳为五项“重点任务”：数据集成、模型验证、确保经济价值、管理系统漂移和治理。通过为这些挑战提供可行的解决方案，这本现场手册将重点从算法开发转向必要的基础设施和实施工作，以填补“死亡之谷”，成功地将生成式人工智能从试点项目转化为常规的医疗服务。

论文及项目相关链接

PDF Under review. 5 Tables, 2 Figures

Summary

大型语言模型（LLM）在医疗领域具有巨大潜力，但其在临床环境中的实际应用与其潜力之间存在较大差距。为解决这一问题，本文提供了一本面向实践的领域手册，介绍如何部署使用电子健康记录（EHR）数据的生成代理。该手册基于部署“irAE-Agent”系统的经验，该系统用于从临床笔记中自动检测与免疫相关的不良事件。通过对20名参与该项目的临床医生、工程师和信息技术领导的结构性访谈，发现临床人工智能开发中存在关键的不匹配问题：仅不到20%的努力用于即时工程开发和模型开发，而超过80%的努力被实施的社技术工作所占据。手册提出了解决这五个挑战的可操作方案：数据集成、模型验证、确保经济价值、管理系统漂移和治理。重点从算法开发转向必要的基础设施和实施工作，以成功将生成式人工智能从试点项目转化为常规临床护理。

Key Takeaways

1. 大型语言模型（LLM）在医疗领域具有巨大潜力，但实际应用与潜力之间存在差距。
2. 部署生成代理系统需要使用电子健康记录（EHR）数据。
3. 临床人工智能开发中存在关键不匹配问题，即算法开发与实施工作的比例失衡。
4. 实施工作中存在五个主要挑战：数据集成、模型验证、确保经济价值、管理系统漂移和治理。
5. 手册提供针对这些挑战的具体可操作解决方案。
6. 手册的焦点从算法开发转向必要的基础设施和实施工作。

Cool Papers

点此查看论文截图

Automatically Generating Web Applications from Requirements Via Multi-Agent Test-Driven Development

Authors:Yuxuan Wan, Tingshuo Liang, Jiakai Xu, Jingyu Xiao, Yintong Huo, Michael R. Lyu

Developing full-stack web applications is complex and time-intensive, demanding proficiency across diverse technologies and frameworks. Although recent advances in multimodal large language models (MLLMs) enable automated webpage generation from visual inputs, current solutions remain limited to front-end tasks and fail to deliver fully functional applications. In this work, we introduce TDDev, the first test-driven development (TDD)-enabled LLM-agent framework for end-to-end full-stack web application generation. Given a natural language description or design image, TDDev automatically derives executable test cases, generates front-end and back-end code, simulates user interactions, and iteratively refines the implementation until all requirements are satisfied. Our framework addresses key challenges in full-stack automation, including underspecified user requirements, complex interdependencies among multiple files, and the need for both functional correctness and visual fidelity. Through extensive experiments on diverse application scenarios, TDDev achieves a 14.4% improvement on overall accuracy compared to state-of-the-art baselines, demonstrating its effectiveness in producing reliable, high-quality web applications without requiring manual intervention.

开发全栈web应用程序是一项复杂且耗时的工作，需要掌握多种技术和框架。尽管最近的多模态大型语言模型（MLLMs）的进步能够实现从视觉输入自动化生成网页，但当前解决方案仅限于前端任务，无法提供完整的功能应用程序。在这项工作中，我们引入了TDDev，这是第一个支持端到端全栈web应用程序生成的大型语言模型（LLM）代理框架，具有测试驱动开发（TDD）功能。给定自然语言描述或设计图像，TDDev自动推导可执行测试用例，生成前端和后端代码，模拟用户交互，并迭代完善实现，直到满足所有要求。我们的框架解决了全栈自动化的关键挑战，包括用户要求不明确、多个文件之间的复杂相互依赖关系以及功能和视觉保真度的需求。通过对多种应用场景的广泛实验，TDDev在整体准确性方面比最新基线提高了14.4%，证明了其在无需人工干预的情况下，生产可靠、高质量web应用程序的有效性。

论文及项目相关链接

PDF

Summary
基于自然语言描述或设计图像，TDDev框架能够自动派生出可执行测试用例，生成前端和后端代码，模拟用户交互，并迭代完善实现，直至满足所有要求。它解决了全栈自动化面临的关键挑战，包括用户需求不明确、多个文件之间的复杂相互依赖关系，以及功能正确性和视觉保真度的需求。在多样化的应用场景下进行的广泛实验表明，TDDev在整体准确性方面相比最新基线有14.4%的提升，证明了其在无需人工干预的情况下，能够可靠、高质量地生成Web应用程序的有效性。

Key Takeaways

1. TDDev是一个测试驱动开发（TDD）赋能的大型语言模型（LLM）代理框架，用于端到端的全栈Web应用程序生成。
2. TDDev能够从自然语言描述或设计图像出发，自动推导可执行测试用例。
3. 该框架能够生成前端和后端代码，并模拟用户交互。
4. TDDev通过迭代完善实现，直至满足所有要求，解决了全栈自动化中的关键挑战。
5. TDDev框架处理的挑战包括用户需求不明确、多个文件间的复杂相互依赖关系，以及功能正确性和视觉保真度的需求。
6. 在多种应用场景下的广泛实验中，TDDev相比最新基线在整体准确性方面有显著的提升。

Cool Papers

点此查看论文截图

Metaphor identification using large language models: A comparison of RAG, prompt engineering, and fine-tuning

Authors:Matteo Fuoli, Weihang Huang, Jeannette Littlemore, Sarah Turner, Ellen Wilding

Metaphor is a pervasive feature of discourse and a powerful lens for examining cognition, emotion, and ideology. Large-scale analysis, however, has been constrained by the need for manual annotation due to the context-sensitive nature of metaphor. This study investigates the potential of large language models (LLMs) to automate metaphor identification in full texts. We compare three methods: (i) retrieval-augmented generation (RAG), where the model is provided with a codebook and instructed to annotate texts based on its rules and examples; (ii) prompt engineering, where we design task-specific verbal instructions; and (iii) fine-tuning, where the model is trained on hand-coded texts to optimize performance. Within prompt engineering, we test zero-shot, few-shot, and chain-of-thought strategies. Our results show that state-of-the-art closed-source LLMs can achieve high accuracy, with fine-tuning yielding a median F1 score of 0.79. A comparison of human and LLM outputs reveals that most discrepancies are systematic, reflecting well-known grey areas and conceptual challenges in metaphor theory. We propose that LLMs can be used to at least partly automate metaphor identification and can serve as a testbed for developing and refining metaphor identification protocols and the theory that underpins them.

隐喻是话语的普遍特征，是观察认知、情感和意识形态的强大工具。然而，由于隐喻的语境敏感性，大规模分析一直受到需要手动注释的制约。本研究探讨了大型语言模型（LLM）在全自动文本隐喻识别中的潜力。我们比较了三种方法：（i）检索增强生成（RAG），该方法向模型提供代码本，并指示其根据规则和示例对文本进行注释；（ii）提示工程，我们设计针对特定任务的语言指令；以及（iii）微调，在该方法中，模型在手动编码的文本上进行训练，以优化性能。在提示工程中，我们测试了零样本、少样本和链式思维策略。我们的结果表明，最先进的封闭式LLM可以达到高准确率，微调后的中位数F1分数为0.79。对比人类和LLM的输出结果显示，大多数差异是系统的，反映了隐喻理论中的灰色地带和概念挑战。我们提出，LLM至少可以部分用于自动隐喻识别，并可以作为开发和完善隐喻识别协议及其理论基础的测试平台。

论文及项目相关链接

PDF

Summary

本文主要探讨了大型语言模型（LLMs）在自动识别文本中的隐喻方面的潜力。研究比较了三种方法：检索增强生成（RAG）、提示工程设计和微调。研究结果表明，最先进的闭源LLMs可以达到高准确率，其中微调方法的F1分数中位数为0.79。对比人类和LLMs的输出结果，发现大部分差异是系统性的，反映了隐喻理论中的灰色地带和概念挑战。

Key Takeaways

1. 大型语言模型（LLMs）在自动隐喻识别方面展现出潜力。
2. 研究对比了三种隐喻识别方法：检索增强生成（RAG）、提示工程设计和微调。
3. 微调方法获得最高的F1分数中位数为0.79。
4. LLMs在隐喻识别方面可以至少部分自动化。
5. 对比人类和LLMs的输出结果，发现差异主要是系统性的，反映了隐喻理论中的已知难题。
6. LLMs可以作为开发和优化隐喻识别协议及其理论基础的测试平台。

Cool Papers

点此查看论文截图

Benchmarking LLM-Assisted Blue Teaming via Standardized Threat Hunting

Authors:Yuqiao Meng, Luoxi Tang, Feiyang Yu, Xi Li, Guanhua Yan, Ping Yang, Zhaohan Xi

As cyber threats continue to grow in scale and sophistication, blue team defenders increasingly require advanced tools to proactively detect and mitigate risks. Large Language Models (LLMs) offer promising capabilities for enhancing threat analysis. However, their effectiveness in real-world blue team threat-hunting scenarios remains insufficiently explored. This paper presents CyberTeam, a benchmark designed to guide LLMs in blue teaming practice. CyberTeam constructs a standardized workflow in two stages. First, it models realistic threat-hunting workflows by capturing the dependencies among analytical tasks from threat attribution to incident response. Next, each task is addressed through a set of operational modules tailored to its specific analytical requirements. This transforms threat hunting into a structured sequence of reasoning steps, with each step grounded in a discrete operation and ordered according to task-specific dependencies. Guided by this framework, LLMs are directed to perform threat-hunting tasks through modularized steps. Overall, CyberTeam integrates 30 tasks and 9 operational modules to guide LLMs through standardized threat analysis. We evaluate both leading LLMs and state-of-the-art cybersecurity agents, comparing CyberTeam against open-ended reasoning strategies. Our results highlight the improvements enabled by standardized design, while also revealing the limitations of open-ended reasoning in real-world threat hunting.

随着网络威胁规模和复杂性的不断增长，蓝队防御者越来越需要先进的工具来主动检测和缓解风险。大型语言模型（LLM）在增强威胁分析方面提供了有前途的能力。然而，它们在现实世界中蓝队狩猎威胁场景中的有效性尚未得到充分探索。本文提出了CyberTeam，一个用于指导LLM在蓝队实践中的基准测试。CyberTeam构建了一个标准化的工作流程，分为两个阶段。首先，它通过捕捉从威胁归因到事件响应的分析任务之间的依赖关系，对现实威胁狩猎工作流程进行建模。接下来，每个任务都通过一系列针对其特定分析要求设计的操作模块来解决。这将威胁狩猎转变为一系列结构化推理步骤，每个步骤都基于离散操作，并根据特定任务的依赖关系进行排序。在此框架的指导下，LLM通过模块化步骤执行威胁狩猎任务。总体而言，CyberTeam集成了30个任务和9个操作模块，通过标准化的威胁分析引导LLM。我们评估了领先的LLM和最新的网络安全代理，将CyberTeam与开放式推理策略进行了比较。我们的结果突出了标准化设计所带来的改进，同时也揭示了开放式推理在现实威胁狩猎中的局限性。

论文及项目相关链接

PDF

摘要
LLM在提高网络安全防护方面存在潜力，但对大规模网络威胁应对场景的应用仍存在挑战。本论文设计了一个名为CyberTeam的基准测试框架，用以引导蓝队实践中LLM的使用。该框架构建了标准化工作流程分为两个阶段：第一阶段模拟真实威胁狩猎流程，捕捉分析任务间的依赖关系；第二阶段针对每个任务定制操作模块。通过这一框架，威胁狩猎被转化为结构化推理步骤序列，每个步骤都以离散操作为基础，根据特定任务依赖关系排序。此框架引导LLM执行模块化步骤以完成威胁狩猎任务。总体评估表明，CyberTeam提升了标准化设计的优势，同时也揭示出开放式推理在现实威胁狩猎中的局限性。

关键见解

1. LLM在增强网络安全防护方面具有潜力，特别是在应对日益复杂的网络威胁方面。
2. CyberTeam基准测试框架被设计用来引导LLM在蓝队实践中的应用，以解决现实世界的网络安全威胁。
3. 该框架构建了标准化威胁狩猎工作流程，分为两个阶段，模拟真实威胁狩猎流程并定制操作模块。
4. 通过这一框架，威胁狩猎被转化为结构化推理步骤序列。
5. CyberTeam集成了30个任务和9个操作模块来指导LLM进行标准化威胁分析。
6. 评估结果显示，相较于开放式推理策略，标准化设计能带来显著改善。

Cool Papers

点此查看论文截图

Explaining multimodal LLMs via intra-modal token interactions

Authors:Jiawei Liang, Ruoyu Chen, Xianghao Jiao, Siyuan Liang, Shiming Liu, Qunli Zhang, Zheng Hu, Xiaochun Cao

Multimodal Large Language Models (MLLMs) have achieved remarkable success across diverse vision-language tasks, yet their internal decision-making mechanisms remain insufficiently understood. Existing interpretability research has primarily focused on cross-modal attribution, identifying which image regions the model attends to during output generation. However, these approaches often overlook intra-modal dependencies. In the visual modality, attributing importance to isolated image patches ignores spatial context due to limited receptive fields, resulting in fragmented and noisy explanations. In the textual modality, reliance on preceding tokens introduces spurious activations. Failing to effectively mitigate these interference compromises attribution fidelity. To address these limitations, we propose enhancing interpretability by leveraging intra-modal interaction. For the visual branch, we introduce \textit{Multi-Scale Explanation Aggregation} (MSEA), which aggregates attributions over multi-scale inputs to dynamically adjust receptive fields, producing more holistic and spatially coherent visual explanations. For the textual branch, we propose \textit{Activation Ranking Correlation} (ARC), which measures the relevance of contextual tokens to the current token via alignment of their top-$k$ prediction rankings. ARC leverages this relevance to suppress spurious activations from irrelevant contexts while preserving semantically coherent ones. Extensive experiments across state-of-the-art MLLMs and benchmark datasets demonstrate that our approach consistently outperforms existing interpretability methods, yielding more faithful and fine-grained explanations of model behavior.

多模态大型语言模型（MLLMs）在多种视觉语言任务中取得了显著的成功，但对其内部决策机制的理解仍然不足。现有的可解释性研究主要集中在跨模态归因上，识别模型在输出生成时关注哪些图像区域。然而，这些方法往往忽视了跨模态内部的依赖关系。在视觉模态中，将重要性归因于孤立的图像补丁会由于有限的感受野而忽视空间上下文，从而导致解释碎片化且嘈杂。在文本模态中，对前面令牌的依赖会产生虚假激活。无法有效缓解这些干扰会影响归因的保真度。为了解决这些局限性，我们提出通过利用跨模态内部交互来提高可解释性。对于视觉分支，我们引入了“多尺度解释聚合”（MSEA），它通过多尺度输入上的归属聚合来动态调整感受野，从而产生更全面和空间上连贯的视觉解释。对于文本分支，我们提出“激活排名相关性”（ARC），通过对其前k个预测排名的对齐来衡量上下文令牌与当前令牌的相关性。ARC利用这种相关性来抑制来自不相关上下文的虚假激活，同时保留语义连贯的激活。在先进的多模态大型语言模型和基准数据集上的大量实验表明，我们的方法始终优于现有的可解释性方法，能够提供更忠实和精细的模型行为解释。

论文及项目相关链接

PDF

Summary

本文探讨了在多模态大型语言模型（MLLMs）中提高解释性的重要性及其局限性，包括跨模态归属的不足和对模态内部依赖性的忽视。为了解决这些问题，引入了针对视觉分支的多尺度解释聚合（MSEA）和针对文本分支的激活排名相关性（ARC）。MSEA通过多尺度输入动态调整感受野，提供更全面的视觉解释；ARC通过衡量上下文词汇对当前词汇的相关性来抑制无关语境中的虚假激活，同时保留语义连贯性。实验证明，该方法在主流MLLMs和基准数据集上均优于现有解释方法，提供更准确、更精细的模型行为解释。

Key Takeaways

• MLLMs在多模态任务中表现优秀，但其内部决策机制尚不完全清楚。
• 当前解释性研究主要关注跨模态归属，忽略了模态内的依赖性。
• 多尺度解释聚合（MSEA）能解决视觉分支中因感受野有限导致的碎片化解释问题。
• 激活排名相关性（ARC）通过衡量上下文词汇对当前词汇的相关性来抑制无关语境中的虚假激活。
• MSEA和ARC方法均能有效提高模型解释性，并在实验中证明了其优越性。

Cool Papers

点此查看论文截图

Evaluating LLMs for Combinatorial Optimization: One-Phase and Two-Phase Heuristics for 2D Bin-Packing

Authors:Syed Mahbubul Huq, Daniel Brito, Daniel Sikar, Chris Child, Tillman Weyde, Rajesh Mojumder

This paper presents an evaluation framework for assessing Large Language Models’ (LLMs) capabilities in combinatorial optimization, specifically addressing the 2D bin-packing problem. We introduce a systematic methodology that combines LLMs with evolutionary algorithms to generate and refine heuristic solutions iteratively. Through comprehensive experiments comparing LLM generated heuristics against traditional approaches (Finite First-Fit and Hybrid First-Fit), we demonstrate that LLMs can produce more efficient solutions while requiring fewer computational resources. Our evaluation reveals that GPT-4o achieves optimal solutions within two iterations, reducing average bin usage from 16 to 15 bins while improving space utilization from 0.76-0.78 to 0.83. This work contributes to understanding LLM evaluation in specialized domains and establishes benchmarks for assessing LLM performance in combinatorial optimization tasks.

本文提出了一个评估框架，用于评估大型语言模型（LLM）在组合优化方面的能力，特别是解决二维装箱问题。我们介绍了一种系统方法，将LLM与进化算法相结合，迭代生成和完善启发式解决方案。通过全面的实验，我们将LLM生成的启发式方法与传统的有限制首次适应法和混合首次适应法进行比较，证明LLM能够产生更高效的解决方案，同时减少计算资源的需求。我们的评估表明，GPT-4o在两次迭代内实现了最优解决方案，平均使用箱子的数量从16个减少到15个，空间利用率从0.76-0.78提高到0.83。这项工作有助于了解在特定领域中对LLM的评估，并为评估LLM在组合优化任务中的性能建立了基准。

论文及项目相关链接

PDF 1 table, 6 figures. 39th Conference on Neural Information Processing Systems (NeurIPS 2025) Accepted for the Workshop: Evaluating the Evolving LLM Lifecycle Benchmarks, Emergent Abilities, and Scaling

Summary

本文提出一个评估框架，用于评价大型语言模型（LLM）在组合优化方面的能力，特别是解决二维装箱问题。文章介绍了一种结合LLM与进化算法的系统方法，以迭代方式生成和优化启发式解决方案。实验证明，LLM生成的启发式方法相较于传统方法（有限首次适应法和混合首次适应法）能更有效地解决问题，同时减少计算资源需求。评估显示，GPT-4o在两次迭代内达到最优解，平均减少了一个箱子使用量并提高空间利用率。本文有助于理解LLM在特定领域的评估，并为评估其在组合优化任务中的性能建立了基准。

Key Takeaways

1. 大型语言模型（LLM）可用于解决组合优化问题，特别是二维装箱问题。
2. 文章提出了结合LLM与进化算法的系统方法来解决该问题。
3. LLM生成的启发式解决方案相比传统方法更高效，并减少计算资源需求。
4. GPT-4o在解决此类问题时表现优秀，两次迭代内找到最优解。
5. GPT-4o的使用能显著降低箱子使用量并提高空间利用率。
6. 文章为理解LLM在特定领域的评估提供了洞见。

Cool Papers

点此查看论文截图

Steering When Necessary: Flexible Steering Large Language Models with Backtracking

Authors:Zifeng Cheng, Jinwei Gan, Zhiwei Jiang, Cong Wang, Yafeng Yin, Xiang Luo, Yuchen Fu, Qing Gu

Large language models (LLMs) have achieved remarkable performance across many generation tasks. Nevertheless, effectively aligning them with desired behaviors remains a significant challenge. Activation steering is an effective and cost-efficient approach that directly modifies the activations of LLMs during the inference stage, aligning their responses with the desired behaviors and avoiding the high cost of fine-tuning. Existing methods typically indiscriminately intervene to all generations or rely solely on the question to determine intervention, which limits the accurate assessment of the intervention strength. To this end, we propose the Flexible Activation Steering with Backtracking (FASB) framework, which dynamically determines both the necessity and strength of intervention by tracking the internal states of the LLMs during generation, considering both the question and the generated content. Since intervening after detecting a deviation from the desired behavior is often too late, we further propose the backtracking mechanism to correct the deviated tokens and steer the LLMs toward the desired behavior. Extensive experiments on the TruthfulQA dataset and six multiple-choice datasets demonstrate that our method outperforms baselines. Our code will be released at https://github.com/gjw185/FASB.

大型语言模型（LLM）在许多生成任务中取得了显著的成绩。然而，如何有效地将它们与期望的行为对齐仍然是一个巨大的挑战。激活控制是一种有效且成本效益高的方法，它直接在推理阶段修改LLM的激活，使它们的响应与期望的行为对齐，避免了微调的高成本。现有方法通常不加区分地干预所有生成，或仅依赖问题来确定干预，这限制了准确评估干预强度。为此，我们提出了带有回溯的灵活激活控制（FASB）框架，该框架通过跟踪LLM生成过程中的内部状态，考虑问题和生成内容，动态确定干预的必要性和强度。由于在发现偏离期望行为后再进行干预通常太晚了，因此我们进一步提出了回溯机制来纠正偏离的令牌，并将LLM转向期望的行为。在TruthfulQA数据集和六个选择题数据集上的大量实验表明，我们的方法优于基线。我们的代码将在https://github.com/gjw185/FASB发布。

论文及项目相关链接

PDF NeurIPS 2025

Summary
LLMs在各种生成任务中取得了显著的性能，但在与期望行为对齐方面仍存在挑战。激活转向是一种有效且经济实惠的方法，可在推理阶段直接修改LLM的激活，使它们的响应与期望行为对齐，避免微调的高成本。现有方法通常盲目地干预所有生成或仅依赖问题来确定干预，这限制了准确评估干预的强度。为此，我们提出了具有回溯功能的灵活激活转向（FASB）框架，该框架通过跟踪LLM的内部状态来动态确定干预的必要性和强度，同时考虑问题和生成内容。我们还提出了回溯机制来纠正偏离的令牌并引导LLM朝着期望的行为发展。在TruthfulQA数据集和六个多项选择题数据集上的实验表明，我们的方法优于基线方法。我们的代码将在链接处发布。

Key Takeaways

• LLMs在生成任务中表现出卓越性能，但在期望行为对齐方面存在挑战。
• 激活转向是一种有效且经济实惠的方法，用于在推理阶段修改LLM的激活，以实现期望的行为对齐。
• 现有方法存在盲目干预的问题，无法准确评估干预强度。
• FASB框架通过跟踪LLM的内部状态动态确定干预的必要性，同时考虑问题和生成内容。
• FASB框架引入了回溯机制来纠正偏离的令牌并引导LLM朝着期望行为发展。
• 在多个数据集上的实验表明，FASB框架的方法优于基线方法。

Cool Papers

点此查看论文截图

MetaLint: Generalizable Idiomatic Code Quality Analysis through Instruction-Following and Easy-to-Hard Generalization

Authors:Atharva Naik, Lawanya Baghel, Dhakshin Govindarajan, Darsh Agrawal, Daniel Fried, Carolyn Rose

Large Language Models, though successful in code generation, struggle with code quality analysis because they are limited by static training data and can’t easily adapt to evolving best practices. We introduce MetaLint, an instruction-following framework that formulates code quality analysis as the task of detecting and fixing problematic semantic code fragments or code idioms based on high-level specifications. Unlike conventional approaches that train models on static code quality conventions, MetaLint employs instruction tuning on synthetic linter-generated data with dynamic conventions to support easy-to-hard generalization, enabling models to adapt to novel or complex code patterns without retraining. To evaluate this, we construct a benchmark of challenging idioms inspired by real-world coding standards such as Python Enhancement Proposals (PEPs) and assess whether MetaLint-trained models reason adaptively or simply memorize. Our results show that MetaLint training improves generalization to unseen idioms. Qwen3-4B attains a 70.37% F-score on a manually curated and challenging PEP idiom detection benchmark, achieving the highest recall (70.43%) among all evaluated models. For localization, it reaches 26.73%, which is a strong outcome for its 4B parameter size and comparable to larger state-of-the-art models such as o3-mini, highlighting its potential for future-proof code quality analysis. Furthermore, MetaLint training enables generalization in idiom detection across model families, model scales, synthetic data from diverse linters, and Java idioms, demonstrating the general applicability of our approach. We plan to release our code and data to enable reproducibility and further work.

大型语言模型虽然在代码生成方面取得了成功，但在代码质量分析方面却面临挑战，因为它们受到静态训练数据的限制，无法轻易适应不断变化的最佳实践。我们引入了MetaLint，这是一个遵循指令的框架，它将代码质量分析制定为检测和修复基于高级规范的问题语义代码片段或代码惯用法的任务。与传统的在静态代码质量规范上训练模型的方法不同，MetaLint采用对合成linter生成的数据进行指令调整的方法，支持从易到难的泛化，使模型能够适应新的或复杂的代码模式，而无需重新训练。为了评估这一点，我们构建了一个以现实世界编码标准（如Python增强提案（PEPs））为灵感的挑战习语基准测试，并评估MetaLint训练的模型是适应性推理还是简单记忆。我们的结果表明，MetaLint训练可提高泛化到未见过的习语的能力。Qwen3-4B在手动整理和有挑战性的PEP习语检测基准测试上达到了70.37%的F分数，在所有评估模型中实现了最高的召回率（70.43%）。就定位而言，它达到了26.73%，这对于其4B的参数规模来说是一个强大的结果，与更大最先进的模型（如o3-mini）相当，凸显其在未来代码质量分析中的潜力。此外，MetaLint训练能够在模型家族、模型规模、来自各种linter的合成数据以及Java习语中的习语检测中实现泛化，表明了我们方法的普遍适用性。我们计划发布我们的代码和数据，以实现可重复性和进一步的工作。

论文及项目相关链接

PDF

Summary

大型语言模型在代码生成方面表现优异，但在代码质量分析方面存在挑战，受限于静态训练数据，难以适应不断变化的最佳实践。为此，我们引入了MetaLint，一种指令遵循框架，将代码质量分析制定为检测和修复基于高级规范的问题语义代码片段或代码idiom的任务。不同于传统的在静态代码质量规范上训练模型的方法，MetaLint采用基于合成linter数据生成的指令微调方法，支持从易到难的泛化，使模型能够适应新的或复杂的代码模式而无需重新训练。评估表明，MetaLint训练有助于提高未见过的idiom的泛化能力。Qwen3-4B模型在手动构建且具有挑战性的PEP idiom检测基准测试上达到了70.37%的F分数，成为所有评估模型中召回率最高的（70.43%）。对于定位任务，它达到了26.73%，对于一个4B参数大小的模型来说这是一个强大的结果，并且与最新的大型模型如o3-mini相当，凸显出其在未来代码质量分析中的潜力。此外，MetaLint训练实现了跨模型家族、模型规模、来自各种linter的合成数据和Java idiom的idiom检测泛化，展示了我们的方法的一般适用性。

Key Takeaways

1. 大型语言模型在代码质量分析方面存在挑战，因受限于静态训练数据，难以适应最佳实践的演变。
2. MetaLint框架被引入以解决这一问题，它将代码质量分析视为检测和修复问题语义代码片段或代码idiom的任务。
3. MetaLint采用基于合成linter数据生成的指令微调方法，支持模型的泛化能力，以适应新的或复杂的代码模式。
4. MetaLint训练有助于提高模型在未见过的idiom上的泛化能力。
5. Qwen3-4B模型在PEP idiom检测基准测试上表现出色，成为评估中的最佳模型。
6. MetaLint训练实现了跨模型家族、规模、合成数据和Java idiom的idiom检测泛化，显示了其广泛适用性。

Cool Papers

点此查看论文截图

Back to the Basics: Rethinking Issue-Commit Linking with LLM-Assisted Retrieval

Authors:Huihui Huang, Ratnadira Widyasari, Ting Zhang, Ivana Clairine Irsan, Jieke Shi, Han Wei Ang, Frank Liauw, Eng Lieh Ouh, Lwin Khin Shar, Hong Jin Kang, David Lo

Issue-commit linking, which connects issues with commits that fix them, is crucial for software maintenance. Existing approaches have shown promise in automatically recovering these links. Evaluations of these techniques assess their ability to identify genuine links from plausible but false links. However, these evaluations overlook the fact that, in reality, when a repository has more commits, the presence of more plausible yet unrelated commits may interfere with the tool in differentiating the correct fix commits. To address this, we propose the Realistic Distribution Setting (RDS) and use it to construct a more realistic evaluation dataset that includes 20 open-source projects. By evaluating tools on this dataset, we observe that the performance of the state-of-the-art deep learning-based approach drops by more than half, while the traditional Information Retrieval method, VSM, outperforms it. Inspired by these observations, we propose EasyLink, which utilizes a vector database as a modern Information Retrieval technique. To address the long-standing problem of the semantic gap between issues and commits, EasyLink leverages a large language model to rerank the commits retrieved from the database. Under our evaluation, EasyLink achieves an average Precision@1 of 75.03%, improving over the state-of-the-art by over four times. Additionally, this paper provides practical guidelines for advancing research in issue-commit link recovery.

问题-提交链接（Issue-commit linking），它将问题与修复它们的提交连接起来，对软件维护至关重要。现有方法已在自动恢复这些链接方面显示出前景。这些技术的评估旨在评估它们从可能的虚假链接中识别真正链接的能力。然而，这些评估忽视了这样一个事实，即在实际情况下，当仓库中的提交数量更多时，存在更多可能的但无关的提交可能会干扰工具区分正确的修复提交。为了解决这一问题，我们提出了现实分布设置（RDS）并使用它构建了一个更现实的评估数据集，其中包括20个开源项目。通过对该数据集的工具进行评估，我们发现最先进的基于深度学习的方法性能下降了一半以上，而传统的信息检索方法VSM表现优于它。受此观察启发，我们提出了EasyLink，它利用向量数据库作为现代信息检索技术。为了解决长期存在的问题与提交之间的语义鸿沟问题，EasyLink利用大型语言模型对从数据库中检索到的提交进行重排。在我们的评估下，EasyLink的平均Precision@1达到了75.03%，比现有技术提高了四倍以上。此外，本文还为推进问题-提交链接恢复研究提供了实用指导。

论文及项目相关链接

PDF

Summary

该问题研究了软件维护中的关键任务——问题提交与修复提交之间的链接关系。现有方法虽然在自动恢复这些链接方面展现出潜力，但在真实场景中，当仓库中的提交数量增多时，存在大量可能的但无关的提交可能会干扰工具区分正确的修复提交。为应对这一问题，本文提出了现实分布设置（RDS），并利用其构建了一个更现实的评估数据集，包含20个开源项目。评估结果显示，最先进的深度学习方法的性能下降了一半以上，而传统的信息检索方法VSM表现更佳。基于此观察，本文提出了EasyLink方法，利用向量数据库作为现代信息检索技术，并借助大型语言模型来解决长期存在的问题——问题和提交之间的语义鸿沟。EasyLink在评估中取得了平均Precision@1为75.03%的效果，相较于现有技术有了显著的提升。

Key Takeaways

1. 问题提交与修复提交的链接关系在软件维护中至关重要。
2. 现有方法在评估时忽略了大量可能的但无关的提交对工具区分正确修复提交的影响。
3. 为应对此问题，提出了现实分布设置（RDS）并构建了一个包含20个开源项目的更现实的评估数据集。
4. 最先进的深度学习方法的性能在实际环境下会大幅度下降。
5. 传统信息检索方法VSM在某些场景下表现更好。
6. EasyLink方法结合现代信息检索技术和大型语言模型，有效解决了问题和提交之间的语义鸿沟问题。

Cool Papers

点此查看论文截图

Latent Chain-of-Thought? Decoding the Depth-Recurrent Transformer

Authors:Wenquan Lu, Yuechuan Yang, Kyle Lee, Yanshu Li, Enqi Liu

Chain-of-thought (CoT) reasoning has enabled transformer-based language models to excel at complex mathematics and multi-step planning. However, in standard decoder-only architectures, these reasoning steps are externalized in natural language, improving interpretability at the cost of efficiency. To capture reasoning that is not easily represented in words, many works have explored recurrent architectures that aim to internalize reasoning in latent space, potentially supporting latent CoT. In this paper, we investigate whether such reasoning structures emerge in Huginn-3.5B, a depth-recurrent Transformer that reuses layers at inference time without increasing parameter count. We examine the model’s internal behavior on arithmetic tasks using a suite of probing techniques including the Logit Lens and Coda Lens. Our findings reveal limited evidence of interpretable latent CoT by tracking rank trajectories of final and intermediate result tokens. Furthermore, we uncover significant probing inconsistencies across recurrent blocks, where the interpretability of hidden states depends heavily on both the layer index and the decoding method. Finally, we empirically show that increasing recurrence depth yields only marginal gains and falls well short of models that explicitly externalize reasoning steps. The code is available at https://github.com/wenquanlu/huginn-latent-cot.

思维链（CoT）推理使基于转换器的语言模型在复杂数学和多步规划方面表现出色。然而，在标准的仅解码器架构中，这些推理步骤是以自然语言形式外在化的，虽然提高了可解释性，但牺牲了效率。为了捕捉不容易用文字表示的道理，许多研究已经探索了循环架构，旨在将推理内在化于潜在空间，可能支持潜在思维链。在本文中，我们研究了Huginn-3.5B这种深度循环转换器中是否会出现此类推理结构。在推理时，该转换器重新使用层而无需增加参数计数。我们使用包括Logit Lens和Coda Lens等一系列探测技术对模型在算术任务上的内部行为进行了检查。我们的研究发现，通过跟踪最终和中间结果令牌的排名轨迹，有限的证据表明存在可解释的潜在思维链。此外，我们发现了循环块之间显著的探测不一致性，隐藏状态的解释性很大程度上取决于层索引和解码方法。最后，我们从实证上证明，增加循环深度只产生有限的收益，远远低于那些明确外在化推理步骤的模型。代码可在https://github.com/wenquanlu/huginn-latent-cot上找到。

论文及项目相关链接

PDF First Workshop on the Application of LLM Explainability to Reasoning and Planning at COLM 2025

Summary

该文探讨了Huginn-3.5B深度循环Transformer模型在推理结构方面的表现。研究发现，该模型在推理时能够重用层而不增加参数数量，对于算术任务有一定的内部行为表现。通过一系列探测技术，如Logit Lens和Coda Lens，研究者发现该模型有限的证据表明其有可解释的潜在链式推理（latent CoT）。此外，研究中发现不同循环块之间的探测不一致性较大，隐藏状态的解释性取决于层索引和解码方法。最后，通过实证研究，增加循环深度仅带来微小收益，远低于显式外部化推理步骤的模型。

Key Takeaways

1. Huginn-3.5B模型能够重用层进行推理，提高了模型的内部表现。
2. 通过探测技术发现Huginn-3.5B模型有限的证据表明其有可解释的潜在链式推理（latent CoT）。
3. 不同循环块之间的探测存在不一致性，隐藏状态的解释性受层索引和解码方法影响。
4. 增加循环深度带来的收益有限，不如显式外部化推理步骤的模型。
5. 模型在算术任务上展现出一定的内部行为表现。
6. Huginn-3.5B模型的代码已公开可供研究使用。

Cool Papers

点此查看论文截图

What Characteristics Make ChatGPT Effective for Software Issue Resolution? An Empirical Study of Task, Project, and Conversational Signals in GitHub Issues

Authors:Ramtin Ehsani, Sakshi Pathak, Esteban Parra, Sonia Haiduc, Preetha Chatterjee

Conversational large-language models are extensively used for issue resolution tasks. However, not all developer-LLM conversations are useful for effective issue resolution. In this paper, we analyze 686 developer-ChatGPT conversations shared within GitHub issue threads to identify characteristics that make these conversations effective for issue resolution. First, we analyze the conversations and their corresponding issues to distinguish helpful from unhelpful conversations. We begin by categorizing the types of tasks developers seek help with to better understand the scenarios in which ChatGPT is most effective. Next, we examine a wide range of conversational, project, and issue-related metrics to uncover factors associated with helpful conversations. Finally, we identify common deficiencies in unhelpful ChatGPT responses to highlight areas that could inform the design of more effective developer-facing tools. We found that only 62% of the ChatGPT conversations were helpful for successful issue resolution. ChatGPT is most effective for code generation and tools/libraries/APIs recommendations, but struggles with code explanations. Helpful conversations tend to be shorter, more readable, and exhibit stronger semantic and linguistic alignment. Larger, more popular projects and more experienced developers benefit more from ChatGPT. At the issue level, ChatGPT performs best on simpler problems with limited developer activity and faster resolution, typically well-scoped tasks like compilation errors. The most common deficiencies in unhelpful ChatGPT responses include incorrect information and lack of comprehensiveness. Our findings have wide implications including guiding developers on effective interaction strategies for issue resolution, informing the development of tools or frameworks to support optimal prompt design, and providing insights on fine-tuning LLMs for issue resolution tasks.

对话式大型语言模型被广泛用于问题解答任务。然而，并非所有开发者与大型语言模型的对话都对于有效解决问题有所帮助。在本文中，我们分析了在GitHub问题线程中分享的686条开发者与ChatGPT的对话，以识别使这些对话在解决问题方面有效的特征。首先，我们分析对话及其相应的问题，以区分有用的对话和无用的对话。我们通过分类开发者寻求帮助的任务类型，以更好地了解ChatGPT在哪些情况下最为有效。接下来，我们检查各种与对话、项目和问题相关的指标，以发现与有用对话相关的因素。最后，我们确定了不奏效的ChatGPT回复中的常见缺陷，以突出可能启发设计面向开发者的更有效工具的区域。我们发现只有62%的ChatGPT对话对于成功解决问题是有帮助的。ChatGPT在代码生成和工具/库/API推荐方面最为有效，但在代码解释方面却表现挣扎。有用的对话往往较短、可读性更强，并表现出更强烈的语义和语言对齐。较大的、较受欢迎的项目和更有经验的开发者从ChatGPT中获益更多。在问题层面，ChatGPT在处理开发者活动较少、解决速度较快、范围明确的简单问题上表现最佳，如编译错误。不奏效的ChatGPT回复中最常见的缺陷包括信息不正确和缺乏完整性。我们的发现具有广泛的意义，包括指导开发者进行有效的互动策略以解决问题、开发工具和框架以支持最佳提示设计的发展，以及为针对问题解答任务微调大型语言模型提供见解。

论文及项目相关链接

PDF Accepted for publication in Empirical Software Engineering (EMSE), 2025

Summary

本文分析了在GitHub问题线程中分享的686个开发者与ChatGPT的对话，旨在找出这些对话在问题解决方面有效的特征。研究发现，只有62%的ChatGPT对话对成功的问题解决有所帮助。ChatGPT在代码生成、工具/库/API推荐方面最为有效，但在代码解释方面表现较差。有益的对话往往更短、可读性更强，并表现出更强的语义和语言学对齐。大型、受欢迎的项目的开发者及更有经验的开发者更能从ChatGPT中受益。在问题层面，ChatGPT在最简单、开发者活动有限、解决速度快的问题上表现最佳，如编译错误等任务。

Key Takeaways

1. 研究者对开发者与ChatGPT的对话进行了分析，目的是识别这些对话在问题解决方面有效的特征。
2. ChatGPT在代码生成和工具/库/API推荐方面表现最有效，但在代码解释方面存在困难。
3. 有益的对话通常较短、可读性强，并展现出良好的语义和语言学对齐。
4. 大型和受欢迎的项目的开发者以及更有经验的开发者更能从ChatGPT的协助中受益。
5. ChatGPT在最简单、有限开发者活动、快速解决的问题上表现最佳，如处理编译错误等任务。
6. 常见的ChatGPT回答缺陷包括信息不正确和缺乏全面性。

Cool Papers

点此查看论文截图

Latent Concept Disentanglement in Transformer-based Language Models

Authors:Guan Zhe Hong, Bhavya Vasudeva, Vatsal Sharan, Cyrus Rashtchian, Prabhakar Raghavan, Rina Panigrahy

When large language models (LLMs) use in-context learning (ICL) to solve a new task, they must infer latent concepts from demonstration examples. This raises the question of whether and how transformers represent latent structures as part of their computation. Our work experiments with several controlled tasks, studying this question using mechanistic interpretability. First, we show that in transitive reasoning tasks with a latent, discrete concept, the model successfully identifies the latent concept and does step-by-step concept composition. This builds upon prior work that analyzes single-step reasoning. Then, we consider tasks parameterized by a latent numerical concept. We discover low-dimensional subspaces in the model’s representation space, where the geometry cleanly reflects the underlying parameterization. Overall, we show that small and large models can indeed disentangle and utilize latent concepts that they learn in-context from a handful of abbreviated demonstrations.

当大型语言模型（LLM）使用上下文学习（ICL）来解决新任务时，它们必须从演示示例中推断出潜在概念。这就提出了一个问题，即变压器如何在计算过程中表示潜在结构。我们的工作通过几项受控任务进行实验，使用机械解释法研究这个问题。首先，我们展示了在具有潜在离散概念的关系推理任务中，模型成功地识别了潜在概念，并进行了逐步的概念组合。这是基于之前对单步推理的分析工作。然后，我们考虑由潜在数学概念参数化的任务。我们发现模型表示空间中的低维子空间，其中的几何结构清晰地反映了潜在的参数化。总的来说，我们证明了小型和大型模型确实能够从少量简短的演示中，在上下文中学习并利用潜在概念。

论文及项目相关链接

PDF

Summary

大型语言模型（LLM）通过上下文学习（ICL）解决新任务时，需要从示范例子中推断潜在概念。本研究通过一系列受控任务，运用机械可解释性研究这一问题。研究发现，在含有潜在离散概念的动作推理任务中，模型能够成功识别潜在概念并进行逐步的概念组合。此外，对于由潜在数学概念参数化的任务，模型在低维子空间中的表示几何结构清晰地反映了潜在参数化。总体而言，本研究表明小型和大型模型确实能够从简短的示范中学习并应用潜在概念。

Key Takeaways

1. LLM通过上下文学习解决新任务时，能从示范例子中推断潜在概念。
2. 在动作推理任务中，模型能成功识别离散潜在概念并进行逐步概念组合。
3. 研究通过机械可解释性研究这一问题，涉及多个受控任务。
4. 模型在低维子空间中的表示几何结构反映了潜在参数化。
5. 小型和大型模型都能从简短的示范中学习并应用潜在概念。
6. 模型在识别和应用潜在概念方面表现出强大的能力。

Cool Papers

点此查看论文截图

Struct2D: A Perception-Guided Framework for Spatial Reasoning in Large Multimodal Models

Authors:Fangrui Zhu, Hanhui Wang, Yiming Xie, Jing Gu, Tianye Ding, Jianwei Yang, Huaizu Jiang

Unlocking spatial reasoning in Large Multimodal Models (LMMs) is crucial for enabling intelligent interaction with 3D environments. While prior efforts often rely on explicit 3D inputs or specialized model architectures, we ask: can LMMs reason about 3D space using only structured 2D representations derived from perception? We introduce Struct2D, a perception-guided prompting framework that combines bird’s-eye-view (BEV) images with object marks and object-centric metadata, optionally incorporating egocentric keyframes when needed. Using Struct2D, we conduct an in-depth zero-shot analysis of closed-source LMMs (e.g., GPT-o3) and find that they exhibit surprisingly strong spatial reasoning abilities when provided with structured 2D inputs, effectively handling tasks such as relative direction estimation and route planning. Building on these insights, we construct Struct2D-Set, a large-scale instruction tuning dataset with 200K fine-grained QA pairs across eight spatial reasoning categories, generated automatically from 3D indoor scenes. We fine-tune an open-source LMM (Qwen2.5VL) on Struct2D-Set, achieving competitive performance on multiple benchmarks, including 3D question answering, dense captioning, and object grounding. Our approach demonstrates that structured 2D inputs can effectively bridge perception and language reasoning in LMMs-without requiring explicit 3D representations as input. We will release both our code and dataset to support future research.

在大型多模态模型（LMMs）中解锁空间推理能力对于实现与3D环境的智能交互至关重要。虽然之前的努力通常依赖于明确的3D输入或专门的模型架构，但我们的问题是：LMMs能否仅使用从感知中派生的结构化2D表示来推理3D空间？我们引入了Struct2D，这是一个感知引导提示框架，它将鸟瞰图（BEV）图像与对象标记和对象中心元数据相结合，在需要时还可纳入以自我为中心的关键帧。使用Struct2D，我们对封闭的LMM（例如GPT-o3）进行了深入的零样本分析，并发现当提供结构化2D输入时，它们表现出令人惊讶的强大空间推理能力，可以有效地处理相对方向估计和路线规划等任务。基于这些见解，我们构建了Struct2D-Set，这是一个大规模的指令微调数据集，包含跨越八个空间推理类别的20万个精细粒度问答对，这些问答对是自动从室内3D场景中生成的。我们在Struct2D-Set上对开源LMM（Qwen2.5VL）进行了微调，并在多个基准测试上取得了具有竞争力的表现，包括3D问答、密集字幕和对象定位。我们的方法表明，结构化二维输入可以有效地在LMMs的感知和语言推理之间建立桥梁，而无需明确的三维表示作为输入。我们将发布我们的代码和数据集以支持未来的研究。

论文及项目相关链接

PDF NeurIPS 2025, code link: https://github.com/neu-vi/struct2d

Summary

本文探讨了大型多模态模型（LMMs）在3D空间中的推理能力。通过引入Struct2D框架，将鸟瞰图、目标标记和对象中心元数据相结合，有效地利用结构化二维输入进行空间推理任务，如相对方向估计和路线规划。在此基础上，构建了大规模指令调整数据集Struct2D-Set，对开源LMM进行微调，实现多个基准测试中的竞争力表现。该研究展示了结构化二维输入能够有效桥接感知和语言推理在LMMs中的差距，无需依赖明确的3D表示作为输入。

Key Takeaways

1. 大型多模态模型（LMMs）在3D空间推理方面具有重要意义。
2. 引入Struct2D框架，结合鸟瞰图、目标标记和对象中心元数据，实现结构化二维输入。
3. LMMs在提供结构化二维输入时表现出强大的空间推理能力。
4. 构建大规模指令调整数据集Struct2D-Set，用于微调LMMs。
5. 通过对Struct2D-Set的微调，LMM在多个基准测试中表现优异。
6. 结构化二维输入能有效桥接感知和语言推理在LMMs中的差距。

Cool Papers

点此查看论文截图

AgentMisalignment: Measuring the Propensity for Misaligned Behaviour in LLM-Based Agents

Authors:Akshat Naik, Patrick Quinn, Guillermo Bosch, Emma Gouné, Francisco Javier Campos Zabala, Jason Ross Brown, Edward James Young

As Large Language Model (LLM) agents become more widespread, associated misalignment risks increase. While prior research has studied agents’ ability to produce harmful outputs or follow malicious instructions, it remains unclear how likely agents are to spontaneously pursue unintended goals in realistic deployments. In this work, we approach misalignment as a conflict between the internal goals pursued by the model and the goals intended by its deployer. We introduce a misalignment propensity benchmark, \textsc{AgentMisalignment}, a benchmark suite designed to evaluate the propensity of LLM agents to misalign in realistic scenarios. Evaluations cover behaviours such as avoiding oversight, resisting shutdown, sandbagging, and power-seeking. Testing frontier models, we find that more capable agents tend to exhibit higher misalignment on average. We also systematically vary agent personalities through different system prompts and observe that persona characteristics can strongly and unpredictably influence misalignment, sometimes more than the choice of model itself. Our results reveal the limitations of current alignment methods for autonomous LLM agents and underscore the need to rethink misalignment in realistic deployment settings.

随着大型语言模型（LLM）代理的普及，相关的对齐风险也在增加。虽然之前的研究已经研究了代理产生有害输出或执行恶意指令的能力，但在实际部署中，代理自发追求意外目标的可能性仍然不清楚。在这项工作中，我们将错位问题视为模型内部追求的目标与其部署者意图追求的目标之间的冲突。我们引入了错位倾向基准测试“AgentMisalignment”，这是一个旨在评估LLM代理在现实场景中错位倾向的基准测试套件。评估包括避免监督、抵抗关闭、沙袋防御和权力寻求等行为。通过对前沿模型的测试，我们发现更强大的代理往往更容易出现错位。我们还通过不同的系统提示系统地改变了代理的个性，并发现个性特征可以强烈且不可预测地影响错位，有时甚至超过模型本身的选择。我们的结果揭示了当前自主LLM代理对齐方法的局限性，并强调了需要重新思考现实部署环境中的错位问题。

论文及项目相关链接

PDF Prepint, under review for NeurIPS 2025

Summary

随着大型语言模型（LLM）代理的普及，相关的误对齐风险也在增加。本文研究了LLM代理在真实场景中自发追求非预期目标的可能性。通过引入误对齐倾向基准测试\text{AgentMisalignment}，评估代理在避免监督、抵抗关闭、砂袋和权力寻求等行为上的误对齐程度。评估发现，更强大的代理往往更容易出现误对齐。此外，通过系统改变代理的个性提示，发现人格特征会强烈且不可预测地影响误对齐程度，有时甚至超过模型本身的选择。这揭示了当前自主LLM代理对齐方法的局限性，并强调需要在真实的部署环境中重新思考误对齐问题。

Key Takeaways

1. LLM代理的普及增加了误对齐风险。
2. 引入了\text{AgentMisalignment}基准测试来评估LLM代理在真实场景中的误对齐倾向。
3. 评估包括避免监督、抵抗关闭、砂袋和权力寻求等行为。
4. 更强大的代理更容易出现误对齐。
5. 代理的个性特征对误对齐的影响强烈且不可预测。
6. 当前LLM代理对齐方法存在局限性。

Cool Papers

点此查看论文截图

VisCoder: Fine-Tuning LLMs for Executable Python Visualization Code Generation

Authors:Yuansheng Ni, Ping Nie, Kai Zou, Xiang Yue, Wenhu Chen

Large language models (LLMs) often struggle with visualization tasks like plotting diagrams, charts, where success depends on both code correctness and visual semantics. Existing instruction-tuning datasets lack execution-grounded supervision and offer limited support for iterative code correction, resulting in fragile and unreliable plot generation. We present VisCode-200K, a large-scale instruction tuning dataset for Python-based visualization and self-correction. It contains over 200K examples from two sources: (1) validated plotting code from open-source repositories, paired with natural language instructions and rendered plots; and (2) 45K multi-turn correction dialogues from Code-Feedback, enabling models to revise faulty code using runtime feedback. We fine-tune Qwen2.5-Coder-Instruct on VisCode-200K to create VisCoder, and evaluate it on PandasPlotBench. VisCoder significantly outperforms strong open-source baselines and approaches the performance of proprietary models like GPT-4o-mini. We further adopt a self-debug evaluation protocol to assess iterative repair, demonstrating the benefits of feedback-driven learning for executable, visually accurate code generation.

大型语言模型（LLM）在绘图、制作图表等可视化任务方面经常遇到困难，这些任务的成功取决于代码正确性和视觉语义两方面。现有的指令调整数据集缺乏执行层面的监督，对迭代代码修正的支持有限，导致绘图生成结果脆弱且不可靠。我们推出了VisCode-200K，这是一个用于Python可视化及自我修正的大型指令调整数据集。它包含超过20万个来自两个来源的示例：1）来自开源存储库的经过验证的绘图代码，与自然语言指令和渲染图配对；2）来自Code-Feedback的4.5万个多轮修正对话，使模型能够利用运行时反馈修正错误代码。我们对Qwain2.5-Coder-Instruct进行了VisCode-200K微调，创建了VisCoder，并在PandasPlotBench上对其进行了评估。VisCoder显著优于强大的开源基准线，并接近专有模型（如GPT-4o-mini）的性能。我们还采用自我调试评估协议来评估迭代修复，证明了反馈驱动学习对于可执行且视觉准确的代码生成的好处。

论文及项目相关链接

PDF

Summary

基于大型语言模型（LLM）在处理可视化任务（如绘制图表）时面临的挑战，该文提出了一种新的Python可视化指令微调数据集VisCode-200K。该数据集包含了超过二十万示例，用于支持模型修正错误代码并利用运行时反馈进行自我修正。通过对Qwen2.5-Coder-Instruct在VisCode-200K上的微调，创建了VisCoder，并在PandasPlotBench上进行了评估。VisCoder显著优于开源基线并接近如GPT-4o-mini等专有模型的性能。此外，该研究还采用了自我调试评估协议来评估迭代修复能力，证明了反馈驱动学习对于可执行且视觉准确的代码生成的优势。

Key Takeaways

1. LLM在处理可视化任务时面临挑战，需要同时考虑代码正确性和视觉语义。
2. 现有指令微调数据集缺乏执行监督，对迭代代码修正的支持有限。
3. 提出了VisCode-200K数据集，包含超过二十万示例，用于Python可视化自我修正。
4. VisCode-200K包含两个来源的数据：来自开源仓库的验证绘图代码和自然语言指令以及渲染的图表；来自Code-Feedback的4.5万多次修正对话。
5. 通过在VisCode-200K上微调Qwen2.5-Coder-Instruct创建VisCoder。
6. VisCoder在PandasPlotBench上的表现优于强开源基线并接近GPT-4o-mini等专有模型。

Cool Papers

点此查看论文截图

Attributing Response to Context: A Jensen-Shannon Divergence Driven Mechanistic Study of Context Attribution in Retrieval-Augmented Generation

Authors:Ruizhe Li, Chen Chen, Yuchen Hu, Yanjun Gao, Xi Wang, Emine Yilmaz

Retrieval-Augmented Generation (RAG) leverages large language models (LLMs) combined with external contexts to enhance the accuracy and reliability of generated responses. However, reliably attributing generated content to specific context segments, context attribution, remains challenging due to the computationally intensive nature of current methods, which often require extensive fine-tuning or human annotation. In this work, we introduce a novel Jensen-Shannon Divergence driven method to Attribute Response to Context (ARC-JSD), enabling efficient and accurate identification of essential context sentences without additional fine-tuning, gradient-calculation or surrogate modelling. Evaluations on a wide range of RAG benchmarks, such as TyDi QA, Hotpot QA, and Musique, using instruction-tuned LLMs in different scales demonstrate superior accuracy and significant computational efficiency improvements compared to the previous surrogate-based method. Furthermore, our mechanistic analysis reveals specific attention heads and multilayer perceptron (MLP) layers responsible for context attribution, providing valuable insights into the internal workings of RAG models and how they affect RAG behaviours. Our code is available at https://github.com/ruizheliUOA/ARC_JSD.

检索增强生成（RAG）利用大型语言模型（LLM）结合外部上下文，以提高生成响应的准确性和可靠性。然而，由于当前方法的计算密集性质，将生成的内容可靠地归因于特定的上下文段落，即上下文归因，仍然是一个挑战，这通常需要大量的微调或人工标注。在这项工作中，我们引入了一种新型的基于Jensen-Shannon Divergence的归因响应到上下文（ARC-JSD）方法，能够在无需额外微调、梯度计算或替代建模的情况下，高效准确地识别出关键的上下文句子。在TyDi QA、Hotpot QA和Musique等一系列RAG基准测试上的评估，使用不同规模指令调整的大型语言模型，显示出与基于替代的先前方法相比，更高的准确性和显著的计算效率改进。此外，我们的机制分析揭示了负责上下文归因的特定注意力头和多层感知器（MLP）层，为理解RAG模型的内部工作原理以及它们如何影响RAG行为提供了有价值的见解。我们的代码可在https://github.com/ruizheliUOA/ARC_JSD找到。

论文及项目相关链接

PDF Accepted at NeurIPS 2025 Mechanistic Interpretability Workshop

Summary
大型语言模型（LLM）通过结合外部上下文增强生成响应的准确性和可靠性，形成了检索增强生成（RAG）。然而，由于当前方法的计算密集型特性，将生成内容可靠地归因于特定的上下文段落（即上下文归因）仍然具有挑战性，通常需要大量的微调或人工标注。本研究引入了一种基于Jensen-Shannon Divergence的新型上下文响应归因方法（ARC-JSD），无需额外的微调、梯度计算或代理建模，即可实现高效准确的上下文关键句识别。在TyDi QA、Hotpot QA和Musique等广泛的RAG基准测试上的评估表明，与使用代理模型的方法相比，该方法具有更高的准确性和显著的计算效率优势。此外，我们的机制分析揭示了负责上下文归因的特定注意力头和多层感知器（MLP）层，深入探讨了RAG模型的内部工作原理及其对RAG行为的影响。我们的代码可通过[https://github.com/ruizheliUOA/ARC_JSD访问。](https://github.com/ruizheliUOA/ARC_JSD%E8%AE%BF%E9 访问。)

Key Takeaways

• RAG结合了大型语言模型和外部上下文以增强生成响应的准确性和可靠性。
• 上下文归因是当前挑战之一，需要有效的方法来识别生成内容对应的上下文段落。
• 引入ARC-JSD方法，基于Jensen-Shannon Divergence实现高效准确的上下文关键句识别。
• 在多个RAG基准测试上的评估显示，ARC-JSD方法相较于传统方法具有更高的准确性和计算效率。

Cool Papers

点此查看论文截图

Towards Holistic Evaluation of Large Audio-Language Models: A Comprehensive Survey

Authors:Chih-Kai Yang, Neo S. Ho, Hung-yi Lee

With advancements in large audio-language models (LALMs), which enhance large language models (LLMs) with auditory capabilities, these models are expected to demonstrate universal proficiency across various auditory tasks. While numerous benchmarks have emerged to assess LALMs’ performance, they remain fragmented and lack a structured taxonomy. To bridge this gap, we conduct a comprehensive survey and propose a systematic taxonomy for LALM evaluations, categorizing them into four dimensions based on their objectives: (1) General Auditory Awareness and Processing, (2) Knowledge and Reasoning, (3) Dialogue-oriented Ability, and (4) Fairness, Safety, and Trustworthiness. We provide detailed overviews within each category and highlight challenges in this field, offering insights into promising future directions. To the best of our knowledge, this is the first survey specifically focused on the evaluations of LALMs, providing clear guidelines for the community. We will release the collection of the surveyed papers and actively maintain it to support ongoing advancements in the field.

随着大型音频语言模型（LALM）的进步，这些模型在大型语言模型（LLM）的基础上增强了听觉能力，并有望在各种听觉任务中展现出全面的能力。虽然出现了许多评估LALM性能的基准测试，但它们仍然分散且缺乏结构化分类。为了弥补这一差距，我们进行了全面的调查，并提出了LALM评估的系统性分类方法，根据评估目标将其分为四个维度：（1）一般听觉意识和处理，（2）知识和推理，（3）面向对话的能力，（4）公平性、安全性和可信度。我们在每个类别中提供了详细的概述，并突出了该领域的挑战，为未来的发展方向提供了见解。据我们所知，这是第一篇专门针对LALM评估的综述，为社区提供了清晰的指导。我们将发布所调查的论文集合，并积极维护以支持该领域的持续发展。

论文及项目相关链接

PDF EMNLP 2025 (Main). Project Website: https://github.com/ckyang1124/LALM-Evaluation-Survey

Summary
大型音频语言模型（LALM）随着语言模型（LLM）的进步而发展，并展现出跨多种听觉任务的通用能力。当前存在多个评估LALM性能的基准测试，但它们分散且缺乏结构化分类。为解决此问题，我们进行全面调查并提出系统的LALM评估分类法，根据目标将其分为四个维度：1）一般听觉意识和处理；2）知识和推理；3）对话导向能力；以及4）公平性、安全性和可信度。本文详细概述了每个类别，指出了该领域的挑战，为社区提供了明确的指导方向。这是首个专门针对LALM评估的综述。

Key Takeaways

1. 大型音频语言模型（LALM）展现出跨多种听觉任务的通用能力。
2. 当前LALM的评估基准测试存在但分散，缺乏结构化分类。
3. 为解决评估问题，提出了一个系统的LALM评估分类法，包括四个维度。
4. 这四个维度分别是：一般听觉意识和处理、知识和推理、对话导向能力以及公平性、安全性和可信度。
5. 文章提供了每个维度的详细概述和该领域的挑战。
6. 此综述为社区提供了关于LALM评估的明确指导方向。

Cool Papers

点此查看论文截图

Scaling Diffusion Transformers Efficiently via $μ$P

Authors:Chenyu Zheng, Xinyu Zhang, Rongzhen Wang, Wei Huang, Zhi Tian, Weilin Huang, Jun Zhu, Chongxuan Li

Diffusion Transformers have emerged as the foundation for vision generative models, but their scalability is limited by the high cost of hyperparameter (HP) tuning at large scales. Recently, Maximal Update Parametrization ($\mu$P) was proposed for vanilla Transformers, which enables stable HP transfer from small to large language models, and dramatically reduces tuning costs. However, it remains unclear whether $\mu$P of vanilla Transformers extends to diffusion Transformers, which differ architecturally and objectively. In this work, we generalize standard $\mu$P to diffusion Transformers and validate its effectiveness through large-scale experiments. First, we rigorously prove that $\mu$P of mainstream diffusion Transformers, including DiT, U-ViT, PixArt-$\alpha$, and MMDiT, aligns with that of the vanilla Transformer, enabling the direct application of existing $\mu$P methodologies. Leveraging this result, we systematically demonstrate that DiT-$\mu$P enjoys robust HP transferability. Notably, DiT-XL-2-$\mu$P with transferred learning rate achieves 2.9 times faster convergence than the original DiT-XL-2. Finally, we validate the effectiveness of $\mu$P on text-to-image generation by scaling PixArt-$\alpha$ from 0.04B to 0.61B and MMDiT from 0.18B to 18B. In both cases, models under $\mu$P outperform their respective baselines while requiring small tuning cost, only 5.5% of one training run for PixArt-$\alpha$ and 3% of consumption by human experts for MMDiT-18B. These results establish $\mu$P as a principled and efficient framework for scaling diffusion Transformers.

扩散Transformer已成为视觉生成模型的基础，但其可扩展性受到大规模超参数（HP）调整的高成本的限制。最近，针对普通Transformer提出了最大更新参数化（$\mu$P）方法，能够实现从小型到大型语言模型的稳定HP迁移，并大幅度降低调整成本。然而，尚不清楚普通Transformer的$\mu$P是否适用于架构和客观上存在差异的扩散Transformer。在这项工作中，我们将标准$\mu$P推广到扩散Transformer，并通过大规模实验验证其有效性。首先，我们严格证明主流扩散Transformer的$\mu$P与普通Transformer的$\mu$P是一致的，使得现有$\mu$P方法可以直接应用。基于此结果，我们系统地证明了DiT-$\mu$P具有稳健的HP迁移能力。值得注意的是，利用迁移学习率的DiT-XL-2-$\mu$P实现了比原始DiT-XL-2快2.9倍的收敛速度。最后，我们通过将PixArt-$\alpha$从0.04B扩展到0.61B和将MMDiT从0.18B扩展到18B，验证了$\mu$P在文本到图像生成任务中的有效性。在这两种情况下，$\mu$P下的模型都优于各自的基线模型，同时需要较小的调整成本，PixArt-$\alpha$只需5.5%的一次运行训练成本，而MMDiT-18B只需3%的人力专家投入。这些结果证明了$\mu$P是一个有原则、高效率的框架，可用于扩展扩散Transformer。

论文及项目相关链接

PDF Accepted by NeurIPS 2025

摘要
本文研究了扩散Transformer的可扩展性问题，发现其高成本限制了大规模应用。为此，引入了最大更新参数化（μP）方法，该方法能够从小型语言模型向大型模型稳定地转移超参数，显著降低了调整成本。本文将μP方法推广到扩散Transformer上，并通过大规模实验验证了其有效性。实验证明，主流扩散Transformer的μP与标准Transformer相符，可实现现有μP方法的直接应用。利用这一结果，发现DiT-μP具有稳健的超参数可转移性。特别是在文本到图像生成任务中，PixArt-α从0.04B扩展到0.61B，MMDiT从0.18B扩展到18B时，μP方法效果显著，不仅超越了基线模型，而且调整成本较低。

关键见解

1. 扩散Transformer作为视觉生成模型的基础面临高成本超参数调整的挑战。
2. 最大更新参数化（μP）方法用于稳定地从小型语言模型向大型模型转移超参数。
3. μP方法被推广到扩散Transformer上，并通过大规模实验验证了其有效性。
4. 实验显示主流扩散Transformer的μP与标准Transformer相符。
5. DiT-μP展现出稳健的超参数可转移性。
6. 在文本到图像生成任务中，PixArt-α和MMDiT在采用μP方法后性能显著提升，同时调整成本较低。
7. μP方法成为一个有原则、高效率的框架，用于扩展扩散Transformer。

Cool Papers

点此查看论文截图

GuRE:Generative Query REwriter for Legal Passage Retrieval

Authors:Daehee Kim, Deokhyung Kang, Jonghwi Kim, Sangwon Ryu, Gary Geunbae Lee

Legal Passage Retrieval (LPR) systems are crucial as they help practitioners save time when drafting legal arguments. However, it remains an underexplored avenue. One primary reason is the significant vocabulary mismatch between the query and the target passage. To address this, we propose a simple yet effective method, the Generative query REwriter (GuRE). We leverage the generative capabilities of Large Language Models (LLMs) by training the LLM for query rewriting. “Rewritten queries” help retrievers to retrieve target passages by mitigating vocabulary mismatch. Experimental results show that GuRE significantly improves performance in a retriever-agnostic manner, outperforming all baseline methods. Further analysis reveals that different training objectives lead to distinct retrieval behaviors, making GuRE more suitable than direct retriever fine-tuning for real-world applications. Codes are avaiable at github.com/daehuikim/GuRE.

法律条文检索（LPR）系统在帮助法律工作者起草法律论点时节省时间方面起着至关重要的作用。然而，它仍然是一个尚未被充分探索的领域。主要原因在于查询和目标段落之间存在重大的词汇不匹配。为了解决这一问题，我们提出了一种简单有效的方法——生成式查询重写器（GuRE）。我们通过训练大型语言模型（LLM）进行查询重写，利用LLM的生成能力。“重写的查询”有助于检索器通过减轻词汇不匹配来检索目标段落。实验结果表明，GuRE以一种检索器无关的方式显著提高了性能，优于所有基线方法。进一步的分析表明，不同的训练目标会导致不同的检索行为，这使得GuRE比直接对检索器进行微调更适合于实际应用。代码可在github.com/daehuikim/GuRE找到。

论文及项目相关链接

PDF NLLP Workshop at EMNLP 2025

Summary：法律文献检索（LPR）系统对于帮助律师节省时间至关重要，但其应用尚待探索。主要挑战在于查询和目标段落之间存在显著的词汇不匹配问题。为解决这一问题，我们提出了一种简单有效的方法——生成式查询重写器（GuRE）。我们利用大型语言模型（LLM）的生成能力，训练其进行查询重写。重写后的查询有助于检索器检索目标段落，并减轻词汇不匹配的问题。实验结果表明，GuRE以检索器无关的方式显著提高了性能，优于所有基线方法。进一步的分析表明，不同的训练目标会导致不同的检索行为，这使得GuRE比直接微调检索器更适合实际应用。相关代码已发布在github.com/daehuikim/GuRE上。

Key Takeaways：

1. LPR系统对于法律从业者在准备法律论证时节省时间至关重要。
2. 查询与目标段落间的词汇不匹配是LPR系统面临的挑战之一。
3. 提出了一种名为GuRE的生成式查询重写方法，利用LLM进行训练以改善查询重写问题。
4. GuRE通过重写查询帮助检索器更有效地找到目标段落，并减轻词汇不匹配的问题。
5. 实验结果显示GuRE在性能上显著优于其他方法，并以检索器无关的方式实现改进。
6. 不同训练目标导致不同的检索行为，说明GuRE的设计更具适应性和灵活性。

Cool Papers

点此查看论文截图

Ambiguity in LLMs is a concept missing problem

Authors:Zhibo Hu, Chen Wang, Yanfeng Shu, Hye-Young Paik, Liming Zhu

Ambiguity in natural language is a significant obstacle for achieving accurate text to structured data mapping through large language models (LLMs), which affects the performance of tasks such as mapping text to agentic tool calling and text-to-SQL queries. Existing methods to ambiguity handling either rely on the ReACT framework to obtain correct mappings through trial and error, or on supervised fine-tuning to bias models toward specific tasks. In this paper, we adopt a different approach that characterizes representation differences of ambiguous text in the latent space and leverages these differences to identify ambiguity before mapping them to structured data. To detect sentence-level ambiguity, we focus on the relationship between ambiguous questions and their interpretations. Unlike distances calculated by dense embeddings, we introduce a new distance measure based on a path kernel over concepts. With this measurement, we identify patterns to distinguish ambiguous from unambiguous questions. Furthermore, we propose a method for improving LLM performance on ambiguous agentic tool calling through missing concept prediction. Both achieve state-of-the-art results.

自然语言中的歧义是利用大型语言模型（LLM）实现从文本到结构化数据映射的显著障碍，这影响了文本映射到智能工具调用和文本到SQL查询等任务的性能。现有的处理歧义的方法要么依赖于ReACT框架通过反复试验获得正确的映射，要么依赖于监督微调使模型偏向于特定任务。在本文中，我们采用了一种不同的方法，即在潜在空间中刻画模糊文本表示的差异，并利用这些差异在映射到结构化数据之前识别歧义。为了检测句子级别的歧义，我们关注模糊问题及其解释之间的关系。与基于密集嵌入计算的间距不同，我们引入了一种基于概念路径核的新距离度量。通过这一度量，我们识别出区分模糊问题和非模糊问题的模式。此外，我们提出了一种通过预测缺失概念来提高LLM在处理模糊智能工具调用方面的性能的方法。两者都达到了最新的结果。

论文及项目相关链接

PDF 17 pages, 11 figures, title updated

Summary

本文探讨了在自然语言中的歧义对大型语言模型（LLM）实现文本到结构化数据映射的准确性的挑战。文章提出了一种新方法，通过识别模糊文本在潜在空间中的表示差异来识别歧义，并将其映射到结构化数据上。新方法侧重于利用概念间的路径核距离来衡量句子级别的歧义问题，并提出了通过预测缺失概念来改进模糊工具调用LLM性能的方法。两者均达到了业界最佳水平。

Key Takeaways

• 自然语言中的歧义是大型语言模型（LLM）文本到结构化数据映射的障碍之一，影响了任务性能，如代理工具调用和文本到SQL查询等。
• 文章提出了一种新方法来处理模糊文本映射问题，这种方法能够识别出文本在潜在空间中的表示差异来识别歧义。
• 采用概念路径核距离的新测量方法用于识别句子级别的歧义问题，该测量方法克服了传统的基于密集嵌入的距离计算的不足。
• 文章提出了一种改进大型语言模型在模糊代理工具调用方面的性能的方法，即通过预测缺失概念来实现。

Cool Papers

点此查看论文截图