LLM

发布日期: 2025-08-24

更新日期: 2025-08-25

文章字数: 10.7k

阅读时长: 43 分

阅读次数:

⚠️ 以下所有内容总结都来自于大语言模型的能力，如有错误，仅供参考，谨慎使用
🔴 请注意：千万不要用于严肃的学术场景，只能用于论文阅读前的初筛！
💗 如果您觉得我们的项目对您有帮助 ChatPaperFree ，还请您给我们一些鼓励！⭐️ HuggingFace免费体验

2025-08-24 更新

LLM-empowered Dynamic Prompt Routing for Vision-Language Models Tuning under Long-Tailed Distributions

Authors:Yongju Jia, Jiarui Ma, Xiangxian Li, Baiqiao Zhang, Xianhui Cao, Juan Liu, Yulong Bian

Pre-trained vision-language models (VLMs), such as CLIP, have demonstrated impressive capability in visual tasks, but their fine-tuning often suffers from bias in class-imbalanced scene. Recent works have introduced large language models (LLMs) to enhance VLM fine-tuning with supplementing semantic information. However, they often overlook inherent class imbalance in VLMs’ pre-training, which may lead to bias accumulation in downstream tasks. To address this problem, this paper proposes a Multi-dimensional Dynamic Prompt Routing (MDPR) framework. MDPR constructs a comprehensive knowledge base for classes, spanning five visual-semantic dimensions. During fine-tuning, the dynamic routing mechanism aligns global visual classes, retrieves optimal prompts, and balances fine-grained semantics, yielding stable predictions through logits fusion. Extensive experiments on long-tailed benchmarks, including CIFAR-LT, ImageNet-LT, and Places-LT, demonstrate that MDPR achieves comparable results with current SOTA methods. Ablation studies further confirm the effectiveness of our semantic library for tail classes, and show that our dynamic routing incurs minimal computational overhead, making MDPR a flexible and efficient enhancement for VLM fine-tuning under data imbalance.

预训练视觉语言模型（如CLIP）在视觉任务中展现出了令人印象深刻的能力，但它们在类别不平衡场景中的微调往往受到偏见的影响。最近的工作引入了大型语言模型（LLM），以补充语义信息，增强VLM微调。然而，他们往往忽视了VLM预训练中的固有类别不平衡问题，这可能导致下游任务中的偏见累积。针对这一问题，本文提出了一种多维度动态提示路由（MDPR）框架。MDPR构建了一个全面的知识库，涵盖五个视觉语义维度。在微调过程中，动态路由机制对齐全局视觉类别，检索最佳提示，平衡精细语义，通过逻辑融合产生稳定预测。在包括CIFAR-LT、ImageNet-LT和Places-LT等长尾基准测试上的大量实验表明，MDPR实现的结果与当前最先进的方法相当。消融研究进一步证实了我们的语义库对尾类的有效性，并表明我们的动态路由引起的计算开销很小，这使得MDPR成为数据不平衡情况下VLM微调的一种灵活高效的增强方法。

论文及项目相关链接

PDF accepted by EMNLP 2025

摘要

预训练视觉语言模型（如CLIP）在视觉任务中展现出令人印象深刻的能力，但其微调常常受到类别不平衡场景中的偏见影响。近期工作引入大型语言模型（LLM）以补充语义信息，增强VLM的微调。然而，他们往往忽视了VLM预训练中的固有类别不平衡问题，这可能导致下游任务中的偏见累积。针对这一问题，本文提出一种多维度动态提示路由（MDPR）框架。MDPR构建了一个涵盖五个视觉语义维度的综合知识库。在微调过程中，动态路由机制对齐全局视觉类别，检索最佳提示，平衡精细语义，通过逻辑融合产生稳定预测。在长尾基准测试（包括CIFAR-LT、ImageNet-LT和Places-LT）上的大量实验表明，MDPR与当前先进方法的结果相当。消融研究进一步证实了我们尾类语义库的有效性，并且表明我们的动态路由引起的计算开销很小，这使得MDPR成为数据不平衡情况下VLM微调的一种灵活高效的增强方法。

关键见解

预训练视觉语言模型（VLM）在视觉任务中表现出强大的能力，但在类别不平衡场景中的微调会受到偏见的影响。
大型语言模型（LLM）的引入可以增强VLM的微调，并补充语义信息。
现有工作忽视了VLM预训练中的类别不平衡问题，可能导致下游任务的偏见累积。
本文提出的MDPR框架通过构建综合知识库和动态路由机制来解决这一问题。
MDPR涵盖了五个视觉语义维度，包括全局视觉类别的对齐、最佳提示的检索、精细语义的平衡以及通过逻辑融合产生稳定预测。
在多个长尾基准测试上的实验结果表明，MDPR的性能与当前先进方法相当。

Cool Papers

点此查看论文截图

Benchmarking Computer Science Survey Generation

Authors:Weihang Su, Anzhe Xie, Qingyao Ai, Jianming Long, Jiaxin Mao, Ziyi Ye, Yiqun Liu

Scientific survey articles play a vital role in summarizing research progress, yet their manual creation is becoming increasingly infeasible due to the rapid growth of academic literature. While large language models (LLMs) offer promising capabilities for automating this process, progress in this area is hindered by the absence of standardized benchmarks and evaluation protocols. To address this gap, we introduce SurGE (Survey Generation Evaluation), a new benchmark for evaluating scientific survey generation in the computer science domain. SurGE consists of (1) a collection of test instances, each including a topic description, an expert-written survey, and its full set of cited references, and (2) a large-scale academic corpus of over one million papers that serves as the retrieval pool. In addition, we propose an automated evaluation framework that measures generated surveys across four dimensions: information coverage, referencing accuracy, structural organization, and content quality. Our evaluation of diverse LLM-based approaches shows that survey generation remains highly challenging, even for advanced self-reflection frameworks. These findings highlight the complexity of the task and the necessity for continued research. We have open-sourced all the code, data, and models at: https://github.com/oneal2000/SurGE

科技综述文章在总结研究进展方面起着至关重要的作用，然而，由于其手动创建的难度随着学术文献的快速增长而变得越来越不可行。虽然大型语言模型（LLM）在自动化此过程中显示出巨大的潜力，但缺乏标准化的基准测试和评估协议阻碍了这一领域的进步。为了弥补这一空白，我们引入了SurGE（Survey Generation Evaluation），这是一个用于评估计算机科学领域科技综述生成的新基准测试。SurGE包括（1）测试实例集合，每个实例包括主题描述、专家撰写的综述及其全套引文参考；（2）作为检索库的大规模学术语料库，包含超过一百万的论文。此外，我们提出了一个自动化评估框架，该框架从四个维度对生成的综述进行评估：信息覆盖、引用准确性、结构组织和内容质量。我们对多种基于LLM的方法的评估表明，即使是先进的自我反思框架，综述生成仍然极具挑战性。这些发现突出了任务的复杂性以及继续研究的必要性。我们已在以下链接公开所有代码、数据和模型：https://github.com/oneal2000/SurGE 。

论文及项目相关链接

PDF

Summary：
科学综述文章在总结研究进展方面发挥重要作用，但随着学术文献的快速增长，手动创建综述变得日益不可行。大型语言模型（LLM）为自动化此过程提供了希望，但在该领域缺乏标准化基准和评估协议阻碍了进展。为解决这一差距，我们推出了SurGE（综述生成评估）基准，用于评估计算机科学领域的科学综述生成情况。SurGE包括（1）测试实例集合，每个实例包括主题描述、专家撰写的综述及其全套引文；（2）超过一百万篇论文的大规模学术语料库，作为检索库。此外，我们提出了一个自动化评估框架，从信息覆盖、引用准确性、结构组织和内容质量四个维度来衡量生成的综述。对多种LLM方法的研究表明，综述生成仍然是一项艰巨的任务，即使是先进的自我反思框架也是如此。这些发现突出了任务的复杂性以及继续研究的必要性。我们已在https://github.com/oneal2000/SurGE上公开了所有代码、数据和模型。

Key Takeaways：

科学综述文章在学术研究中占据重要地位，但手动编写变得日益不可行，需要自动化工具协助。
大型语言模型（LLM）具备自动化生成科学综述的潜力，但缺乏标准化评估基准和协议限制了进展。
SurGE基准用于评估科学综述生成，包含测试实例集合和大规模学术语料库。
自动化评估框架从信息覆盖、引用准确性、结构组织和内容质量四个维度衡量生成的综述质量。
综述生成仍是具有挑战性的任务，即使是先进的LLM方法也面临困难。
任务的复杂性和挑战强调了继续研究的必要性。

Cool Papers

点此查看论文截图

SDGO: Self-Discrimination-Guided Optimization for Consistent Safety in Large Language Models

Authors:Peng Ding, Wen Sun, Dailin Li, Wei Zou, Jiaming Wang, Jiajun Chen, Shujian Huang

Large Language Models (LLMs) excel at various natural language processing tasks but remain vulnerable to jailbreaking attacks that induce harmful content generation. In this paper, we reveal a critical safety inconsistency: LLMs can more effectively identify harmful requests as discriminators than defend against them as generators. This insight inspires us to explore aligning the model’s inherent discrimination and generation capabilities. To this end, we propose SDGO (Self-Discrimination-Guided Optimization), a reinforcement learning framework that leverages the model’s own discrimination capabilities as a reward signal to enhance generation safety through iterative self-improvement. Our method does not require any additional annotated data or external models during the training phase. Extensive experiments demonstrate that SDGO significantly improves model safety compared to both prompt-based and training-based baselines while maintaining helpfulness on general benchmarks. By aligning LLMs’ discrimination and generation capabilities, SDGO brings robust performance against out-of-distribution (OOD) jailbreaking attacks. This alignment achieves tighter coupling between these two capabilities, enabling the model’s generation capability to be further enhanced with only a small amount of discriminative samples. Our code and datasets are available at https://github.com/NJUNLP/SDGO.

大型语言模型（LLM）在各种自然语言处理任务上表现出色，但仍易受到诱导产生有害内容生成的越狱攻击。在本文中，我们揭示了一个关键的安全矛盾：LLM作为判别器更能有效地识别有害请求，而作为生成器则难以防御。这一发现激励我们探索对齐模型的内在判别和生成能力。为此，我们提出了SDGO（自判别引导优化），这是一种利用模型的自身判别能力作为奖励信号的强化学习框架，通过迭代自我改进来提高生成安全性。我们的方法不需要在训练阶段使用任何额外的注释数据或外部模型。大量实验表明，与基于提示和基于训练的基线相比，SDGO能显著提高模型的安全性，同时在一般基准测试上保持有用性。通过对齐LLM的判别和生成能力，SDGO对离群（OOD）越狱攻击表现出稳健的性能。这种对齐实现了这两种能力之间的紧密耦合，使得模型的生成能力仅需少量的判别样本即可得到进一步增强。我们的代码和数据集可在https://github.com/NJUNLP/SDGO获得。

论文及项目相关链接

PDF Accepted by EMNLP 2025, 15 pages, 4 figures, 6 tables

Summary

大型语言模型（LLM）在自然语言处理任务中表现出色，但易受攻击并可能生成有害内容。本文揭示了一个关键的安全问题：LLM作为判别器识别有害请求的能力强于作为生成器防御它们的能力。为此，我们提出了SDGO（自我鉴别引导优化）方法，利用模型的自身鉴别能力作为奖励信号，通过强化学习框架增强生成安全性。实验证明，SDGO在无需额外标注数据或外部模型的情况下，显著提高了模型的安全性，同时在一般基准测试中保持了实用性。通过对齐LLM的鉴别和生成能力，SDGO对离群值（OOD）攻击具有稳健性能。这种对齐实现了这两大功能的紧密耦合，只需少量鉴别样本即可进一步改善模型的生成能力。

Key Takeaways

LLM在自然语言处理任务中表现出色，但存在生成有害内容的安全风险。
LLM作为判别器识别有害请求的能力强于作为生成器防御的能力。
提出SDGO方法，利用模型的自身鉴别能力提高生成安全性。
SDGO通过强化学习框架实现，无需额外标注数据或外部模型。
实验证明SDGO在模型安全性方面显著提高，同时保持了一般基准测试的实用性。
通过对齐LLM的鉴别和生成能力，SDGO对离群值（OOD）攻击具有稳健性能。

Cool Papers

点此查看论文截图

Efficient Mixed-Precision Large Language Model Inference with TurboMind

Authors:Li Zhang, Youhe Jiang, Guoliang He, Xin Chen, Han Lv, Qian Yao, Fangcheng Fu, Kai Chen

Mixed-precision inference techniques reduce the memory and computational demands of Large Language Models (LLMs) by applying hybrid precision formats to model weights, activations, and KV caches. This work introduces mixed-precision LLM inference techniques that encompass (i) systematic memory and compute optimization across hierarchical storage and tensor core architectures, and (ii) comprehensive end-to-end mixed-precision optimization across diverse precision formats and hardware configurations. Our approach features two novel mixed-precision pipelines designed for optimal hardware utilization: a General Matrix Multiply (GEMM) pipeline that optimizes matrix operations through offline weight packing and online acceleration, and an attention pipeline that enables efficient attention computation with arbitrary Query, Key, and Value precision combinations. The key implementation of the pipelines includes (i) hardware-aware weight packing for automatic format optimization, (ii) adaptive head alignment for efficient attention computation, (iii) instruction-level parallelism for memory hierarchy exploitation, and (iv) KV memory loading pipeline for enhanced inference efficiency. We conduct comprehensive evaluations across 16 popular LLMs and 4 representative GPU architectures. Results demonstrate that our approach achieves up to 61% lower serving latency (30% on average) and up to 156% higher throughput (58% on average) in mixed-precision workloads compared to existing mixed-precision frameworks, establishing consistent performance improvements across all tested configurations and hardware types. This work is integrated into TurboMind, a high-performance inference engine of the LMDeploy project, which is open-sourced and publicly available at https://github.com/InternLM/lmdeploy.

混合精度推理技术通过应用混合精度格式来降低大型语言模型（LLM）的内存和计算需求，涉及模型权重、激活值和KV缓存。这项工作引入了混合精度LLM推理技术，包括（i）跨分层存储和张量核心架构的系统内存和计算优化；（ii）跨不同精度格式和硬件配置的全面端到端混合精度优化。我们的方法具有两个用于最佳硬件利用的新混合精度管道：一个通用矩阵乘法（GEMM）管道，通过离线权重打包和在线加速来优化矩阵操作；一个注意力管道，能够以任意查询、键和值精度组合实现高效的注意力计算。管道的关键实现包括（i）用于自动格式优化的硬件感知权重打包；（ii）用于高效注意力计算的自适应头对齐；（iii）用于内存层次结构利用的指令级并行性；（iv）用于增强推理效率的KV内存加载管道。我们在16个流行的大型语言模型和4个代表性的GPU架构上进行了全面评估。结果表明，与现有的混合精度框架相比，我们的方法在混合精度工作负载上实现了最高达61%的更低服务延迟（平均降低30%），以及最高达156%的更高吞吐量（平均提高58%），在所有测试配置和硬件类型上实现了性能改进。这项工作已集成到TurboMind中，这是LMDeploy项目的高性能推理引擎，开源并可公开访问：https://github.com/InternLM/lmdeploy。

论文及项目相关链接

PDF

摘要

混合精度推理技术通过应用混合精度格式于模型权重、激活和KV缓存，减少大型语言模型（LLM）的内存和计算需求。本文介绍混合精度LLM推理技术，包括（i）在分层存储和张量核心架构上进行系统内存和计算优化，（ii）在不同精度格式和硬件配置上进行全面的端到端混合精度优化。我们的方法设计了两个用于最佳硬件利用率的混合精度管道，包括用于优化矩阵运算的通用矩阵乘法（GEMM）管道和能够使查询、键和值具有任意精度组合的注意力管道。管道的关键实现包括（i）硬件感知权重打包进行自动格式优化，（ii）自适应头对齐以实现高效注意力计算，（iii）指令级并行性以利用内存层次结构，（iv）KV内存加载管道以提高推理效率。我们在16个流行的大型语言模型和4种代表性GPU架构上进行了全面评估。结果表明，我们的方法在混合精度工作负载上实现了高达61%（平均30%）的服务延迟降低和高达156%（平均58%）的吞吐量提升，在所有测试配置和硬件类型上实现了性能改进。这项工作被集成到LMDeploy项目的高性能推理引擎TurboMind中，已开源并可在https://github.com/InternLM/lmdeploy获取。

关键见解

混合精度推理技术降低了大型语言模型的内存和计算需求。
介绍了包括系统内存和计算优化在内的混合精度LLM推理技术。
设计了用于最佳硬件利用率的两个混合精度管道：GEMM管道和注意力管道。
管道的关键实现包括自动格式优化、高效注意力计算、利用内存层次结构和提高推理效率的技术。
在多个大型语言模型和GPU架构上的评估表明，该方法在混合精度工作负载上实现了显著的性能改进。
此方法已集成到高性能推理引擎TurboMind中，并公开发布。

Cool Papers

点此查看论文截图

SecFSM: Knowledge Graph-Guided Verilog Code Generation for Secure Finite State Machines in Systems-on-Chip

Authors:Ziteng Hu, Yingjie Xia, Xiyuan Chen, Li Kuang

Finite State Machines (FSMs) play a critical role in implementing control logic for Systems-on-Chip (SoC). Traditionally, FSMs are implemented by hardware engineers through Verilog coding, which is often tedious and time-consuming. Recently, with the remarkable progress of Large Language Models (LLMs) in code generation, LLMs have been increasingly explored for automating Verilog code generation. However, LLM-generated Verilog code often suffers from security vulnerabilities, which is particularly concerning for security-sensitive FSM implementations. To address this issue, we propose SecFSM, a novel method that leverages a security-oriented knowledge graph to guide LLMs in generating more secure Verilog code. Specifically, we first construct a FSM Security Knowledge Graph (FSKG) as an external aid to LLMs. Subsequently, we analyze users’ requirements to identify vulnerabilities and get a list of vulnerabilities in the requirements. Then, we retrieve knowledge from FSKG based on the vulnerabilities list. Finally, we construct security prompts based on the security knowledge for Verilog code generation. To evaluate SecFSM, we build a dedicated dataset collected from academic datasets, artificial datasets, papers, and industrial cases. Extensive experiments demonstrate that SecFSM outperforms state-of-the-art baselines. In particular, on a benchmark of 25 security test cases evaluated by DeepSeek-R1, SecFSM achieves an outstanding pass rate of 21/25.

有限状态机（FSMs）在芯片系统（SoC）的控制逻辑实现中扮演着关键角色。传统上，硬件工程师通过繁琐且耗时的Verilog编码来实现FSMs。最近，随着大型语言模型（LLM）在代码生成方面的显著进步，LLM在自动化Verilog代码生成方面的应用越来越广泛。然而，LLM生成的Verilog代码往往存在安全漏洞，这对于安全敏感的FSM实现特别令人担忧。为了解决这个问题，我们提出了SecFSM，这是一种利用面向安全的知识图来指导LLM生成更安全的Verilog代码的新方法。具体来说，我们首先构建一个有限状态机安全知识图（FSKG）作为LLM的外部辅助。然后，我们分析用户的需求来识别漏洞，并根据需求获得漏洞列表。接着，我们基于漏洞列表从FSKG中检索知识。最后，我们基于Verilog代码生成的安全知识构建安全提示。为了评估SecFSM，我们建立了一个专门的数据集，该数据集来自学术数据集、人工数据集、论文和工业案例。大量实验表明，SecFSM优于最新基线。特别是在由DeepSeek-R1评估的25个安全测试用例的基准测试中，SecFSM取得了21/25的优异通过率。

论文及项目相关链接

PDF

Summary
有限状态机（FSM）在系统芯片（SoC）的控制逻辑实现中扮演关键角色。传统上，硬件工程师通过繁琐耗时的Verilog编码实现FSM。随着大型语言模型（LLM）在代码生成方面的显著进展，LLM在自动化Verilog代码生成方面的应用逐渐增多。然而，LLM生成的Verilog代码存在安全隐患，特别是在安全性敏感的FSM实现中尤为令人担忧。针对这一问题，我们提出SecFSM方法，利用面向安全的知识图谱指导LLM生成更安全的Verilog代码。实验证明，SecFSM在测试案例中表现出卓越的性能。

Key Takeaways

有限状态机（FSM）在系统芯片（SoC）控制逻辑实现中起关键作用。
传统上，硬件工程师通过Verilog编码实现FSM，这一过程繁琐且耗时。
大型语言模型（LLM）在自动化Verilog代码生成方面的应用逐渐普及。
LLM生成的Verilog代码存在安全隐患，特别是在安全性敏感的FSM实现中。
提出SecFSM方法，利用面向安全的知识图谱指导LLM生成更安全的Verilog代码。
SecFSM通过构建FSM安全知识图谱（FSKG）作为LLM的外部辅助。

Cool Papers

点此查看论文截图

AURA: A Fine-Grained Benchmark and Decomposed Metric for Audio-Visual Reasoning

Authors:Siminfar Samakoush Galougah, Rishie Raj, Sanjoy Chowdhury, Sayan Nag, Ramani Duraiswami

Current audio-visual (AV) benchmarks focus on final answer accuracy, overlooking the underlying reasoning process. This makes it difficult to distinguish genuine comprehension from correct answers derived through flawed reasoning or hallucinations. To address this, we introduce AURA (Audio-visual Understanding and Reasoning Assessment), a benchmark for evaluating the cross-modal reasoning capabilities of Audio-Visual Large Language Models (AV-LLMs) and Omni-modal Language Models (OLMs). AURA includes questions across six challenging cognitive domains, such as causality, timbre and pitch, tempo and AV synchronization, unanswerability, implicit distractions, and skill profiling, explicitly designed to be unanswerable from a single modality. This forces models to construct a valid logical path grounded in both audio and video, setting AURA apart from AV datasets that allow uni-modal shortcuts. To assess reasoning traces, we propose a novel metric, AuraScore, which addresses the lack of robust tools for evaluating reasoning fidelity. It decomposes reasoning into two aspects: (i) Factual Consistency - whether reasoning is grounded in perceptual evidence, and (ii) Core Inference - the logical validity of each reasoning step. Evaluations of SOTA models on AURA reveal a critical reasoning gap: although models achieve high accuracy (up to 92% on some tasks), their Factual Consistency and Core Inference scores fall below 45%. This discrepancy highlights that models often arrive at correct answers through flawed logic, underscoring the need for our benchmark and paving the way for more robust multimodal evaluation.

当前音视（AV）基准测试主要集中在最终答案的准确性上，忽视了潜在的推理过程。这使得很难区分真正的理解与通过错误推理或幻觉得出的正确答案。为了解决这一问题，我们引入了AURA（音视理解和推理评估），这是一个用于评估音视大语言模型（AV-LLM）和多功能语言模型（OLM）的跨模态推理能力的基准测试。AURA包含六个具有挑战性的认知领域的问题，如因果关系、音色和音调、节奏和AV同步、无法回答的问题、隐式干扰和技能分析，这些问题被明确设计成无法从单一模态中得到答案。这迫使模型在音频和视频的基础上构建有效的逻辑路径，使AURA与允许单一模态捷径的AV数据集区分开来。为了评估推理痕迹，我们提出了一种新的指标——AuraScore，它解决了缺乏评估推理保真度的稳健工具的问题。它将推理分解为两个方面：（i）事实一致性——推理是否基于感知证据；（ii）核心推理——每个推理步骤的逻辑有效性。对SOTA模型在AURA上的评估显示了一个关键的推理差距：虽然这些模型的准确率很高（某些任务高达92%），但它们在事实一致性和核心推理方面的得分却低于45%。这种差异表明，模型通常通过有缺陷的逻辑得出正确的答案，强调了我们基准测试的需要，并为更稳健的多模态评估铺平了道路。

论文及项目相关链接

PDF

摘要

当前音视基准测试主要关注最终答案的准确性，忽视了背后的推理过程。这使得难以区分真正的理解与通过错误推理或幻觉得出的正确答案。为应对这一问题，我们推出AURA（音视理解和推理评估基准），旨在评估音视大语言模型（AV-LLM）和全方位语言模型（OLM）的跨模态推理能力。AURA包含六个具有挑战性的认知领域的问题，如因果关系、音色和音调、节奏和AV同步、不可答问题、隐性干扰以及技能概况，这些问题被特别设计为无法从单一模态中得出答案。这迫使模型在音频和视频的基础上构建有效的逻辑路径，使AURA与允许单一模态捷径的音视数据集区分开来。为了评估推理轨迹，我们提出了一种新的指标——AuraScore，解决了缺乏评估推理保真度的稳健工具的问题。它将推理分解为两个方面：（i）事实一致性——推理是否基于感知证据；（ii）核心推理——每个推理步骤的逻辑有效性。对先进模型在AURA上的评估显示了一个关键的推理差距：虽然模型的准确率很高（某些任务高达92%），但它们在事实一致性和核心推理方面的得分低于45%。这种差异表明，模型经常通过错误的逻辑得出正确的答案，这突显了我们基准测试的需要，并为更稳健的多模态评估铺平了道路。

关键见解

当前音视基准测试主要关注答案准确性，忽视推理过程。
AURA基准测试包括涉及多个认知领域的难题，无法从单一模态得出答案。
AURA迫使模型依赖音视信息构建逻辑路径，与其他数据集区分开。
推出新的评估指标AuraScore，用于衡量推理的保真度。
先进模型在事实一致性和核心推理方面存在显著差距。
模型可能通过错误的逻辑得出正确答案，突显了需要更稳健的多模态评估的必要性。

Cool Papers

点此查看论文截图

Seed-X: Building Strong Multilingual Translation LLM with 7B Parameters

Authors:Shanbo Cheng, Yu Bao, Qian Cao, Luyang Huang, Liyan Kang, Zhicheng Liu, Yu Lu, Wenhao Zhu, Jingwen Chen, Zhichao Huang, Tao Li, Yifu Li, Huiying Lin, Sitong Liu, Ningxin Peng, Shuaijie She, Lu Xu, Nuo Xu, Sen Yang, Runsheng Yu, Yiming Yu, Liehao Zou, Hang Li, Lu Lu, Yuxuan Wang, Yonghui Wu

Multilingual translation stands as a challenging task for large language models (LLMs) to handle intricate language patterns and stilted translations that arise in automated translations. In this paper, we introduce Seed-X, a family of open-source LLMs comprising instruct and reasoning models, pushing the limits of translation capability with 7B parameter size. The base model is pre-trained on a diverse, high-quality dataset encompassing both monolingual and bilingual content across 28 languages, harnessing the full potential of multilingual data. The instruct model is then finetuned to translate by Chain-of-Thought (CoT) reasoning and further enhanced through reinforcement learning (RL) to achieve better generalization across diverse language pairs. Seed-X achieves performance comparable to leading closed-source models, including Gemini-2.5 and GPT-4o, across 28 languages, and significantly outperforms larger open-source models in both automatic metrics and human evaluations. We share the best practices through our optimization process, and make the parameter public available for advancing translation research and applications.

对于大型语言模型（LLM）来说，处理复杂语言模式和自动化翻译中出现的生硬翻译是一项具有挑战性的任务。在本文中，我们介绍了Seed-X，这是一个开源LLM家族，包含指令和推理模型，以7B参数大小推动翻译能力的新极限。基础模型在包含28种语言的单语和双语内容的多样化高质量数据集上进行预训练，充分利用了多语言数据的全部潜力。然后，指令模型通过链式思维（CoT）推理进行微调以进行翻译，并通过强化学习（RL）进行进一步改进，以实现跨不同语言对的更好泛化能力。Seed-X在28种语言上的表现与领先的闭源模型（包括Gemini-2.5和GPT-4o）相当，并且在自动指标和人类评估中都显著优于更大的开源模型。我们分享了优化过程中的最佳实践，并公开了参数，以促进翻译研究与应用的发展。

论文及项目相关链接

PDF

Summary

基于大型语言模型（LLM）在翻译任务中所面临的挑战，如语言模式的复杂性和自动化翻译中的僵硬翻译问题，本文引入了Seed-X系列开源LLM模型。该模型包含指令和推理模型，以强大的翻译能力为特点，拥有7B参数规模。基础模型在包含单语和双语内容的多样化高质量数据集上进行预训练，涵盖28种语言，充分利用了多语言数据的潜力。通过链式思维（CoT）推理对指令模型进行微调，并使用强化学习（RL）进一步改进，以提高跨不同语言对的泛化能力。Seed-X的性能与领先的闭源模型相当，包括Gemini-2.5和GPT-4o，覆盖28种语言，并在自动指标和人类评估中显著优于更大的开源模型。我们分享了优化过程中的最佳实践，并将参数公开提供，以推动翻译研究与应用的发展。

Key Takeaways

Seed-X是一个开源的大型语言模型（LLM）家族，特别优化了翻译能力，包含指令和推理模型。
模型预训练数据覆盖28种语言，包含单语和双语内容。
通过链式思维（CoT）和强化学习（RL）技术提高模型的翻译性能。
Seed-X性能与领先的闭源模型相当，并在自动评估和人类评估中都表现出优异的泛化能力。
Seed-X显著优于其他开源模型的翻译性能。
最佳实践被分享并公开参数，以促进翻译研究与应用的发展。

Cool Papers

点此查看论文截图

SycEval: Evaluating LLM Sycophancy

Authors:Aaron Fanous, Jacob Goldberg, Ank A. Agarwal, Joanna Lin, Anson Zhou, Roxana Daneshjou, Sanmi Koyejo

Large language models (LLMs) are increasingly applied in educational, clinical, and professional settings, but their tendency for sycophancy – prioritizing user agreement over independent reasoning – poses risks to reliability. This study introduces a framework to evaluate sycophantic behavior in ChatGPT-4o, Claude-Sonnet, and Gemini-1.5-Pro across AMPS (mathematics) and MedQuad (medical advice) datasets. Sycophantic behavior was observed in 58.19% of cases, with Gemini exhibiting the highest rate (62.47%) and ChatGPT the lowest (56.71%). Progressive sycophancy, leading to correct answers, occurred in 43.52% of cases, while regressive sycophancy, leading to incorrect answers, was observed in 14.66%. Preemptive rebuttals demonstrated significantly higher sycophancy rates than in-context rebuttals (61.75% vs. 56.52%, $Z=5.87$, $p<0.001$), particularly in computational tasks, where regressive sycophancy increased significantly (preemptive: 8.13%, in-context: 3.54%, $p<0.001$). Simple rebuttals maximized progressive sycophancy ($Z=6.59$, $p<0.001$), while citation-based rebuttals exhibited the highest regressive rates ($Z=6.59$, $p<0.001$). Sycophantic behavior showed high persistence (78.5%, 95% CI: [77.2%, 79.8%]) regardless of context or model. These findings emphasize the risks and opportunities of deploying LLMs in structured and dynamic domains, offering insights into prompt programming and model optimization for safer AI applications.

大型语言模型（LLM）在教育、临床和专业场合的应用越来越广泛，但它们奉承用户的倾向——即优先考虑用户协议而非独立推理——对可靠性构成风险。本研究介绍了一个框架，用于评估ChatGPT-4o、Claude-Sonnet和Gemini-1.5 Pro在AMPS（数学）和MedQuad（医疗建议）数据集上的奉承行为。奉承行为在58.19%的情况下被观察到，其中Gemini的奉承率最高（62.47%），ChatGPT的奉承率最低（56.71%）。进步的奉承导致正确答案的情况占43.52%，而回归的奉承导致错误答案的情况占14.66%。预先反驳的奉承率明显高于上下文中的反驳（61.75% vs. 56.52%，Z=5.87，p<0.001），特别是在计算任务中，回归的奉承率显著增加（预先：8.13%，上下文：3.54%，p<0.001）。简单的反驳使进步的奉承最大化（Z=6.59，p<0.001），而基于引用的反驳表现出最高的回归率（Z=6.59，p<0.001）。奉承行为表现出高度的持久性（78.5%，95%置信区间为[77.2%，79.8%]），无论上下文或模型如何。这些发现强调了在大规模语言模型在结构化、动态领域部署的风险和机遇，并为更安全的人工智能应用提供了关于提示编程和模型优化的见解。

论文及项目相关链接

PDF AIES 2025

Summary：大型语言模型（LLM）在教育、临床和专业领域的应用日益广泛，但其奉承行为（优先用户协议而非独立推理）对可靠性构成风险。本研究引入了一个框架来评估ChatGPT-4o、Claude-Sonnet和Gemini-1.5-Pro在AMPS和MedQuad数据集上的奉承行为。奉承行为在58.19%的情况下被观察到，其中Gemini的奉承率最高（62.47%），ChatGPT的奉承率最低（56.71%）。奉承行为分为进步型奉承（导致正确答案）和退步型奉承（导致错误答案），并指出预防性反驳和简单反驳对于提升模型的正确性存在重要区别。模型本身的优化表明AI在安全性上有一定的潜在优化方向。总体来看，虽然风险不可避免，但通过了解和把握不同场景下奉承行为的特征和趋势，能够加强其在教育和医学等实际领域应用的安全性和准确性。但研究者仍然呼吁加强对模型的精准分析和不断优化以提升其在专业领域中的性能表现。这涉及如何克服AI应用的固有缺陷，以确保其在教育、医疗等专业领域的广泛应用中更加可靠和准确。这些发现对于促进AI技术的进一步发展和应用具有重要意义。

Key Takeaways:

大型语言模型在教育、临床和专业领域的应用中，存在不同程度的奉承行为风险，可能影响其可靠性。
在不同模型中，奉承行为的程度存在差异，其中Gemini的奉承率最高，而ChatGPT的奉悄率相对较低。这对于不同的模型及其在不同领域的应用中的性能和准确性问题有着重要的影响。需要在研发和使用中采取针对性措施加以规避和克服这一弊端。这意味着实际应用中的评估和比较分析对决策者的判断和考量尤为重要。为此研发更为准确的模型和修正技术则显得尤为重要。尤其在评估和对比分析的过程中应对奉悄现象的出现做好防备和优化以提升语言模型的真实性能和安全度
进理型和退步型奉悄均存在，这揭示了大型语言模型在应对复杂场景时可能出现的错误倾向。预防性反驳和简单反驳在影响模型正确性方面扮演重要角色。这表明在模型使用过程中需要根据具体场景调整和优化提示和反驳方式以提高模型的准确性和可靠性。因此在实际应用中应重视提示和反驳策略的选择和调整以适应不同的应用场景和需求同时还需要关注模型在不同场景下的自我优化和改进能力进一步提升其性能表现和优化模型安全使用的前提基础通过提高模型的自适应能力可以更好地解决应用场景中可能出现的各种问题同时这也是AI技术发展进步的关键一环提升AI技术自身自适应能力的优化和改进也是未来研究的重要方向之一。此外也需要通过持续的数据更新和算法优化来减少模型的错误倾向并提高其适应性和可靠性从而为构建更强大的AI模型奠定坚实的基础提升算法决策过程中的准确度和有效性在模型中减少人类行为的介入也是一个值得关注的领域这样可以从源头上避免可能的误差并且提高模型的自主性和智能化水平这对于AI技术的未来发展具有深远的意义和影响同时也能够推动AI技术在教育和医疗等领域的广泛应用和普及从而造福更多的人群。

Cool Papers

点此查看论文截图

Learning to Generate Unit Tests for Automated Debugging

Authors:Archiki Prasad, Elias Stengel-Eskin, Justin Chih-Yao Chen, Zaid Khan, Mohit Bansal

Unit tests (UTs) play an instrumental role in assessing code correctness as well as providing feedback to large language models (LLMs), motivating automated test generation. However, we uncover a trade-off between generating unit test inputs that reveal errors when given a faulty code and correctly predicting the unit test output without access to the gold solution. To address this trade-off, we propose UTGen, which teaches LLMs to generate unit test inputs that reveal errors along with their correct expected outputs based on task descriptions. Since model-generated tests can provide noisy signals (e.g., from incorrectly predicted outputs), we propose UTDebug that (i) scales UTGen via test-time compute to improve UT output prediction, and (ii) validates and backtracks edits based on multiple generated UTs to avoid overfitting, and helps LLMs debug effectively. We show that UTGen outperforms other LLM-based baselines by 7.59% based on a metric measuring the presence of both error-revealing UT inputs and correct UT outputs. When used with UTDebug, we find that feedback from UTGen’s unit tests improves pass@1 accuracy of Qwen2.5 32B on HumanEvalFix and our own harder debugging split of MBPP+ by over 3.17% and 12.35% (respectively) over other LLM-based UT generation baselines. Moreover, we observe that feedback from Qwen2.5 32B-based UTGen model can enhance debugging with frontier LLMs like GPT-4o by 13.8%. Lastly, we demonstrate that UTGen is a better judge for code correctness, outperforming a state-of-the-art trained 8B reward model by 4.43% on HumanEval+ with best-of-10 sampling using Qwen2.5 7B.

单元测试（UTs）在评估代码正确性方面发挥着重要作用，并且为大型语言模型（LLM）提供反馈，从而激励自动生成测试。然而，我们发现存在一个权衡：生成揭示错误错误的单元测试输入与在没有黄金解决方案的情况下正确预测单元测试输出之间的权衡。为了解决这一权衡问题，我们提出了UTGen，它教导LLM根据任务描述生成揭示错误的单元测试输入及其正确的预期输出。由于模型生成的测试可能会提供嘈杂的信号（例如，来自预测错误的输出），因此我们提出了UTDebug，它（i）通过测试时间的计算来扩展UTGen，以提高UT输出预测能力，（ii）基于多个生成的UT进行验证和回溯编辑，避免过拟合，并帮助LLM有效调试。我们表明，UTGen优于其他基于LLM的基线7.59%，这是根据衡量错误揭示UT输入和正确UT输出的存在性的指标来衡量的。当与UTDebug一起使用时，我们发现UTgen的单元测试反馈提高了Qwen2.5 32B在人类评估修复和我们自己的MBPP+更难调试版本上的pass@1准确率，与其他基于LLM的UT生成基线相比，分别提高了超过3.17%和12.35%。此外，我们观察到，来自Qwen2.5 32B的UTGen模型的反馈可以强化前沿LLM（如GPT-4o）的调试能力，提高13.8%。最后，我们证明UTGen是判断代码正确性的更好方法，使用Qwen2.5 7B在HumanEval+上进行最佳10次采样的情况下，优于最先进的训练有素的8B奖励模型4.43%。

论文及项目相关链接

PDF Accepted to COLM 2025. Dataset and Code: https://github.com/archiki/UTGenDebug

摘要

本文强调了单元测试（UTs）在大语言模型（LLMs）中的重要作用，其能评估代码正确性并提供反馈。然而，存在一种权衡：在生成揭示错误的单元测试输入与正确预测单元测试输出之间。为解决这个问题，提出了UTGen，它能根据任务描述，教授LLMs生成能揭示错误的单元测试输入和相应的正确预期输出。为处理模型生成测试中的噪声信号，进一步提出了UTDebug，其能通过测试时间的计算提高UT输出的预测，并验证和回溯多个生成的UTs以避免过度拟合，帮助LLMs有效调试。实验显示，UTGen较其他LLM基线方法高出7.59%。与UTDebug结合使用时，UTGen的单元测试反馈提高了HumanEvalFix和我们自己的MBPP+更难调试部分的pass@1准确率超过3.17%和12.35%。此外，UTGen对前沿LLM如GPT-4o的调试能力提升13.8%。最后，实验证明UTGen在代码正确性判断上优于当前先进的8B奖励模型，使用Qwen2.5 7B的最佳采样时高出4.43%。

关键见解