R1_Reasoning

⚠️ 以下所有内容总结都来自于 大语言模型的能力，如有错误，仅供参考，谨慎使用
🔴 请注意：千万不要用于严肃的学术场景，只能用于论文阅读前的初筛！
💗 如果您觉得我们的项目对您有帮助 ChatPaperFree ，还请您给我们一些鼓励！⭐️ HuggingFace免费体验

2025-05-10 更新

Bring Reason to Vision: Understanding Perception and Reasoning through Model Merging

Authors:Shiqi Chen, Jinghan Zhang, Tongyao Zhu, Wei Liu, Siyang Gao, Miao Xiong, Manling Li, Junxian He

Vision-Language Models (VLMs) combine visual perception with the general capabilities, such as reasoning, of Large Language Models (LLMs). However, the mechanisms by which these two abilities can be combined and contribute remain poorly understood. In this work, we explore to compose perception and reasoning through model merging that connects parameters of different models. Unlike previous works that often focus on merging models of the same kind, we propose merging models across modalities, enabling the incorporation of the reasoning capabilities of LLMs into VLMs. Through extensive experiments, we demonstrate that model merging offers a successful pathway to transfer reasoning abilities from LLMs to VLMs in a training-free manner. Moreover, we utilize the merged models to understand the internal mechanism of perception and reasoning and how merging affects it. We find that perception capabilities are predominantly encoded in the early layers of the model, whereas reasoning is largely facilitated by the middle-to-late layers. After merging, we observe that all layers begin to contribute to reasoning, whereas the distribution of perception abilities across layers remains largely unchanged. These observations shed light on the potential of model merging as a tool for multimodal integration and interpretation.

视觉语言模型（VLMs）结合了视觉感知与大型语言模型（LLMs）的推理等一般能力。然而，这两种能力如何结合以及它们如何共同发挥作用，其机制仍未能被充分理解。在这项工作中，我们尝试通过模型合并来组合感知和推理，该方式连接不同模型的参数。不同于之前常常关注相同类型模型的合并，我们提出跨模态的模型合并，使得能够将大型语言模型的推理能力融入视觉语言模型中。通过广泛的实验，我们证明了模型合并是无需训练即可将大型语言模型的推理能力转移到视觉语言模型的一条成功路径。此外，我们利用合并后的模型来理解感知和推理的内在机制以及合并对其产生的影响。我们发现感知能力主要编码在模型的早期层次中，而推理则主要由中后期层次促进。合并后，我们观察到所有层次都开始对推理做出贡献，而感知能力在层次中的分布基本保持不变。这些观察揭示了模型合并作为多模态集成和解释的工具的潜力。

论文及项目相关链接

PDF ICML 2025. Our code is publicly available at https://github.com/shiqichen17/VLM_Merging

Summary
视觉语言模型（VLMs）结合了视觉感知与大型语言模型（LLMs）的推理等一般能力。然而，这两种能力如何结合和贡献的机制尚不清楚。本研究通过模型合并探索了感知和推理的结合方式，该方式连接了不同模型的参数。不同于以往多集中在相同模型合并的研究，我们提出了跨模态模型合并的方法，使LLMs的推理能力可以融入VLMs中。通过大量实验，我们证明了模型合并是无需训练即可将LLMs的推理能力转移到VLMs的有效方法。此外，我们还利用合并后的模型了解感知和推理的内在机制以及合并对其的影响。发现感知能力主要编码在模型的早期层次，而推理能力主要由中后期层次支持。合并后，观察到所有层次都开始对推理做出贡献，而感知能力的层次分布基本保持不变。这些观察揭示了模型合并作为多模态集成和解释工具的潜力。

Key Takeaways

1. VLMs结合视觉感知与LLMs的推理能力。
2. 模型合并是跨模态连接不同模型参数的有效方法。
3. 模型合并可以使LLMs的推理能力融入VLMs中。
4. 通过实验证明模型合并无需训练即可实现能力转移。
5. 感知能力主要分布在模型的早期层次，而推理能力涉及中后期层次。
6. 合并后所有层次的模型都对推理做出贡献，感知能力的层次分布保持不变。

Cool Papers

点此查看论文截图

Reasoning Models Don’t Always Say What They Think

Authors:Yanda Chen, Joe Benton, Ansh Radhakrishnan, Jonathan Uesato, Carson Denison, John Schulman, Arushi Somani, Peter Hase, Misha Wagner, Fabien Roger, Vlad Mikulik, Samuel R. Bowman, Jan Leike, Jared Kaplan, Ethan Perez

Chain-of-thought (CoT) offers a potential boon for AI safety as it allows monitoring a model’s CoT to try to understand its intentions and reasoning processes. However, the effectiveness of such monitoring hinges on CoTs faithfully representing models’ actual reasoning processes. We evaluate CoT faithfulness of state-of-the-art reasoning models across 6 reasoning hints presented in the prompts and find: (1) for most settings and models tested, CoTs reveal their usage of hints in at least 1% of examples where they use the hint, but the reveal rate is often below 20%, (2) outcome-based reinforcement learning initially improves faithfulness but plateaus without saturating, and (3) when reinforcement learning increases how frequently hints are used (reward hacking), the propensity to verbalize them does not increase, even without training against a CoT monitor. These results suggest that CoT monitoring is a promising way of noticing undesired behaviors during training and evaluations, but that it is not sufficient to rule them out. They also suggest that in settings like ours where CoT reasoning is not necessary, test-time monitoring of CoTs is unlikely to reliably catch rare and catastrophic unexpected behaviors.

思维链（CoT）为人工智能安全提供了潜在的福音，因为它允许监控模型的思维链，以试图理解其意图和推理过程。然而，这种监控的有效性取决于思维链是否真实地代表模型的实际推理过程。我们评估了最前沿推理模型的思维链忠实度，涵盖了提示中的6个推理提示，并发现：
（1）在大多数测试和模型情况下，思维链揭示了它们在至少1%的示例中使用了提示，但揭示率通常低于20%；
（2）基于结果的正向强化学习最初会提高忠实度，但会达到平稳状态而不会饱和；
（3）当正向强化学习增加使用提示的频率（奖励破解）时，即使在没有针对思维链监视器进行训练的情况下，表述它们的倾向也不会增加。这些结果表明，思维链监控是注意到训练和评估过程中不希望出现的一种行为的一种有前途的方式，但仅凭这种方式并不足以将其排除。它们还表明，在我们这样的环境中，如果思维链推理并非必要，那么在测试时对思维链的监控很可能无法可靠地捕捉到罕见的和灾难性的意外行为。

论文及项目相关链接

PDF

Summary

本文探讨了Chain-of-thought（CoT）在AI安全领域的应用潜力，并评估了当前先进推理模型的CoT忠实度。研究发现，CoT能够在至少1%的示例中揭示模型对提示的使用情况，但揭示率通常低于20%。基于结果的强化学习最初能提高忠实度，但会达到稳定状态而不会饱和。当强化学习增加提示的使用频率时，即使在没有针对CoT监视器进行训练的情况下，表述它们的倾向也不会增加。这些结果表明，CoT监控是一种在训练和评估过程中发现不良行为的有用方法，但并不足以完全排除这些行为。在不需要CoT推理的情境中，测试期间的CoT监控可能无法可靠地捕获罕见且灾难性的意外行为。

Key Takeaways

1. CoT能够揭示模型对提示的使用情况，但揭示率较低，通常低于20%。
2. 基于结果的强化学习能提高CoT忠实度，但存在稳定状态，不能完全达到饱和。
3. 当强化学习增加提示使用频率时，模型表述提示的倾向并不会增加。
4. CoT监控在发现和注意不良行为方面表现出潜力，但不足以完全排除这些行为。
5. 在不需要CoT推理的情境中，CoT监控可能无法有效捕获罕见且灾难性的意外行为。
6. CoT代表模型的推理过程可能受到限制，因此应当进一步研究以提高其有效性。

Cool Papers

点此查看论文截图

DSDrive: Distilling Large Language Model for Lightweight End-to-End Autonomous Driving with Unified Reasoning and Planning

Authors:Wenru Liu, Pei Liu, Jun Ma

We present DSDrive, a streamlined end-to-end paradigm tailored for integrating the reasoning and planning of autonomous vehicles into a unified framework. DSDrive leverages a compact LLM that employs a distillation method to preserve the enhanced reasoning capabilities of a larger-sized vision language model (VLM). To effectively align the reasoning and planning tasks, a waypoint-driven dual-head coordination module is further developed, which synchronizes dataset structures, optimization objectives, and the learning process. By integrating these tasks into a unified framework, DSDrive anchors on the planning results while incorporating detailed reasoning insights, thereby enhancing the interpretability and reliability of the end-to-end pipeline. DSDrive has been thoroughly tested in closed-loop simulations, where it performs on par with benchmark models and even outperforms in many key metrics, all while being more compact in size. Additionally, the computational efficiency of DSDrive (as reflected in its time and memory requirements during inference) has been significantly enhanced. Evidently thus, this work brings promising aspects and underscores the potential of lightweight systems in delivering interpretable and efficient solutions for AD.

我们介绍了DSDrive，这是一个为自动驾驶车的推理和规划整合而量身定制的端到端范式统一框架。DSDrive利用了一个紧凑的LLM，该模型采用蒸馏法保留大型视觉语言模型（VLM）增强的推理能力。为了有效地对齐推理和规划任务，进一步开发了一种基于路点的双头协调模块，该模块同步数据集结构、优化目标和学习过程。通过将这些任务整合到统一框架中，DSDrive以规划结果为核心，同时融入详细的推理见解，从而提高了端到端管道的可解释性和可靠性。DSDrive已在闭环仿真中进行了全面测试，其性能与基准模型相当，并在许多关键指标上表现优异，同时系统体积更小。此外，DSDrive的计算效率（反映在其推理过程中的时间和内存要求）得到了显著提高。因此，这项工作带来了有希望的方面，并突出了轻量化系统在提供可解释和高效的自动驾驶解决方案方面的潜力。

论文及项目相关链接

PDF

Summary

DSDrive是一个为自动驾驶车辆提供端到端的推理和规划一体化的框架。它采用紧凑的LLM模型，利用蒸馏方法保留大型视觉语言模型的推理能力。通过开发一种基于路径点的双头协调模块，有效对齐推理和规划任务，提高数据集结构、优化目标和学习过程的同步性。DSDrive将详细的推理结果融入规划结果中，提高了整个系统的可解释性和可靠性。在封闭环境的模拟测试中，DSDrive表现优秀，且计算效率显著提高。这项工作展现了其在自动驾驶领域的潜力。

Key Takeaways

1. DSDrive是一个端到端的框架，专为整合自动驾驶的推理和规划而设计。
2. 它采用紧凑的LLM模型，具备大型视觉语言模型的推理能力。
3. 通过蒸馏方法，DSDrive保留了原始模型的推理能力。
4. 引入了一种基于路径点的双头协调模块，同步推理和规划任务。
5. DSDrive将详细的推理结果融入规划结果中，增强了系统的可解释性和可靠性。
6. 在模拟测试中，DSDrive表现优秀，与基准模型相比具有竞争力，并在关键指标上有所超越。

Cool Papers

点此查看论文截图

SpatialPrompting: Keyframe-driven Zero-Shot Spatial Reasoning with Off-the-Shelf Multimodal Large Language Models

Authors:Shun Taguchi, Hideki Deguchi, Takumi Hamazaki, Hiroyuki Sakai

This study introduces SpatialPrompting, a novel framework that harnesses the emergent reasoning capabilities of off-the-shelf multimodal large language models to achieve zero-shot spatial reasoning in three-dimensional (3D) environments. Unlike existing methods that rely on expensive 3D-specific fine-tuning with specialized 3D inputs such as point clouds or voxel-based features, SpatialPrompting employs a keyframe-driven prompt generation strategy. This framework uses metrics such as vision-language similarity, Mahalanobis distance, field of view, and image sharpness to select a diverse and informative set of keyframes from image sequences and then integrates them with corresponding camera pose data to effectively abstract spatial relationships and infer complex 3D structures. The proposed framework not only establishes a new paradigm for flexible spatial reasoning that utilizes intuitive visual and positional cues but also achieves state-of-the-art zero-shot performance on benchmark datasets, such as ScanQA and SQA3D, across several metrics. The proposed method effectively eliminates the need for specialized 3D inputs and fine-tuning, offering a simpler and more scalable alternative to conventional approaches.

本研究介绍了SpatialPrompting，这是一种新型框架，它利用现成的多模式大型语言模型的突发推理能力，实现三维环境中无需训练的空间推理。与依赖昂贵的针对三维的微调以及特定的三维输入（如点云或基于体素的特征）的现有方法不同，SpatialPrompting采用基于关键帧的提示生成策略。该框架使用视觉语言相似性、马氏距离、视野和图像清晰度等度量标准，从图像序列中选择多样且信息丰富的关键帧，然后将其与相应的相机姿态数据相结合，以有效地抽象空间关系并推断复杂的三维结构。所提出的框架不仅为利用直观视觉和位置线索的灵活空间推理建立了新范式，而且在ScanQA和SQA3D等基准数据集上实现了最先进的零样本性能，跨越多个指标。所提出的方法有效地消除了对特殊三维输入和微调的需求，为传统方法提供了更简单、更可扩展的替代方案。

论文及项目相关链接

PDF 18 pages, 11 figures

Summary

该研究提出了SpatialPrompting框架，该框架利用现成的多模态大型语言模型的推理能力，实现零样本空间推理。与传统的依赖于昂贵的三维特定微调方法和特殊三维输入（如点云或基于体素的特征）的方法不同，SpatialPrompting采用基于关键帧的提示生成策略。它使用视觉语言相似性、马氏距离、视野和图像清晰度等度量标准从图像序列中选择多样且信息丰富的关键帧，并将其与相应的相机姿态数据集成，以有效地抽象空间关系并推断复杂的三维结构。该框架不仅建立了一种灵活利用直观视觉和位置线索进行空间推理的新范式，而且在ScanQA和SQA3D等基准数据集上实现了最先进的零样本性能。此外，它有效地消除了对特殊三维输入和微调的需求，为传统方法提供了更简单且更可扩展的替代方案。

Key Takeaways

1. SpatialPrompting是一个新颖的框架，用于实现零样本空间推理，依赖于多模态大型语言模型的推理能力。
2. 与其他方法不同，它不需要昂贵的三维特定微调或特殊的三维输入。
3. 通过基于关键帧的提示生成策略选择关键帧并集成相机姿态数据，以推断复杂的三维结构。
4. 该框架使用视觉语言相似性、马氏距离、视野和图像清晰度等度量标准来选择关键帧。
5. 它有效地抽象空间关系并整合视觉和位置线索进行灵活的空间推理。
6. 在基准数据集上实现了最先进的零样本性能。

Cool Papers

点此查看论文截图

ConCISE: Confidence-guided Compression in Step-by-step Efficient Reasoning

Authors:Ziqing Qiao, Yongheng Deng, Jiali Zeng, Dong Wang, Lai Wei, Fandong Meng, Jie Zhou, Ju Ren, Yaoxue Zhang

Large Reasoning Models (LRMs) perform strongly in complex reasoning tasks via Chain-of-Thought (CoT) prompting, but often suffer from verbose outputs caused by redundant content, increasing computational overhead, and degrading user experience. Existing compression methods either operate post-hoc pruning, risking disruption to reasoning coherence, or rely on sampling-based selection, which fails to intervene effectively during generation. In this work, we introduce a confidence-guided perspective to explain the emergence of redundant reflection in LRMs, identifying two key patterns: Confidence Deficit, where the model reconsiders correct steps due to low internal confidence, and Termination Delay, where reasoning continues even after reaching a confident answer. Based on this analysis, we propose ConCISE (Confidence-guided Compression In Step-by-step Efficient Reasoning), a framework that simplifies reasoning chains by reinforcing the model’s confidence during inference, thus preventing the generation of redundant reflection steps. It integrates Confidence Injection to stabilize intermediate steps and Early Stopping to terminate reasoning when confidence is sufficient. Extensive experiments demonstrate that fine-tuning LRMs on ConCISE-generated data yields significantly shorter outputs, reducing length by up to approximately 50% under SimPO, while maintaining high task accuracy. ConCISE consistently outperforms existing baselines across multiple reasoning benchmarks.

大型推理模型（LRMs）通过思维链（CoT）提示在复杂的推理任务中表现出强大的性能，但常常因为冗余内容而导致冗长的输出，增加了计算开销并降低了用户体验。现有的压缩方法要么进行事后修剪，可能破坏推理的连贯性，要么依赖于基于采样的选择，无法在生成过程中进行有效干预。在这项工作中，我们引入了一个基于信心的视角来解释LRM中冗余反思的出现原因，并识别出两种关键模式：信心不足，即模型因内部信心不足而重新考虑正确的步骤；终止延迟，即使在得到确定的答案后，推理仍会继续。基于这种分析，我们提出了ConCISE（基于信心的逐步高效推理压缩框架），它通过加强模型在推理过程中的信心来简化推理链，从而防止生成冗余的反思步骤。它集成了信心注入来稳定中间步骤和提前停止功能，在信心足够时终止推理。大量实验表明，在ConCISE生成的数据上对LRM进行微调会产生更短的输出，在SimPO下长度减少高达约50%，同时保持高任务准确率。ConCISE在多个推理基准测试上始终优于现有基线。

论文及项目相关链接

PDF

Summary

大型推理模型（LRMs）通过链式思维（CoT）提示在复杂推理任务中表现出色，但常常因冗余内容而产生冗长输出，增加计算开销并降低用户体验。现有压缩方法要么进行事后修剪，可能破坏推理连贯性，要么依赖采样选择，无法在生成过程中有效干预。本文引入信心引导的视角，分析LRMs中冗余反射的出现原因，识别出两大关键模式：信心不足和终止延迟。基于此分析，我们提出ConCISE（信心引导逐步高效推理压缩）框架，通过加强模型推理过程中的信心来简化推理链，防止生成冗余反思步骤。它集成了信心注入来稳定中间步骤和提前停止功能，在达到足够信心时终止推理。实验表明，在ConCISE生成的数据上进行微调的大型推理模型输出更短，在SimPO下长度减少约50%，同时保持高任务准确性。ConCISE在多个推理基准测试中始终优于现有基线。

Key Takeaways

1. 大型推理模型（LRMs）在复杂推理任务中表现出色，但存在冗长输出和计算开销问题。
2. 冗余输出主要源于信心不足和终止延迟两大模式。
3. ConCISE框架通过加强模型信心来简化推理链，集成信心注入和提前停止功能。
4. 实验表明，ConCISE能显著缩短输出长度，同时保持高任务准确性。
5. ConCISE在多个推理基准测试中性能优于现有基线。
6. ConCISE框架有助于改善用户体验和计算效率。

Cool Papers

点此查看论文截图

Large Language Models are Autonomous Cyber Defenders

Authors:Sebastián R. Castro, Roberto Campbell, Nancy Lau, Octavio Villalobos, Jiaqi Duan, Alvaro A. Cardenas

Fast and effective incident response is essential to prevent adversarial cyberattacks. Autonomous Cyber Defense (ACD) aims to automate incident response through Artificial Intelligence (AI) agents that plan and execute actions. Most ACD approaches focus on single-agent scenarios and leverage Reinforcement Learning (RL). However, ACD RL-trained agents depend on costly training, and their reasoning is not always explainable or transferable. Large Language Models (LLMs) can address these concerns by providing explainable actions in general security contexts. Researchers have explored LLM agents for ACD but have not evaluated them on multi-agent scenarios or interacting with other ACD agents. In this paper, we show the first study on how LLMs perform in multi-agent ACD environments by proposing a new integration to the CybORG CAGE 4 environment. We examine how ACD teams of LLM and RL agents can interact by proposing a novel communication protocol. Our results highlight the strengths and weaknesses of LLMs and RL and help us identify promising research directions to create, train, and deploy future teams of ACD agents.

快速有效的应急响应是防止对抗性网络攻击的关键。自主网络安全防御（ACD）旨在通过人工智能（AI）代理来自动化应急响应，这些代理可以计划和执行操作。大多数ACD方法都关注单代理场景，并利用强化学习（RL）。然而，ACD的RL训练代理依赖于昂贵的训练成本，并且它们的推理并不总是可解释或可迁移的。大型语言模型（LLM）可以通过在一般安全环境中提供可解释的行动来解决这些担忧。研究人员已经探索了用于ACD的LLM代理，但尚未在多代理场景或与其他ACD代理交互方面进行评估。在本文中，我们通过提出对CybORG CAGE 4环境的新集成，展示了LLM在多代理ACD环境中的表现的首项研究。我们通过在提出一种新型通信协议来检查LLM和RL代理的ACD团队如何相互协作。我们的结果突出了LLM和RL的优点和缺点，并有助于我们确定创建、训练和部署未来ACD代理团队的有前途的研究方向。

论文及项目相关链接

PDF Presented at IEEE CAI Workshop on Adaptive Cyber Defense 2025. Proceedings to appear

Summary
自动化网络安全响应对于防止网络攻击至关重要。本文研究了大型语言模型在多智能体自主网络安全防御环境中的表现，并提出了一种新的集成方法，通过构建一种新型通信协议，实现LLM和强化学习智能体的交互。研究结果表明大型语言模型和强化学习各有优劣，对今后研究指明了方向。通过自适应的训练部署与深度探究应对安全挑战的最佳途径将带来巨大的潜在效益。总体而言，这项研究为未来协同合作策略的研发和改进奠定了基础。这将增强抵御复杂的现实攻击场景的自主性，同时也增加了安全事件的响应速度。

Key Takeaways

以下是基于文本的重要见解列表：

• 快速有效的应急响应对于防止网络攻击至关重要。自主网络安全防御（ACD）旨在通过人工智能（AI）代理自动化应急响应。然而，现有的ACD方法主要关注单一代理场景，并依赖强化学习（RL）。RL训练代理的成本较高，其推理结果也往往无法解释和迁移。对此类问题的潜在解决方案涉及大型语言模型（LLMs）。目前暂无使用LLM代理在ACD环境中进行多智能体研究的证据或证据不足，缺乏评估它们在多智能体场景中的表现以及与ACD其他代理的互动方式。

Cool Papers

点此查看论文截图

Lay-Your-Scene: Natural Scene Layout Generation with Diffusion Transformers

Authors:Divyansh Srivastava, Xiang Zhang, He Wen, Chenru Wen, Zhuowen Tu

We present Lay-Your-Scene (shorthand LayouSyn), a novel text-to-layout generation pipeline for natural scenes. Prior scene layout generation methods are either closed-vocabulary or use proprietary large language models for open-vocabulary generation, limiting their modeling capabilities and broader applicability in controllable image generation. In this work, we propose to use lightweight open-source language models to obtain scene elements from text prompts and a novel aspect-aware diffusion Transformer architecture trained in an open-vocabulary manner for conditional layout generation. Extensive experiments demonstrate that LayouSyn outperforms existing methods and achieves state-of-the-art performance on challenging spatial and numerical reasoning benchmarks. Additionally, we present two applications of LayouSyn. First, we show that coarse initialization from large language models can be seamlessly combined with our method to achieve better results. Second, we present a pipeline for adding objects to images, demonstrating the potential of LayouSyn in image editing applications.

我们提出了Lay-Your-Scene（简称LayouSyn）这一全新的文本到布局生成管道，用于自然场景。之前的场景布局生成方法要么是封闭词汇表，要么使用专有大型语言模型进行开放词汇表生成，这限制了其建模能力和在可控图像生成中的更广泛应用。在这项工作中，我们建议使用轻量级开源语言模型从文本提示中获取场景元素，并使用一种新型的面向方面的扩散Transformer架构，以开放词汇表的方式进行训练，用于条件布局生成。大量实验表明，LayouSyn优于现有方法，并在具有挑战性的空间和数值推理基准测试中实现了最新性能。此外，我们还展示了LayouSyn的两个应用。首先，我们展示了大型语言模型的粗略初始化可以无缝地与我们的方法相结合，以取得更好的结果。其次，我们展示了一个向图像添加物体的管道，证明了LayouSyn在图像编辑应用中的潜力。

论文及项目相关链接

PDF

Summary

本文介绍了Lay-Your-Scene（简称LayouSyn）这一新型的文本到自然场景布局生成管道。与之前的方法相比，LayouSyn采用轻量级开源语言模型获取场景元素，并结合新颖的面向方面的扩散Transformer架构，以开放词汇表的方式进行条件布局生成。实验表明，LayouSyn在具有挑战的空间和数字推理基准测试中表现优异，并超越现有方法达到最新技术水平。此外，还展示了LayouSyn在图像编辑应用中的潜力。

Key Takeaways

1. LayouSyn是一种新型的文本到自然场景布局生成管道。
2. 它采用轻量级开源语言模型获取场景元素。
3. LayouSyn使用新颖的面向方面的扩散Transformer架构进行条件布局生成。
4. 该方法在开放词汇表方式下表现出优异的性能。
5. LayouSyn在具有挑战性的空间和数字推理基准测试中超越了现有方法。
6. LayouSyn可无缝结合大型语言模型的粗略初始化以获得更好的结果。

Cool Papers

点此查看论文截图

REVEAL: Multi-turn Evaluation of Image-Input Harms for Vision LLM

Authors:Madhur Jindal, Saurabh Deshpande

Vision Large Language Models (VLLMs) represent a significant advancement in artificial intelligence by integrating image-processing capabilities with textual understanding, thereby enhancing user interactions and expanding application domains. However, their increased complexity introduces novel safety and ethical challenges, particularly in multi-modal and multi-turn conversations. Traditional safety evaluation frameworks, designed for text-based, single-turn interactions, are inadequate for addressing these complexities. To bridge this gap, we introduce the REVEAL (Responsible Evaluation of Vision-Enabled AI LLMs) Framework, a scalable and automated pipeline for evaluating image-input harms in VLLMs. REVEAL includes automated image mining, synthetic adversarial data generation, multi-turn conversational expansion using crescendo attack strategies, and comprehensive harm assessment through evaluators like GPT-4o. We extensively evaluated five state-of-the-art VLLMs, GPT-4o, Llama-3.2, Qwen2-VL, Phi3.5V, and Pixtral, across three important harm categories: sexual harm, violence, and misinformation. Our findings reveal that multi-turn interactions result in significantly higher defect rates compared to single-turn evaluations, highlighting deeper vulnerabilities in VLLMs. Notably, GPT-4o demonstrated the most balanced performance as measured by our Safety-Usability Index (SUI) followed closely by Pixtral. Additionally, misinformation emerged as a critical area requiring enhanced contextual defenses. Llama-3.2 exhibited the highest MT defect rate ($16.55 %$) while Qwen2-VL showed the highest MT refusal rate ($19.1 %$).

视觉大型语言模型（VLLMs）通过整合图像处理能力与文本理解能力，实现了人工智能的一大进步，从而增强了用户交互并扩大了应用范围。然而，其增加的复杂性也带来了新的安全和道德挑战，特别是在多模态和多轮对话中。传统的安全评估框架，设计用于基于文本的单一轮次交互，不足以应对这些复杂性。为了填补这一空白，我们引入了REVEAL（视觉赋能人工智能大型语言模型责任评估）框架，这是一个用于评估VLLMs中图像输入危害的可扩展和自动化管道。REVEAL包括自动化图像挖掘、合成对抗数据生成、使用渐强攻击策略的多轮对话扩展，以及通过评估者如GPT-4o进行全面危害评估。我们广泛评估了五种最先进的VLLMs，包括GPT-4o、Llama-3.2、Qwen2-VL、Phi3.5V和Pixtral，在三个重要的危害类别：性危害、暴力和错误信息。我们的研究发现，与单轮评估相比，多轮交互导致的缺陷率显著更高，这凸显了VLLMs的更深层次漏洞。值得注意的是，根据我们的安全可用性指数（SUI）测量，GPT-4o表现最为均衡，其次是Pixtral。另外，错误信息作为一个关键领域出现，需要增强上下文防御。Llama-3.2的MT缺陷率最高（16.55%），而Qwen2-VL的MT拒绝率最高（19.1%）。

论文及项目相关链接

PDF 13 pages (8 main), to be published in IJCAI 2025

Summary

文本描述了VLLM（视觉大型语言模型）在人工智能领域的突破性进展，通过集成图像处理和文本理解能力，提高了用户交互并扩展了应用范围。然而，其复杂性增加了新的安全和道德挑战，特别是在多模态和多轮对话中。为此，引入了REVEAL框架，该框架为评估图像输入对VLLM的危害提供了一个可规模化且自动化的管道。研究对五款顶尖VLLM进行了评估，发现多轮交互的缺陷率远高于单轮评估，GPT-4o在平衡性能上表现最佳，而Pixtral紧随其后。同时，误传信息成为一个需要增强上下文防御的关键领域。Llama-3.2的MT缺陷率最高，而Qwen2-VL的MT拒绝率最高。

Key Takeaways

以下是该文本的主要观点和信息要点：

1. VLLM结合了图像处理和文本理解能力，提高了用户交互并扩展了应用范围，代表了人工智能的一大进步。
2. VLLM的复杂性带来了新型安全和道德挑战，特别是在多模态和多轮对话中。
3. 传统安全评估框架无法应对这些挑战，因此需要新的评估方法。
4. REVEAL框架是一个针对VLLM中图像输入危害的自动化评估管道。它包括自动化图像挖掘、合成对抗数据生成等。
5. 在评估了五款顶尖VLLM后，发现多轮交互的缺陷率显著高于单轮评估。
6. GPT-4o在平衡性能上表现最佳，Pixtral紧随其后。误传信息成为关键领域，需要增强上下文防御措施。

Cool Papers

点此查看论文截图

Reward-SQL: Boosting Text-to-SQL via Stepwise Reasoning and Process-Supervised Rewards

Authors:Yuxin Zhang, Meihao Fan, Ju Fan, Mingyang Yi, Yuyu Luo, Jian Tan, Guoliang Li

Recent advances in large language models (LLMs) have significantly improved performance on the Text-to-SQL task by leveraging their powerful reasoning capabilities. To enhance accuracy during the reasoning process, external Process Reward Models (PRMs) can be introduced during training and inference to provide fine-grained supervision. However, if misused, PRMs may distort the reasoning trajectory and lead to suboptimal or incorrect SQL generation.To address this challenge, we propose Reward-SQL, a framework that systematically explores how to incorporate PRMs into the Text-to-SQL reasoning process effectively. Our approach follows a “cold start, then PRM supervision” paradigm. Specifically, we first train the model to decompose SQL queries into structured stepwise reasoning chains using common table expressions (Chain-of-CTEs), establishing a strong and interpretable reasoning baseline. Then, we investigate four strategies for integrating PRMs, and find that combining PRM as an online training signal (GRPO) with PRM-guided inference (e.g., best-of-N sampling) yields the best results. Empirically, on the BIRD benchmark, Reward-SQL enables models supervised by a 7B PRM to achieve a 13.1% performance gain across various guidance strategies. Notably, our GRPO-aligned policy model based on Qwen2.5-Coder-7B-Instruct achieves 68.9% accuracy on the BIRD development set, outperforming all baseline methods under the same model size. These results demonstrate the effectiveness of Reward-SQL in leveraging reward-based supervision for Text-to-SQL reasoning. Our code is publicly available.

近期大型语言模型（LLM）的进步通过利用其强大的推理能力，显著提高了文本到SQL任务的性能。为了提高推理过程中的准确性，可以在训练和推理过程中引入外部进程奖励模型（PRM）来提供精细的监督。然而，如果误用PRM，可能会导致推理轨迹失真，进而产生次优或错误的SQL生成。为了解决这一挑战，我们提出了Reward-SQL框架，该框架系统地探讨了如何有效地将PRM纳入文本到SQL的推理过程。我们的方法遵循“冷启动，然后PRM监督”的模式。具体来说，我们首先训练模型，使用常见表表达式（Chain-of-CTEs）将SQL查询分解为结构化的逐步推理链，建立强大且可解释的推理基线。然后，我们研究了四种PRM集成策略，并发现将PRM作为在线训练信号（GRPO）与PRM引导推理（例如，最佳N采样）相结合可以获得最佳结果。在BIRD基准测试上，Reward-SQL通过受7B PRM监督的模型实现了各种指导策略的性能提升13.1%。值得注意的是，我们的基于Qwen2.5-Coder-7B-Instruct的GRPO对齐策略模型在BIRD开发集上达到了68.9%的准确率，在相同模型大小下超越了所有基线方法。这些结果证明了Reward-SQL在利用奖励监督进行文本到SQL推理方面的有效性。我们的代码已公开可用。

论文及项目相关链接

PDF

Summary：

近期大型语言模型（LLM）在Text-to-SQL任务上的性能显著提升，通过引入外部过程奖励模型（PRM）以提高推理过程中的准确性。为有效融入PRM，提出Reward-SQL框架，采用“冷启动，后PRM监督”的策略，先训练模型使用常见表表达式（Chain-of-CTEs）分解SQL查询为结构化的推理链，再探索四种PRM整合策略，发现将PRM作为在线训练信号与PRM引导推理相结合效果最佳。在BIRD基准测试上，使用7B PRM监督的Reward-SQL模型实现13.1%的性能提升。

Key Takeaways：

1. 大型语言模型（LLM）在Text-to-SQL任务上表现出显著性能提升。
2. 外部过程奖励模型（PRM）可以提高推理过程中的准确性。
3. Reward-SQL框架采用“冷启动，后PRM监督”策略，有效融入PRM。
4. 通过探索四种PRM整合策略，发现将PRM作为在线训练信号与PRM引导推理结合效果最佳。
5. 在BIRD基准测试上，Reward-SQL模型使用7B PRM监督实现13.1%性能提升。
6. GRPO对齐策略模型在BIRD开发集上达到68.9%的准确率，优于同规模基线方法。
7. Reward-SQL框架公开可用。

Cool Papers

点此查看论文截图

FRAME: Feedback-Refined Agent Methodology for Enhancing Medical Research Insights

Authors:Chengzhang Yu, Yiming Zhang, Zhixin Liu, Zenghui Ding, Yining Sun, Zhanpeng Jin

The automation of scientific research through large language models (LLMs) presents significant opportunities but faces critical challenges in knowledge synthesis and quality assurance. We introduce Feedback-Refined Agent Methodology (FRAME), a novel framework that enhances medical paper generation through iterative refinement and structured feedback. Our approach comprises three key innovations: (1) A structured dataset construction method that decomposes 4,287 medical papers into essential research components through iterative refinement; (2) A tripartite architecture integrating Generator, Evaluator, and Reflector agents that progressively improve content quality through metric-driven feedback; and (3) A comprehensive evaluation framework that combines statistical metrics with human-grounded benchmarks. Experimental results demonstrate FRAME’s effectiveness, achieving significant improvements over conventional approaches across multiple models (9.91% average gain with DeepSeek V3, comparable improvements with GPT-4o Mini) and evaluation dimensions. Human evaluation confirms that FRAME-generated papers achieve quality comparable to human-authored works, with particular strength in synthesizing future research directions. The results demonstrated our work could efficiently assist medical research by building a robust foundation for automated medical research paper generation while maintaining rigorous academic standards.

通过大型语言模型（LLM）实现科学研究的自动化，虽然带来了重要机遇，但在知识综合和质量保证方面面临重大挑战。我们介绍了Feedback-Refined Agent Methodology（FRAME）这一新型框架，它通过迭代优化和结构化反馈来提高医学论文的生成质量。我们的方法包含三个关键创新点：（1）结构化数据集构建方法，通过迭代优化将4287篇医学论文分解为基本研究成分；（2）集成了生成器、评估器和反射器三种代理的三方架构，通过指标驱动的反馈逐步改进内容质量；（3）综合评估框架，结合统计指标和基于人类基准的基准进行测试。实验结果表明，FRAME的有效性在多个模型和评估维度上都实现了对传统方法的显著改进（DeepSeek V3平均提升9.91%，与GPT-4o Mini相比也有显著改进）。人类评估证实，FRAME生成的论文质量可与人类撰写的作品相媲美，尤其在综合未来研究方向方面具有优势。结果证明，我们的工作可以通过为自动化医学论文生成建立稳健的基础，同时保持严格的学术标准，有效地辅助医学研究。

论文及项目相关链接

PDF 12 pages, 4 figures, 5 table

Summary
大型语言模型在科研自动化方面带来了机遇，但在知识合成和质量保证上仍面临挑战。为此，我们引入了反馈精细化代理方法（FRAME），通过迭代细化和结构化反馈提高医学论文生成质量。该方法包括三个关键创新点：结构化数据集构建方法、集成了生成器、评估器和反射器的三方架构以及综合评估框架。实验结果显示，FRAME在多个模型和评价维度上均取得了显著成效，生成的论文质量与人类撰写的论文相当，特别是在未来研究方向的合成上具有优势。

Key Takeaways

1. 大型语言模型在科研自动化中带来机遇，但知识合成和质量保证仍面临挑战。
2. FRAME是一种通过迭代细化和结构化反馈提高医学论文生成质量的新型框架。
3. FRAME包括三个关键创新点：结构化数据集构建、三方架构和综合评估框架。
4. 实验结果显示，FRAME在多个模型和评价维度上取得了显著成效。
5. FRAME生成的论文质量与人类撰写的论文相当。
6. FRAME在未来研究方向的合成上具有优势。

Cool Papers

点此查看论文截图

Uncovering the Limitations of Model Inversion Evaluation – Benchmarks and Connection to Type-I Adversarial Attacks

Authors:Sy-Tuyen Ho, Koh Jun Hao, Ngoc-Bao Nguyen, Alexander Binder, Ngai-Man Cheung

Model Inversion (MI) attacks aim to reconstruct information of private training data by exploiting access to machine learning models. The most common evaluation framework for MI attacks/defenses relies on an evaluation model that has been utilized to assess progress across almost all MI attacks and defenses proposed in recent years. In this paper, for the first time, we present an in-depth study of MI evaluation. Firstly, we construct the first comprehensive human-annotated dataset of MI attack samples, based on 28 setups of different MI attacks, defenses, private and public datasets. Secondly, using our dataset, we examine the accuracy of the MI evaluation framework and reveal that it suffers from a significant number of false positives. These findings raise questions about the previously reported success rates of SOTA MI attacks. Thirdly, we analyze the causes of these false positives, design controlled experiments, and discover the surprising effect of Type I adversarial features on MI evaluation, as well as adversarial transferability, highlighting a relationship between two previously distinct research areas. Our findings suggest that the performance of SOTA MI attacks has been overestimated, with the actual privacy leakage being significantly less than previously reported. In conclusion, we highlight critical limitations in the widely used MI evaluation framework and present our methods to mitigate false positive rates. We remark that prior research has shown that Type I adversarial attacks are very challenging, with no existing solution. Therefore, we urge to consider human evaluation as a primary MI evaluation framework rather than merely a supplement as in previous MI research. We also encourage further work on developing more robust and reliable automatic evaluation frameworks.

模型反转（MI）攻击旨在通过访问机器学习模型来重建私有训练数据的信息。MI攻击/防御的最常见评估框架依赖于一个评估模型，该模型在近几年提出的几乎所有MI攻击和防御措施中都用于评估进展。在本文中，我们首次对MI评估进行了深入研究。首先，我们构建了第一个全面的MI攻击样本的人工标注数据集，该数据集基于不同的MI攻击、防御措施、私有和公共数据集的28个设置。其次，使用我们的数据集，我们检查了MI评估框架的准确性，并发现它存在大量的误报。这些发现对先前报告的最新MI攻击的成功率提出了质疑。第三，我们分析了这些误报的原因，设计了受控实验，并发现了第一类对抗特征对MI评估的惊人影响以及对对抗可迁移性的关注，突出了两个先前不同的研究领域之间的关系。我们的研究结果表明，最新MI攻击的性能被高估了，实际的隐私泄露程度远远低于先前的报告。最后，我们指出了广泛使用的MI评估框架的关键局限性，并提出了降低误报率的方法。我们注意到，先前的研究表明第一类对抗性攻击非常具有挑战性且尚无解决方案。因此，我们敦促将人工评估作为主要的MI评估框架，而不是像先前的MI研究那样仅仅作为补充。我们也鼓励进一步开发更稳健和可靠的自动评估框架。

论文及项目相关链接

PDF Our dataset and code are available in the Supp

摘要

模型反演（MI）攻击旨在通过访问机器学习模型来重建私有训练数据的信息。对于MI攻击和防御策略的最常见评估框架主要依赖于一个评估模型，该模型在最近几年提出的几乎所有MI攻击和防御策略中都得到了应用。在本文中，我们首次对MI评估进行了深入研究。首先，我们根据多种MI攻击和防御策略以及公共和私有数据集建立了首个全面的人工注释的MI攻击样本数据集。其次，我们使用自己的数据集发现MI评估框架的准确性存在问题，并存在大量误报。这些发现对先前报告的先进MI攻击的成功率提出了质疑。再次，我们分析了这些误报的原因，设计了受控实验，并发现了Type I对抗性特征对MI评估的惊人影响以及对对抗性可迁移性的关注，突显了之前两个截然不同的研究领域之间的关系。我们的研究结果表明，先进MI攻击的性能被高估了，实际的隐私泄露情况比之前报道的要少得多。最后，我们强调了广泛应用于MI评估的框架的关键局限性，并提出了我们降低误报率的方法。我们强调，先前的研究表明Type I对抗性攻击非常具有挑战性且尚无解决方案。因此，我们提倡将人工评估视为主要的MI评估框架而不仅仅作为以前MI研究的补充部分。我们也鼓励进一步开发更稳健和可靠的自动评估框架。

关键见解

1. 构建了首个全面的人工注释的MI攻击样本数据集，涵盖不同的MI攻击、防御策略、私有和公共数据集。
2. 发现并分析了MI评估框架存在大量误报的问题。
3. 揭示了Type I对抗性特征对MI评估的影响以及对抗性可迁移性的重要性。
4. 指出先进MI攻击的性能被高估，实际隐私泄露情况低于先前报告。
5. 强调了现有MI评估框架的关键局限性，并提出了降低误报率的方法。
6. 提倡将人工评估视为主要的MI评估框架。
7. 鼓励开发更稳健和可靠的自动评估框架。

Cool Papers

点此查看论文截图

SmallPlan: Leverage Small Language Models for Sequential Path Planning with Simulation-Powered, LLM-Guided Distillation

Authors:Quang P. M. Pham, Khoi T. N. Nguyen, Nhi H. Doan, Cuong A. Pham, Kentaro Inui, Dezhen Song

Efficient path planning in robotics, particularly within large-scale, dynamic environments, remains a significant hurdle. While Large Language Models (LLMs) offer strong reasoning capabilities, their high computational cost and limited adaptability in dynamic scenarios hinder real-time deployment on edge devices. We present SmallPlan – a novel framework leveraging LLMs as teacher models to train lightweight Small Language Models (SLMs) for high-level path planning tasks. In SmallPlan, the SLMs provide optimal action sequences to navigate across scene graphs that compactly represent full-scaled 3D scenes. The SLMs are trained in a simulation-powered, interleaved manner with LLM-guided supervised fine-tuning (SFT) and reinforcement learning (RL). This strategy not only enables SLMs to successfully complete navigation tasks but also makes them aware of important factors like travel distance and number of trials. Through experiments, we demonstrate that the fine-tuned SLMs perform competitively with larger models like GPT-4o on sequential path planning, without suffering from hallucination and overfitting. SmallPlan is resource-efficient, making it well-suited for edge-device deployment and advancing practical autonomous robotics.

在机器人技术中，特别是在大规模、动态环境中进行高效路径规划仍然是一个重大挑战。虽然大型语言模型（LLM）提供了强大的推理能力，但它们的高计算成本和在动态场景中的有限适应性阻碍了其在边缘设备上的实时部署。我们提出了SmallPlan——一个利用大型语言模型作为教师模型来训练用于高级路径规划任务的小型语言模型（SLM）的新型框架。在SmallPlan中，SLM提供最优动作序列，以在紧凑地代表全尺寸3D场景的场景图中进行导航。SLM以模拟驱动的方式，通过大型语言模型指导的监督微调（SFT）和强化学习（RL）进行训练。这种策略不仅使SLM能够成功完成导航任务，而且使其能够意识到旅行距离和试验次数等重要因素。通过实验，我们证明了经过微调的小型语言模型在序列路径规划方面的表现与GPT-4等大型模型相当，不会出现幻觉和过度拟合的情况。SmallPlan资源高效，非常适合在边缘设备进行部署，为推动实际应用中的自主机器人技术提供了动力。

论文及项目相关链接

PDF Paper is under review

Summary

本文介绍了SmallPlan框架，该框架利用大型语言模型（LLMs）作为教师模型来训练轻量级的小型语言模型（SLMs），用于机器人路径规划任务。SmallPlan通过SLM提供最优动作序列，在场景图中进行导航，这些场景图紧凑地表示全尺寸的3D场景。训练过程采用模拟与强化学习相结合的方式，使SLM不仅能成功完成导航任务，还能考虑旅行距离和试验次数等重要因素。实验表明，经过微调的SLM在序列路径规划方面表现优异，与GPT等大模型相比具有竞争力，且资源效率高，适合在边缘设备上部署。

Key Takeaways

1. SmallPlan框架利用大型语言模型（LLMs）作为教师模型训练轻量级的小型语言模型（SLMs），用于机器人路径规划任务。
2. SLM在场景图中提供最优动作序列进行导航，场景图紧凑表示全尺寸3D场景。
3. 训练采用模拟结合强化学习的方法，使得SLM不仅能完成导航任务，还能考虑旅行距离和试验次数等重要因素。
4. 经过训练的SLM表现优异，在序列路径规划方面与大型模型如GPT-4o相比具有竞争力。
5. SmallPlan框架的资源效率高，适合在边缘设备上部署。
6. 该框架有助于解决机器人在大规模动态环境中的路径规划难题。

Cool Papers

点此查看论文截图

VL-Rethinker: Incentivizing Self-Reflection of Vision-Language Models with Reinforcement Learning

Authors:Haozhe Wang, Chao Qu, Zuming Huang, Wei Chu, Fangzhen Lin, Wenhu Chen

Recently, slow-thinking systems like GPT-o1 and DeepSeek-R1 have demonstrated great potential in solving challenging problems through explicit reflection. They significantly outperform the best fast-thinking models, such as GPT-4o, on various math and science benchmarks. However, their multimodal reasoning capabilities remain on par with fast-thinking models. For instance, GPT-o1’s performance on benchmarks like MathVista, MathVerse, and MathVision is similar to fast-thinking models. In this paper, we aim to enhance the slow-thinking capabilities of vision-language models using reinforcement learning (without relying on distillation) to advance the state of the art. First, we adapt the GRPO algorithm with a novel technique called Selective Sample Replay (SSR) to address the vanishing advantages problem. While this approach yields strong performance, the resulting RL-trained models exhibit limited self-reflection or self-verification. To further encourage slow-thinking, we introduce Forced Rethinking, which appends a rethinking trigger token to the end of rollouts in RL training, explicitly enforcing a self-reflection reasoning step. By combining these two techniques, our model, VL-Rethinker, advances state-of-the-art scores on MathVista, MathVerse to achieve 80.4%, 63.5% respectively. VL-Rethinker also achieves open-source SoTA on multi-disciplinary benchmarks such as MathVision, MMMU-Pro, EMMA, and MEGA-Bench, narrowing the gap with OpenAI-o1. Our empirical results show the effectiveness of our approaches.

近期，如GPT-o1和DeepSeek-R1之类的慢思考系统已通过明确的反思展现出解决具有挑战性问题方面的巨大潜力。在各种数学和科学基准测试中，它们的表现远胜于最佳的快思考模型，例如GPT-4o。然而，它们在多模态推理能力方面与快思考模型持平。例如，GPT-o1在MathVista、MathVerse和MathVision等基准测试中的表现与快思考模型相似。在本文中，我们旨在使用强化学习（无需依赖蒸馏）来提升视觉语言模型的慢思考能力，以推动现有技术水平。首先，我们采用GRPO算法，并结合一种名为选择性样本回放（SSR）的新技术来解决优势消失的问题。虽然这种方法表现出强大的性能，但得到的强化学习训练模型表现出有限的自我反思或自我验证。为了进一步提升慢思考能力，我们引入了强制反思，通过在强化学习训练的rollout结尾处添加一个反思触发令牌，明确执行自我反思推理步骤。通过结合这两种技术，我们的模型VL-Rethinker在MathVista和MathVerse上的成绩达到了新的国家水平标准评估标准的领先位置，分别达到了80.4%和63.5%。VL-Rethinker还在跨学科基准测试如MathVision、MMMU-Pro、EMMA和MEGA-Bench上实现了开源状态的顶级水平表现。缩小与OpenAI-o1之间的差距证明了我们方法的成功和有效性。我们的经验性结果表明我们的方法的有效性。

论文及项目相关链接

PDF Preprint

Summary

本文探讨了增强慢思考视觉语言模型的潜力，通过使用强化学习（不依赖蒸馏）来提升其性能。文章介绍了两种技术：选择性样本回放（SSR）和强制反思，以鼓励模型进行更多的慢思考。结合这两种技术，VL-Rethinker模型在MathVista、MathVerse等数学和跨学科基准测试中取得了先进分数，缩小了与OpenAI-o1的差距。

Key Takeaways

1. 慢思考系统如GPT-o1和DeepSeek-R1通过明确的反思在解决挑战性问题上具有巨大潜力，并显著优于快速思考模型。
2. 本文目标是使用强化学习增强视觉语言模型的慢思考能力，以提升其性能。
3. 采用GRPO算法和选择性样本回放（SSR）技术来解决优势消失问题。
4. RL训练模型自我反思或自我验证有限，因此引入强制反思来进一步鼓励慢思考。
5. 结合以上两种技术，VL-Rethinker模型在多个基准测试中取得了先进分数，如MathVista、MathVerse等。
6. VL-Rethinker在多学科基准测试如MathVision、MMMU-Pro、EMMA和MEGA-Bench上也取得了开放源代码的先进分数。

Cool Papers

点此查看论文截图

Towards Hierarchical Multi-Step Reward Models for Enhanced Reasoning in Large Language Models

Authors:Teng Wang, Zhangyi Jiang, Zhenqi He, Shenyang Tong, Wenhan Yang, Yanan Zheng, Zeyu Li, Zifan He, Hailei Gong

Recent studies show that Large Language Models (LLMs) achieve strong reasoning capabilities through supervised fine-tuning or reinforcement learning. However, a key approach, the Process Reward Model (PRM), suffers from reward hacking, making it unreliable in identifying the best intermediate step. In addition, the cost of annotating reasoning processes for reward modeling is high, making large-scale collection of high-quality data challenging. To address this, we propose a novel reward model approach called the Hierarchical Reward Model (HRM), which evaluates both individual and consecutive reasoning steps at both fine-grained and coarse-grained levels. HRM excels at assessing multi-step reasoning coherence, especially when flawed steps are later corrected through self-reflection. To further reduce the cost of generating training data, we introduce a lightweight and effective data augmentation strategy called Hierarchical Node Compression (HNC), which merges two consecutive reasoning steps into one within the tree structure. By applying HNC to MCTS-generated reasoning trajectories, we enhance the diversity and robustness of HRM training data while introducing controlled noise with minimal computational overhead. Empirical results on the PRM800K dataset show that HRM, together with HNC, provides more stable and reliable evaluations than PRM. Furthermore, cross-domain evaluations on the MATH500 and GSM8K datasets demonstrate HRM’s strong generalization and robustness across a variety of reasoning tasks.

最近的研究表明，大型语言模型（LLM）通过监督微调或强化学习实现了强大的推理能力。然而，一种关键方法——过程奖励模型（PRM）存在奖励作弊的问题，使其在识别最佳中间步骤时不可靠。此外，为奖励模型标注推理过程的成本很高，使得收集高质量数据的任务具有挑战性。针对这一问题，我们提出了一种新的奖励模型方法，称为分层奖励模型（HRM），它可以在精细粒度和粗略粒度上评估单个和连续的推理步骤。HRM在评估多步骤推理连贯性方面表现出色，尤其是在后续步骤通过自我反思纠正错误时。为进一步降低生成训练数据的成本，我们引入了一种轻便有效的数据增强策略，称为分层节点压缩（HNC），它将两个连续的推理步骤合并到树结构中的一步。通过将HNC应用于MCTS生成的推理轨迹，我们在引入可控噪声和最小计算开销的同时，增强了HRM训练数据的多样性和稳健性。在PRM800K数据集上的实证结果表明，HRM与HNC相结合提供的评估比PRM更稳定、更可靠。此外，MATH500和GSM8K数据集上的跨域评估证明了HRM在不同推理任务中的强大通用性和稳健性。

论文及项目相关链接

PDF

Summary

大规模语言模型（LLM）通过监督微调或强化学习展现出强大的推理能力。然而，现有方法中的过程奖励模型（PRM）存在奖励黑客问题，难以识别最佳的中间步骤。为解决这个问题，我们提出了分层奖励模型（HRM），能够精细地评估单个和连续的推理步骤。为降低生成训练数据成本，我们还引入了轻量级、高效的数据增强策略——分层节点压缩（HNC）。在PRM800K数据集上的实证结果表明，HRM结合HNC表现更稳定可靠。同时，跨域评估显示HRM在多种推理任务中具备强大的泛化能力和稳健性。

Key Takeaways

1. 大规模语言模型（LLM）通过监督微调或强化学习展现出强大的推理能力。
2. 过程奖励模型（PRM）存在奖励黑客问题，难以识别最佳中间步骤。
3. 提出了分层奖励模型（HRM），能够评估单个和连续的推理步骤，并擅长评估多步骤推理的连贯性。
4. HRM可以通过自我反思来评估即使在后续步骤中纠正的错误步骤。
5. 引入分层节点压缩（HNC）策略来降低生成训练数据的成本，增强HRM训练数据的多样性和稳健性。
6. HRM结合HNC在PRM800K数据集上的表现更稳定可靠。

Cool Papers

点此查看论文截图

How Do Multimodal Large Language Models Handle Complex Multimodal Reasoning? Placing Them in An Extensible Escape Game

Authors:Ziyue Wang, Yurui Dong, Fuwen Luo, Minyuan Ruan, Zhili Cheng, Chi Chen, Peng Li, Yang Liu

The rapid advancing of Multimodal Large Language Models (MLLMs) has spurred interest in complex multimodal reasoning tasks in the real-world and virtual environment, which require coordinating multiple abilities, including visual perception, visual reasoning, spatial awareness, and target deduction. However, existing evaluations primarily assess the final task completion, often degrading assessments to isolated abilities such as visual grounding and visual question answering. Less attention is given to comprehensively and quantitatively analyzing reasoning process in multimodal environments, which is crucial for understanding model behaviors and underlying reasoning mechanisms beyond merely task success. To address this, we introduce MM-Escape, an extensible benchmark for investigating multimodal reasoning, inspired by real-world escape games. MM-Escape emphasizes intermediate model behaviors alongside final task completion. To achieve this, we develop EscapeCraft, a customizable and open environment that enables models to engage in free-form exploration for assessing multimodal reasoning. Extensive experiments show that MLLMs, regardless of scale, can successfully complete the simplest room escape tasks, with some exhibiting human-like exploration strategies. Yet, performance dramatically drops as task difficulty increases. Moreover, we observe that performance bottlenecks vary across models, revealing distinct failure modes and limitations in their multimodal reasoning abilities, such as repetitive trajectories without adaptive exploration, getting stuck in corners due to poor visual spatial awareness, and ineffective use of acquired props, such as the key. We hope our work sheds light on new challenges in multimodal reasoning, and uncovers potential improvements in MLLMs capabilities.

随着多模态大型语言模型（MLLMs）的快速进步，现实世界和虚拟环境中的复杂多模态推理任务引发了人们的兴趣。这些任务需要协调多种能力，包括视觉感知、视觉推理、空间意识和目标推断。然而，现有的评估主要集中于最终任务完成情况的评估，往往将评估简化为孤立的视觉定位能力和视觉问答能力。对于在多种模态环境中全面和定量地分析推理过程，以及了解模型行为和推理机制的重要性却被忽视，这不仅关乎任务的成功与否。为了解决这个问题，我们引入了MM-Escape，这是一个可扩展的多模态推理基准测试，其灵感来源于现实世界的解谜游戏。MM-Escape强调模型在完成最终任务过程中的中间行为。为了实现这一点，我们开发了EscapeCraft，这是一个可定制和开放的环境，让模型能够进行自由形式的探索来评估多模态推理。大量实验表明，无论规模大小，MLLMs都能成功完成最简单的房间逃脱任务，其中一些展现出类似人类的探索策略。然而，随着任务难度的增加，性能急剧下降。此外，我们观察到不同模型的性能瓶颈各不相同，揭示了其在多模态推理能力方面的不同失败模式和局限性，例如重复轨迹缺乏适应性探索、因视觉空间感知能力差而困在角落以及无效地使用获得的道具（如钥匙）。我们希望我们的研究能揭示多模态推理的新挑战，并揭示提高MLLMs潜力的可能性。

论文及项目相关链接

PDF

Summary

本文介绍了多模态大型语言模型（MLLMs）在复杂多模态推理任务中的快速发展，包括现实和虚拟环境中的视觉感知、视觉推理、空间感知和目标推断等能力。然而，现有评估主要侧重于最终任务完成，忽视了多模态环境中推理过程的全面和量化分析。为此，作者引入了MM-Escape基准测试，旨在研究多模态推理，并开发了EscapeCraft环境，以评估模型在自由形式探索中的多模态推理能力。实验表明，不同规模的语言模型在简单的房间逃生任务中可以成功完成任务，但随着任务难度的增加，性能急剧下降。同时，不同模型的性能瓶颈呈现出不同的失败模式和多模态推理能力的局限性。本文工作为揭示多模态推理的新挑战和提升MLLMs的能力提供了启示。

Key Takeaways

1. 多模态大型语言模型（MLLMs）在复杂的多模态推理任务中展现出了巨大的潜力，这些任务要求模型具备多种能力，如视觉感知、视觉推理、空间感知和目标推断。
2. 现有评估主要关注最终任务完成，缺乏对于多模态推理过程的全面和量化分析。
3. MM-Escape基准测试的引入旨在更全面地评估模型在多模态环境中的推理能力，强调除了最终任务完成外的中间模型行为。
4. EscapeCraft环境的开发为模型提供了一个自由形式探索的平台，有助于评估其在多模态推理中的表现。
5. 实验显示，语言模型在简单的房间逃生任务中表现良好，但随着任务难度增加，性能显著下降。
6. 不同语言模型的性能瓶颈呈现出不同的失败模式和多模态推理的局限性，如缺乏适应性探索、空间感知能力弱以及对获取物品（如钥匙）的使用不当等。

Cool Papers

点此查看论文截图

BIG-Bench Extra Hard

Authors:Mehran Kazemi, Bahare Fatemi, Hritik Bansal, John Palowitch, Chrysovalantis Anastasiou, Sanket Vaibhav Mehta, Lalit K. Jain, Virginia Aglietti, Disha Jindal, Peter Chen, Nishanth Dikkala, Gladys Tyen, Xin Liu, Uri Shalit, Silvia Chiappa, Kate Olszewska, Yi Tay, Vinh Q. Tran, Quoc V. Le, Orhan Firat

Large language models (LLMs) are increasingly deployed in everyday applications, demanding robust general reasoning capabilities and diverse reasoning skillset. However, current LLM reasoning benchmarks predominantly focus on mathematical and coding abilities, leaving a gap in evaluating broader reasoning proficiencies. One particular exception is the BIG-Bench dataset, which has served as a crucial benchmark for evaluating the general reasoning capabilities of LLMs, thanks to its diverse set of challenging tasks that allowed for a comprehensive assessment of general reasoning across various skills within a unified framework. However, recent advances in LLMs have led to saturation on BIG-Bench, and its harder version BIG-Bench Hard (BBH). State-of-the-art models achieve near-perfect scores on many tasks in BBH, thus diminishing its utility. To address this limitation, we introduce BIG-Bench Extra Hard (BBEH), a new benchmark designed to push the boundaries of LLM reasoning evaluation. BBEH replaces each task in BBH with a novel task that probes a similar reasoning capability but exhibits significantly increased difficulty. We evaluate various models on BBEH and observe a (harmonic) average accuracy of 9.8% for the best general-purpose model and 44.8% for the best reasoning-specialized model, indicating substantial room for improvement and highlighting the ongoing challenge of achieving robust general reasoning in LLMs. We release BBEH publicly at: https://github.com/google-deepmind/bbeh.

大型语言模型（LLM）在日常应用中的部署越来越多，这要求它们具备稳健的通用推理能力和多样化的推理技能集。然而，当前的LLM推理基准测试主要集中在数学和编码能力上，在评估更广泛的推理能力方面存在差距。一个特别的例子是BIG-Bench数据集，它已成为评估LLM通用推理能力的重要基准，由于其包含多种具有挑战性的任务，能够在统一框架下全面评估各种技能的通用推理能力。然而，LLM的最新进展导致在BIG-Bench及其更高级版本BIG-Bench Hard (BBH)上的饱和。最先进的模型在BBH的许多任务上取得了近乎完美的成绩，从而降低了其实用性。为了解决这一局限性，我们推出了BIG-Bench Extra Hard (BBEH)，这是一个新的基准测试，旨在推动LLM推理评估的界限。BBEH用新型任务替换BBH中的每个任务，这些任务在探索类似的推理能力的同时，表现出显著增加的难度。我们在BBEH上评估了各种模型，观察到最佳通用模型的（调和）平均准确率为9.8%，最佳推理专用模型的平均准确率为44.8%，这表明还有很大的改进空间，并突出了在LLM中实现稳健通用推理的当前挑战。我们公开发布了BBEH：https://github.com/google-deepmind/bbeh。

论文及项目相关链接

PDF

摘要

大型语言模型（LLM）在日常应用中的部署日益增多，需要强大的通用推理能力和多样化的推理技能集。然而，当前LLM推理基准测试主要集中在数学和编码能力上，在评估更广泛的推理能力方面存在差距。BIG-Bench数据集是一个例外，它为评估LLM的通用推理能力提供了重要的基准测试，其多样化的挑战性任务能够在统一框架内全面评估各种技能的通用推理能力。然而，随着LLM的最新进展，BIG-Bench及其更高级版本BIG-Bench Hard (BBH)的饱和性已经显现。最先进的模型在许多BBH任务上取得了近乎完美的成绩，大大降低了其效用。为了解决这一局限性，我们推出了BIG-Bench Extra Hard (BBEH)，这是一个新的基准测试，旨在突破LLM推理评估的界限。BBEH用具有类似推理能力但难度显著增加的全新任务替换了BBH中的每个任务。我们对各种模型在BBEH上进行了评估，最佳通用模型的平均准确度为9.8%，最佳推理专用模型的平均准确度为44.8%，说明仍有很大提升空间，并突显了在LLM中实现稳健通用推理的持久挑战。我们公开发布了BBEH：https://github.com/google-deepmind/bbeh。

关键见解

1. 大型语言模型（LLMs）需要强大的通用推理能力和多样化的技能集来满足日常应用需求。
2. 当前LLM推理基准测试主要集中在数学和编码能力上，忽略了更广泛的推理能力评估。
3. BIG-Bench是一个重要的基准测试，能够全面评估LLM的通用推理能力。
4. 随着LLM的最新进展，现有的基准测试如BIG-Bench Hard (BBH)已经出现饱和。
5. 引入BIG-Bench Extra Hard (BBEH)，一个更高级的基准测试，通过更复杂的任务来评估LLM的推理能力。
6. 最佳模型在BBEH上的表现显示仍有显著的提升空间。

Cool Papers

点此查看论文截图

Drift: Decoding-time Personalized Alignments with Implicit User Preferences

Authors:Minbeom Kim, Kang-il Lee, Seongho Joo, Hwaran Lee, Thibaut Thonet, Kyomin Jung

Personalized alignments for individual users have been a long-standing goal in large language models (LLMs). We introduce Drift, a novel framework that personalizes LLMs at decoding time with implicit user preferences. Traditional Reinforcement Learning from Human Feedback (RLHF) requires thousands of annotated examples and expensive gradient updates. In contrast, Drift personalizes LLMs in a training-free manner, using only a few dozen examples to steer a frozen model through efficient preference modeling. Our approach models user preferences as a composition of predefined, interpretable attributes and aligns them at decoding time to enable personalized generation. Experiments on both a synthetic persona dataset (Perspective) and a real human-annotated dataset (PRISM) demonstrate that Drift significantly outperforms RLHF baselines while using only 50-100 examples. Our results and analysis show that Drift is both computationally efficient and interpretable.

针对个人用户的个性化对齐在大规模语言模型（LLM）中是一个长期目标。我们引入了Drift，这是一个在解码时间对大规模语言模型进行个性化设置的新框架，并包含隐式用户偏好。传统的基于人类反馈的强化学习（RLHF）需要数千个标注示例和昂贵的梯度更新。相比之下，Drift以无需训练的方式个性化LLM，仅使用几十个示例来引导冻结模型，通过高效的偏好建模进行工作。我们的方法将用户偏好建模为预定义的可解释属性的组合，并在解码时间与个性化生成对齐。在合成人格数据集（Perspective）和真实人类注释数据集（PRISM）上的实验表明，在使用仅50-100个示例的情况下，Drift显著优于RLHF基线。我们的结果和分析表明，Drift在计算上既高效又易于解释。

论文及项目相关链接

PDF 19 pages, 6 figures

Summary

本文介绍了一种名为Drift的新型框架，该框架在解码时间对大型语言模型（LLMs）进行个性化处理，通过隐式用户偏好实现个性化对齐。与传统的需要通过成千上万注解示例和昂贵梯度更新来实现的人类反馈强化学习（RLHF）不同，Drift以无需训练的方式个性化LLMs，仅使用几十个示例通过高效偏好建模来引导冻结模型。该方法将用户偏好建模为预定义、可解释属性的组合，并在解码时间对其进行对齐，以实现个性化生成。实验表明，无论是在合成人格数据集（Perspective）还是真实人类注释数据集（PRISM）上，Drift在仅使用50-100个示例的情况下，显著优于RLHF基线。分析和结果证明，Drift既计算高效，又具可解释性。

Key Takeaways

1. Drift是一个新型框架，旨在实现大型语言模型的个性化对齐。
2. 与传统需要成千上万注解示例和昂贵梯度更新的RLHF不同，Drift采用训练外的方式个性化LLMs。
3. Drift通过隐式用户偏好进行个性化处理。
4. Drift将用户偏好建模为预定义、可解释属性的组合。
5. Drift在解码时间进行个性化对齐，实现个性化生成。
6. 实验证明，Drift在仅使用少量示例的情况下，性能显著优于RLHF基线。

Cool Papers

点此查看论文截图

Cooperative Multi-Agent Planning with Adaptive Skill Synthesis

Authors:Zhiyuan Li, Wenshuai Zhao, Joni Pajarinen

Despite much progress in training distributed artificial intelligence (AI), building cooperative multi-agent systems with multi-agent reinforcement learning (MARL) faces challenges in sample efficiency, interpretability, and transferability. Unlike traditional learning-based methods that require extensive interaction with the environment, large language models (LLMs) demonstrate remarkable capabilities in zero-shot planning and complex reasoning. However, existing LLM-based approaches heavily rely on text-based observations and struggle with the non-Markovian nature of multi-agent interactions under partial observability. We present COMPASS, a novel multi-agent architecture that integrates vision-language models (VLMs) with a dynamic skill library and structured communication for decentralized closed-loop decision-making. The skill library, bootstrapped from demonstrations, evolves via planner-guided tasks to enable adaptive strategies. COMPASS propagates entity information through multi-hop communication under partial observability. Evaluations on the improved StarCraft Multi-Agent Challenge (SMACv2) demonstrate COMPASS’s strong performance against state-of-the-art MARL baselines across both symmetric and asymmetric scenarios. Notably, in the symmetric Protoss 5v5 task, COMPASS achieved a 57% win rate, representing a 30 percentage point advantage over QMIX (27%). Project page can be found at https://stellar-entremet-1720bb.netlify.app/.

尽管在分布式人工智能（AI）训练方面取得了许多进展，但使用多智能体强化学习（MARL）构建合作多智能体系统仍然面临样本效率、可解释性和可迁移性的挑战。不同于需要大量与环境互动的传统基于学习的方法，大型语言模型（LLM）在零步规划和复杂推理方面表现出了显著的能力。然而，现有的基于LLM的方法严重依赖于文本观察，并在部分观察下难以处理多智能体的非马尔可夫性质互动。我们提出了COMPASS，这是一种新型的多智能体架构，它将视觉语言模型（VLM）与动态技能库和结构化通信相结合，用于分散的闭环决策。技能库以演示为基础进行引导任务，实现自适应策略。COMPASS在部分观察下通过多跳通信传播实体信息。在改进后的星际争霸多智能体挑战（SMACv2）上的评估表明，COMPASS在对称和非对称场景下均表现出强大的性能，超越了最新的MARL基线。特别值得一提的是，在对称的Protoss 5v5任务中，COMPASS的胜率达到了57%，相比QMIX有着30个百分点的优势（QMIX的胜率为27%）。项目页面可以在https://stellar-entremet-1720bb.netlify.app/找到。

论文及项目相关链接

PDF

Summary

本文介绍了在分布式人工智能训练中面临的挑战，如样本效率、解释性和可迁移性等问题。虽然大型语言模型在零样本规划和复杂推理方面表现出卓越的能力，但它们主要依赖于文本观察，对于部分观察下的非马尔可夫多智能体交互具有挑战。本文提出了一种新的多智能体架构COMPASS，该架构结合了视觉语言模型和一个动态技能库，用于分散式闭环决策。技能库通过规划器引导的任务进行演化，使智能体能够适应不同的策略。在改进后的星际争霸多智能体挑战（SMACv2）上的评估表明，COMPASS在多种场景中均表现出强大的性能优势。

Key Takeaways

• 分布式人工智能训练面临样本效率、解释性和可迁移性的挑战。
• 大型语言模型虽表现出优秀的零样本规划和复杂推理能力，但在处理部分观察下的非马尔可夫多智能体交互时存在困难。
• COMPASS是一种新的多智能体架构，结合了视觉语言模型，旨在解决上述问题。
• COMPASS包含一个动态技能库，该库通过规划器引导的任务进行演化，使智能体能够适应不同的策略和环境。
• COMPASS通过多跳通信传播实体信息，适用于部分观察的环境。

Cool Papers

点此查看论文截图