Agent

⚠️ 以下所有内容总结都来自于 大语言模型的能力，如有错误，仅供参考，谨慎使用
🔴 请注意：千万不要用于严肃的学术场景，只能用于论文阅读前的初筛！
💗 如果您觉得我们的项目对您有帮助 ChatPaperFree ，还请您给我们一些鼓励！⭐️ HuggingFace免费体验

2025-06-04 更新

AutoChemSchematic AI: A Closed-Loop, Physics-Aware Agentic Framework for Auto-Generating Chemical Process and Instrumentation Diagrams

Authors:Sakhinana Sagar Srinivas, Shivam Gupta, Venkataramana Runkana

Recent advancements in generative AI have accelerated the discovery of novel chemicals and materials; however, transitioning these discoveries to industrial-scale production remains a critical bottleneck, as it requires the development of entirely new chemical manufacturing processes. Current AI methods cannot auto-generate PFDs or PIDs, despite their critical role in scaling chemical processes, while adhering to engineering constraints. We present a closed loop, physics aware framework for the automated generation of industrially viable PFDs and PIDs. The framework integrates domain specialized small scale language models (SLMs) (trained for chemical process QA tasks) with first principles simulation, leveraging three key components: (1) a hierarchical knowledge graph of process flow and instrumentation descriptions for 1,020+ chemicals, (2) a multi-stage training pipeline that fine tunes domain specialized SLMs on synthetic datasets via Supervised Fine-Tuning (SFT), Direct Preference Optimization (DPO), and Retrieval-Augmented Instruction Tuning (RAIT), and (3) DWSIM based simulator in the loop validation to ensure feasibility. To improve both runtime efficiency and model compactness, the framework incorporates advanced inference time optimizations including FlashAttention, Lookahead Decoding, PagedAttention with KV-cache quantization, and Test Time Inference Scaling and independently applies structural pruning techniques (width and depth) guided by importance heuristics to reduce model size with minimal accuracy loss. Experiments demonstrate that the framework generates simulator-validated process descriptions with high fidelity, outperforms baseline methods in correctness, and generalizes to unseen chemicals. By bridging AI-driven design with industrial-scale feasibility, this work significantly reduces R&D timelines from lab discovery to plant deployment.

近期生成式人工智能的进步加速了新型化学物质和材料的发现；然而，将这些发现转化为工业规模的生产仍然是一个关键的瓶颈，因为这需要开发全新的化学制造工艺。尽管人工智能方法在规模化学过程中发挥着至关重要的作用，但目前的AI方法无法自动生成工艺流程图（PFDs）或工艺流程说明（PIDs），同时还需要遵守工程约束。我们提出了一种用于自动生成具有工业可行性的工艺流程图（PFDs）和工艺流程说明（PIDs）的闭环、物理感知框架。该框架结合了领域专业化的小规模语言模型（SLM）（针对化学过程问答任务进行训练）与基于第一性原则的模拟，利用三个关键组件：（1）包含1020+化学物质的工艺流程和仪器描述分层知识图谱；（2）多阶段训练管道，通过监督微调（SFT）、直接偏好优化（DPO）和检索增强指令调整（RAIT）在合成数据集上微调领域专业化的SLM；（3）基于DWSIM的模拟循环验证，以确保可行性。为了提高运行效率和模型紧凑性，该框架采用了先进的推理时间优化技术，包括FlashAttention、前瞻解码、带KV缓存量化的PagedAttention以及测试时间推理缩放，并独立应用结构修剪技术（宽度和深度），以重要性启发式为指导，以尽量减少精度损失来减小模型大小。实验表明，该框架生成了模拟验证的高保真度工艺流程描述，在正确性方面优于基准方法，并能推广到未见过的化学物质。这项工作通过桥梁AI驱动的设计与工业规模可行性之间的联系，显著缩短了从实验室发现到工厂部署的研发时间。

论文及项目相关链接

PDF

Summary
最新进展的生成式AI已加速新型化学物质与材料的发现，但将其转化为工业规模生产仍是瓶颈，需开发全新化学制造工艺。针对此问题，我们提出了一个闭环、物理感知的框架，用于自动生成符合工业要求的PFDs和PIDs。该框架结合了针对化学工艺问答任务训练的领域专用小型语言模型、基于第一原理的仿真，并借助三个关键组件实现：包含超过一千种化学品的工艺流和仪器描述的分层知识图谱、多阶段训练管道以及DWSIM仿真验证确保可行性。为提高运行效率和模型紧凑性，该框架采用FlashAttention等先进推理时间优化技术，并独立应用结构剪枝技术减小模型大小同时保持准确性损失最小。实验证明，该框架生成的仿真验证工艺描述具有高保真度，在正确性方面优于基准方法，并能泛化至未见化学品。该工作通过桥接AI驱动设计与工业规模可行性，显著缩短从实验室发现到工厂部署的研发周期。

Key Takeaways

1. 生成式AI在化学发现和材料领域取得进展，但工业规模生产的转化仍是关键挑战。
2. 需要开发新的化学制造工艺来实现工业应用。
3. 提出的框架能自动生成符合工业要求的PFDs和PIDs，整合了小型语言模型、第一原理仿真和知识图谱。
4. 框架采用多阶段训练管道和仿真验证确保工艺描述的准确性和可行性。
5. 通过采用推理时间优化技术和结构剪枝技术，提高了框架的运行效率和模型紧凑性。
6. 实验证明该框架生成的工艺描述具有高保真度，优于基准方法。

Cool Papers

点此查看论文截图

Can Compressed LLMs Truly Act? An Empirical Evaluation of Agentic Capabilities in LLM Compression

Authors:Peijie Dong, Zhenheng Tang, Xiang Liu, Lujun Li, Xiaowen Chu, Bo Li

Post-training compression reduces the computational and memory costs of large language models (LLMs), enabling resource-efficient deployment. However, existing compression benchmarks only focus on language modeling (e.g., perplexity) and natural language understanding tasks (e.g., GLUE accuracy), ignoring the agentic capabilities - workflow, tool use/function call, long-context understanding and real-world application. We introduce the Agent Compression Benchmark (ACBench), the first comprehensive benchmark for evaluating how compression impacts LLMs’ agentic abilities. ACBench spans (1) 12 tasks across 4 capabilities (e.g., WorfBench for workflow generation, Needle-in-Haystack for long-context retrieval), (2) quantization (GPTQ, AWQ) and pruning (Wanda, SparseGPT), and (3) 15 models, including small (Gemma-2B), standard (Qwen2.5 7B-32B), and distilled reasoning LLMs (DeepSeek-R1-Distill). Our experiments reveal compression tradeoffs: 4-bit quantization preserves workflow generation and tool use (1%-3% drop) but degrades real-world application accuracy by 10%-15%. We introduce ERank, Top-k Ranking Correlation and Energy to systematize analysis. ACBench provides actionable insights for optimizing LLM compression in agentic scenarios. The code can be found in https://github.com/pprp/ACBench.

训练后压缩技术可以降低大型语言模型（LLM）的计算和内存成本，从而实现资源高效部署。然而，现有的压缩基准测试只关注语言建模（例如困惑度）和自然语言理解任务（例如GLUE准确性），忽略了代理能力——工作流程、工具使用/函数调用、长上下文理解和实际应用。我们引入了Agent Compression Benchmark（ACBench），这是第一个全面评估压缩对LLM代理能力影响的基准测试。ACBench包括（1）4种能力下的12项任务（例如，WorfBench用于生成工作流程，Needle-in-Haystack用于长上下文检索），（2）量化（GPTQ，AWQ）和修剪（Wanda，SparseGPT），以及（3）包括小型（Gemma-2B）、标准（Qwen2.5 7B-32B）和蒸馏推理LLM（DeepSeek-R1-Distill）在内的15个模型。我们的实验揭示了压缩的权衡：4位量化保留了工作流程生成和工具使用（下降1%-3%），但降低了实际应用准确性达10%-15%。我们引入了ERank、Top-k排名相关性指标和能量来进行系统分析。ACBench为优化LLM在代理场景中的压缩提供了可操作的见解。代码可在https://github.com/pprp/ACBench找到。

论文及项目相关链接

PDF Accepted by ICML2025 as Poster

Summary

本文介绍了针对大型语言模型（LLM）的压缩技术，重点强调了现有压缩评估标准在评估模型代理能力方面的不足。为此，作者引入了Agent Compression Benchmark（ACBench），这是一个全面评估压缩对LLM代理能力影响的基准测试。实验结果显示，量化与剪枝技术在不同任务中存在权衡。ACBench为优化LLM在代理场景中的压缩提供了重要见解。

Key Takeaways

1. 现有压缩基准测试主要关注语言建模和自然语言理解任务，忽略了大型语言模型的代理能力，如工作流程、工具使用/函数调用、长上下文理解和实际应用。
2. 引入Agent Compression Benchmark（ACBench），首次全面评估压缩对LLM代理能力的影响。
3. ACBench包含12个任务，跨越4种能力，包括工作流程生成、长上下文检索等。
4. 量化（GPTQ，AWQ）和剪枝（Wanda，SparseGPT）技术在LLM压缩中的应用被探讨。
5. 实验显示，4位量化可以较好地保留工作流程生成和工具使用能力，但可能降低实际应用准确性。
6. 引入ERank、Top-k排名关联度和能量等指标，以系统化分析压缩效果。

Cool Papers

点此查看论文截图

Which Agent Causes Task Failures and When? On Automated Failure Attribution of LLM Multi-Agent Systems

Authors:Shaokun Zhang, Ming Yin, Jieyu Zhang, Jiale Liu, Zhiguang Han, Jingyang Zhang, Beibin Li, Chi Wang, Huazheng Wang, Yiran Chen, Qingyun Wu

Failure attribution in LLM multi-agent systems-identifying the agent and step responsible for task failures-provides crucial clues for systems debugging but remains underexplored and labor-intensive. In this paper, we propose and formulate a new research area: automated failure attribution for LLM multi-agent systems. To support this initiative, we introduce the Who&When dataset, comprising extensive failure logs from 127 LLM multi-agent systems with fine-grained annotations linking failures to specific agents and decisive error steps. Using the Who&When, we develop and evaluate three automated failure attribution methods, summarizing their corresponding pros and cons. The best method achieves 53.5% accuracy in identifying failure-responsible agents but only 14.2% in pinpointing failure steps, with some methods performing below random. Even SOTA reasoning models, such as OpenAI o1 and DeepSeek R1, fail to achieve practical usability. These results highlight the task’s complexity and the need for further research in this area. Code and dataset are available at https://github.com/mingyin1/Agents_Failure_Attribution

在大规模语言模型（LLM）多智能体系统中的故障归属问题，即确定导致任务失败的智能体和步骤，为系统调试提供了关键线索。然而，这个问题尚未得到充分探索，并且需要大量人工操作。在本文中，我们提出并形成了一个新的研究领域：自动化的大规模语言模型多智能体系统的故障归属。为了支持这项工作，我们引入了Who&When数据集，该数据集包含来自127个LLM多智能体系统的详尽失败日志，其中包括精细的注释，能够将失败与特定的智能体和关键的错误步骤相关联。使用Who&When数据集，我们开发并评估了三种自动化的故障归属方法，并总结了它们各自的优缺点。其中最好的方法在确定负责失败的智能体方面达到了53.5%的准确率，但在确定失败步骤方面仅达到14.2%，部分方法的性能甚至低于随机水平。即使是如OpenAI o1和DeepSeek R1等最新推理模型也无法实现实际可用性。这些结果突出了该任务的复杂性，并凸显了在这个领域进行进一步研究的必要性。相关代码和数据集可通过https://github.com/mingyin1/Agents_Failure_Attribution访问。

论文及项目相关链接

PDF camera-ready

Summary

大型语言模型（LLM）多智能体系统中的故障归属问题对于系统调试至关重要，但现有研究不足且需要大量人工。本文提出并定义了一个新的研究领域：LLM多智能体系统的自动化故障归属。为支持此领域研究，引入了Who&When数据集，包含来自127个LLM多智能体系统的详细失败日志，并进行了精细的标注，将失败与特定智能体和关键错误步骤相关联。基于Who&When数据集，本文开发并评估了三种自动化故障归属方法，总结了其优缺点。最佳方法的准确率为智能体责任人识别为53.5%，但关键错误步骤的识别率仅为14.2%，某些方法的表现甚至低于随机水平。即使是最先进的推理模型，如OpenAI o1和DeepSeek R1，也无法实现实际可用性。这凸显了任务的复杂性，并强调了在这一领域进行进一步研究的必要性。数据集和代码已公开分享在GitHub上。

Key Takeaways

1. 大型语言模型（LLM）多智能体系统的故障归属对于系统调试至关重要。
2. 现有研究在LLM多智能体系统的故障归属方面不足，且该任务需要大量人工。
3. 论文提出并定义了一个新的研究领域：LLM多智能体系统的自动化故障归属。
4. 引入了Who&When数据集，包含详细失败日志和精细标注，以支持该领域的研究。
5. 基于Who&When数据集，开发了三种自动化故障归属方法，但表现并不理想，最佳方法的智能体责任人识别准确率为53.5%，关键错误步骤识别率仅为14.2%。
6. 先进的推理模型如OpenAI o1和DeepSeek R1在自动化故障归属任务上的表现不佳。

Cool Papers

点此查看论文截图

SynWorld: Virtual Scenario Synthesis for Agentic Action Knowledge Refinement

Authors:Runnan Fang, Xiaobin Wang, Yuan Liang, Shuofei Qiao, Jialong Wu, Zekun Xi, Ningyu Zhang, Yong Jiang, Pengjun Xie, Fei Huang, Huajun Chen

In the interaction between agents and their environments, agents expand their capabilities by planning and executing actions. However, LLM-based agents face substantial challenges when deployed in novel environments or required to navigate unconventional action spaces. To empower agents to autonomously explore environments, optimize workflows, and enhance their understanding of actions, we propose SynWorld, a framework that allows agents to synthesize possible scenarios with multi-step action invocation within the action space and perform Monte Carlo Tree Search (MCTS) exploration to effectively refine their action knowledge in the current environment. Our experiments demonstrate that SynWorld is an effective and general approach to learning action knowledge in new environments. Code is available at https://github.com/zjunlp/SynWorld.

在智能体与其环境之间的交互中，智能体通过规划和执行行动来扩展其能力。然而，当部署在新型环境中或需要执行非常规动作时，基于大型语言模型的智能体会面临重大挑战。为了增强智能体自主探索环境的能力，优化工作流程，并增强其对动作的理解，我们提出了SynWorld框架。该框架允许智能体在动作空间内执行多步骤动作调用，合成可能场景，并执行蒙特卡洛树搜索（MCTS）探索，以有效地在当前环境中优化其动作知识。我们的实验表明，SynWorld是一种在新环境中学习动作知识的有效且通用的方法。代码可在https://github.com/zjunlp/SynWorld获取。

论文及项目相关链接

PDF ACL 2025

总结

基于大型语言模型的智能代理在面临新的环境或者需要在未知行动空间中操作时面临着重大挑战。为解决这些问题，本文提出SynWorld框架，通过该框架代理能自主在环境中进行探索、优化工作流程和对行动的理解。它允许代理合成多步骤行动的场景进行模拟分析并执行蒙特卡洛树搜索以改进代理对现行环境的理解。实验证明SynWorld是一种有效且通用的学习新环境行动知识的方法。代码可在链接找到。

关键见解

1. 智能代理在面临新环境或未知行动空间时面临挑战。
2. SynWorld框架允许代理自主探索环境，优化工作流程并增强对行动的理解。
3. SynWorld通过合成多步骤行动场景进行模拟分析。
4. 通过蒙特卡洛树搜索，SynWorld能有效改进代理对当前环境的理解。
5. SynWorld框架具有通用性，适用于多种新环境的行动知识学习。
6. 实验证明SynWorld方法的有效性。

Cool Papers

点此查看论文截图

Understanding Inequality of LLM Fact-Checking over Geographic Regions with Agent and Retrieval models

Authors:Bruno Coelho, Shujaat Mirza, Yuyuan Cui, Christina Pöpper, Damon McCoy

Fact-checking is a potentially useful application of Large Language Models (LLMs) to combat the growing dissemination of disinformation. However, the performance of LLMs varies across geographic regions. In this paper, we evaluate the factual accuracy of open and private models across a diverse set of regions and scenarios. Using a dataset containing 600 fact-checked statements balanced across six global regions we examine three experimental setups of fact-checking a statement: (1) when just the statement is available, (2) when an LLM-based agent with Wikipedia access is utilized, and (3) as a best case scenario when a Retrieval-Augmented Generation (RAG) system provided with the official fact check is employed. Our findings reveal that regardless of the scenario and LLM used, including GPT-4, Claude Sonnet, and LLaMA, statements from the Global North perform substantially better than those from the Global South. Furthermore, this gap is broadened for the more realistic case of a Wikipedia agent-based system, highlighting that overly general knowledge bases have a limited ability to address region-specific nuances. These results underscore the urgent need for better dataset balancing and robust retrieval strategies to enhance LLM fact-checking capabilities, particularly in geographically diverse contexts.

事实核查是大型语言模型（LLM）一个潜在有用的应用，有助于对抗日益蔓延的虚假信息的传播。然而，LLM的性能在不同地理区域有所不同。在本文中，我们评估了不同区域和场景下开源模型与私有模型的事实准确性。通过使用包含600个事实核查语句的平衡数据集，这些语句来自全球六个不同区域，我们研究了三种事实核查语句的实验设置：（1）仅提供语句时的情况，（2）利用基于LLM的代理访问维基百科的情况，以及（3）在最佳情况下，当使用提供官方事实核查的检索增强生成（RAG）系统时的情况。我们的研究发现，无论场景和使用的LLM（包括GPT-4、Claude Sonnet和LLaMA）如何，来自全球北方的陈述在事实核查方面的表现都明显优于来自全球南方的陈述。此外，在更现实的基于维基百科代理系统的案例中，这一差距进一步拉大，这表明过于通用的知识库在解决地区特定细微差别方面的能力有限。这些结果强调了在地理多样性背景下，为了增强LLM的事实核查能力，迫切需要更好的数据集平衡和稳健的检索策略。

论文及项目相关链接

PDF

Summary

大型语言模型（LLM）在事实核查方面具有潜在应用价值，有助于应对日益严重的虚假信息传播问题。然而，LLM在不同地理区域的性能表现存在差异。本文评估了开放和私有模型在不同区域和场景下的事实核查准确性。通过包含600个经过事实核查的语句的数据集，我们研究了三种事实核查方案。研究发现，无论采用哪种方案和LLM（包括GPT-4、Claude Sonnet和LLaMA），来自全球北方的陈述表现均优于全球南方。这一差距在基于Wikipedia的系统中更为明显，表明过于通用的知识库在解决地区特定细微差别方面能力有限。结果突显了更好地平衡数据集和采用稳健检索策略以改进LLM事实核查能力的紧迫需求，特别是在地理多元化背景下。

Key Takeaways

• 大型语言模型（LLM）可用于事实核查，以应对虚假信息的传播。
• LLM在不同地理区域的事实核查性能存在差异。
• 研究评估了多种事实核查方案，包括仅使用陈述、使用基于LLM的Wikipedia访问代理以及使用最佳情景下的检索增强生成（RAG）系统。
• 全球北方的陈述在事实核查中表现优于全球南方。
• 基于Wikipedia的代理系统进一步扩大了这一差距，表明需要更细粒度的地区知识库。

Cool Papers

点此查看论文截图

RAG-Gym: Systematic Optimization of Language Agents for Retrieval-Augmented Generation

Authors:Guangzhi Xiong, Qiao Jin, Xiao Wang, Yin Fang, Haolin Liu, Yifan Yang, Fangyuan Chen, Zhixing Song, Dengyu Wang, Minjia Zhang, Zhiyong Lu, Aidong Zhang

Retrieval-augmented generation (RAG) has shown great promise for knowledge-intensive tasks and recently advanced with agentic RAG, where language agents engage in multi-round interactions with external knowledge sources for adaptive information retrieval. However, existing agentic RAG methods often depend on ad-hoc prompt engineering and lack a unified optimization framework. We introduce RAG-Gym, a comprehensive platform that systematically explores three optimization dimensions: (1) prompt engineering, (2) actor tuning, and (3) critic training. For prompt engineering, we propose Re$^2$Search, a novel agent incorporating reasoning reflection that significantly outperforms standard prompts. In actor tuning, we evaluate three popular post-training algorithms with fine-grained process supervision and identify direct preference optimization as the most effective. We further demonstrate that a trained critic can enhance inference by selecting higher-quality intermediate reasoning steps. Together, these findings lead to the optimized Re$^2$Search++ agent, which surpasses most recent methods like Search-R1 by a relative increase of 3.2% to 11.6% in average F1. Finally, we examine the impact of different reward sources and analyze scaling properties in training and inference, offering practical insights for agentic RAG optimization. The project homepage is available at https://rag-gym.github.io.

检索增强生成（RAG）在知识密集型任务中显示出巨大潜力，最近通过加入代理RAG进一步发展，语言代理与外部知识源进行多轮交互以进行自适应信息检索。然而，现有的代理RAG方法往往依赖于临时提示工程，缺乏统一的优化框架。我们引入了RAG-Gym综合平台，该平台系统地探索了三个优化维度：（1）提示工程、（2）演员调整、（3）评论家训练。在提示工程中，我们提出了Re$^2$Search这一新型代理，它结合了推理反射，显著优于标准提示。在演员调整方面，我们评估了三种流行的后训练算法，通过精细的过程监督，确定了直接偏好优化最为有效。我们进一步证明，经过训练的评论家可以通过选择更高质量的中间推理步骤来提高推理能力。这些成果共同推动了优化的Re$^2$Search++代理的发展，该代理超越了最新的方法，如Search-R1，在平均F1分数上相对提高了3.2%至11.6%。最后，我们研究了不同奖励源的影响，分析了训练和推理中的扩展属性，为代理RAG优化提供了实际见解。项目主页可在https://rag-gym.github.io访问。

论文及项目相关链接

PDF Homepage: https://rag-gym.github.io; Code: https://github.com/RAG-Gym/RAG-Gym

Summary

本文介绍了基于检索增强的生成模型（RAG）的优化平台RAG-Gym。该平台系统地探索了三个优化维度：提示工程、演员调整和评论家训练。引入了一种新的带有推理反射的搜索代理Re$^2$Search，并评价了三种流行的后训练算法。最终通过优化得到的Re$^2$Search++代理，在平均F1分数上超过了最近的方法，如Search-R1。同时探讨了不同奖励源的影响和训练推理的可扩展性。

Key Takeaways

• RAG-Gym是一个用于优化基于检索增强的生成模型（RAG）的综合平台。
• 平台探索了三个优化维度：提示工程、演员调整和评论家训练。
• 引入了一种新的搜索代理Re$^2$Search，结合了推理反射技术，表现优于标准提示。
• 评估了三种后训练算法，发现直接偏好优化最为有效。
• 训练有素的评论家能够提升推理质量，选择更高质量的中间推理步骤。
• 优化后的Re$^2$Search++代理在平均F1分数上表现优异，超过最近的方法如Search-R1。

Cool Papers

点此查看论文截图

Principal-Agent Bandit Games with Self-Interested and Exploratory Learning Agents

Authors:Junyan Liu, Lillian J. Ratliff

We study the repeated principal-agent bandit game, where the principal indirectly interacts with the unknown environment by proposing incentives for the agent to play arms. Most existing work assumes the agent has full knowledge of the reward means and always behaves greedily, but in many online marketplaces, the agent needs to learn the unknown environment and sometimes explore. Motivated by such settings, we model a self-interested learning agent with exploration behaviors who iteratively updates reward estimates and either selects an arm that maximizes the estimated reward plus incentive or explores arbitrarily with a certain probability. As a warm-up, we first consider a self-interested learning agent without exploration. We propose algorithms for both i.i.d. and linear reward settings with bandit feedback in a finite horizon $T$, achieving regret bounds of $\widetilde{O}(\sqrt{T})$ and $\widetilde{O}( T^{2/3} )$, respectively. Specifically, these algorithms are established upon a novel elimination framework coupled with newly-developed search algorithms which accommodate the uncertainty arising from the learning behavior of the agent. We then extend the framework to handle the exploratory learning agent and develop an algorithm to achieve a $\widetilde{O}(T^{2/3})$ regret bound in i.i.d. reward setup by enhancing the robustness of our elimination framework to the potential agent exploration. Finally, when reducing our agent behaviors to the one studied in (Dogan et al., 2023a), we propose an algorithm based on our robust framework, which achieves a $\widetilde{O}(\sqrt{T})$ regret bound, significantly improving upon their $\widetilde{O}(T^{11/12})$ bound.

我们研究了重复的主-代理强盗游戏，其中主体通过为代理提出激励来间接地与未知环境进行交互以选择行动。大多数现有工作假设代理对奖励手段有充分了解并始终表现出贪婪行为，但在许多在线市场中，代理需要了解未知环境并有时进行探索。受这些设置的启发，我们构建了一个具有探索行为的自利学习代理模型，该代理会不断迭代更新奖励估计，并会选择最大化估算奖励与激励之和的行动，或者以一定概率进行任意探索。首先，作为热身，我们考虑一个没有探索行为的自利学习代理。我们为独立同分布和线性奖励设置提出了算法，在有限的$T$时间范围内提供强盗反馈，实现了$\widetilde{O}(\sqrt{T})$和$\widetilde{O}(T^{2/3})$的遗憾界限，分别对应。具体来说，这些算法是基于一个新型的消除框架构建的，该框架结合了新开发的搜索算法，以适应由代理学习行为所产生的不确定性。然后，我们扩展了框架来处理探索性学习代理，并开发了一种算法，通过在独立同分布奖励设置中增强我们消除框架的稳健性，以实现$\widetilde{O}(T^{2/3})$的遗憾界限，应对代理可能的探索行为。最后，当我们将代理行为简化为（Dogan等人，2023a）所研究的行为时，我们基于稳健的框架提出了一个算法，实现了$\widetilde{O}(\sqrt{T})$的遗憾界限，显著改善了他们的$\widetilde{O}(T^{11/12})$界限。

论文及项目相关链接

PDF 48 pages, ICML 2025

Summary
研究了一种基于委托代理的重复博弈问题，其中委托人通过为代理人提供激励来间接与环境互动。现有研究假设代理人完全了解奖励均值并总是表现出贪婪行为，但在在线市场等环境中，代理人需要学习未知环境并探索。基于此背景，研究了一个具有探索行为的自利学习代理人模型，该代理人会不断更新奖励估计，并基于最大化估计奖励与激励或按一定概率探索来选择行动。文章首先研究了无探索行为的自利学习代理人模型，提出了针对独立同分布和线性奖励设置的算法，实现了$\sqrt{T}$和$T^{2/3}$的遗憾界。然后扩展了模型来处理探索性学习的代理人，并开发出一种新的算法达到更小的遗憾界。最后通过改进前人研究的算法进一步提升了其性能。

Key Takeaways

1. 研究了一种基于委托代理的重复博弈问题，其中委托人通过激励代理人来间接与环境互动。
2. 考虑到在线市场等环境中的现实情况，提出了一种具有探索行为的自利学习代理人的模型。
3. 在无探索行为的假设下，针对独立同分布和线性奖励设置提出了算法，并给出了相应的遗憾界。
4. 扩展了模型来处理探索性学习的代理人，针对独立同分布奖励设置开发了一种新的算法。
5. 通过增强模型的稳健性来处理代理人的探索行为。
6. 在简化代理人行为后，提出了一种改进的算法，实现了更小的遗憾界，相较于前人研究有显著改进。

Cool Papers

点此查看论文截图

Foundations and Recent Trends in Multimodal Mobile Agents: A Survey

Authors:Biao Wu, Yanda Li, Yunchao Wei, Meng Fang, Ling Chen

Mobile agents are essential for automating tasks in complex and dynamic mobile environments. As foundation models evolve, the demands for agents that can adapt in real-time and process multimodal data have grown. This survey provides a comprehensive review of mobile agent technologies, focusing on recent advancements that enhance real-time adaptability and multimodal interaction. Recent evaluation benchmarks have been developed better to capture the static and interactive environments of mobile tasks, offering more accurate assessments of agents’ performance. We then categorize these advancements into two main approaches: prompt-based methods, which utilize large language models (LLMs) for instruction-based task execution, and training-based methods, which fine-tune multimodal models for mobile-specific applications. Additionally, we explore complementary technologies that augment agent performance. By discussing key challenges and outlining future research directions, this survey offers valuable insights for advancing mobile agent technologies. A comprehensive resource list is available at https://github.com/aialt/awesome-mobile-agents

移动代理是自动化复杂动态移动环境中任务的关键。随着基础模型的演变，对能够在实时环境中适应并处理多模式数据的需求不断增长。这篇综述全面回顾了移动代理技术，重点关注了最近的进步，这些进步增强了实时适应性和多模式交互的能力。为了更好地捕捉移动任务的静态和交互式环境，已经开发出了最新的评估基准，为评估代理性能提供了更准确的依据。然后，我们将这些进步分为两大类方法：基于提示的方法，利用大型语言模型进行基于指令的任务执行；基于训练的方法，对多模式模型进行微调以适应移动特定应用。此外，我们还探讨了增强代理性能的辅助技术。通过讨论关键挑战并概述未来的研究方向，这篇综述为推进移动代理技术提供了有价值的见解。详细的资源列表请访问：[https://github.com/aialt/awesome-mobile-agents]（中文版请参考此链接）。

论文及项目相关链接

PDF 8 pages, 1 figure

Summary

本文介绍了移动代理技术在自动化处理复杂动态移动环境任务方面的关键作用。随着基础模型的发展，需要能在实时环境下自适应并处理多模态数据的代理需求不断增长。本文全面回顾了移动代理技术的最新进展，特别是增强实时自适应和多模态交互的进展。本文还将这些进展分为两类方法：基于提示的方法，利用大型语言模型进行指令式任务执行；基于训练的方法，对多模态模型进行微调以适应移动特定应用。此外，本文还探讨了增强代理性能的互补技术，并讨论了关键挑战和未来的研究方向。

Key Takeaways

1. 移动代理技术对于自动化处理复杂动态环境中的任务至关重要。
2. 随着基础模型的发展，对实时自适应并处理多模态数据的代理需求增加。
3. 移动代理技术的最新进展包括增强实时自适应和多模态交互的能力。
4. 移动代理技术分为两类方法：基于提示的方法和基于训练的方法。
5. 基于提示的方法利用大型语言模型进行指令式任务执行。
6. 基于训练的方法对多模态模型进行微调以适应移动特定应用。
7. 互补技术可以进一步增强代理性能。

Cool Papers

点此查看论文截图

AdvAgent: Controllable Blackbox Red-teaming on Web Agents

Authors:Chejian Xu, Mintong Kang, Jiawei Zhang, Zeyi Liao, Lingbo Mo, Mengqi Yuan, Huan Sun, Bo Li

Foundation model-based agents are increasingly used to automate complex tasks, enhancing efficiency and productivity. However, their access to sensitive resources and autonomous decision-making also introduce significant security risks, where successful attacks could lead to severe consequences. To systematically uncover these vulnerabilities, we propose AdvAgent, a black-box red-teaming framework for attacking web agents. Unlike existing approaches, AdvAgent employs a reinforcement learning-based pipeline to train an adversarial prompter model that optimizes adversarial prompts using feedback from the black-box agent. With careful attack design, these prompts effectively exploit agent weaknesses while maintaining stealthiness and controllability. Extensive evaluations demonstrate that AdvAgent achieves high success rates against state-of-the-art GPT-4-based web agents across diverse web tasks. Furthermore, we find that existing prompt-based defenses provide only limited protection, leaving agents vulnerable to our framework. These findings highlight critical vulnerabilities in current web agents and emphasize the urgent need for stronger defense mechanisms. We release code at https://ai-secure.github.io/AdvAgent/.

基于模型的智能代理越来越多地被用于自动化复杂任务，以提高效率和生产力。然而，它们访问敏感资源和自主决策的能力也带来了重大的安全风险，一旦攻击成功可能导致严重后果。为了系统地发现这些漏洞，我们提出了AdvAgent，这是一个用于攻击网络智能代理的黑箱红队框架。不同于现有的方法，AdvAgent采用基于强化学习的管道来训练对抗性提示模型，该模型使用来自黑箱智能代理的反馈来优化对抗性提示。通过精心的攻击设计，这些提示有效地利用智能代理的弱点，同时保持隐蔽性和可控性。广泛评估表明，AdvAgent在最先进的GPT-4网络智能代理上实现了高成功率，涵盖了多种网络任务。此外，我们发现现有的基于提示的防御措施只提供了有限的保护，使智能代理面临我们框架的攻击风险。这些发现突出了当前网络智能代理的关键漏洞，并强调了更强大防御机制的迫切需要。我们在https://ai-secure.github.io/AdvAgent/发布代码。

论文及项目相关链接

PDF ICML 2025

Summary

基于模型的自动化代理在处理复杂任务时表现出高效性，但其访问敏感资源和自主决策能力也带来了安全风险。针对这些风险，提出一种名为AdvAgent的黑箱红队攻击框架。通过强化学习训练对抗提示模型，利用代理反馈优化对抗提示，在精心设计的攻击下有效揭示代理弱点，保持隐蔽性和可控性。评估显示，AdvAgent针对GPT-4网代理的多样任务成功率高，现有提示防护方法效果不佳，突出重要弱点，强调迫切需要更强的防护机制。已发布代码于https://ai-secure.github.io/AdvAgent/。

Key Takeaways

1. 基于模型的代理在自动化复杂任务中表现出高效性，但也存在安全风险。
2. AdvAgent是一种黑箱红队攻击框架，用于揭示代理的安全漏洞。
3. AdvAgent使用强化学习训练对抗提示模型，利用代理反馈优化对抗提示。
4. 精心设计的攻击能有效揭示代理弱点并保持隐蔽性和可控性。
5. AdvAgent针对GPT-4网代理的多样任务成功率高。
6. 当前提示防护方法效果有限，存在显著漏洞。

Cool Papers

点此查看论文截图

Quantifying Misalignment Between Agents: Towards a Sociotechnical Understanding of Alignment

Authors:Aidan Kierans, Avijit Ghosh, Hananel Hazan, Shiri Dori-Hacohen

Existing work on the alignment problem has focused mainly on (1) qualitative descriptions of the alignment problem; (2) attempting to align AI actions with human interests by focusing on value specification and learning; and/or (3) focusing on a single agent or on humanity as a monolith. Recent sociotechnical approaches highlight the need to understand complex misalignment among multiple human and AI agents. We address this gap by adapting a computational social science model of human contention to the alignment problem. Our model quantifies misalignment in large, diverse agent groups with potentially conflicting goals across various problem areas. Misalignment scores in our framework depend on the observed agent population, the domain in question, and conflict between agents’ weighted preferences. Through simulations, we demonstrate how our model captures intuitive aspects of misalignment across different scenarios. We then apply our model to two case studies, including an autonomous vehicle setting, showcasing its practical utility. Our approach offers enhanced explanatory power for complex sociotechnical environments and could inform the design of more aligned AI systems in real-world applications.

关于对齐问题的现有研究主要集中在以下几个方面：（1）对齐问题的定性描述；（2）通过关注价值规范和机器学习来尝试使AI行为与人类的利益保持一致；（3）关注单一代理或单一的人类群体。最近的社会技术方法强调需要理解人类和AI代理之间复杂的错位问题。我们通过将计算社会科学模型中的人类争议适应到对齐问题来解决这一差距。我们的模型量化大型、多样化的代理群体在不同问题领域中潜在目标冲突的不对齐情况。在我们的框架中，错位得分取决于观察到的代理群体、相关域以及代理加权偏好之间的冲突。通过模拟，我们展示了我们的模型如何在不同场景中捕捉错位直觉。然后，我们将模型应用于两个案例研究，包括自动驾驶汽车设置，展示其实用性。我们的方法对于复杂的社会技术环境提供了增强的解释力，并能够在实际应用中的AI系统设计方面提供更多指导。

论文及项目相关链接

PDF 7 pages, 8 figures, 3 tables, forthcoming at the AAAI-25 Special Track on AI Alignment

Summary

本文介绍了人工智能（AI）与人类之间的对齐问题，指出现有研究主要集中在定性描述对齐问题、通过价值规范和学习的焦点来对齐AI行动和人类利益，以及关注单一代理或人类整体等方面。近期社会技术方法强调理解复杂人类和AI代理之间的多重错误对齐的重要性。本文采用计算社会科学模型来解决这一问题，该模型量化大型、多样化代理群体在不同问题领域的潜在冲突目标中的错误对齐情况。模拟结果表明，该模型能够捕获不同场景中错误对齐的直观方面。最后，本文将模型应用于两个案例研究，包括自动驾驶汽车环境，展示了其实用性。本研究为提高复杂社会技术环境的解释能力提供了有力工具，并为实际应用的更对齐AI系统设计提供了参考。

Key Takeaways

1. 当前关于人工智能（AI）与人类之间的对齐问题主要集中在定性描述上。
2. 社会技术方法的重要性在于理解复杂的人类和AI代理之间的多重错误对齐问题。
3. 采用计算社会科学模型来解决AI与人类的对齐问题，可以量化大型、多样化代理群体中的错误对齐情况。
4. 该模型考虑了观察到的代理群体、特定领域以及代理间冲突权重偏好等因素来计算错误对齐得分。
5. 模拟结果表明该模型能够捕获不同场景中错误对齐的直观方面。
6. 模型被应用于自动驾驶汽车环境的案例研究，展示了其实用性。

Cool Papers

点此查看论文截图