Agent

⚠️ 以下所有内容总结都来自于 大语言模型的能力，如有错误，仅供参考，谨慎使用
🔴 请注意：千万不要用于严肃的学术场景，只能用于论文阅读前的初筛！
💗 如果您觉得我们的项目对您有帮助 ChatPaperFree ，还请您给我们一些鼓励！⭐️ HuggingFace免费体验

2025-01-09 更新

LLM-Powered Multi-Agent System for Automated Crypto Portfolio Management

Authors:Yichen Luo, Yebo Feng, Jiahua Xu, Paolo Tasca, Yang Liu

Cryptocurrency investment is inherently difficult due to its shorter history compared to traditional assets, the need to integrate vast amounts of data from various modalities, and the requirement for complex reasoning. While deep learning approaches have been applied to address these challenges, their black-box nature raises concerns about trust and explainability. Recently, large language models (LLMs) have shown promise in financial applications due to their ability to understand multi-modal data and generate explainable decisions. However, single LLM faces limitations in complex, comprehensive tasks such as asset investment. These limitations are even more pronounced in cryptocurrency investment, where LLMs have less domain-specific knowledge in their training corpora. To overcome these challenges, we propose an explainable, multi-modal, multi-agent framework for cryptocurrency investment. Our framework uses specialized agents that collaborate within and across teams to handle subtasks such as data analysis, literature integration, and investment decision-making for the top 30 cryptocurrencies by market capitalization. The expert training module fine-tunes agents using multi-modal historical data and professional investment literature, while the multi-agent investment module employs real-time data to make informed cryptocurrency investment decisions. Unique intrateam and interteam collaboration mechanisms enhance prediction accuracy by adjusting final predictions based on confidence levels within agent teams and facilitating information sharing between teams. Empirical evaluation using data from November 2023 to September 2024 demonstrates that our framework outperforms single-agent models and market benchmarks in classification, asset pricing, portfolio, and explainability performance.

加密货币投资本质上具有挑战性，与传统资产相比其历史较短，需要整合来自不同模式的大量数据，并且需要进行复杂推理。虽然深度学习的方法已经应用于解决这些挑战，但其黑箱性质引发了人们对信任和解释性的担忧。最近，大型语言模型（LLM）在金融应用中显示出潜力，因为它们能够理解多模式数据并产生可解释的决定。然而，单一的大型语言模型在处理复杂的综合任务时面临局限，如在资产投资方面。这些局限在加密货币投资中更加明显，因为大型语言模型在训练语料库中的特定领域知识较少。为了克服这些挑战，我们提出了一个用于加密货币投资的、可解释的多模式多智能体框架。我们的框架使用专门设计的智能体，它们在团队内部和跨团队进行协作，处理诸如数据分析、文献整合和市场资本排名前30的加密货币的投资决策等子任务。专家训练模块使用多模式历史数据和专业投资文献对智能体进行微调，而多智能体投资模块则利用实时数据做出明智的加密货币投资决策。独特的团队内部和团队之间的协作机制通过根据团队中的置信水平调整最终预测并促进团队之间的信息共享来提高预测准确性。使用2023年11月至2024年9月的数据进行的实证评估表明，我们的框架在分类、资产定价、投资组合和解释性能方面优于单智能体模型和基准市场。

论文及项目相关链接

PDF

Summary：
提出一种用于加密货币投资的解释性强、多模态、多智能体框架。该框架使用专门设计的智能体协作处理数据分析、文献整合等子任务，并为市值前30的加密货币做出投资决策。通过专家训练模块和多智能体投资模块，利用多模态历史数据和专业投资文献对智能体进行微调，并通过实时数据做出明智的投资决策。团队内部的独特协作机制提高了预测准确性。

Key Takeaways：

• 加密货币投资的难度表现在其短暂的历史、需要整合多种来源的大量数据以及复杂的推理需求。
• 深度学习在解决这些挑战方面表现出潜力，但其黑盒性质引发了信任度和解释性的担忧。
• 大型语言模型（LLMs）在金融应用中展现出潜力，但在处理复杂任务如加密货币投资时仍面临局限。
• 为应对挑战，提出了一个解释性强、多模态、多智能体的加密货币投资框架。
• 该框架使用专门设计的智能体处理子任务，并通过专家训练模块进行微调。
• 实证评估显示，该框架在分类、资产定价、投资组合和解释性能方面优于单智能体模型和市场基准。

Cool Papers

点此查看论文截图

MRJ-Agent: An Effective Jailbreak Agent for Multi-Round Dialogue

Authors:Fengxiang Wang, Ranjie Duan, Peng Xiao, Xiaojun Jia, Shiji Zhao, Cheng Wei, YueFeng Chen, Chongwen Wang, Jialing Tao, Hang Su, Jun Zhu, Hui Xue

Large Language Models (LLMs) demonstrate outstanding performance in their reservoir of knowledge and understanding capabilities, but they have also been shown to be prone to illegal or unethical reactions when subjected to jailbreak attacks. To ensure their responsible deployment in critical applications, it is crucial to understand the safety capabilities and vulnerabilities of LLMs. Previous works mainly focus on jailbreak in single-round dialogue, overlooking the potential jailbreak risks in multi-round dialogues, which are a vital way humans interact with and extract information from LLMs. Some studies have increasingly concentrated on the risks associated with jailbreak in multi-round dialogues. These efforts typically involve the use of manually crafted templates or prompt engineering techniques. However, due to the inherent complexity of multi-round dialogues, their jailbreak performance is limited. To solve this problem, we propose a novel multi-round dialogue jailbreaking agent, emphasizing the importance of stealthiness in identifying and mitigating potential threats to human values posed by LLMs. We propose a risk decomposition strategy that distributes risks across multiple rounds of queries and utilizes psychological strategies to enhance attack strength. Extensive experiments show that our proposed method surpasses other attack methods and achieves state-of-the-art attack success rate. We will make the corresponding code and dataset available for future research. The code will be released soon.

大型语言模型（LLMs）在知识储备和理解能力方面表现出卓越的性能，但它们也显示出在面对越狱攻击时容易产生非法或不道德反应。为确保其在关键应用中的负责任部署，了解LLMs的安全能力和漏洞至关重要。以往的研究主要集中在单轮对话中的越狱，忽视了多轮对话中潜在的越狱风险，而多轮对话是人们与LLMs交互和获取信息的重要方式。一些研究逐渐开始关注多轮对话中的越狱风险。这些努力通常涉及使用手动制作的模板或提示工程技术。然而，由于多轮对话的固有复杂性，其越狱性能受到限制。为了解决这一问题，我们提出了一种新型的多轮对话越狱代理，强调隐蔽性在识别和缓解LLMs对人类价值观构成的潜在威胁中的重要性。我们提出了一种风险分解策略，该策略将风险分配给多轮查询，并利用心理策略增强攻击强度。大量实验表明，我们提出的方法超越了其他攻击方法，达到了最先进的攻击成功率。我们将提供相应的代码和数据集供未来研究使用。代码将很快发布。

论文及项目相关链接

PDF

Summary

大型语言模型（LLM）知识储备丰富且理解能力强，但在遭受jailbreak攻击时可能出现非法或不道德的反应。为确保在关键应用中负责任地部署，了解LLM的安全能力和漏洞至关重要。当前研究主要关注单次对话中的jailbreak，忽略了多轮对话中的潜在风险。针对多轮对话的jailbreak研究虽有所增加，但受限于手动模板和提示工程技术，性能有限。为解决此问题，我们提出了一种新型的多轮对话jailbreaking代理，强调隐秘性在识别与缓解LLM对人类价值构成的潜在威胁中的重要性。我们采用风险分解策略，将风险分散在多轮查询中，并利用心理策略增强攻击力度。实验证明，我们的方法超越其他攻击方法，达到最先进的攻击成功率。我们将公开相关代码和数据集以供未来研究使用。

Key Takeaways

1. 大型语言模型（LLMs）在知识和理解方面表现出卓越性能，但在遭受jailbreak攻击时可能存在非法或不道德反应。
2. LLMs在多轮对话中的jailbreak风险被忽视，这是人类与LLMs交互获取信息的重要形式。
3. 当前针对多轮对话的jailbreak研究受限于手动模板和提示工程技术，性能有限。
4. 提出了一种新型的多轮对话jailbreaking代理，强调隐秘性在识别与缓解LLM对人类价值的潜在威胁中的重要性。
5. 采用风险分解策略，将风险分散在多轮查询中，并利用心理策略增强攻击力度。
6. 我们的方法超越其他攻击方法，达到最先进的攻击成功率。

Cool Papers

点此查看论文截图

PhishAgent: A Robust Multimodal Agent for Phishing Webpage Detection

Authors:Tri Cao, Chengyu Huang, Yuexin Li, Huilin Wang, Amy He, Nay Oo, Bryan Hooi

Phishing attacks are a major threat to online security, exploiting user vulnerabilities to steal sensitive information. Various methods have been developed to counteract phishing, each with varying levels of accuracy, but they also face notable limitations. In this study, we introduce PhishAgent, a multimodal agent that combines a wide range of tools, integrating both online and offline knowledge bases with Multimodal Large Language Models (MLLMs). This combination leads to broader brand coverage, which enhances brand recognition and recall. Furthermore, we propose a multimodal information retrieval framework designed to extract the relevant top k items from offline knowledge bases, using available information from a webpage, including logos and HTML. Our empirical results, based on three real-world datasets, demonstrate that the proposed framework significantly enhances detection accuracy and reduces both false positives and false negatives, while maintaining model efficiency. Additionally, PhishAgent shows strong resilience against various types of adversarial attacks.

网络钓鱼攻击是对网络安全的一大威胁，它通过利用用户漏洞来窃取敏感信息。已经开发出了多种对抗网络钓鱼的方法，每种方法的准确性各不相同，但它们也面临着明显的局限性。在这项研究中，我们引入了PhishAgent，这是一个多模式代理，它结合了多种工具，融合了在线和离线知识库与多模式大型语言模型（MLLMs）。这种结合导致了更广泛的品牌覆盖，从而提高了品牌识别和回忆。此外，我们提出了一种多模式信息检索框架，旨在从离线知识库中提取与网页上的可用信息相关的前k个条目，包括徽标和HTML。基于三个真实世界数据集的经验结果表明，该框架显著提高检测准确性，减少误报和漏报，同时保持模型效率。此外，PhishAgent对不同类型的对抗性攻击表现出强大的韧性。

论文及项目相关链接

PDF Accepted at AAAI 2025

Summary

本研究介绍了PhishAgent，一种结合多种工具的多模态代理，通过结合在线和离线知识库与多模态大型语言模型（MLLMs），提高了品牌覆盖范围和识别召回率。同时，提出一种多模态信息检索框架，可从离线知识库中提取与网页信息相关的前k个项，包括标志和HTML。实证结果表明，该框架显著提高了检测精度，降低了误报和漏报，同时保持了模型效率。此外，PhishAgent对各种对抗性攻击表现出强大的韧性。

Key Takeaways

1. Phishing攻击是网络安全的主要威胁，PhishAgent是一种多模态代理，旨在通过结合各种工具增强在线安全。
2. PhishAgent结合了在线和离线知识库以及多模态大型语言模型（MLLMs），以提高品牌识别和召回率。
3. 提出了一种多模态信息检索框架，可以从离线知识库中提取与网页信息相关的关键项。
4. 该框架通过结合标志和HTML等网页信息，提高了检测精度。
5. 实证研究表明，该框架降低了误报和漏报，同时保持了模型效率。
6. PhishAgent在各种真实世界数据集上的表现优异。

Cool Papers

点此查看论文截图

Concept Matching with Agent for Out-of-Distribution Detection

Authors:Yuxiao Lee, Xiaofeng Cao, Jingcai Guo, Wei Ye, Qing Guo, Yi Chang

The remarkable achievements of Large Language Models (LLMs) have captivated the attention of both academia and industry, transcending their initial role in dialogue generation. To expand the usage scenarios of LLM, some works enhance the effectiveness and capabilities of the model by introducing more external information, which is called the agent paradigm. Based on this idea, we propose a new method that integrates the agent paradigm into out-of-distribution (OOD) detection task, aiming to improve its robustness and adaptability. Our proposed method, Concept Matching with Agent (CMA), employs neutral prompts as agents to augment the CLIP-based OOD detection process. These agents function as dynamic observers and communication hubs, interacting with both In-distribution (ID) labels and data inputs to form vector triangle relationships. This triangular framework offers a more nuanced approach than the traditional binary relationship, allowing for better separation and identification of ID and OOD inputs. Our extensive experimental results showcase the superior performance of CMA over both zero-shot and training-required methods in a diverse array of real-world scenarios.

大型语言模型（LLMs）的显著成就引起了学术界和工业界的关注，超越了其最初在对话生成中的初始角色。为了扩大LLM的使用场景，一些工作通过引入更多的外部信息来提高模型的有效性和能力，这被称为agent范式。基于此想法，我们提出了一种新的方法，将agent范式融入到离群值检测任务中，旨在提高其鲁棒性和适应性。我们提出的方法称为基于代理的概念匹配（CMA），它使用中性提示作为代理来增强基于CLIP的离群值检测过程。这些代理充当动态观察者和通信中心，与内部分布（ID）标签和数据输入进行交互，形成矢量三角形关系。这种三角形框架提供了比传统二元关系更微妙的方法，允许更好地分离和识别ID和离群输入。我们的大量实验结果表明，CMA在多种现实场景中的表现优于零样本方法和需要训练的方法。

论文及项目相关链接

PDF Accepted by AAAI-25

Summary
大语言模型（LLMs）的显著成就引起了学术界和工业界的关注，其应用场景不断扩展。为进一步提高模型的有效性和能力，一些研究通过引入更多的外部信息，即所谓的agent paradigm来强化模型。基于此，我们提出了一种新的方法，将agent paradigm融入异常检测任务中，以提高其稳健性和适应性。我们提出的概念匹配与代理（CMA）方法，利用中性提示作为代理，增强基于CLIP的异常检测过程。这些代理作为动态观察者和通信中心，与内部分布标签和数据输入形成三角关系。相较于传统的二元关系，这种三角框架为识别和分离内部数据和异常输入提供了更精细的方法，在多种现实场景中表现优越。

Key Takeaways

1. 大语言模型（LLMs）在多种应用场景中展现出显著成效，吸引了学术界和工业界的关注。
2. 通过引入外部信息（即agent paradigm），可以增强模型的有效性和能力。
3. 提出了一种新的方法——概念匹配与代理（CMA），将agent paradigm融入异常检测任务。
4. CMA方法利用中性提示作为代理，增强基于CLIP的异常检测过程。
5. 代理在CMA方法中作为动态观察者和通信中心，与内部分布标签和数据输入形成三角关系。
6. 相较于传统方法，三角框架能更精细地识别和分离内部数据和异常输入。

Cool Papers

点此查看论文截图