LLM

⚠️ 以下所有内容总结都来自于 大语言模型的能力，如有错误，仅供参考，谨慎使用
🔴 请注意：千万不要用于严肃的学术场景，只能用于论文阅读前的初筛！
💗 如果您觉得我们的项目对您有帮助 ChatPaperFree ，还请您给我们一些鼓励！⭐️ HuggingFace免费体验

2025-02-27 更新

LLM-Based Design Pattern Detection

Authors:Christian Schindler, Andreas Rausch

Detecting design pattern instances in unfamiliar codebases remains a challenging yet essential task for improving software quality and maintainability. Traditional static analysis tools often struggle with the complexity, variability, and lack of explicit annotations that characterize real-world pattern implementations. In this paper, we present a novel approach leveraging Large Language Models to automatically identify design pattern instances across diverse codebases. Our method focuses on recognizing the roles classes play within the pattern instances. By providing clearer insights into software structure and intent, this research aims to support developers, improve comprehension, and streamline tasks such as refactoring, maintenance, and adherence to best practices.

在陌生的代码库中检测设计模式实例仍然是提高软件质量和可维护性的重要任务，且具有挑战性。传统的静态分析工具往往难以应对现实世界模式实现所特有的复杂性、多变性和缺乏明确注释的问题。在本文中，我们提出了一种利用大型语言模型自动识别不同代码库中的设计模式实例的新方法。我们的方法侧重于识别模式实例中类所扮演的角色。通过更清晰地揭示软件结构和意图，本研究旨在支持开发人员、提高理解力并简化任务，如重构、维护和遵循最佳实践等。

论文及项目相关链接

PDF Submitted Version, that was accepted at PATTERNS 2025

Summary
在现代软件开发中，检测未知代码库中的设计模式实例是一项具有挑战但至关重要的任务。传统静态分析工具常因真实世界模式实现的复杂性、多变性和缺乏明确注释而感到困扰。本研究利用大型语言模型提出了一种自动识别多种代码库中设计模式实例的新方法。该方法侧重于识别模式实例中类的角色，旨在为开发者提供更清晰的软件结构和意图洞察，以支持开发、提高理解，并简化如重构、维护和遵循最佳实践等任务。

Key Takeaways

• 检测设计模式中实例在未知代码库中是一个重要且具挑战的任务。
• 传统静态分析工具在面对真实世界模式实现时，常常受到复杂性、多变性和注释不足的影响。
• 利用大型语言模型（LLM）可以自动识别多种代码库中的设计模式实例。
• 所提出的方法侧重于识别模式实例中类的角色。
• 该研究旨在通过提供更清晰的软件结构和意图洞察来支持开发者。
• 该方法有助于改进软件质量和可维护性，并简化如重构、维护和遵循最佳实践等任务。

Cool Papers

点此查看论文截图

SWE-RL: Advancing LLM Reasoning via Reinforcement Learning on Open Software Evolution

Authors:Yuxiang Wei, Olivier Duchenne, Jade Copet, Quentin Carbonneaux, Lingming Zhang, Daniel Fried, Gabriel Synnaeve, Rishabh Singh, Sida I. Wang

The recent DeepSeek-R1 release has demonstrated the immense potential of reinforcement learning (RL) in enhancing the general reasoning capabilities of large language models (LLMs). While DeepSeek-R1 and other follow-up work primarily focus on applying RL to competitive coding and math problems, this paper introduces SWE-RL, the first approach to scale RL-based LLM reasoning for real-world software engineering. Leveraging a lightweight rule-based reward (e.g., the similarity score between ground-truth and LLM-generated solutions), SWE-RL enables LLMs to autonomously recover a developer’s reasoning processes and solutions by learning from extensive open-source software evolution data – the record of a software’s entire lifecycle, including its code snapshots, code changes, and events such as issues and pull requests. Trained on top of Llama 3, our resulting reasoning model, Llama3-SWE-RL-70B, achieves a 41.0% solve rate on SWE-bench Verified – a human-verified collection of real-world GitHub issues. To our knowledge, this is the best performance reported for medium-sized (<100B) LLMs to date, even comparable to leading proprietary LLMs like GPT-4o. Surprisingly, despite performing RL solely on software evolution data, Llama3-SWE-RL has even emerged with generalized reasoning skills. For example, it shows improved results on five out-of-domain tasks, namely, function coding, library use, code reasoning, mathematics, and general language understanding, whereas a supervised-finetuning baseline even leads to performance degradation on average. Overall, SWE-RL opens up a new direction to improve the reasoning capabilities of LLMs through reinforcement learning on massive software engineering data.

最近的DeepSeek-R1版本展示了强化学习（RL）在提升大型语言模型（LLM）通用推理能力方面的巨大潜力。虽然DeepSeek-R1和其他后续工作主要关注将RL应用于竞赛编码和数学问题，但本文介绍了SWE-RL，这是第一个将RL为基础的LLM推理扩展到现实世界软件工程的方法。通过利用基于轻量级规则的奖励（例如，真实答案和LLM生成解决方案之间的相似度得分），SWE-RL能够让LLM通过学习大量的开源软件进化数据，来自主恢复开发者的推理过程解决方案——软件整个生命周期的记录，包括其代码快照、代码更改和事件如问题和拉取请求。我们的推理模型是建立在Llama 3之上的，名为Llama3-SWE-RL-70B，在SWE-bench Verified（一个经过人工验证的GitHub实际问题集合）上达到了41.0%的解决率。据我们所知，这是迄今为止中等规模（<100B）LLM的最佳性能表现，甚至可与领先的专有LLM如GPT-4o相媲美。令人惊讶的是，尽管只在软件进化数据上执行RL，Llama3-SWE-RL还展现出了通用的推理技能。例如，它在五个跨域任务中取得了更好的结果，即功能编码、库的使用、代码推理、数学和一般语言理解，而基于监督微调的方法甚至会导致平均性能下降。总的来说，SWE-RL为通过强化学习在大量软件工程数据上提高LLM的推理能力开辟了一个新方向。

论文及项目相关链接

PDF

Summary

DeepSeek-R1及后续工作的成果凸显了强化学习（RL）在提升大型语言模型（LLM）通用推理能力方面的巨大潜力。而本文介绍的SWE-RL是首个将RL应用于真实世界软件工程的LLM推理方法。通过基于轻量级规则的奖励机制，SWE-RL使LLMs能够自主学习开发者推理过程及解决方案，并从大量开源软件进化数据中学习。Llama3-SWE-RL模型在SWE-bench Verified上的解决率高达41.0%，展现了卓越性能。此外，该模型还表现出良好的通用推理能力，在非领域任务中也有优异表现。

Key Takeaways

1. DeepSeek-R1展示了强化学习在提升大型语言模型通用推理能力方面的潜力。
2. SWE-RL是首个将强化学习应用于真实世界软件工程的LLM推理方法。
3. SWE-RL使用基于轻量级规则的奖励机制，使LLMs能够学习开发者推理过程及解决方案。
4. Llama3-SWE-RL模型在SWE-bench Verified上的解决率达到41.0%，表现卓越。
5. Llama3-SWE-RL模型展现出良好的通用推理能力，在非领域任务中也有优异表现。
6. 该模型通过强化学习在大量软件工程数据上进行训练。

Cool Papers

点此查看论文截图

GLEAN: Generalized Category Discovery with Diverse and Quality-Enhanced LLM Feedback

Authors:Henry Peng Zou, Siffi Singh, Yi Nian, Jianfeng He, Jason Cai, Saab Mansour, Hang Su

Generalized Category Discovery (GCD) is a practical and challenging open-world task that aims to recognize both known and novel categories in unlabeled data using limited labeled data from known categories. Due to the lack of supervision, previous GCD methods face significant challenges, such as difficulty in rectifying errors for confusing instances, and inability to effectively uncover and leverage the semantic meanings of discovered clusters. Therefore, additional annotations are usually required for real-world applicability. However, human annotation is extremely costly and inefficient. To address these issues, we propose GLEAN, a unified framework for generalized category discovery that actively learns from diverse and quality-enhanced LLM feedback. Our approach leverages three different types of LLM feedback to: (1) improve instance-level contrastive features, (2) generate category descriptions, and (3) align uncertain instances with LLM-selected category descriptions. Extensive experiments demonstrate the superior performance of \MethodName over state-of-the-art models across diverse datasets, metrics, and supervision settings. Our code is available at https://github.com/amazon-science/Glean.

广义类别发现（GCD）是一项实用且具挑战性的开放世界任务，旨在使用来自已知类别的有限标记数据来识别无标记数据中的已知和新型类别。由于缺乏监督，以前的GCD方法面临重大挑战，例如纠正错误实例的困难，以及无法有效发现和利用发现集群的语义含义。因此，通常需要对现实世界的应用进行额外的注释。然而，人工注释成本极高且效率低下。为了解决这些问题，我们提出了GLEAN，这是一个用于广义类别发现的统一框架，能够主动从多样化和质量提高的LLM反馈中学习。我们的方法利用三种不同类型的LLM反馈来改善：（1）实例级对比特征，（2）生成类别描述，以及（3）将不确定的实例与LLM选择的类别描述对齐。大量实验表明，\MethodName在多种数据集、指标和监督设置上的性能均优于最新模型。我们的代码位于https://github.com/amazon-science/Glean。

论文及项目相关链接

PDF

Summary

GCD任务旨在利用有限的已知类别标签数据，在未被标签的数据中识别已知和新型类别。为应对挑战如纠错困难和发现与利用语义含义的难题，提出了GLEAN框架，利用大型语言模型（LLM）反馈来主动学习，改善实例级别的对比特征、生成类别描述并与不确定实例对齐。实验证明其在不同数据集、指标和监管环境下的性能优于现有模型。

Key Takeaways

1. GCD是一个实用且具有挑战性的开放世界任务，旨在识别已知和新型类别。
2. 现有GCD方法面临纠错困难和发现语义含义的挑战。
3. 为解决这些问题，提出了GLEAN框架，利用LLM反馈进行主动学习。
4. GLEAN通过三种不同类型的LLM反馈来改善实例级别的对比特征、生成类别描述并与不确定实例对齐。
5. 实验证明GLEAN在多种数据集、指标和监管环境下的性能优于现有模型。
6. GLEAN代码已公开在GitHub上。

Cool Papers

点此查看论文截图

OmniAlign-V: Towards Enhanced Alignment of MLLMs with Human Preference

Authors:Xiangyu Zhao, Shengyuan Ding, Zicheng Zhang, Haian Huang, Maosong Cao, Weiyun Wang, Jiaqi Wang, Xinyu Fang, Wenhai Wang, Guangtao Zhai, Haodong Duan, Hua Yang, Kai Chen

Recent advancements in open-source multi-modal large language models (MLLMs) have primarily focused on enhancing foundational capabilities, leaving a significant gap in human preference alignment. This paper introduces OmniAlign-V, a comprehensive dataset of 200K high-quality training samples featuring diverse images, complex questions, and varied response formats to improve MLLMs’ alignment with human preferences. We also present MM-AlignBench, a human-annotated benchmark specifically designed to evaluate MLLMs’ alignment with human values. Experimental results show that finetuning MLLMs with OmniAlign-V, using Supervised Fine-Tuning (SFT) or Direct Preference Optimization (DPO), significantly enhances human preference alignment while maintaining or enhancing performance on standard VQA benchmarks, preserving their fundamental capabilities. Our datasets, benchmark, code and checkpoints have been released at https://github.com/PhoenixZ810/OmniAlign-V.

近期开源多模态大语言模型（MLLMs）的进步主要集中在增强基础能力上，但在人类偏好对齐方面存在显著差距。本文介绍了OmniAlign-V，这是一个包含20万高质量训练样本的综合数据集，具有多样化的图像、复杂的问题和不同的响应格式，旨在提高MLLM与人类偏好的对齐程度。我们还推出了MM-AlignBench，这是一个专门设计的人类注释基准，用于评估MLLM与人类价值观的对齐程度。实验结果表明，使用监督微调（SFT）或直接偏好优化（DPO）通过OmniAlign-V对MLLM进行微调，可以显著提高人类偏好对齐程度，同时在标准VQA基准测试中保持或提高性能，保持其基础能力。我们的数据集、基准测试、代码和检查点已发布在https://github.com/PhoenixZ810/OmniAlign-V。

论文及项目相关链接

PDF

Summary

近期开源多模态大型语言模型（MLLMs）的进展主要集中在提高基础能力上，在符合人类偏好方面存在显著差距。本文介绍了OmniAlign-V数据集，包含二十万高质量训练样本，涵盖多样化图像、复杂问题和多种答案格式，旨在提高MLLMs与人类偏好的一致性。此外，还推出了MM-AlignBench，这是一个由人类标注的专门评估MLLMs与人类价值观一致性的基准测试。实验结果显示，使用有监督微调（SFT）或直接偏好优化（DPO）对MLLMs进行微调，能显著提高与人类偏好的一致性，同时保持或提升在标准视觉问答基准测试上的性能，保留了其基础能力。相关数据集、基准测试、代码和检查点已发布在：https://github.com/PhoenixZ810/OmniAlign-V。

Key Takeaways

1. OmniAlign-V数据集包含二十万高质量训练样本，旨在提高多模态大型语言模型与人类偏好的一致性。
2. 数据集涵盖多样化图像、复杂问题和多种答案格式，提供全面的训练样本。
3. MM-AlignBench是一个专门评估多模态大型语言模型与人类价值观一致性的基准测试。
4. 使用有监督微调或直接偏好优化方法可以提高多模态大型语言模型与人类偏好的一致性。
5. 在提高一致性的同时，能够保持或提升模型在标准视觉问答基准测试上的性能。
6. 该研究的相关数据集、基准测试、代码和检查点已公开发布，便于后续研究使用。

Cool Papers

点此查看论文截图

MindMem: Multimodal for Predicting Advertisement Memorability Using LLMs and Deep Learning

Authors:Sepehr Asgarian, Qayam Jetha, Jouhyun Jeon

In the competitive landscape of advertising, success hinges on effectively navigating and leveraging complex interactions among consumers, advertisers, and advertisement platforms. These multifaceted interactions compel advertisers to optimize strategies for modeling consumer behavior, enhancing brand recall, and tailoring advertisement content. To address these challenges, we present MindMem, a multimodal predictive model for advertisement memorability. By integrating textual, visual, and auditory data, MindMem achieves state-of-the-art performance, with a Spearman’s correlation coefficient of 0.631 on the LAMBDA and 0.731 on the Memento10K dataset, consistently surpassing existing methods. Furthermore, our analysis identified key factors influencing advertisement memorability, such as video pacing, scene complexity, and emotional resonance. Expanding on this, we introduced MindMem-ReAd (MindMem-Driven Re-generated Advertisement), which employs Large Language Model-based simulations to optimize advertisement content and placement, resulting in up to a 74.12% improvement in advertisement memorability. Our results highlight the transformative potential of Artificial Intelligence in advertising, offering advertisers a robust tool to drive engagement, enhance competitiveness, and maximize impact in a rapidly evolving market.

在广告竞争激烈的背景下，成功关键在于有效驾驭并利用消费者、广告商和广告平台之间的复杂互动。这些多方面的互动促使广告商优化策略，对消费者行为进行建模、提高品牌认知度，并量身定制广告内容。针对这些挑战，我们推出了MindMem，这是一款用于广告记忆力的多模态预测模型。通过整合文本、视觉和听觉数据，MindMem达到了前沿的性能表现，在LAMBDA数据集上的斯皮尔曼相关系数达到0.631，在Memento10K数据集上达到0.731，持续超越现有方法。此外，我们的分析确定了影响广告记忆力的关键因素，如视频节奏、场景复杂性和情感共鸣。在此基础上，我们推出了MindMem-ReAd（MindMem驱动再生广告），采用基于大型语言模型的模拟来优化广告内容和放置，使得广告记忆力提高了高达74.12%。我们的研究结果突出了人工智能在广告中的变革潜力，为广告商提供了一个强大的工具，可以推动参与感、提高竞争力，并在快速变化的市场中最大限度地发挥作用。

论文及项目相关链接

PDF 7 pages, 5 figures, 4 Tables, AAAI 2025 Economics of Modern ML: Markets, Incentives, and Generative AI Workshop

Summary

本文介绍了在广告竞争激烈的市场环境中，通过构建多模态预测模型MindMem提高广告记忆度的技术。该模型融合了文本、视觉和听觉数据，通过优化广告内容和投放策略，实现广告记忆度的显著提升。研究表明，MindMem在LAMBDA和Memento10K数据集上的表现均优于现有方法，同时分析确定了视频节奏、场景复杂性和情感共鸣等关键影响广告记忆度的因素。此外，推出的MindMem-ReAd通过大型语言模型模拟优化广告内容和投放，提高了广告的记忆度。这些发现展示了人工智能在广告领域的巨大潜力。

Key Takeaways

1. MindMem模型通过融合多模态数据提升广告记忆度。
2. 在LAMBDA和Memento10K数据集上的表现超越现有方法，表现出较高的预测准确性。
3. 分析确定了视频节奏、场景复杂性和情感共鸣等影响广告记忆度的关键因素。
4. MindMem-ReAd通过大型语言模型模拟优化广告内容和投放。
5. MindMem-ReAd实现了广告记忆度的显著提升，达到最高提升74.12%。
6. 这些技术成果展示了人工智能在广告领域的巨大潜力。

Cool Papers

点此查看论文截图

BRIDO: Bringing Democratic Order to Abstractive Summarization

Authors:Junhyun Lee, Harshith Goka, Hyeonmok Ko

Hallucination refers to the inaccurate, irrelevant, and inconsistent text generated from large language models (LLMs). While the LLMs have shown great promise in a variety of tasks, the issue of hallucination still remains a major challenge for many practical uses. In this paper, we tackle the issue of hallucination in abstract text summarization by mitigating exposure bias. Existing models targeted for exposure bias mitigation, namely BRIO, aim for better summarization quality in the ROUGE score. We propose a model that uses a similar exposure bias mitigation strategy but with a goal that is aligned with less hallucination. We conjecture that among a group of candidate outputs, ones with hallucinations will comprise the minority of the whole group. That is, candidates with less similarity with others will have a higher chance of containing hallucinated content. Our method uses this aspect and utilizes contrastive learning, incentivizing candidates with high inter-candidate ROUGE scores. We performed experiments on the XSum and CNN/DM summarization datasets, and our method showed 6.25% and 3.82% improvement, respectively, on the consistency G-Eval score over BRIO.

幻觉指的是由大型语言模型（LLM）生成的不准确、不相关和不一致的文本。虽然LLM在各种任务中显示出巨大的潜力，但幻觉问题仍然是许多实际应用中的主要挑战。在本文中，我们通过减轻暴露偏见来解决抽象文本摘要中的幻觉问题。针对暴露偏见缓解的现有模型，即BRIO，旨在提高ROUGE分数的摘要质量。我们提出了一种使用类似暴露偏见缓解策略的模型，但其目标是与减少幻觉相一致。我们猜想在一组候选输出中，带有幻觉的将是整个小组中的少数。也就是说，与其他候选者相似度较低的候选者更有可能包含虚构内容。我们的方法利用这一特点，采用对比学习，激励具有较高候选者间ROUGE分数的候选者。我们在XSum和CNN/DM摘要数据集上进行了实验，我们的方法在一致性G-Eval分数上相对于BRIO分别提高了6.25%和3.82%。

论文及项目相关链接

PDF 13 pages, 1 figure; AAAI-25 Workshop on PDLM camera ready

Summary
文本主要探讨了大型语言模型（LLM）中的幻想问题，并提出了一种通过减少暴露偏见来解决抽象文本摘要中幻想问题的方法。新方法使用对比学习，激励高ROUGE得分的候选摘要，并通过实验证明了其提高了一致性G-Eval分数。

Key Takeaways

1. 文本详细阐述了大型语言模型（LLM）中的幻想问题及其对于实际应用的主要挑战。
2. 现存的模型如BRIO旨在通过减轻暴露偏见来提高摘要质量。
3. 提出的模型采用类似的策略，但目标更侧重于减少幻想。
4. 作者假设在候选输出中，含有幻想的文本将占少数。与其他候选摘要相似度较低的文本更可能包含幻想内容。
5. 新的方法利用这一观点并采用对比学习，激励高ROUGE得分的候选摘要。
6. 在XSum和CNN/DM摘要数据集上的实验表明，新方法在一致性G-Eval分数上相对于BRIO有所提高。

Cool Papers

点此查看论文截图

From System 1 to System 2: A Survey of Reasoning Large Language Models

Authors:Zhong-Zhi Li, Duzhen Zhang, Ming-Liang Zhang, Jiaxin Zhang, Zengyan Liu, Yuxuan Yao, Haotian Xu, Junhao Zheng, Pei-Jie Wang, Xiuyi Chen, Yingying Zhang, Fei Yin, Jiahua Dong, Zhijiang Guo, Le Song, Cheng-Lin Liu

Achieving human-level intelligence requires refining the transition from the fast, intuitive System 1 to the slower, more deliberate System 2 reasoning. While System 1 excels in quick, heuristic decisions, System 2 relies on logical reasoning for more accurate judgments and reduced biases. Foundational Large Language Models (LLMs) excel at fast decision-making but lack the depth for complex reasoning, as they have not yet fully embraced the step-by-step analysis characteristic of true System 2 thinking. Recently, reasoning LLMs like OpenAI’s o1/o3 and DeepSeek’s R1 have demonstrated expert-level performance in fields such as mathematics and coding, closely mimicking the deliberate reasoning of System 2 and showcasing human-like cognitive abilities. This survey begins with a brief overview of the progress in foundational LLMs and the early development of System 2 technologies, exploring how their combination has paved the way for reasoning LLMs. Next, we discuss how to construct reasoning LLMs, analyzing their features, the core methods enabling advanced reasoning, and the evolution of various reasoning LLMs. Additionally, we provide an overview of reasoning benchmarks, offering an in-depth comparison of the performance of representative reasoning LLMs. Finally, we explore promising directions for advancing reasoning LLMs and maintain a real-time \href{https://github.com/zzli2022/Awesome-Slow-Reason-System}{GitHub Repository} to track the latest developments. We hope this survey will serve as a valuable resource to inspire innovation and drive progress in this rapidly evolving field.

实现人类水平的智能需要完善从快速直觉系统1到较慢、更慎重的系统2推理的过渡。系统1擅长快速启发式决策，而系统2则依赖于逻辑推理以做出更准确的判断和减少偏见。基础大型语言模型（LLM）擅长快速决策，但在复杂推理方面有所欠缺，因为它们尚未完全接受系统2思维所特有的逐步分析步骤。最近，像OpenAI的o1/o3和DeepSeek的R1等推理LLM在数学和编程等领域表现出了专家级的性能，它们模仿了系统2的深思熟虑推理，展示了人类般的认知能力。这篇综述首先简要概述了基础LLM和系统2技术的早期发展进展，探讨了它们的结合如何为推理LLM铺平道路。接下来，我们将讨论如何构建推理LLM，分析其特点，介绍实现高级推理的核心方法，以及各类推理LLM的演变。此外，我们还概述了推理基准测试，深入比较了代表性推理LLM的性能。最后，我们探讨了推进推理LLM的有前途的方向，并通过实时GitHub仓库来跟踪最新进展。我们希望这篇综述能作为宝贵资源，激发这一快速演变领域的创新并推动其进步。

论文及项目相关链接

PDF Slow-thinking, Large Language Models, Human-like Reasoning, Decision Making in AI, AGI

Summary

该文探讨了实现人类水平智能需要完善的从快速直觉系统一（System 1）到较慢但更审慎的系统二（System 2）推理的转变。基础大型语言模型（LLMs）擅长快速决策，但缺乏复杂推理的深度，尚未全面采用真正的系统二逐步分析特性。最近，如OpenAI的o1/o3和DeepSeek的R1等推理LLM已在数学和编码等领域展现出专家级性能，模拟系统二的审慎推理并展示人类般的认知能力。本文概述了基础LLM和系统二技术的早期发展，探讨了它们如何结合为推理LLM铺平道路，并讨论了如何构建推理LLM，分析其特点、核心方法和各种推理LLM的演变。此外，本文还提供了对推理基准测试的概述，深入比较了代表性推理LLM的性能。

Key Takeaways

1. 实现人类水平智能需要完善从快速直觉决策到较慢但更审慎的系统二推理的转变。
2. 基础大型语言模型（LLMs）虽擅长快速决策，但在复杂推理方面存在深度不足。
3. 推理LLM如OpenAI的o1/o3和DeepSeek的R1已在特定领域展现出专家级性能，模拟系统二的审慎推理。
4. 推理LLM的构建涉及对模型特性的分析、核心方法的采用以及不同推理LLM的演变。
5. 推理基准测试提供了评估LLM性能的标准，深入比较了代表性推理LLM之间的性能差异。
6. 结合基础LLM和系统二技术为推理LLM的发展铺平了道路。

Cool Papers

点此查看论文截图

Measuring Data Diversity for Instruction Tuning: A Systematic Analysis and A Reliable Metric

Authors:Yuming Yang, Yang Nan, Junjie Ye, Shihan Dou, Xiao Wang, Shuo Li, Huijie Lv, Tao Gui, Qi Zhang, Xuanjing Huang

Data diversity is crucial for the instruction tuning of large language models. Existing studies have explored various diversity-aware data selection methods to construct high-quality datasets and enhance model performance. However, the fundamental problem of precisely defining and measuring data diversity remains underexplored, limiting clear guidance for data engineering. To address this, we systematically analyze 11 existing diversity measurement methods by evaluating their correlation with model performance through extensive fine-tuning experiments. Our results indicate that a reliable diversity measure should properly account for both inter-sample differences and the information distribution in the sample space. Building on this, we propose NovelSum, a new diversity metric based on sample-level “novelty.” Experiments on both simulated and real-world data show that NovelSum accurately captures diversity variations and achieves a 0.97 correlation with instruction-tuned model performance, highlighting its value in guiding data engineering practices. With NovelSum as an optimization objective, we further develop a greedy, diversity-oriented data selection strategy that outperforms existing approaches, validating both the effectiveness and practical significance of our metric.

数据的多样性对于大语言模型的指令调整至关重要。现有研究已经探索了多种数据多样性的意识数据选择方法，以构建高质量数据集并增强模型性能。然而，关于精确定义和测量数据多样性的基本问题仍然缺乏足够的探索，这限制了数据工程的明确指导。为了解决这一问题，我们通过大量微调实验评估了现有1 1种多样性测量方法与模型性能的相关性。我们的结果表明，可靠的多样性度量应适当考虑样本之间的差异以及样本空间中的信息分布。在此基础上，我们提出了基于样本级别“新颖性”的NovelSum新多样性指标。在模拟和真实数据上的实验表明，NovelSum准确捕捉了多样性变化，与指令调整模型性能的相关性达到0.97，突显其在指导数据工程实践中的价值。以NovelSum为优化目标，我们进一步开发了一种贪婪的、面向多样性的数据选择策略，其性能优于现有方法，验证了我们的指标的有效性和实用性。

论文及项目相关链接

PDF 15 pages. The related codes and resources will be released later. Project page: https://github.com/UmeanNever/NovelSum

Summary

数据多样性对于大语言模型的指令调整至关重要。现有研究已经探索了各种基于多样性的数据选择方法以构建高质量数据集并增强模型性能。然而，如何精确定义和测量数据多样性的基础问题尚未得到充分探索，这限制了数据工程实践的明确指导。为解决这一问题，我们系统地分析了现有的11种多样性测量方法，并通过大量的微调实验评估它们与模型性能的相关性。结果表明，可靠的多样性测量应适当考虑样本间的差异以及样本空间中的信息分布。基于此，我们提出了基于样本级“新颖性”的NovelSum新多样性指标。在模拟数据和真实数据上的实验表明，NovelSum准确捕捉多样性变化，与指令调整模型性能的相关性达到0.97，突显其在指导数据工程实践中的价值。以NovelSum为优化目标，我们进一步开发了一种贪婪的、以多样性为导向的数据选择策略，优于现有方法，验证了我们的指标的有效性和实用性。

Key Takeaways

1. 数据多样性对大型语言模型的指令调整至关重要。
2. 现有研究已经探索了多种数据选择方法以提升模型性能。
3. 现有的数据多样性定义和测量方法仍然处于未充分探索阶段，缺乏明确的指导原则用于数据工程实践。
4. 通过实验评估了多种多样性测量方法的有效性，发现应结合考虑样本间的差异和样本空间中的信息分布来定义可靠的多样性测量标准。
5. 提出了一种新的多样性指标NovelSum，基于样本级“新颖性”，能够准确捕捉数据多样性变化并与模型性能高度相关。
6. NovelSum在模拟数据和真实数据上的实验表现出其有效性，与指令调整模型性能的相关性达到0.97。

Cool Papers

点此查看论文截图

Inner Thinking Transformer: Leveraging Dynamic Depth Scaling to Foster Adaptive Internal Thinking

Authors:Yilong Chen, Junyuan Shang, Zhenyu Zhang, Yanxi Xie, Jiawei Sheng, Tingwen Liu, Shuohuan Wang, Yu Sun, Hua Wu, Haifeng Wang

Large language models (LLMs) face inherent performance bottlenecks under parameter constraints, particularly in processing critical tokens that demand complex reasoning. Empirical analysis reveals challenging tokens induce abrupt gradient spikes across layers, exposing architectural stress points in standard Transformers. Building on this insight, we propose Inner Thinking Transformer (ITT), which reimagines layer computations as implicit thinking steps. ITT dynamically allocates computation through Adaptive Token Routing, iteratively refines representations via Residual Thinking Connections, and distinguishes reasoning phases using Thinking Step Encoding. ITT enables deeper processing of critical tokens without parameter expansion. Evaluations across 162M-466M parameter models show ITT achieves 96.5% performance of a 466M Transformer using only 162M parameters, reduces training data by 43.2%, and outperforms Transformer/Loop variants in 11 benchmarks. By enabling elastic computation allocation during inference, ITT balances performance and efficiency through architecture-aware optimization of implicit thinking pathways.

大型语言模型（LLM）在参数约束下面临着固有的性能瓶颈，特别是在处理需要复杂推理的关键令牌时。经验分析表明，挑战令牌会在各层之间引发突然的梯度峰值，暴露了标准Transformer中的架构应力点。基于这一见解，我们提出了内思考Transformer（ITT），它重新想象层计算为隐式思考步骤。ITT通过自适应令牌路由动态分配计算，通过残差思考连接迭代优化表示，并使用思考步骤编码来区分推理阶段。ITT能够在不增加参数的情况下，对关键令牌进行更深入的处理。在1.6亿至近4亿的参数模型评估中，ITT实现了仅使用近一半参数（即近亿参数）即可达到近百分之九十六的性能表现，减少了百分之四十三的训练数据，并在十一项基准测试中优于Transformer/Loop变体。通过推理过程中的弹性计算分配，ITT通过隐式思考路径的架构优化来平衡性能和效率。

论文及项目相关链接

PDF 15 pages, 11 figures

Summary

大型语言模型（LLM）在处理需要复杂推理的关键令牌时面临性能瓶颈。本文提出一种名为Inner Thinking Transformer（ITT）的新型架构，它通过重新想象层计算作为隐式思考步骤来解决这一问题。ITT通过动态计算分配、残差思维连接以及思维步骤编码等技术实现性能提升。在参数限制下，ITT能够实现对关键令牌的深度处理而不增加参数。实验表明，ITT在参数减少的情况下实现了高性能，并优化了隐式思考路径。

Key Takeaways

1. 大型语言模型（LLM）在处理复杂推理的关键令牌时存在性能瓶颈。
2. ITT通过重新设计Transformer架构来改进性能，将层计算视为隐式思考步骤。
3. ITT通过动态分配计算资源、残差思维连接和思维步骤编码等技术实现性能提升。
4. ITT能够在参数限制下实现对关键令牌的深度处理。
5. ITT在参数减少的情况下实现了高性能，实现了96.5%的性能提升。
6. ITT能够减少训练数据使用量，降低了43.2%的训练数据需求。

Cool Papers

点此查看论文截图

Mol-LLaMA: Towards General Understanding of Molecules in Large Molecular Language Model

Authors:Dongki Kim, Wonbin Lee, Sung Ju Hwang

Understanding molecules is key to understanding organisms and driving advances in drug discovery, requiring interdisciplinary knowledge across chemistry and biology. Although large molecular language models have achieved notable success in interpreting molecular structures, their instruction datasets are limited to the specific knowledge from task-oriented datasets and do not fully cover the fundamental characteristics of molecules, hindering their abilities as general-purpose molecular assistants. To address this issue, we propose Mol-LLaMA, a large molecular language model that grasps the general knowledge centered on molecules via multi-modal instruction tuning. To this end, we design key data types that encompass the fundamental features of molecules, incorporating essential knowledge from molecular structures. In addition, to improve understanding of molecular features, we introduce a module that integrates complementary information from different molecular encoders, leveraging the distinct advantages of different molecular representations. Our experimental results demonstrate that Mol-LLaMA is capable of comprehending the general features of molecules and generating relevant responses to users’ queries with detailed explanations, implying its potential as a general-purpose assistant for molecular analysis. Our project page is at https://mol-llama.github.io/.

理解分子是理解生物体和推动药物发现进展的关键，这需要跨越化学和生物学的跨学科知识。尽管大型分子语言模型在解释分子结构方面取得了显著的成功，但它们的指令数据集仅限于任务导向数据集的具体知识，并没有完全覆盖分子的基本特征，阻碍了它们作为通用分子助理的能力。为了解决这一问题，我们提出了Mol-LLaMA，这是一个大型分子语言模型，通过多模式指令调整，掌握以分子为中心的一般知识。为此，我们设计了关键数据类型，涵盖分子的基本特征，融入来自分子结构的基本知识。此外，为了提高对分子特征的理解，我们引入了一个模块，该模块能够整合来自不同分子编码器的补充信息，利用不同分子表征的独特优势。我们的实验结果表明，Mol-LLaMA能够理解分子的一般特征，并对用户的查询生成相关响应，提供详细解释，这表明其作为通用分子分析助理的潜力。我们的项目页面是https://mol-llama.github.io/。

论文及项目相关链接

PDF Project Page: https://mol-llama.github.io/

Summary
分子是生物体的关键组成部分，也是药物研发的基础。目前的大型分子语言模型虽然成功应用于解读分子结构，但由于训练数据集仅限于特定任务导向的数据集，未能全面覆盖分子的基本特性，限制了其作为通用分子助手的能力。为解决这一问题，我们推出Mol-LLaMA模型，通过多模态指令微调聚焦于分子的一般知识。我们设计涵盖分子基本特征的关键数据类型，同时引入模块整合不同分子编码器的补充信息，充分利用各种分子表征的独特优势。实验结果显示，Mol-LLaMA能够理解分子的基本特征，并针对用户查询生成详细解释，显示出作为通用分子分析助手的潜力。

Key Takeaways

1. 理解分子对了解生物体和药物研发的重要性。
2. 大型分子语言模型在解读分子结构方面已取得了显著成功。
3. 当前模型受限于特定任务导向的数据集，未能全面覆盖分子的基本特性。
4. Mol-LLaMA模型通过多模态指令微调，旨在理解分子的通用知识。
5. Mol-LLaMA设计涵盖分子基本特征的关键数据类型。
6. 模型引入整合不同分子编码器信息的模块，以提高对分子特征的理解。

Cool Papers

点此查看论文截图

Quantifying the Capability Boundary of DeepSeek Models: An Application-Driven Performance Analysis

Authors:Kaikai Zhao, Zhaoxiang Liu, Xuejiao Lei, Ning Wang, Zhenhong Long, Jiaojiao Zhao, Zipeng Wang, Peijun Yang, Minjie Hua, Chaoyang Ma, Wen Liu, Kai Wang, Shiguo Lian

DeepSeek-R1, known for its low training cost and exceptional reasoning capabilities, has achieved state-of-the-art performance on various benchmarks. However, detailed evaluations from the perspective of real-world applications are lacking, making it challenging for users to select the most suitable DeepSeek models for their specific needs. To address this gap, we evaluate the DeepSeek-V3, DeepSeek-R1, DeepSeek-R1-Distill-Qwen series, DeepSeek-R1-Distill-Llama series, and their corresponding 4-bit quantized models on the enhanced A-Eval benchmark, A-Eval-2.0. By comparing original instruction-tuned models with their distilled counterparts, we analyze how reasoning enhancements impact performance across diverse practical tasks. Our results show that reasoning-enhanced models, while generally powerful, do not universally outperform across all tasks, with performance gains varying significantly across tasks and models. To further assist users in model selection, we quantify the capability boundary of DeepSeek models through performance tier classifications and intuitive line charts. Specific examples provide actionable insights to help users select and deploy the most cost-effective DeepSeek models, ensuring optimal performance and resource efficiency in real-world applications. It should be noted that, despite our efforts to establish a comprehensive, objective, and authoritative evaluation benchmark, the selection of test samples, characteristics of data distribution, and the setting of evaluation criteria may inevitably introduce certain biases into the evaluation results. We will continuously optimize the evaluation benchmarks and periodically update this paper to provide more comprehensive and accurate evaluation results. Please refer to the latest version of the paper for the most recent results and conclusions.

DeepSeek-R1以其低训练成本和出色的推理能力而著称，已在各种基准测试中达到了最先进的性能。然而，从实际应用的角度进行的详细评估仍然缺乏，这使得用户难以针对其特定需求选择最合适的DeepSeek模型。为了弥补这一空白，我们对DeepSeek-V3、DeepSeek-R1、DeepSeek-R1-Distill-Qwen系列、DeepSeek-R 修智慧之追求以及对应具备“飞泉蒸馏”（Llama系列）的模型进行了评估，并在增强的A-Eval基准测试（A-Eval-2.0）上对其进行了4位量化模型的测试。通过比较原始指令调优模型与其蒸馏对应模型，我们分析了推理增强如何影响不同实际任务的性能。结果表明，虽然推理增强模型通常功能强大，但并非在所有任务上都表现出最佳性能，任务与模型之间的性能提升差异显著。为了进一步帮助用户选择模型，我们通过性能层次分类和直观的线形图来衡量DeepSeek模型的能力边界。具体的示例提供了切实可行的见解，帮助用户选择和部署最具成本效益的DeepSeek模型，确保在实际应用中实现最佳性能和资源效率。值得注意的是，尽管我们努力建立全面、客观、权威的评估基准测试，但测试样本的选择、数据分布的特征以及评估标准的设定不可避免地会对评估结果引入一定的偏见。我们将不断优化评估基准测试并定期更新本文内容，以提供更全面和准确的评估结果。有关最新的成果和结论，请参考最新版本的论文。

论文及项目相关链接

PDF

Summary

基于其较低的训练成本和出色的推理能力，DeepSeek-R1已在各种基准测试中达到最新技术表现水平。然而，对于其在现实世界应用中的详细评估仍显不足，使得用户难以为其特定需求选择最合适的DeepSeek模型。为解决这一空白，我们针对DeepSeek-V3系列、DeepSeek-R1系列及其蒸馏版本（包括DeepSeek-R1-Distill-Qwen和DeepSeek-R1-Distill-Llama系列），以及它们的相应4位量化模型，在增强的A-Eval基准测试（A-Eval-2.0）上进行了评估。通过比较原始指令微调模型与其蒸馏对应模型，我们分析了推理增强如何影响不同实际任务的性能。结果显示，虽然推理增强模型通常强大，但并不普遍适用于所有任务，性能提升在不同任务和模型中差异显著。为了进一步帮助用户进行模型选择，我们通过性能分级和直观图表量化了DeepSeek模型的能力边界。通过具体示例，我们提供了可操作性的见解，帮助用户选择和部署最具成本效益的DeepSeek模型，确保在真实世界应用中实现最佳性能和资源效率。值得注意的是，尽管我们努力建立全面、客观、权威的评估基准，但测试样本的选择、数据分布特征和评估标准的设定可能会给评估结果带来一定的偏见。我们将持续优化评估基准并定期更新本论文，以提供更全面和准确的评估结果。有关最新结果和结论，请参考论文最新版本。

Key Takeaways

1. 对比多种DeepSeek模型（包括原始指令微调模型和蒸馏模型）在增强的A-Eval基准测试上的表现。
2. 发现推理增强模型在多样化实际任务中的性能差异显著，并非所有任务都表现出普遍优势。
3. 通过性能分级和直观图表量化DeepSeek模型的能力边界，为用户提供模型选择的指导。
4. 提供具体示例和可操作性的见解，帮助用户根据性能和资源效率选择最合适的DeepSeek模型。
5. 指出评估过程中存在的潜在偏见，并强调持续优化评估基准的重要性。
6. 强调定期更新论文以提供最新评估结果的必要性。

Cool Papers

点此查看论文截图

TractoGPT: A GPT architecture for White Matter Segmentation

Authors:Anoushkrit Goel, Simroop Singh, Ankita Joshi, Ranjeet Ranjan Jha, Chirag Ahuja, Aditya Nigam, Arnav Bhavsar

White matter bundle segmentation is crucial for studying brain structural connectivity, neurosurgical planning, and neurological disorders. White Matter Segmentation remains challenging due to structural similarity in streamlines, subject variability, symmetry in 2 hemispheres, etc. To address these challenges, we propose TractoGPT, a GPT-based architecture trained on streamline, cluster, and fusion data representations separately. TractoGPT is a fully-automatic method that generalizes across datasets and retains shape information of the white matter bundles. Experiments also show that TractoGPT outperforms state-of-the-art methods on average DICE, Overlap and Overreach scores. We use TractoInferno and 105HCP datasets and validate generalization across dataset.

白质束分割对于研究脑结构连接、神经外科规划和神经疾病至关重要。由于流线结构相似性、个体差异、两个半球对称性等因素，白质分割仍然具有挑战性。为了解决这些挑战，我们提出了TractoGPT，这是一种基于GPT的架构，分别训练流线、集群和融合数据表示。TractoGPT是一种全自动方法，可跨数据集推广并保留白质束的形状信息。实验还表明，TractoGPT的平均DICE、重叠和过度重叠分数优于最先进的方法。我们使用TractoInferno和105HCP数据集验证跨数据集的泛化能力。

论文及项目相关链接

PDF Accepted as a conference paper at 23rd IEEE International Symposium on Biomedical Imaging 2025. IEEE holds the copyright for this publication

Summary

本文介绍了白质束分割在研究脑结构连接性、神经手术规划和神经疾病方面的重要性。针对白质分割的挑战，提出了一种基于GPT的架构TractoGPT，该架构分别训练流线、集群和融合数据表示。TractoGPT是一种全自动方法，可跨数据集进行推广并保留白质束的形状信息。实验表明，TractoGPT在平均DICE、重叠和覆盖得分方面优于现有先进技术。使用TractoInferno和105HCP数据集验证了跨数据集的泛化能力。

Key Takeaways

1. 白质束分割在研究脑结构连接性、神经手术规划和神经疾病方面具有重要意义。
2. 当前白质分割面临诸多挑战，如流线结构相似性、主题差异、两侧大脑对称性等问题。
3. 提出了一种名为TractoGPT的GPT-based架构，用于解决白质分割的挑战。
4. TractoGPT通过分别训练流线、集群和融合数据表示来实现全自动分割。
5. TractoGPT可跨数据集进行推广，并保留白质束的形状信息。
6. 实验结果显示，TractoGPT在多个评估指标上优于现有技术。

Cool Papers

点此查看论文截图

Does Table Source Matter? Benchmarking and Improving Multimodal Scientific Table Understanding and Reasoning

Authors:Bohao Yang, Yingji Zhang, Dong Liu, André Freitas, Chenghua Lin

Recent large language models (LLMs) have advanced table understanding capabilities but rely on converting tables into text sequences. While multimodal large language models (MLLMs) enable direct visual processing, they face limitations in handling scientific tables due to fixed input image resolutions and insufficient numerical reasoning capabilities. We present a comprehensive framework for multimodal scientific table understanding and reasoning with dynamic input image resolutions. Our framework consists of three key components: (1) MMSci-Pre, a domain-specific table structure learning dataset of 52K scientific table structure recognition samples, (2) MMSci-Ins, an instruction tuning dataset with 12K samples across three table-based tasks, and (3) MMSci-Eval, a benchmark with 3,114 testing samples specifically designed to evaluate numerical reasoning capabilities. Extensive experiments demonstrate that our domain-specific approach with 52K scientific table images achieves superior performance compared to 150K general-domain tables, highlighting the importance of data quality over quantity. Our proposed table-based MLLMs with dynamic input resolutions show significant improvements in both general table understanding and numerical reasoning capabilities, with strong generalisation to held-out datasets. Our code and data are publicly available at https://github.com/Bernard-Yang/MMSci_Table.

最近的大型语言模型（LLM）已经具备了先进的表格理解能力，但它们依赖于将表格转换为文本序列。虽然多模态大型语言模型（MLLM）能够实现直接视觉处理，但由于固定输入图像分辨率和数值推理能力不足，它们在处理科学表格时面临局限。我们提出了一个具有动态输入图像分辨率的多模态科学表格理解与推理的综合框架。我们的框架包括三个关键组成部分：（1）MMSci-Pre，一个包含52K科学表格结构识别样本的特定领域表格结构学习数据集，（2）MMSci-Ins，一个包含12K样本的指令调整数据集，涵盖三个基于表格的任务，（3）MMSci-Eval，一个专门设计用于评估数值推理能力的基准测试，包含3114个测试样本。大量实验表明，我们的特定领域方法使用52K科学表格图像相比使用15万张通用领域表格实现了卓越的性能，这凸显了数据质量优于数量的重要性。我们提出的多模态LLM模型具有动态输入分辨率，在通用表格理解和数值推理能力方面均实现了显著改进，并在独立数据集上具有强大的泛化能力。我们的代码和数据集可在https://github.com/Bernard-Yang/MMSci_Table上公开访问。

论文及项目相关链接

PDF

Summary

近期的大型语言模型（LLM）在表格理解方面有所进步，但仍需将表格转换为文本序列。多模态大型语言模型（MLLM）虽可实现直接视觉处理，但因固定输入图像分辨率和数值推理能力不足，在处理科学表格时存在局限。我们提出了一个包含动态输入图像分辨率的多模态科学表格理解与推理的综合框架，由MMSci-Pre（5.2万科学表格结构识别样本的领域特定表格结构学习数据集）、MMSci-Ins（1.2万样本的指令调整数据集，涵盖三个表格任务）和MMSci-Eval（专门用于评估数值推理能力的3114个测试样本的基准测试）三个关键组成部分构成。实验表明，与15万通用域表格相比，我们的领域特定方法在处理5.2万科学表格图像时表现出卓越性能，突显了数据质量而非数量的重要性。我们提出的具有动态输入分辨率的基于表格的MLLM在通用表格理解和数值推理能力上均有显著提高，对未公开数据集具有很强的泛化能力。

Key Takeaways

1. 近期LLM在表格理解方面取得进步，但仍需转换表格为文本序列。
2. MLLM虽支持直接视觉处理，但在处理科学表格时存在固定输入图像分辨率和数值推理能力方面的局限。
3. 提出一个综合框架，包含动态输入图像分辨率的多模态科学表格理解与推理。
4. 综合框架由三个关键组成部分构成：MMSci-Pre、MMSci-Ins和MMSci-Eval。
5. 实验显示，领域特定方法在处理科学表格图像时表现优异，强调数据质量的重要性。
6. 基于表格的MLLM具有动态输入分辨率，在通用表格理解和数值推理能力上显著提高。

Cool Papers

点此查看论文截图

Question-to-Question Retrieval for Hallucination-Free Knowledge Access: An Approach for Wikipedia and Wikidata Question Answering

Authors:Santhosh Thottingal

This paper introduces an approach to question answering over knowledge bases like Wikipedia and Wikidata by performing “question-to-question” matching and retrieval from a dense vector embedding store. Instead of embedding document content, we generate a comprehensive set of questions for each logical content unit using an instruction-tuned LLM. These questions are vector-embedded and stored, mapping to the corresponding content. Vector embedding of user queries are then matched against this question vector store. The highest similarity score leads to direct retrieval of the associated article content, eliminating the need for answer generation. Our method achieves high cosine similarity ( > 0.9 ) for relevant question pairs, enabling highly precise retrieval. This approach offers several advantages including computational efficiency, rapid response times, and increased scalability. We demonstrate its effectiveness on Wikipedia and Wikidata, including multimedia content through structured fact retrieval from Wikidata, opening up new pathways for multimodal question answering.

本文介绍了一种在知识库（如Wikipedia和Wikidata）上进行问答的方法，通过执行“问题到问题”的匹配和从密集向量嵌入存储库中进行检索来实现。我们不为文档内容生成嵌入，而是使用指令调整的大型语言模型（LLM）为每个逻辑内容单元生成一组全面的问题。这些问题被嵌入向量并存储，映射到相应的内容。然后，将用户查询的向量嵌入与此问题向量存储库进行匹配。最高相似度得分将直接导致直接检索相关的文章内容，无需生成答案。我们的方法实现了相关问题对的高余弦相似性（> 0.9），可实现高度精确的检索。这种方法提供了几个优点，包括计算效率高、响应速度快和可扩展性强。我们在Wikipedia和Wikidata上展示了其有效性，包括通过从Wikidata进行结构化事实检索来包含多媒体内容，为多媒体问答打开了新的途径。

论文及项目相关链接

PDF

Summary：
本文介绍了一种通过执行“问题到问题”匹配和从密集向量嵌入存储中进行检索，实现在知识库（如Wikipedia和Wikidata）上进行问答的方法。该方法不嵌入文档内容，而是为逻辑内容单元生成一组全面的问题，并使用指令微调的大型语言模型进行向量嵌入和存储。然后，将用户查询的向量嵌入与问题向量存储进行匹配。最高相似度得分直接导致直接检索相关文章内容，无需生成答案。此方法在Wikipedia和Wikidata上取得了较高的余弦相似度（> 0.9），包括通过从Wikidata检索结构化事实来检索多媒体内容，为多媒体问答开辟了新途径，具有计算效率高、响应速度快和可扩展性强等优点。

Key Takeaways：

1. 引入了一种新的问答匹配和检索方法，通过密集向量嵌入存储进行“问题到问题”匹配。
2. 该方法针对知识库（如Wikipedia和Wikidata）中的内容进行操作。
3. 方法不嵌入文档内容，而是为逻辑内容单元生成一系列问题，并使用指令微调的大型语言模型进行向量嵌入和存储。
4. 通过匹配用户查询的向量嵌入与问题向量存储，实现精确检索相关文章内容。
5. 该方法实现了高余弦相似度（> 0.9），提高了检索的准确性和效率。
6. 此方法具有计算效率高、响应速度快和可扩展性强等优点。

Cool Papers

点此查看论文截图

Transforming Role Classification in Scientific Teams Using LLMs and Advanced Predictive Analytics

Authors:Wonduk Seo, Yi Bu

Scientific team dynamics are critical in determining the nature and impact of research outputs. However, existing methods for classifying author roles based on self-reports and clustering lack comprehensive contextual analysis of contributions. Thus, we present a transformative approach to classifying author roles in scientific teams using advanced large language models (LLMs), which offers a more refined analysis compared to traditional clustering methods. Specifically, we seek to complement and enhance these traditional methods by utilizing open source and proprietary LLMs, such as GPT-4, Llama3 70B, Llama2 70B, and Mistral 7x8B, for role classification. Utilizing few-shot prompting, we categorize author roles and demonstrate that GPT-4 outperforms other models across multiple categories, surpassing traditional approaches such as XGBoost and BERT. Our methodology also includes building a predictive deep learning model using 10 features. By training this model on a dataset derived from the OpenAlex database, which provides detailed metadata on academic publications – such as author-publication history, author affiliation, research topics, and citation counts – we achieve an F1 score of 0.76, demonstrating robust classification of author roles.

科研团队内部的动态对于决定研究产出的性质和影响力至关重要。然而，现有的基于自我报告和聚类的作者角色分类方法缺乏对贡献的全面情境分析。因此，我们提出了一种利用先进的大型语言模型（LLM）对科研团队中的作者角色进行分类的变革性方法，相比传统的聚类方法，它提供了更为精细的分析。具体来说，我们旨在通过利用开源和专有LLM（如GPT-4、Llama3 70B、Llama2 70B和Mistral 7x8B）来补充和增强这些方法，用于角色分类。通过少量提示，我们对作者角色进行分类，并证明GPT-4在多个类别中的表现优于其他模型，超越了传统的XGBoost和BERT等方法。我们的方法还包括建立一个基于深度学习的预测模型，使用10个特征进行训练。该模型在OpenAlex数据库衍生的数据集上进行训练，该数据库提供了有关学术出版物（如作者出版历史、作者关联信息、研究主题和引用次数等）的详细元数据，我们获得了0.76的F1分数，证明了作者角色分类的稳健性。

论文及项目相关链接

PDF Accepted by Quantitative Science Studies (QSS)

Summary

本文介绍了科学团队动力学对研究产出的性质和影响力的重要性。现有的基于自我报告和聚类的作者角色分类方法缺乏全面的贡献分析，因此提出了利用先进的LLM技术重新定义和补充现有的研究方法，并利用少量提示进行作者角色的分类。通过GPT-4等模型，研究证明GPT-4在多类别中表现优于其他模型和传统方法如XGBoost和BERT。利用来自OpenAlex数据库的详细元数据构建的预测深度学习模型也实现了较高的F1分数，表明对作者角色的稳健分类。总体而言，这一技术提升了科研领域的作者角色分类方法，有助于提高研究的效率和质量。

Key Takeaways

• 科学团队动力学在研究产出的影响中具有重要作用。
• 基于自我报告和聚类的现有作者角色分类方法缺乏全面的贡献分析。
• 利用先进的LLM技术（如GPT-4等）进行作者角色分类提供更精细的分析。
• GPT-4在多个类别中的表现优于其他模型和传统方法（如XGBoost和BERT）。
• 利用OpenAlex数据库的详细元数据构建的深度学习模型实现了较高的F1分数。

Cool Papers

点此查看论文截图

AgentRefine: Enhancing Agent Generalization through Refinement Tuning

Authors:Dayuan Fu, Keqing He, Yejie Wang, Wentao Hong, Zhuoma Gongque, Weihao Zeng, Wei Wang, Jingang Wang, Xunliang Cai, Weiran Xu

Large Language Model (LLM) based agents have proved their ability to perform complex tasks like humans. However, there is still a large gap between open-sourced LLMs and commercial models like the GPT series. In this paper, we focus on improving the agent generalization capabilities of LLMs via instruction tuning. We first observe that the existing agent training corpus exhibits satisfactory results on held-in evaluation sets but fails to generalize to held-out sets. These agent-tuning works face severe formatting errors and are frequently stuck in the same mistake for a long while. We analyze that the poor generalization ability comes from overfitting to several manual agent environments and a lack of adaptation to new situations. They struggle with the wrong action steps and can not learn from the experience but just memorize existing observation-action relations. Inspired by the insight, we propose a novel AgentRefine framework for agent-tuning. The core idea is to enable the model to learn to correct its mistakes via observation in the trajectory. Specifically, we propose an agent synthesis framework to encompass a diverse array of environments and tasks and prompt a strong LLM to refine its error action according to the environment feedback. AgentRefine significantly outperforms state-of-the-art agent-tuning work in terms of generalization ability on diverse agent tasks. It also has better robustness facing perturbation and can generate diversified thought in inference. Our findings establish the correlation between agent generalization and self-refinement and provide a new paradigm for future research.

基于大型语言模型（LLM）的代理已经证明了它们执行复杂任务的能力，类似于人类。然而，开源LLM和商业模型（如GPT系列）之间仍存在很大差距。在本文中，我们专注于通过指令微调提高LLM的代理泛化能力。我们首先观察到，现有的代理训练语料库在内部评估集上的表现令人满意，但难以推广到外部集。这些代理调整工作面临严重的格式错误，并经常长时间陷入同样的错误。我们分析认为，泛化能力差的根源在于对几种手动代理环境的过度适应以及对新情况的适应不足。他们难以执行错误的行动步骤，无法从经验中学习，而只是记忆现有的观察-行动关系。受此启发，我们提出了一种新型的AgentRefine框架用于代理调整。核心思想是让模型学会通过观察轨迹来纠正自己的错误。具体来说，我们提出了一个代理合成框架，以涵盖各种环境和任务，并提示强大的LLM根据环境反馈细化其错误行动。AgentRefine在多种代理任务上的泛化能力方面显著优于最新的代理调整工作。它还具有更好的抗扰动性，并在推理过程中可以产生多样化的想法。我们的发现建立了代理泛化和自我完善之间的关联，为未来研究提供了新的范式。

论文及项目相关链接

PDF ICLR 2025

Summary

基于大型语言模型（LLM）的代理人在复杂任务中展现出与人类相似的执行能力。然而，开源LLM与商业模型（如GPT系列）之间仍存在巨大差距。本文专注于通过指令微调提高LLM的代理泛化能力。我们发现现有的代理训练语料库在内部评估集上表现良好，但在外部评估集上泛化能力较差。代理调整工作面临严重的格式错误，并经常长时间陷入相同的错误中。我们分析认为，其泛化能力弱源于对多种手动代理环境的过度适应以及对新情况的适应能力不足。他们难以采取正确的行动步骤，无法从经验中学习，而只是记忆现有的观察与行动之间的关系。基于这些见解，我们提出了新型的AgentRefine框架来进行代理调整。其核心思想是通过轨迹中的观察使模型学会纠正自己的错误。具体来说，我们提出了一个包含各种环境和任务的代理合成框架，并提示强大的LLM根据环境反馈来微调其错误行动。AgentRefine在多种代理任务上的泛化能力显著优于最新的代理调整工作，并且具有更好的面对干扰的稳健性以及推理过程中的多样化思维生成能力。我们的研究建立了代理泛化与自我完善之间的关联，为未来研究提供了新的范式。

Key Takeaways

1. LLM在复杂任务中表现出强大的能力，但与商业模型如GPT系列相比仍存在差距。
2. 现有LLM代理训练在内部评估上表现良好，但在外部评估上泛化能力较差。
3. LLM代理调整面临格式错误和难以纠正长期错误的问题。
4. LLM泛化能力弱源于对多个手动环境的过度适应和对新情况的适应能力不足。
5. LLM难以从经验中学习，仅依赖记忆现有的观察与行动关系。
6. AgentRefine框架通过使模型学会自我纠正错误来提高LLM的代理泛化能力。

Cool Papers

点此查看论文截图

Domain-Specific Translation with Open-Source Large Language Models: Resource-Oriented Analysis

Authors:Aman Kassahun Wassie, Mahdi Molaei, Yasmin Moslem

In this work, we compare the domain-specific translation performance of open-source autoregressive decoder-only large language models (LLMs) with task-oriented machine translation (MT) models. Our experiments focus on the medical domain and cover four language pairs with varied resource availability: English-to-French, English-to-Portuguese, English-to-Swahili, and Swahili-to-English. Despite recent advancements, LLMs exhibit a clear gap in specialized translation quality compared to multilingual encoder-decoder MT models such as NLLB-200. In three out of four language directions in our study, NLLB-200 3.3B outperforms all LLMs in the size range of 8B parameters in medical translation. While fine-tuning LLMs such as Mistral and Llama improves their performance at medical translation, these models still fall short compared to fine-tuned NLLB-200 3.3B models. Our findings highlight the ongoing need for specialized MT models to achieve higher-quality domain-specific translation, especially in medium-resource and low-resource settings. As larger LLMs outperform their 8B variants, this also encourages pre-training domain-specific medium-sized LMs to improve quality and efficiency in specialized translation tasks.

在这项工作中，我们比较了开源的自动回归解码器专用的大型语言模型（LLM）和任务导向型机器翻译（MT）模型在特定领域的翻译性能。我们的实验重点关注医疗领域，并涵盖了四种语言对，这些语言对的资源可用性各不相同：英语到法语、英语到葡萄牙语、英语到斯瓦希里语和斯瓦希里语到英语。尽管最近有进步，但LLM在专门翻译的质量方面与诸如NLLB-200等多语言编码器-解码器MT模型之间仍存在明显差距。在我们的研究中，四个语言方向中有三个方向的NLLB-200 3.3B在医疗翻译方面的表现优于所有规模为8B参数的LLM。虽然微调诸如Mistral和Llama等LLM可以改善其在医疗翻译方面的性能，但这些模型仍然无法与经过微调过的NLLB-200 3.3B模型相抗衡。我们的研究结果表明，在中等资源和低资源环境中，实现高质量的专业领域翻译仍需要专门的机器翻译模型。随着更大的LLM在表现上超越了其规模为8B的变体，这也鼓励在专门的翻译任务中预先训练中等规模的专业领域LM以提高质量和效率。

论文及项目相关链接

PDF

Summary

本文对比了开源的自动回归解码器专用大型语言模型（LLM）和任务导向型机器翻译（MT）模型在医学领域的翻译性能。实验涉及四种语言对，包括英语对法语、英语对葡萄牙语、英语对斯瓦希里语和斯瓦希里语对英语。尽管LLM最近有进展，但在专业翻译质量方面与多语言编码器-解码器MT模型（如NLLB-200）相比仍存在明显差距。在本文研究的四个语言方向中有三个方向，NLLB-200 3.3B在医学翻译中表现优于所有8B参数范围内的LLM。虽然微调LLM（如Mistral和Llama）可以提高医学翻译性能，但这些模型仍然无法与经过微调优化的NLLB-200模型匹敌。本文发现，实现高质量的专项翻译仍需采用专业化的机器翻译模型，特别是在中等资源和低资源环境中尤为如此。更大的LLM表现优于其8B变体，这也鼓励在专项翻译任务中预训练中等规模的专业领域LM以提高质量和效率。

Key Takeaways

1. 在医学领域的翻译性能对比中，LLM与任务导向型机器翻译模型（如NLLB-200）存在差距。
2. NLLB-200 3.3B在四个语言方向中的三个方向上的医学翻译表现优于特定大小范围内的LLM。
3. 尽管LLM通过微调可以提高性能，但仍无法超越经过优化的NLLB-200模型。
4. 在中等资源和低资源环境下，专业化的机器翻译模型是实现高质量专项翻译的关键。
5. 更大的LLM表现优于其较小变体，表明预训练中等规模的专业领域LM有助于提高专项翻译的质量和效率。
6. LLM在特定领域的翻译中仍需进一步的优化和改进。

Cool Papers

点此查看论文截图

Mind the Gap: Examining the Self-Improvement Capabilities of Large Language Models

Authors:Yuda Song, Hanlin Zhang, Carson Eisenach, Sham Kakade, Dean Foster, Udaya Ghai

Self-improvement is a mechanism in Large Language Model (LLM) pre-training, post-training and test-time inference. We explore a framework where the model verifies its own outputs, filters or reweights data based on this verification, and distills the filtered data. Despite several empirical successes, a fundamental understanding is still lacking. In this work, we initiate a comprehensive, modular and controlled study on LLM self-improvement. We provide a mathematical formulation for self-improvement, which is largely governed by a quantity which we formalize as the generation-verification gap. Through experiments with various model families and tasks, we discover a scaling phenomenon of self-improvement – a variant of the generation-verification gap scales monotonically with the model pre-training flops. We also examine when self-improvement is possible, an iterative self-improvement procedure, and ways to improve its performance. Our findings not only advance understanding of LLM self-improvement with practical implications, but also open numerous avenues for future research into its capabilities and boundaries.

自我提升是大规模语言模型（LLM）预训练、后训练和测试时间推理中的一种机制。我们探索了一个模型验证其自身输出的框架，基于这种验证来过滤或重新加权数据，并提炼过滤后的数据。尽管有许多经验性成功，但对其的基本理解仍然缺乏。在这项工作中，我们对LLM的自我提升进行了全面、模块化和可控的研究。我们为自我提升提供了数学公式，这主要由我们形式化为生成验证差距的量来控制。通过对各种模型家族和任务进行实验，我们发现自我提升的规模化现象——生成验证差距的某种变体随模型预训练浮点运算次数而单调变化。我们还研究了何时可以实现自我提升，迭代自我提升的程序以及提高其性能的方法。我们的研究不仅推动了具有实际意义的LLM自我提升的理解，而且还为未来的研究打开了对其能力和边界的众多途径。

论文及项目相关链接

PDF ICLR 2025; 41 pages, 19 figures

Summary

本文探讨了大型语言模型（LLM）的自我改进机制，包括预训练、后训练和测试时间推理。文章介绍了一个模型验证自身输出、基于验证过滤或重新加权数据，并蒸馏过滤数据的框架。尽管有一些经验性成功，但对其基本原理的理解仍然缺乏。本文首次对LLM自我改进进行了全面、模块化和受控的研究，提供了自我改进的数学公式，主要由我们形式化为生成-验证差距的量来控制。通过实验与各种模型和任务，我们发现了自我改进的规模现象——生成-验证差距的某种变体随模型预训练浮点运算次数而单调变化。我们还探讨了自我改进的可能性、迭代自我改进程序以及提高其性能的方法。本文的研究结果不仅有助于理解LLM自我改进的实际意义，而且为未来研究其能力和边界开辟了许多途径。

Key Takeaways

1. LLM自我改进涉及预训练、后训练和测试时间推理。
2. 模型通过验证自身输出来实现自我改进，并基于此过滤或重新加权数据。
3. 文章提出了自我改进的数学公式，受生成-验证差距控制。
4. 实验显示，生成-验证差距的某种变体随模型预训练浮点运算次数单调变化。
5. 文章探讨了自我改进的可能性及提高其性能的方法。
6. 本文研究有助于理解LLM自我改进的实际意义。

Cool Papers

点此查看论文截图

Defense Against Prompt Injection Attack by Leveraging Attack Techniques

Authors:Yulin Chen, Haoran Li, Zihao Zheng, Yangqiu Song, Dekai Wu, Bryan Hooi

With the advancement of technology, large language models (LLMs) have achieved remarkable performance across various natural language processing (NLP) tasks, powering LLM-integrated applications like Microsoft Copilot. However, as LLMs continue to evolve, new vulnerabilities, especially prompt injection attacks arise. These attacks trick LLMs into deviating from the original input instructions and executing the attacker’s instructions injected in data content, such as retrieved results. Recent attack methods leverage LLMs’ instruction-following abilities and their inabilities to distinguish instructions injected in the data content, and achieve a high attack success rate (ASR). When comparing the attack and defense methods, we interestingly find that they share similar design goals, of inducing the model to ignore unwanted instructions and instead to execute wanted instructions. Therefore, we raise an intuitive question: Could these attack techniques be utilized for defensive purposes? In this paper, we invert the intention of prompt injection methods to develop novel defense methods based on previous training-free attack methods, by repeating the attack process but with the original input instruction rather than the injected instruction. Our comprehensive experiments demonstrate that our defense techniques outperform existing training-free defense approaches, achieving state-of-the-art results.

随着技术的进步，大型语言模型（LLM）在各种自然语言处理（NLP）任务中取得了显著的成绩，为Microsoft Copilot等LLM集成应用提供了动力。然而，随着LLM的不断发展，新的漏洞，尤其是提示注入攻击也随之出现。这些攻击诱导LLM偏离原始输入指令，执行注入在数据内容（如检索结果）中的攻击者指令。最近的攻击方法利用LLM遵循指令的能力以及它们无法区分注入在数据内容中的指令，实现了较高的攻击成功率（ASR）。在比较攻击和防御方法时，我们发现它们具有相似的设计目标，即引导模型忽略不需要的指令，转而执行所需的指令。因此，我们提出了一个直观的问题：这些攻击技术能否用于防御目的？在本文中，我们通过重复攻击过程但使用原始输入指令而不是注入的指令，反转了提示注入方法的意图，基于以前无需训练的攻击方法开发了新型防御方法。我们的综合实验表明，我们的防御技术优于现有的无需训练的防御方法，取得了最新的结果。

论文及项目相关链接

PDF 9 pages

Summary

随着技术的发展，大型语言模型（LLM）在各种自然语言处理（NLP）任务中取得了显著的成绩，推动了如Microsoft Copilot等LLM集成应用的出现。然而，新的漏洞也不断涌现，特别是提示注入攻击。这些攻击使LLM偏离原始输入指令并执行攻击者在数据内容中注入的指令。本文利用LLM遵循指令的能力及其无法区分数据内容中注入指令的缺陷进行攻击。本文提出了一种将攻击技术转化为防御技术的创新方法，基于以往无训练攻击技术，通过重复攻击过程但使用原始输入指令而非注入指令进行防御。实验证明，这种防御技术优于现有的无训练防御方法，取得了最新结果。

Key Takeaways

1. 大型语言模型（LLMs）在自然语言处理任务中表现出卓越性能，但也存在提示注入攻击的新漏洞。
2. 这些攻击使LLMs偏离原始指令并执行攻击者注入的指令。
3. 攻击方法和防御方法的设计目标相似，旨在引导模型执行想要的指令而非不想要的指令。
4. 论文将攻击技术的意图颠倒，开发了一种基于无训练攻击方法的防御方法。
5. 该防御方法通过重复攻击过程但使用原始输入指令进行防御。
6. 实验证明，这种防御技术比现有无训练防御方法更有效。

Cool Papers

点此查看论文截图

Gnothi Seauton: Empowering Faithful Self-Interpretability in Black-Box Transformers

Authors:Shaobo Wang, Hongxuan Tang, Mingyang Wang, Hongrui Zhang, Xuyang Liu, Weiya Li, Xuming Hu, Linfeng Zhang

The debate between self-interpretable models and post-hoc explanations for black-box models is central to Explainable AI (XAI). Self-interpretable models, such as concept-based networks, offer insights by connecting decisions to human-understandable concepts but often struggle with performance and scalability. Conversely, post-hoc methods like Shapley values, while theoretically robust, are computationally expensive and resource-intensive. To bridge the gap between these two lines of research, we propose a novel method that combines their strengths, providing theoretically guaranteed self-interpretability for black-box models without compromising prediction accuracy. Specifically, we introduce a parameter-efficient pipeline, AutoGnothi, which integrates a small side network into the black-box model, allowing it to generate Shapley value explanations without changing the original network parameters. This side-tuning approach significantly reduces memory, training, and inference costs, outperforming traditional parameter-efficient methods, where full fine-tuning serves as the optimal baseline. AutoGnothi enables the black-box model to predict and explain its predictions with minimal overhead. Extensive experiments show that AutoGnothi offers accurate explanations for both vision and language tasks, delivering superior computational efficiency with comparable interpretability.

关于可解释人工智能（XAI）的核心争论在于自解释模型与事后解释黑箱模型的对比。自解释模型（如基于概念的网络）通过连接决策与人类可理解的概念来提供见解，但它们往往面临性能和可扩展性的挑战。相反，事后方法（如沙普利值）虽然在理论上很稳健，但在计算上却非常昂贵且资源密集。为了弥合这两种研究思路之间的鸿沟，我们提出了一种将两者的优势结合起来的新方法，为黑箱模型提供理论保证的自解释性，同时不妥协预测精度。具体来说，我们引入了一种参数高效的管道AutoGnothi，它将一个小型辅助网络集成到黑箱模型中，允许它生成沙普利值解释，而不会改变原始网络参数。这种侧面调整的方法大大降低了内存、训练和推理成本，超越了传统的参数高效方法，其中全微调是最优基线。AutoGnothi使黑箱模型能够以最小的开销预测和解释其预测。大量实验表明，AutoGnothi对视觉和语言任务都提供了准确的解释，在可比的诠释性下具有出色的计算效率。

论文及项目相关链接

PDF Accepted by ICLR 2025, 29 pages, 13 figures

Summary

本文围绕可解释人工智能（XAI）中的自解释模型与黑箱模型的后期解释展开辩论。自解释模型如基于概念的网络通过连接决策与人类可理解的概念提供洞察力，但在性能和可扩展性方面常常遇到困难。相反，如沙普利值等的后期方法虽然理论稳健，但计算成本高且资源密集。为了弥合这两类研究的差距，本文提出了一种新方法，结合两者的优势，为黑箱模型提供理论保证的自解释性，同时不损害预测精度。具体来说，本文引入了一种参数高效的管道AutoGnothi，它将一个小型侧网络集成到黑箱模型中，能够生成沙普利值解释，而无需更改原始网络参数。这种侧调节方法显著降低了内存、训练和推理成本，优于传统的参数高效方法（以全微调作为最佳基线）。AutoGnothi使黑箱模型能够预测和解释其预测结果，几乎无需额外开销。大量实验表明，AutoGnothi可为视觉和语言任务提供精确的解释，在计算效率方面表现出色，同时保持了相当的可解释性。

Key Takeaways

1. 自解释模型与黑箱模型的后期解释在可解释人工智能（XAI）领域中形成核心辩论。
2. 自解释模型如概念网络能够提供决策与人类理解之间的关联，但面临性能与可扩展性问题。
3. 后期方法如沙普利值虽然理论稳健但计算成本高且资源密集。
4. 提出了一种新方法AutoGnothi，结合了自解释模型与黑箱模型的优点。
5. AutoGnothi通过引入小型侧网络实现了对黑箱模型的理论保证自解释性。
6. 侧调节方法降低了内存、训练和推理成本，优于传统参数高效方法。

Cool Papers

点此查看论文截图