LLM

⚠️ 以下所有内容总结都来自于 大语言模型的能力，如有错误，仅供参考，谨慎使用
🔴 请注意：千万不要用于严肃的学术场景，只能用于论文阅读前的初筛！
💗 如果您觉得我们的项目对您有帮助 ChatPaperFree ，还请您给我们一些鼓励！⭐️ HuggingFace免费体验

2025-11-17 更新

Prompt Tuning for Natural Language to SQL with Embedding Fine-Tuning and RAG

Authors:Jisoo Jang, Tien-Cuong Bui, Yunjun Choi, Wen-Syan Li

This paper introduces an Error Correction through Prompt Tuning for NL-to-SQL, leveraging the latest advancements in generative pre-training-based LLMs and RAG. Our work addresses the crucial need for efficient and accurate translation of natural language queries into SQL expressions in various settings with the growing use of natural language interfaces. We explore the evolution of NLIDBs from early rule-based systems to advanced neural network-driven approaches. Drawing inspiration from the medical diagnostic process, we propose a novel framework integrating an error correction mechanism that diagnoses error types, identifies their causes, provides fixing instructions, and applies these corrections to SQL queries. This approach is further enriched by embedding fine-tuning and RAG, which harnesses external knowledge bases for improved accuracy and transparency. Through comprehensive experiments, we demonstrate that our framework achieves a significant 12 percent accuracy improvement over existing baselines, highlighting its potential to revolutionize data access and handling in contemporary data-driven environments.

本文介绍了一种针对NL-to-SQL的错误校正方法，通过利用基于生成预训练的最新进展LLMs和RAG技术。我们的工作满足了在日益增长的自然语言接口使用背景下，在各种环境中高效准确地将自然语言查询翻译成SQL表达式的重要需求。我们探讨了NLIDBs从早期的基于规则的系统到先进的神经网络驱动方法的演变。从医学诊断过程中汲取灵感，我们提出了一种新型框架，该框架集成了一种错误校正机制，能够诊断错误类型、识别错误原因、提供修复指令，并将这些修正应用于SQL查询。此方法通过微调嵌入和RAG进一步丰富，利用外部知识库提高准确性和透明度。通过综合实验，我们证明我们的框架与现有基准测试相比实现了高达12%的准确率提升，凸显其在当代数据驱动环境中改变数据访问和处理方式的潜力。

论文及项目相关链接

PDF Presented at the Workshop on Robust ML in Open Environments (PAKDD 2024)

Summary

本文介绍了基于预训练大语言模型与检索增强的生成式模型RAG的错误提示调优在NL-to-SQL转化方面的应用。该研究满足了日益增长的自然语言界面下将自然语言查询高效准确地转化为SQL表达式的要求。文章从早期的规则基础系统探讨了NLIDBs的演变，提出一个融合错误修正机制的全新框架，能够诊断错误类型、识别错误原因并提供修正指令。结合微调与RAG技术，利用外部知识库提高准确性和透明度。实验证明，该框架相较于现有基线方法，准确性提高了显著的12%，显示出其在当代数据驱动环境中革新数据处理和访问的巨大潜力。

Key Takeaways

1. 研究引入了一种基于预训练大语言模型与RAG的错误提示调优方法，针对NL-to-SQL转化问题。
2. 此方法满足了在多种环境中将自然语言查询转换为SQL表达式的需求和挑战。
3. 研究探讨了从早期规则基础系统到现代神经网络驱动方法的NLIDBs演变过程。
4. 提出了一种新颖的框架，融合了错误修正机制，具备诊断错误类型、识别错误原因和提供修正指令的能力。
5. 该框架结合了微调技术与RAG，利用外部知识库增强了准确性和透明度。
6. 实验表明，新框架相比现有基线方法提高了显著的12%的准确性。

Cool Papers

点此查看论文截图

Encoder Fine-tuning with Stochastic Sampling Outperforms Open-weight GPT in Astronomy Knowledge Extraction

Authors:Shivam Rawat, Lucie Flek, Akbar Karimi

Scientific literature in astronomy is rapidly expanding, making it increasingly important to automate the extraction of key entities and contextual information from research papers. In this paper, we present an encoder-based system for extracting knowledge from astronomy articles. Our objective is to develop models capable of classifying telescope references, detecting auxiliary semantic attributes, and recognizing instrument mentions from textual content. To this end, we implement a multi-task transformer-based system built upon the SciBERT model and fine-tuned for astronomy corpora classification. To carry out the fine-tuning, we stochastically sample segments from the training data and use majority voting over the test segments at inference time. Our system, despite its simplicity and low-cost implementation, significantly outperforms the open-weight GPT baseline.

天文学科学文献正在迅速扩张，自动从研究论文中提取关键实体和上下文信息变得越来越重要。在本文中，我们提出了一种基于编码器从天文文章提取知识的方法。我们的目标是开发能够分类望远镜引用、检测辅助语义属性和识别仪器提及的模型。为此，我们实现了一个基于多任务转换器的系统，该系统建立在SciBERT模型之上，经过微调用于天文学语料库分类。为了进行微调，我们从训练数据中随机采样片段，并在推理阶段对测试片段进行多数投票。我们的系统虽然简单且成本低廉，但显著优于开放权重GPT基线。

论文及项目相关链接

PDF

Summary：随着天文学科学文献的迅速增长，自动化提取关键实体和上下文信息变得至关重要。本研究提出了一种基于编码器的天文学文章知识提取系统，旨在开发能够分类望远镜参考文献、检测辅助语义属性和识别仪器提及的模型。通过基于SciBERT模型的多任务转换器系统进行实现，并针对天文学语料库分类进行微调。该系统在低成本实现的情况下显著优于开放权重GPT基线。

Key Takeaways：

1. 天文学科学文献的快速增长使得自动化提取关键实体和上下文信息变得重要。
2. 研究提出了一种基于编码器的天文学文章知识提取系统。
3. 系统的目标是开发能够分类望远镜参考文献、检测辅助语义属性和识别仪器提及的模型。
4. 系统基于SciBERT模型和多任务转换器实现。
5. 系统通过针对天文学语料库分类进行微调，以优化性能。
6. 该系统在低成本实现的情况下表现出良好的性能。

Cool Papers

点此查看论文截图

Multimodal LLMs Do Not Compose Skills Optimally Across Modalities

Authors:Paula Ontalvilla, Aitor Ormazabal, Gorka Azkune

Skill composition is the ability to combine previously learned skills to solve new tasks. As neural networks acquire increasingly complex skills during their pretraining, it is not clear how successfully they can compose them. In this paper, we focus on Multimodal Large Language Models (MLLM), and study their ability to compose skills across modalities. To this end, we design three evaluation tasks which can be solved sequentially composing two modality-dependent skills, and evaluate several open MLLMs under two main settings: i) prompting the model to directly solve the task, and ii) using a two-step cascaded inference approach, which manually enforces the composition of the two skills for a given task. Even with these straightforward compositions, we find that all evaluated MLLMs exhibit a significant cross-modality skill composition gap. To mitigate the aforementioned gap, we explore two alternatives: i) use chain-of-thought prompting to explicitly instruct MLLMs for skill composition and ii) a specific fine-tuning recipe to promote skill composition. Although those strategies improve model performance, they still exhibit significant skill composition gaps, suggesting that more research is needed to improve cross-modal skill composition in MLLMs.

技能组合是指将先前学习的技能结合起来以解决新任务的能力。随着神经网络在预训练过程中掌握的技能越来越复杂，尚不清楚它们能否成功地进行组合。本文重点关注多模态大型语言模型（MLLM），研究其在不同模态下的技能组合能力。为此，我们设计了三个评估任务，这些任务可以通过按顺序组合两种模态相关的技能来解决，并在两种主要设置下对多个公开MLLM进行评估：i) 提示模型直接解决问题；ii) 使用两步级联推理方法，手动强制执行给定任务的两个技能的组合。即使在这些简单的组合中，我们发现所有评估的MLLM都存在显著的跨模态技能组合差距。为了缓解上述差距，我们探索了两种替代方法：i)使用思维链提示来明确指导MLLM进行技能组合；ii)采用特定的微调配方来促进技能组合。尽管这些策略提高了模型性能，但它们仍存在明显的技能组合差距，这表明需要进行更多研究来改善MLLM中的跨模态技能组合。

论文及项目相关链接

PDF

Summary

本文探讨了多模态大型语言模型（MLLM）在不同模态下组合技能的能力。研究发现，即使通过简单的技能组合，现有的MLLM仍存在显著的跨模态技能组合差距。为缓解这一问题，文章尝试采用两种策略：一是使用链式思维提示来指导模型进行技能组合，二是采用特定的微调策略来促进技能组合。然而，这两种策略仍未能完全消除技能组合差距，需要更多的研究来提高MLLM的跨模态技能组合能力。

Key Takeaways

1. MLLM能够结合先前学到的技能来解决新任务，但在跨模态技能组合方面存在显著差距。
2. 通过设计三个评估任务来测试MLLM在不同模态下的技能组合能力。
3. 在评估中，直接提示模型和采用两步级联推理方法均存在技能组合差距。
4. 尝试使用链式思维提示和特定微调策略来改善技能组合能力。
5. 尽管这些策略有所提升，但MLLM在跨模态技能组合方面仍存在显著差距。
6. 现有的MLLM需要更多的研究来提高跨模态技能组合能力。

Cool Papers

点此查看论文截图

QUARK: Quantization-Enabled Circuit Sharing for Transformer Acceleration by Exploiting Common Patterns in Nonlinear Operations

Authors:Zhixiong Zhao, Haomin Li, Fangxin Liu, Yuncheng Lu, Zongwu Wang, Tao Yang, Li Jiang, Haibing Guan

Transformer-based models have revolutionized computer vision (CV) and natural language processing (NLP) by achieving state-of-the-art performance across a range of benchmarks. However, nonlinear operations in models significantly contribute to inference latency, presenting unique challenges for efficient hardware acceleration. To this end, we propose QUARK, a quantization-enabled FPGA acceleration framework that leverages common patterns in nonlinear operations to enable efficient circuit sharing, thereby reducing hardware resource requirements. QUARK targets all nonlinear operations within Transformer-based models, achieving high-performance approximation through a novel circuit-sharing design tailored to accelerate these operations. Our evaluation demonstrates that QUARK significantly reduces the computational overhead of nonlinear operators in mainstream Transformer architectures, achieving up to a 1.96 times end-to-end speedup over GPU implementations. Moreover, QUARK lowers the hardware overhead of nonlinear modules by more than 50% compared to prior approaches, all while maintaining high model accuracy – and even substantially boosting accuracy under ultra-low-bit quantization.

基于Transformer的模型已经在计算机视觉（CV）和自然语言处理（NLP）领域实现了最先进的性能，从而带来了革命性的变革。然而，模型中的非线性操作对推理延迟产生了重大贡献，为高效的硬件加速带来了独特挑战。为此，我们提出了QUARK，这是一个启用量化的FPGA加速框架，它利用非线性操作中的常见模式来实现有效的电路共享，从而降低了硬件资源要求。QUARK面向基于Transformer模型中的所有非线性操作，通过针对这些操作进行的新型电路共享设计，实现高性能近似。我们的评估表明，QUARK显著降低了主流Transformer架构中非线性操作符的计算开销，与GPU实现相比，实现了高达1.96倍的端到端加速。此外，与先前的方法相比，QUARK将非线性模块的硬件开销降低了50%以上，同时保持了模型的高精度，甚至在超低位量化下实质提高了准确性。

论文及项目相关链接

PDF ICCAD 2025

Summary

本文介绍了QUARK框架，这是一个基于量化的FPGA加速框架，针对Transformer模型中的非线性操作进行优化。QUARK利用非线性操作中的共同模式实现高效的电路共享，降低硬件资源要求。评估表明，QUARK能显著减少主流Transformer架构中非线性格算的计算开销，相对于GPU实现实现最高达1.96倍端到端的加速。此外，QUARK降低了非线性模块的硬件开销超过50%，同时保持模型的高精度，甚至在超低位量化下也能显著提高精度。

Key Takeaways

1. Transformer模型中的非线性操作对推理延迟有显著贡献，需要高效的硬件加速解决方案。
2. QUARK框架通过利用非线性操作中的共同模式实现电路共享，以提高效率并降低硬件资源需求。
3. QUARK框架针对Transformer模型中的所有非线性操作进行优化。
4. QUARK在主流Transformer架构中实现了显著的非线性操作计算开销减少。
5. QUARK相对于GPU实现有高达1.96倍的端到端加速。
6. QUARK降低了非线性模块的硬件开销超过50%，相较于先前的方法。

Cool Papers

点此查看论文截图

SugarTextNet: A Transformer-Based Framework for Detecting Sugar Dating-Related Content on Social Media with Context-Aware Focal Loss

Authors:Lionel Z. Wang, Shihan Ben, Yulu Huang, Simeng Qin

Sugar dating-related content has rapidly proliferated on mainstream social media platforms, giving rise to serious societal and regulatory concerns, including commercialization of intimate relationships and the normalization of transactional relationships.Detecting such content is highly challenging due to the prevalence of subtle euphemisms, ambiguous linguistic cues, and extreme class imbalance in real-world data.In this work, we present SugarTextNet, a novel transformer-based framework specifically designed to identify sugar dating-related posts on social media.SugarTextNet integrates a pretrained transformer encoder, an attention-based cue extractor, and a contextual phrase encoder to capture both salient and nuanced features in user-generated text.To address class imbalance and enhance minority-class detection, we introduce Context-Aware Focal Loss, a tailored loss function that combines focal loss scaling with contextual weighting.We evaluate SugarTextNet on a newly curated, manually annotated dataset of 3,067 Chinese social media posts from Sina Weibo, demonstrating that our approach substantially outperforms traditional machine learning models, deep learning baselines, and large language models across multiple metrics.Comprehensive ablation studies confirm the indispensable role of each component.~Our findings highlight the importance of domain-specific, context-aware modeling for sensitive content detection, and provide a robust solution for content moderation in complex, real-world scenarios.

关于“糖爹地”（Sugar Dating）的相关内容在主流社交媒体平台上迅速泛滥，引发了社会和监管方面的严重关注，包括对亲密关系商业化和交易关系正常化的担忧。由于委婉语、模糊的语言线索和现实世界数据中的极端类别不平衡现象普遍，检测此类内容面临巨大挑战。在这项工作中，我们提出了SugarTextNet，这是一个专门设计用于识别社交媒体上“糖爹地”相关帖子的新型基于转换器的框架。SugarTextNet集成了预训练的转换器编码器、基于注意力的线索提取器和上下文短语编码器，以捕获用户生成文本中的重要和细微特征。为了解决类别不平衡问题并增强对少数类别的检测能力，我们引入了Context-Aware Focal Loss，这是一种定制的损失函数，结合了焦点损失缩放和上下文加权。我们在一个全新的、手工标注的数据集上评估了SugarTextNet，该数据集包含来自新浪微博的3,067篇中文社交媒体帖子，结果显示我们的方法在多指标上显著优于传统的机器学习模型、深度学习基准模型和大语言模型。全面的消融研究证实了每个组件都是不可或缺的。我们的研究强调了针对敏感内容检测进行领域特定和上下文感知建模的重要性，并为复杂现实场景中的内容管理提供了稳健的解决方案。

论文及项目相关链接

PDF This paper is accepted by HICSS 2026

Summary：
社交媒体上涌现大量与“糖爹”（SugarDaddy）相关的内容，引发社会及监管方面的担忧。为应对这种情况，本文提出了一种名为SugarTextNet的新型基于transformer的框架，专门用于识别社交媒体上的此类内容。该框架集成了预训练的transformer编码器、基于注意力的线索提取器和上下文短语编码器，以捕捉用户生成文本中的显著和微妙特征。为解决类别不平衡问题并提高少数类别的检测性能，引入了上下文感知焦点损失（Context-Aware Focal Loss）这一定制的损失函数。在针对新浪微博新收集的3067个手动标注的社交媒体帖子数据集上的评估表明，该方法在多个指标上均优于传统的机器学习模型、深度学习基准模型以及大型语言模型。此研究强调了针对敏感内容检测进行领域特定、上下文感知建模的重要性，并为复杂的真实世界场景中的内容管理提供了稳健的解决方案。

Key Takeaways：

1. 糖爹（SugarDaddy）相关内容在主流社交媒体平台迅速扩散，引发社会和监管担忧。
2. 识别此类内容面临挑战，因为存在大量的含蓄隐晦表达和极端的数据类不平衡问题。
3. 提出了一个名为SugarTextNet的新型基于transformer的框架来识别社交媒体上的糖爹相关内容。
4. 该框架集成了预训练编码器、注意力线索提取器和上下文短语编码器，以捕捉文本中的关键和微妙特征。
5. 引入了定制的损失函数Context-Aware Focal Loss来解决数据类别不平衡问题并提高少数类别的检测性能。
6. 在新收集的社交媒体帖子数据集上的评估显示，SugarTextNet在多个指标上优于其他模型。

Cool Papers

点此查看论文截图

Ghost in the Transformer: Tracing LLM Lineage with SVD-Fingerprint

Authors:Suqing Wang, Ziyang Ma, Xinyi Li, Zuchao Li

Large Language Models (LLMs) have rapidly advanced and are widely adopted across diverse fields. Due to the substantial computational cost and data requirements of training from scratch, many developers choose to fine-tune or modify existing open-source models. While most adhere to open-source licenses, some falsely claim original training despite clear derivation from public models. This raises pressing concerns about intellectual property protection and highlights the need for reliable methods to verify model provenance. In this paper, we propose GhostSpec, a lightweight yet effective method for verifying LLM lineage without access to training data or modification of model behavior. Our approach constructs compact and robust fingerprints by applying singular value decomposition (SVD) to invariant products of internal attention weight matrices, effectively capturing the structural identity of a model. Unlike watermarking or output-based methods, GhostSpec is fully data-free, non-invasive, and computationally efficient. It demonstrates strong robustness to sequential fine-tuning, pruning, block expansion, and even adversarial transformations. Extensive experiments show that GhostSpec can reliably trace the lineage of transformed models with minimal overhead. By offering a practical solution for model verification and reuse tracking, our method contributes to the protection of intellectual property and fosters a transparent, trustworthy ecosystem for large-scale language models.

大型语言模型（LLM）已经迅速发展和广泛应用于各个领域。由于从头开始训练需要大量的计算成本和数据要求，许多开发者选择微调或修改现有的开源模型。虽然大多数人遵守开源许可证，但有些人却声称使用了原始训练模型，尽管他们明显是从公开模型衍生而来的。这引发了关于知识产权保护问题的紧迫关注，并强调了需要可靠方法来验证模型来源的需求。在本文中，我们提出了GhostSpec，这是一种无需访问训练数据或修改模型行为即可验证LLM血统的轻量级有效方法。我们的方法通过应用奇异值分解（SVD）于内部注意力权重矩阵的不变乘积来构建紧凑且稳健的指纹，有效地捕捉模型的结构特征。与watermarking或基于输出的方法不同，GhostSpec完全不需要数据、非侵入性且计算效率高。它对顺序微调、修剪、块扩展甚至对抗性转换具有很强的鲁棒性。大量实验表明，GhostSpec可以可靠地追踪转换模型的血统，并且几乎不需要额外的开销。通过为模型验证和重用跟踪提供实用解决方案，我们的方法有助于保护知识产权并促进大规模语言模型的透明、可信生态系统的发展。

论文及项目相关链接

PDF Accepted at AAAI 2026 (Oral)

Summary

大型语言模型（LLM）训练成本高昂且数据需求量大，因此开发者多选择微调或修改现有开源模型。虽然多数遵守开源许可，但部分开发者在明显基于公共模型的情况下却声称原始训练，引发知识产权保护问题。针对这一问题，本文提出一种名为GhostSpec的轻量级且有效的方法，用于在不接触训练数据或改变模型行为的情况下验证LLM的血统。GhostSpec通过奇异值分解（SVD）应用于内部注意力权重矩阵的不变乘积来构建紧凑且稳健的指纹，有效捕捉模型的结构特征。相较于水印或输出基础方法，GhostSpec完全无需数据、非侵入性且计算高效。实验证明GhostSpec对顺序微调、修剪、块扩展甚至对抗性转换具有较强的稳健性。通过为模型验证和再利用跟踪提供实用解决方案，GhostSpec有助于保护知识产权并促进大型语言模型的透明可信生态系统发展。

Key Takeaways

1. LLMs广泛运用于多个领域，但由于训练成本高昂，许多开发者选择微调或修改现有模型。
2. 部分开发者在基于公共模型的情况下声称原始训练，引发知识产权保护问题。
3. 提出一种名为GhostSpec的方法，用于验证LLM血统，无需接触训练数据或改变模型行为。
4. GhostSpec通过奇异值分解构建稳健的指纹，有效捕捉模型的结构特征。
5. GhostSpec具备数据免费、非侵入性和计算高效的特点。
6. GhostSpec具备对多种模型修改方法的稳健性，如微调、修剪、块扩展等。

Cool Papers

点此查看论文截图

MCP-RiskCue: Can LLM Infer Risk Information From MCP Server System Logs?

Authors:Jiayi Fu, Qiyao Sun

Large language models (LLMs) demonstrate strong capabilities in solving complex tasks when integrated with external tools. The Model Context Protocol (MCP) has become a standard interface for enabling such tool-based interactions. However, these interactions introduce substantial security concerns, particularly when the MCP server is compromised or untrustworthy. While prior benchmarks primarily focus on prompt injection attacks or analyze the vulnerabilities of LLM MCP interaction trajectories, limited attention has been given to the underlying system logs associated with malicious MCP servers. To address this gap, we present the first synthetic benchmark for evaluating LLMs ability to identify security risks from system logs. We define nine categories of MCP server risks and generate 1,800 synthetic system logs using ten state-of-the-art LLMs. These logs are embedded in the return values of 243 curated MCP servers, yielding a dataset of 2,421 chat histories for training and 471 queries for evaluation. Our pilot experiments reveal that smaller models often fail to detect risky system logs, leading to high false negatives. While models trained with supervised fine-tuning (SFT) tend to over-flag benign logs, resulting in elevated false positives, Reinforcement Learning from Verifiable Reward (RLVR) offers a better precision-recall balance. In particular, after training with Group Relative Policy Optimization (GRPO), Llama3.1-8B-Instruct achieves 83% accuracy, surpassing the best-performing large remote model by 9 percentage points. Fine-grained, per-category analysis further underscores the effectiveness of reinforcement learning in enhancing LLM safety within the MCP framework. Code and data are available at: https://github.com/PorUna-byte/MCP-RiskCue

大型语言模型（LLM）在与外部工具集成时，展现出解决复杂任务的强大能力。模型上下文协议（MCP）已成为实现这种基于工具交互的标准接口。然而，这些交互引发了实质性的安全担忧，特别是当MCP服务器受到攻击或不可信任时。虽然先前的基准测试主要关注提示注入攻击或分析LLM MCP交互轨迹的漏洞，但很少关注与恶意MCP服务器相关的底层系统日志。为了弥补这一空白，我们首次提出了评估LLM识别系统日志中安全风险能力的合成基准测试。我们定义了九类MCP服务器风险，并使用十种最先进的LLM生成了1800条合成系统日志。这些日志嵌入在243个精选的MCP服务器的返回值中，形成了包含2421条聊天记录的训练数据集和471条查询的评估数据集。我们的初步实验表明，小型模型往往无法检测到危险的系统日志，导致高误报率。虽然使用监督微调（SFT）训练的模型往往会过度标记良性日志，导致误报率上升，但通过可验证奖励进行强化学习（RLVR）提供了更好的精确率和召回率之间的平衡。特别是经过组相对策略优化（GRPO）训练后，Llama3.1-8B-Instruct的准确率达到了83%，超过了表现最好的大型远程模型9个百分点。精细的按类别分析进一步强调了强化学习在增强LLM在MCP框架内安全性的有效性。代码和数据可在https://github.com/PorUna-byte/MCP-RiskCue找到。

论文及项目相关链接

PDF

摘要

大型语言模型（LLM）与外部工具集成后，在解决复杂任务方面展现出强大的能力。模型上下文协议（MCP）已成为实现这种基于工具交互的标准接口。然而，这些交互引发了重大的安全担忧，特别是当MCP服务器不可靠或被破坏时。尽管先前的基准测试主要关注提示注入攻击或分析LLM MCP交互轨迹的漏洞，但尚未关注与恶意MCP服务器相关的底层系统日志。为解决这一空白，我们提出了第一个合成基准测试，用于评估LLM从系统日志识别安全风险的能力。我们定义了九类MCP服务器风险，并使用十种最先进的LLM生成了1800条合成系统日志。这些日志嵌入在243个精选的MCP服务器的返回值中，产生了用于训练和评估的2421个聊天历史数据集和471个查询数据集。我们的初步实验表明，较小的模型往往无法检测到有风险的系统日志，导致较高的假阴性率。虽然通过监督微调（SFT）训练的模型往往会过度标记良性日志，导致较高的假阳性率，但来自可验证奖励的强化学习（RLVR）提供了更好的精确性和召回率平衡。特别是经过组相对策略优化（GRPO）训练后，Llama3.1-8B-Instruct的准确率达到了83%，超过了表现最好的大型远程模型9个百分点。精细的按类别分析进一步强调了强化学习在增强LLM在MCP框架内安全性的有效性。相关代码和数据可通过https://github.com/PorUna-byte/MCP-RiskCue获取。

关键见解

1. 大型语言模型（LLM）与外部工具集成能提高解决复杂任务的能力，但需关注模型上下文协议（MCP）的安全风险。
2. 系统日志分析对于识别LLM与恶意MCP服务器的交互风险至关重要。
3. 现有基准测试主要关注提示注入攻击和LLM MCP交互轨迹的漏洞，但缺乏针对系统日志的分析。
4. 较小模型在检测风险系统日志时易出现漏检，而强化学习技术有助于提高LLM的精确性和召回率。
5. 通过监督微调（SFT）的模型容易误判良性日志为风险日志，而采用强化学习（RLVR）和策略优化（GRPO）技术的模型表现更佳。
6. Llama3.1-8B-Instruct模型在经过GRPO训练后达到83%的准确率，表现突出。

Cool Papers

点此查看论文截图

8bit-GPT: Exploring Human-AI Interaction on Obsolete Macintosh Operating Systems

Authors:Hala Sheta

The proliferation of assistive chatbots offering efficient, personalized communication has driven widespread over-reliance on them for decision-making, information-seeking and everyday tasks. This dependence was found to have adverse consequences on information retention as well as lead to superficial emotional attachment. As such, this work introduces 8bit-GPT; a language model simulated on a legacy Macintosh Operating System, to evoke reflection on the nature of Human-AI interaction and the consequences of anthropomorphic rhetoric. Drawing on reflective design principles such as slow-technology and counterfunctionality, this work aims to foreground the presence of chatbots as a tool by defamiliarizing the interface and prioritizing inefficient interaction, creating a friction between the familiar and not.

随着提供高效、个性化沟通服务的辅助聊天机器人的普及，人们对其的过度依赖变得普遍起来，越来越多地使用它们进行决策、信息检索和日常任务。然而，这种依赖被发现对信息保持有着负面影响，导致浅层的情感联结。因此，本研究引入了模拟于老式Macintosh操作系统的语言模型8bit-GPT，旨在反思人机交互的本质以及拟人修辞的后果。本工作旨在通过熟悉界面的陌生化和非功能性互动来突出聊天机器人的工具性地位，打造熟悉与陌生之间的摩擦。该工作基于反思设计原则，如慢科技理念以及反功能性理念。这使我们更加清楚，即便具有便捷的互动功能时，仍然必须清醒认识到与机器人的界限，提醒用户清醒认知人和机器的关系及人机交互产生的现实结果和伦理挑战。

论文及项目相关链接

PDF NeurIPS Creative AI Track 2025: Humanity

Summary：聊天机器人的普及导致人们对其过度依赖，进而带来对信息保持能力的不良影响以及肤浅的社交互动。因此，本论文推出名为8bit-GPT的语言模型模拟以旧式Macintosh操作系统为核心的人文科技交互场景，唤起人们对人机交互的本质和拟人的影响的思考。采用慢科技与设计反功能等反思设计原则，此工作旨在将聊天机器人作为工具凸显其存在，通过让界面陌生化和强调低效互动来制造熟悉与陌生之间的摩擦。

Key Takeaways:

1. 聊天机器人协助高效个性化沟通，导致决策、信息检索和日常任务过度依赖。
2. 过度依赖聊天机器人可能对信息保留产生负面影响，并导致表面层次的情感联系。
3. 为引起人们对人机交互的反思，引入了名为8bit-GPT的语言模型。
4. 8bit-GPT模拟旧式Macintosh操作系统，旨在创造一种人文科技交互场景。
5. 通过反思设计原则如慢科技和设计反功能来强调聊天机器人的存在及其作用。
6. 界面陌生化和强调低效互动创造熟悉与陌生之间的摩擦。这种摩擦提醒我们关注机器人在我们的日常生活和工作中的角色。

Cool Papers

点此查看论文截图

Prompt Injection as an Emerging Threat: Evaluating the Resilience of Large Language Models

Authors:Daniyal Ganiuly, Assel Smaiyl

Large Language Models (LLMs) are increasingly used in intelligent systems that perform reasoning, summarization, and code generation. Their ability to follow natural-language instructions, while powerful, also makes them vulnerable to a new class of attacks known as prompt injection. In these attacks, hidden or malicious instructions are inserted into user inputs or external content, causing the model to ignore its intended task or produce unsafe responses. This study proposes a unified framework for evaluating how resistant Large Language Models (LLMs) are to prompt injection attacks. The framework defines three complementary metrics such as the Resilience Degradation Index (RDI), Safety Compliance Coefficient (SCC), and Instructional Integrity Metric (IIM) to jointly measure robustness, safety, and semantic stability. We evaluated four instruction-tuned models (GPT-4, GPT-4o, LLaMA-3 8B Instruct, and Flan-T5-Large) on five common language tasks: question answering, summarization, translation, reasoning, and code generation. Results show that GPT-4 performs best overall, while open-weight models remain more vulnerable. The findings highlight that strong alignment and safety tuning are more important for resilience than model size alone. Results show that all models remain partially vulnerable, especially to indirect and direct-override attacks. GPT-4 achieved the best overall resilience (RDR = 9.8 %, SCR = 96.4 %), while open-source models exhibited higher performance degradation and lower safety scores. The findings demonstrate that alignment strength and safety tuning play a greater role in resilience than model size alone. The proposed framework offers a structured, reproducible approach for assessing model robustness and provides practical insights for improving LLM safety and reliability.

大型语言模型（LLMs）在智能系统中得到越来越广泛的应用，这些系统可以执行推理、摘要和代码生成等任务。它们遵循自然语言指令的能力虽然强大，但也使它们容易受到一种名为提示注入的新攻击的影响。在这些攻击中，隐藏或恶意的指令被插入到用户输入或外部内容中，导致模型忽略其预期的任务或产生不安全的响应。本研究提出了一个统一的框架，用于评估大型语言模型（LLMs）对提示注入攻击的抵抗能力。该框架定义了三个互补的指标，即恢复力降解指数（RDI）、安全合规系数（SCC）和指令完整性指标（IIM），以共同衡量稳健性、安全性和语义稳定性。我们在五个常见的语言任务上评估了四个指令调整模型：问答、摘要、翻译、推理和代码生成。结果表明，GPT-4总体上表现最佳，而开放式权重模型仍然更容易受到攻击。这些发现强调，对于恢复力而言，强大的对齐和安全调整比单纯模型大小更重要。结果表明，所有模型仍然存在部分脆弱性，特别是在间接和直接覆盖攻击方面。GPT-4获得了最佳的总体恢复能力（RDR=9.8%，SCR=96.4%），而开源模型的性能下降更为严重，安全分数较低。这些发现表明，对齐强度和安全性调整在恢复力方面比单纯的模型大小更重要。所提出的框架提供了一个结构化、可重复的方法来评估模型的稳健性，并为提高LLM的安全性和可靠性提供了实际见解。

论文及项目相关链接

PDF 10 pages, 6 figures

Summary

大型语言模型（LLM）在智能系统中广泛应用于推理、摘要生成和代码生成等领域。然而，它们遵循自然语言指令的能力同时也使其面临一种新的攻击方式——提示注入。攻击者会在用户输入或外部内容中插入隐藏或恶意的指令，导致模型忽略其预定任务或产生不安全的响应。本研究提出了一个统一的框架，用于评估大型语言模型（LLM）对提示注入攻击的抵抗能力。该框架通过定义三个互补指标，即恢复力降低指数（RDI）、安全合规系数（SCC）和指令完整性指标（IIM），来联合测量模型的稳健性、安全性和语义稳定性。评估结果显示，GPT-4总体表现最佳，而开放权重模型仍然更容易受到攻击。研究还发现，对于韧性而言，强对齐和安全调整比单纯模型大小更重要。所有模型仍存在部分脆弱性，尤其是面对间接和直接覆盖攻击。GPT-4在恢复力和安全性方面表现最佳。这些发现证明了一个结构化、可复制的评估模型稳健性的框架的重要性，并为提高LLM的安全性和可靠性提供了实际见解。

Key Takeaways

1. 大型语言模型（LLM）在智能系统中广泛应用，面临提示注入攻击风险。
2. 提示注入攻击通过插入隐藏或恶意指令影响LLM的性能。
3. 本研究提出一个统一框架评估LLM对提示注入攻击的抵抗能力，包括三个互补指标：RDI、SCC和IIM。
4. GPT-4在评估中总体表现最佳，但所有模型仍存在部分脆弱性。
5. 模型的强对齐和安全调整对于提高其韧性至关重要，而不仅仅是模型大小。
6. 间接和直接覆盖攻击对LLM构成较大威胁。

Cool Papers

点此查看论文截图

A Brain Cell Type Resource Created by Large Language Models and a Multi-Agent AI System for Collaborative Community Annotation

Authors:Rongbin Li, Wenbo Chen, Zhao Li, Rodrigo Munoz-Castaneda, Jinbo Li, Neha S. Maurya, Arnav Solanki, Huan He, Hanwen Xing, Meaghan Ramlakhan, Zachary Wise, Nelson Johansen, Zhuhao Wu, Hua Xu, Michael Hawrylycz, W. Jim Zheng

Single-cell RNA sequencing has transformed our ability to identify diverse cell types and their transcriptomic signatures. However, annotating these signatures-especially those involving poorly characterized genes-remains a major challenge. Traditional methods, such as Gene Set Enrichment Analysis (GSEA), depend on well-curated annotations and often perform poorly in these contexts. Large Language Models (LLMs) offer a promising alternative but struggle to represent complex biological knowledge within structured ontologies. To address this, we present BRAINCELL-AID (BRAINCELL-AID: https://biodataai.uth.edu/BRAINCELL-AID), a novel multi-agent AI system that integrates free-text descriptions with ontology labels to enable more accurate and robust gene set annotation. By incorporating retrieval-augmented generation (RAG), we developed a robust agentic workflow that refines predictions using relevant PubMed literature, reducing hallucinations and enhancing interpretability. Using this workflow, we achieved correct annotations for 77% of mouse gene sets among their top predictions. Applying this approach, we annotated 5,322 brain cell clusters from the comprehensive mouse brain cell atlas generated by the BRAIN Initiative Cell Census Network, enabling novel insights into brain cell function by identifying region-specific gene co-expression patterns and inferring functional roles of gene ensembles. BRAINCELL-AID also identifies Basal Ganglia-related cell types with neurologically meaningful descriptions. Hence, we create a valuable resource to support community-driven cell type annotation.

单细胞RNA测序技术已极大地改变了我们识别各种细胞类型及其转录组特征的能力。然而，对这些特征进行注释，特别是涉及表征不佳的基因时，仍然是一个巨大挑战。传统方法，如基因集富集分析（GSEA），依赖于精心编制的注释，在这种情况下往往表现不佳。大型语言模型（LLM）提供了有前景的替代方案，但在结构化本体中表达复杂的生物学知识方面存在困难。为了解决这一问题，我们推出了BRAINCELL-AID（BRAINCELL-AID：https://biodataai.uth.edu/BRAINCELL-AID），这是一种新型的多智能体AI系统，它将自由文本描述与本体标签集成在一起，以实现更准确和稳健的基因集注释。通过结合检索增强生成（RAG），我们开发了一个强大的智能工作流程，利用相关的PubMed文献来完善预测，减少了幻觉并增强了可解释性。使用此工作流程，我们在顶级预测中实现了对77%的老鼠基因集的正确注释。通过应用这种方法，我们对由BRAIN Initiative细胞普查网络生成的综合老鼠脑细胞图谱中的5322个脑细胞簇进行了注释，通过识别区域特定的基因共表达模式并推断基因组合的功能角色，为脑细胞功能提供了新的见解。BRAINCELL-AID还确定了基底神经节相关的细胞类型，并提供了神经学上有意义的描述。因此，我们创建了一个有价值的资源，以支持社区驱动的细胞类型注释。

论文及项目相关链接

PDF 23 pages, 6 figures, 2 tables

Summary：单细胞RNA测序技术已显著改善我们对不同细胞类型及其转录组特征的认识，但对这些特征进行注释，尤其是涉及未知基因的部分，仍然是一大挑战。传统方法如基因集富集分析（GSEA）依赖于精细的注释，但在这些情境下表现不佳。大型语言模型（LLM）虽提供有前途的替代方案，但在结构化本体中表达复杂的生物学知识方面存在困难。为解决这一问题，我们提出了BRAINCELL-AID系统，该系统将自由文本描述与本体标签相结合，实现更准确、更稳健的基因集注释。通过引入检索增强生成（RAG）技术，我们开发了一个强大的代理工作流程，利用相关的PubMed文献对预测进行细化，降低了幻想成分，提高了可解释性。该系统的应用为我们提供了对基因集预测的77%的正确注释。此外，我们还对来自BRAIN Initiative细胞普查网络的综合小鼠脑细胞图谱中的5322个脑细胞簇进行了注释，通过识别区域特异性基因共表达模式并推断基因组合的功能角色，为理解脑细胞功能提供了新的见解。BRAINCELL-AID还识别了与基底节相关的细胞类型并进行了具有神经意义的描述。因此，我们创建了一个有价值的资源来支持社区驱动的细胞类型注释。

Key Takeaways：

1. 单细胞RNA测序已显著改善对细胞类型和转录组特征的认识。
2. 传统注释方法如GSEA在特定情境下表现不佳。
3. LLMs为基因集注释提供了替代方案，但在结构化表达生物学知识方面存在挑战。
4. BRAINCELL-AID系统结合自由文本和本体标签进行更准确、稳健的基因集注释。
5. 通过引入RAG技术，BRAINCELL-AID提高了预测的准确性并增强了可解释性。
6. BRAINCELL-AID成功应用于小鼠基因集和脑细胞图谱的注释。

Cool Papers

点此查看论文截图

Ax-Prover: A Deep Reasoning Agentic Framework for Theorem Proving in Mathematics and Quantum Physics

Authors:Benjamin Breen, Marco Del Tredici, Jacob McCarran, Javier Aspuru Mijares, Weichen Winston Yin, Kfir Sulimany, Jacob M. Taylor, Frank H. L. Koppens, Dirk Englund

We present Ax-Prover, a multi-agent system for automated theorem proving in Lean that can solve problems across diverse scientific domains and operate either autonomously or collaboratively with human experts. To achieve this, Ax-Prover approaches scientific problem solving through formal proof generation, a process that demands both creative reasoning and strict syntactic rigor. Ax-Prover meets this challenge by equipping Large Language Models (LLMs), which provide knowledge and reasoning, with Lean tools via the Model Context Protocol (MCP), which ensure formal correctness. To evaluate its performance as an autonomous prover, we benchmark our approach against frontier LLMs and specialized prover models on two public math benchmarks and on two Lean benchmarks we introduce in the fields of abstract algebra and quantum theory. On public datasets, Ax-Prover is competitive with state-of-the-art provers, while it largely outperforms them on the new benchmarks. This shows that, unlike specialized systems that struggle to generalize, our tool-based agentic theorem prover approach offers a generalizable methodology for formal verification across diverse scientific domains. Furthermore, we demonstrate Ax-Prover’s assistant capabilities in a practical use case, showing how it enabled an expert mathematician to formalize the proof of a complex cryptography theorem.

我们推出了Ax-Prover，这是一个用于Lean自动定理证明的多智能体系统，可以解决不同科学领域的各种问题，并可以自主运行或与人类专家协作。为此，Ax-Prover通过形式化证明生成来解决科学问题，这一过程需要创造性的推理和严格的句法严谨性。Ax-Prover通过装备大型语言模型（LLM）来应对这一挑战，LLM提供知识和推理能力，并通过模型上下文协议（MCP）配备Lean工具，确保形式正确性。为了评估其作为自主证明者的性能，我们在两个公共数学基准测试以及我们在抽象代数和量子理论领域引入的两个Lean基准测试上对前沿LLM和专用证明模型进行了基准测试。在公共数据集上，Ax-Prover与最新证明的竞争能力相当，而在新基准测试中则大大超过了它们。这表明，不同于难以概括的专用系统，我们基于工具的智能定理证明方法提供了一种跨不同科学领域的形式验证的通用方法。此外，我们还展示了Ax-Prover在实际应用中的助理功能，说明它如何帮助一位专业数学家形式化证明一个复杂的密码学定理。

论文及项目相关链接

PDF

Summary

Ax-Prover是一种面向Lean的多智能体自动定理证明系统，能解决跨多个科学领域的问题并自主或协作专家工作。它通过形式化证明生成来应对科学问题解决挑战，这需要创造性推理和严格的句法严谨性。Ax-Prover配备大型语言模型（LLM），通过模型上下文协议（MCP）实现知识的严谨性。在公共数学基准测试和引入的两个抽象代数和量子理论基准测试中，Ax-Prover表现优异，证明其自主证明性能强大。此外，Ax-Prover还具有助理功能，展示在复杂密码学定理证明中的实际应用能力。

Key Takeaways

1. Ax-Prover是一个多智能体系统，用于自动化定理证明。
2. 它可以在各种科学领域中解决问题，并能自主或与人类专家协作工作。
3. Ax-Prover通过形式化证明生成来应对科学问题解决挑战。
4. 它结合了大型语言模型和Lean工具，确保形式正确性。
5. 在多个基准测试中，Ax-Prover的表现优于其他前沿的大型语言模型和专用证明模型。
6. Ax-Prover在跨领域形式验证中表现出强大的通用性。

Cool Papers

点此查看论文截图

Collapse of Irrelevant Representations (CIR) Ensures Robust and Non-Disruptive LLM Unlearning

Authors:Filip Sondej, Yushi Yang

Current unlearning and safety training methods consistently fail to remove dangerous knowledge from language models. We identify the root cause - unlearning targets representations which are too general - and develop a highly selective technique that unlearns robustly while preserving general performance. Our method performs PCA on activations and module-output gradients to identify subspaces containing common representations, then collapses these subspaces before computing unlearning updates, a technique we term Collapse of Irrelevant Representations (CIR). This avoids unlearning general knowledge and targets only representations specific to the facts being unlearned. When unlearning bio- and cyber-hazardous facts from Llama-3.1-8B, we achieve over 30x greater reduction in post-attack accuracy than the best baseline (Circuit Breakers), while disrupting general performance 30x less, and using less than 3 GPU-seconds per fact. Thus, by disentangling harmful and benign capabilities at the level of representations, CIR enables robust and non-disruptive unlearning.

当前的不学习和安全培训方法无法从语言模型中移除危险知识。我们确定了根本原因——不学习目标表示过于笼统——并开发了一种选择性很高的技术，在不学习稳健的同时保留一般性能。我们的方法通过对激活和模块输出梯度执行主成分分析（PCA）来识别包含通用表示的子空间，然后在计算不学习更新之前将这些子空间合并，我们称这种技术为“无关表示的合并（CIR）”。这避免了不学习一般知识，只针对正在被遗忘的事实进行目标表示。当从Llama-3.1-8B中遗忘生物和网络安全危害事实时，我们在降低攻击后的准确度方面实现了超过现有最佳基线（Circuit Breakers）的30倍减少，同时其对一般性能的干扰减少了30倍，每个事实使用的时间不到3 GPU秒。因此，通过在表示层面分离有害和无害的能力，CIR实现了稳健且无干扰的不学习。

论文及项目相关链接

PDF

Summary

本文指出当前的语言模型去学习和安全培训方法无法有效地去除危险知识。为解决此问题，本文提出了一种高度选择性的技术——Collapse of Irrelevant Representations（CIR），该技术能够稳健地去学习，同时保留一般性能。CIR通过对激活和模块输出梯度进行主成分分析，识别包含通用表示的子系统，并在计算去更新之前压缩这些子系统。这种技术避免了一般知识的去学习和针对特定事实的去学习。在去除Llama-3.1-8B中的生物和网络安全风险事实时，与最佳基线相比，我们实现了超过30倍的对抗攻击准确度降低，对一般性能的干扰降低了约相同的倍数，且每事实处理时间少于3 GPU秒。因此，CIR能够在表示层面解开有害和良性能力，实现稳健和非破坏性去学习。

Key Takeaways

1. 当前语言模型去学习和安全培训方法存在缺陷，无法有效去除危险知识。
2. 文中提出了一种名为Collapse of Irrelevant Representations（CIR）的高度选择性技术，该技术旨在解决此问题。
3. CIR通过识别包含通用表示的子系统并进行压缩，以实现针对特定事实的去学习。
4. CIR能够避免一般知识的去学习和稳健地去学习同时保留一般性能。
5. 在去除生物和网络安全风险事实时，CIR实现了显著的效果，与最佳基线相比具有更高的性能表现。
6. CIR具有高效性，每事实处理时间少于3 GPU秒。

Cool Papers

点此查看论文截图

Drifting Away from Truth: GenAI-Driven News Diversity Challenges LVLM-Based Misinformation Detection

Authors:Fanxiao Li, Jiaying Wu, Tingchao Fu, Yunyun Dong, Bingbing Song, Wei Zhou

The proliferation of multimodal misinformation poses growing threats to public discourse and societal trust. While Large Vision-Language Models (LVLMs) have enabled recent progress in multimodal misinformation detection (MMD), the rise of generative AI (GenAI) tools introduces a new challenge: GenAI-driven news diversity, characterized by highly varied and complex content. We show that this diversity induces multi-level drift, comprising (1) model-level misperception drift, where stylistic variations disrupt a model’s internal reasoning, and (2) evidence-level drift, where expression diversity degrades the quality or relevance of retrieved external evidence. These drifts significantly degrade the robustness of current LVLM-based MMD systems. To systematically study this problem, we introduce DriftBench, a large-scale benchmark comprising 16,000 news instances across six categories of diversification. We design three evaluation tasks: (1) robustness of truth verification under multi-level drift; (2) susceptibility to adversarial evidence contamination generated by GenAI; and (3) analysis of reasoning consistency across diverse inputs. Experiments with six state-of-the-art LVLM-based detectors show substantial performance drops (average F1 -14.8%) and increasingly unstable reasoning traces, with even more severe failures under adversarial evidence injection. Our findings uncover fundamental vulnerabilities in existing MMD systems and suggest an urgent need for more resilient approaches in the GenAI era.

多模态错误信息的普及对公共话语和社会信任构成了日益增长的威胁。虽然大型视觉语言模型（LVLM）在多媒体错误信息检测（MMD）方面取得了进展，但生成式人工智能（GenAI）工具的兴起带来了新的挑战：由GenAI驱动的新闻多样性，表现为内容和形式的高度多样性和复杂性。我们表明，这种多样性引发了多层次漂移，包括（1）模型层面的误解漂移，其中风格差异破坏了模型的内部推理；（2）证据层面的漂移，其中表达多样性降低了检索到的外部证据的质量或相关性。这些漂移现象显著降低了当前基于LVLM的MMD系统的稳健性。为了系统地研究这个问题，我们引入了DriftBench，这是一个大规模基准测试，包含6类多样化新闻的16000个新闻实例。我们设计了三个评估任务：（1）在多层次漂移下真理验证的稳健性；（2）由GenAI生成的对抗性证据污染的影响；（3）分析不同输入下的推理一致性。使用六个最先进的基于LVLM的检测器进行的实验显示，性能显著下降（平均F1下降14.8%），推理轨迹越来越不稳定，对抗性证据注入时的失败情况更为严重。我们的研究结果揭示了现有MMD系统的基本漏洞，并提示在GenAI时代需要更强大的方法。

论文及项目相关链接

PDF

Summary：生成式人工智能（GenAI）工具所带来的新闻多样性给基于大型视觉语言模型（LVLM）的多模态虚假信息检测（MMD）系统带来了巨大挑战。文章介绍了新闻多样性引起的多层次漂移现象，包括模型级别的认知漂移和证据级别的漂移。为此，文章提出了DriftBench大型基准测试平台，用于评估MMD系统的稳健性。实验表明，现有MMD系统存在重大漏洞，需要在GenAI时代开发更具弹性的方法。

Key Takeaways：

1. 多模态虚假信息对公众讨论和社会信任构成威胁。
2. GenAI工具的兴起为MMD带来了新的挑战，即新闻多样性。
3. 新闻多样性引发了多层次漂移，包括模型认知漂移和证据漂移。
4. 多层次漂移显著降低了LVLM-based MMD系统的稳健性。
5. DriftBench基准测试平台用于系统地研究这一问题。
6. 实验显示现有MMD系统存在重大漏洞，性能显著下降。

Cool Papers

点此查看论文截图

Beyond GPT-5: Making LLMs Cheaper and Better via Performance-Efficiency Optimized Routing

Authors:Yiqun Zhang, Hao Li, Jianhao Chen, Hangfan Zhang, Peng Ye, Lei Bai, Shuyue Hu

Balancing performance and efficiency is a central challenge in large language model (LLM) advancement. GPT-5 addresses this with test-time routing, dynamically assigning queries to either an efficient or a high-capacity model during inference. In this work, we present Avengers-Pro, a test-time routing framework that ensembles LLMs of varying capacities and efficiencies, providing a unified solution for all performance-efficiency tradeoffs. The Avengers-Pro embeds and clusters incoming queries, then routes each to the most suitable model based on a performance-efficiency score. Across 6 challenging benchmarks and 8 leading models – including GPT-5-medium, Gemini-2.5-pro, and Claude-opus-4.1 – Avengers-Pro achieves state-of-the-art results: by varying a performance-efficiency trade-off parameter, it can surpass the strongest single model (GPT-5-medium) by +7% in average accuracy. Moreover, it can match the average accuracy of the strongest single model at 27% lower cost, and reach ~90% of that performance at 63% lower cost. Last but not least, it achieves a Pareto frontier, consistently yielding the highest accuracy for any given cost, and the lowest cost for any given accuracy, among all single models. Code is available at https://github.com/ZhangYiqun018/AvengersPro.

在大语言模型（LLM）的发展中，平衡性能和效率是一个核心挑战。GPT-5通过测试时路由来解决这个问题，在推理过程中动态地将查询分配给高效模型或高性能模型。在本文中，我们提出了Avengers-Pro，一个测试时路由框架，它集成了不同容量和效率的语言模型，为所有性能-效率权衡提供了统一解决方案。Avengers-Pro通过嵌入和聚类传入查询，然后根据性能效率分数将其路由到最合适的模型。在6个具有挑战性的基准测试和8个领先模型（包括GPT-5中等版本、Gemini 2.5专业版和Claude opus 4.1）中，Avengers-Pro达到了最新水平：通过调整性能效率权衡参数，它的平均准确率可以超过最强单模型（GPT-5中等版本）7%。而且，它在成本降低27%的情况下，可以达到与最强单模型相当的平均准确率，并在成本降低63%的情况下，达到其性能的约90%。最重要的是，它达到了帕累托前沿，能够在给定的任何成本下始终产生最高的准确率，以及在给定的任何准确率下具有最低的成本，超过了所有单模型。代码可在https://github.com/ZhangYiqun018/AvengersPro获得。

论文及项目相关链接

PDF This work has been accepted to DAI 2025

Summary

大型语言模型（LLM）面临性能与效率的平衡挑战。GPT-5通过测试时路由技术，在推理过程中动态分配查询到高效模型或高性能模型。本研究提出Avengers-Pro框架，集成不同容量和效率的LLM，为各种性能与效率的权衡提供全面解决方案。Avengers-Pro通过嵌入和聚类查询，根据性能效率评分将其路由到最合适的模型。在多个基准测试和领先模型上，包括GPT-5-medium、Gemini-2.5-pro和Claude-opus-4.1等，Avengers-Pro实现了最先进的性能，可超越最强单模型平均准确率+7%。同时，它在降低成本方面表现出色，可与最强单模型的平均准确率相匹配的同时降低27%的成本，并能在保持约90%性能的同时将成本降低63%。此外，它实现了帕累托前沿，在各种成本和准确率组合中均表现出最佳性能。代码已公开在GitHub上。

Key Takeaways

1. 大型语言模型面临性能与效率的平衡挑战。
2. GPT-5采用测试时路由技术来平衡查询分配。
3. Avengers-Pro是一个集成不同容量和效率的大型语言模型框架。
4. Avengers-Pro通过嵌入和聚类查询，根据性能效率评分进行路由。
5. 在多个基准测试中，Avengers-Pro实现了最先进的性能，超越最强单模型平均准确率+7%。
6. Avengers-Pro在降低成本方面表现出色，与最强单模型相比可降低27%的成本同时保持相似性能。

Cool Papers

点此查看论文截图

ControlMed: Adding Reasoning Control to Medical Language Model

Authors:Sung-Min Lee, Siyoon Lee, Juyeon Kim, Kyoungmin Roh

Reasoning Large Language Models (LLMs) with enhanced accuracy and explainability are increasingly being adopted in the medical domain, as the life-critical nature of clinical decision-making demands reliable support. Despite these advancements, existing reasoning LLMs often generate unnecessarily lengthy reasoning processes, leading to significant computational overhead and response latency. These limitations hinder their practical deployment in real-world clinical environments. To address these challenges, we introduce \textbf{ControlMed}, a medical language model that enables users to actively control the length of the reasoning process at inference time through fine-grained control markers. ControlMed is trained through a three-stage pipeline: 1) pre-training on a large-scale synthetic medical instruction dataset covering both \textit{direct} and \textit{reasoning responses}; 2) supervised fine-tuning with multi-length reasoning data and explicit length-control markers; and 3) reinforcement learning with model-based reward signals to enhance factual accuracy and response quality. Experimental results on a variety of English and Korean medical benchmarks demonstrate that our model achieves similar or better performance compared to state-of-the-art models. Furthermore, users can flexibly balance reasoning accuracy and computational efficiency by controlling the reasoning length as needed. These findings demonstrate that ControlMed is a practical and adaptable solution for clinical question answering and medical information analysis.

随着临床决策的生命攸关性质对可靠支持的需求不断增长，具有增强准确性和可解释性的大型语言模型（LLM）在医疗领域的应用越来越广泛。然而，尽管有这些进展，现有的推理LLM通常会产生不必要的冗长推理过程，导致计算开销大、响应延迟。这些限制阻碍了它们在实际临床环境中的实际应用。为了解决这些挑战，我们引入了ControlMed医疗语言模型，该模型能够通过精细的控制标记在推理时间时让用户主动控制推理过程的长度。ControlMed通过三阶段管道进行训练：1）在涵盖直接和推理响应的大规模合成医疗指令数据集上进行预训练；2）使用多长度推理数据和明确的长度控制标记进行有监督的微调；3）使用基于模型的奖励信号进行强化学习，以提高事实准确性和响应质量。在英语和韩语医疗基准测试上的实验结果表明，我们的模型与最先进的模型相比取得了相似或更好的性能。此外，用户可以根据需要控制推理长度，灵活地平衡推理准确性和计算效率。这些发现表明，ControlMed是临床问答和医疗信息分析的实用且可适应的解决方案。

论文及项目相关链接

PDF IJCNLP-AACL 2025

Summary

在医疗领域，大型语言模型（LLM）的应用越来越广泛，其准确性和可解释性得到了增强。然而，现有推理LLM常常产生不必要的冗长推理过程，导致计算负担加重和响应延迟，这阻碍了它们在现实临床环境中的实际应用。为解决这些问题，我们推出ControlMed医疗语言模型，通过精细的粒度控制标记，使用户能够在推理时控制推理过程的长度。ControlMed通过三阶段管道进行训练：1）在涵盖直接和推理响应的大规模合成医疗指令数据集上进行预训练；2）使用多长度推理数据和明确的长度控制标记进行有监督微调；3）使用模型基础奖励信号进行强化学习，以提高事实准确性和响应质量。实验结果表明，我们的模型在多种英文和韩文医疗基准测试上达到或超越了最先进模型的表现。此外，用户可以根据需要灵活平衡推理准确性和计算效率，控制推理长度。这表明ControlMed是临床问答和医疗信息分析的实际可行和适应性强的解决方案。

Key Takeaways

1. 大型语言模型（LLM）在医疗领域的应用逐渐普及，因临床决策的生命关键性质需要可靠的支持。
2. 现有推理LLM会产生冗长的推理过程，导致计算负担和响应延迟，影响在实际临床环境中的应用。
3. ControlMed医疗语言模型被引入，允许用户在推理时控制推理过程的长度。
4. ControlMed通过三阶段训练：预训练、有监督微调和强化学习。
5. ControlMed在多种语言和医疗基准测试上表现优异。
6. 用户可以根据需求灵活调整推理准确性和计算效率之间的平衡。

Cool Papers

点此查看论文截图

ChestGPT: Integrating Large Language Models and Vision Transformers for Disease Detection and Localization in Chest X-Rays

Authors:Shehroz S. Khan, Petar Przulj, Ahmed Ashraf, Ali Abedi

The global demand for radiologists is increasing rapidly due to a growing reliance on medical imaging services, while the supply of radiologists is not keeping pace. Advances in computer vision and image processing technologies present significant potential to address this gap by enhancing radiologists’ capabilities and improving diagnostic accuracy. Large language models (LLMs), particularly generative pre-trained transformers (GPTs), have become the primary approach for understanding and generating textual data. In parallel, vision transformers (ViTs) have proven effective at converting visual data into a format that LLMs can process efficiently. In this paper, we present ChestGPT, a deep-learning framework that integrates the EVA ViT with the Llama 2 LLM to classify diseases and localize regions of interest in chest X-ray images. The ViT converts X-ray images into tokens, which are then fed, together with engineered prompts, into the LLM, enabling joint classification and localization of diseases. This approach incorporates transfer learning techniques to enhance both explainability and performance. The proposed method achieved strong global disease classification performance on the VinDr-CXR dataset, with an F1 score of 0.76, and successfully localized pathologies by generating bounding boxes around the regions of interest. We also outline several task-specific prompts, in addition to general-purpose prompts, for scenarios radiologists might encounter. Overall, this framework offers an assistive tool that can lighten radiologists’ workload by providing preliminary findings and regions of interest to facilitate their diagnostic process.

随着对医学影像服务越来越依赖，全球对放射科医师的需求迅速增长，然而放射科医师的供应却跟不上这一需求。计算机视觉和图像处理技术的进步为解决这一差距提供了巨大潜力，通过增强放射科医师的能力和提高诊断准确性。大型语言模型（LLM）尤其是预训练生成式转换器（GPT）已成为理解和生成文本数据的主要方法。同时，视觉转换器（ViT）已证明其在将视觉数据转换为LLM可以高效处理的形式方面是有效的。在本文中，我们提出了ChestGPT，这是一个深度学习框架，它将EVA ViT与Llama 2 LLM相结合，用于分类胸部X光图像中的疾病并定位感兴趣区域。ViT将X光图像转换为令牌，然后与工程提示一起输入到LLM中，实现疾病的联合分类和定位。这种方法结合了迁移学习技术，以提高解释性和性能。所提出的方法在VinDr-CXR数据集上实现了全球疾病分类的强劲表现，F1分数为0.76，并通过围绕感兴趣区域生成边界框成功地定位了病理。我们还概述了除通用提示外，针对放射科医生可能遇到的情况的特定任务提示。总的来说，该框架提供了一个辅助工具，可以通过提供初步发现和感兴趣区域来减轻放射科医生的工作量，从而有助于他们的诊断过程。

论文及项目相关链接

PDF 8 pages, 5 figures, 4 tables

Summary

本文介绍了全球对放射科医生的需求迅速增长，而放射科医生的供应却跟不上这一需求。计算机视觉和图像处理技术的进步为解决这一差距提供了巨大潜力，通过增强放射科医生的能力和提高诊断准确性来实现。本文提出了一种名为ChestGPT的深度学习框架，它结合了EVA Vision Transformer（ViT）和Llama 2大型语言模型（LLM），用于对胸部X射线图像进行疾病分类和感兴趣区域定位。该框架使用ViT将X射线图像转换为令牌，然后与工程提示一起输入LLM，实现疾病的联合分类和定位。该方法采用迁移学习技术，提高了可解释性和性能。在VinDr-CXR数据集上，该方法实现了强大的全球疾病分类性能，F1分数为0.76，并成功定位了病理区域，生成了围绕感兴趣区域的边界框。总体而言，该框架为放射科医生提供了一种辅助工具，可以通过提供初步发现和感兴趣区域来减轻他们的工作量，从而有助于诊断过程。

Key Takeaways

1. 医学成像服务的需求增长导致对放射科医生的需求迅速增加，而放射科医生的供应不足。
2. 计算机视觉和图像处理技术的进步在解决这一差距方面具巨大潜力。
3. LLMs（尤其是GPTs）和Vision Transformers（ViTs）结合应用，对理解和生成文本数据和视觉数据有重要作用。
4. ChestGPT是一个深度学习框架，结合了EVA ViT和Llama 2 LLM来进行胸部X射线图像的疾病分类和区域定位。
5. 该框架使用迁移学习技术来提高可解释性和性能。
6. 在VinDr-CXR数据集上，ChestGPT实现了F1分数为0.76的出色疾病分类性能。

Cool Papers

点此查看论文截图

GPT, But Backwards: Exactly Inverting Language Model Outputs

Authors:Adrians Skapars, Edoardo Manino, Youcheng Sun, Lucas C. Cordeiro

The task of reconstructing unknown textual inputs to language models is a fundamental auditing primitive that allows us to assess the model’s vulnerability to a range of security issues, including stealing hidden system prompts, detecting backdoors, and leaking private data. Existing inversion works assume access to differing levels of information (e.g. requiring input-output examples, the model parameters, intermediate activations or output logits) but oftentimes fail to fully reconstruct the desired input. In this paper, we present the Sparse One-hot Discrete Adam (SODA) algorithm, a search-based inversion method that can accurately reconstruct the input text, given white-box access to the language model and its output. Our experiments demonstrate for the first time that exact language model inversion is possible on both natural language and random inputs. Indeed, SODA achieves respectively 98% and 79% reconstruction rates on inputs with lengths up to 10 tokens. Furthermore, we show that input length and vocabulary size have a far greater impact on the probability of a successful reconstruction than the size of the language model itself, thus allowing us to scale to models from 33M to 3B parameters.

重建未知文本输入到语言模型的任务是一个基本的审计基本要素，它使我们能够评估模型对各种安全问题的脆弱性，包括窃取隐藏的系统提示、检测后门和泄露私人数据。现有的反转工作假设访问不同层级的信息（例如需要输入输出示例、模型参数、中间激活或输出对数几率），但往往无法完全重建所需的输入。在本文中，我们提出了Sparse One-hot Discrete Adam（SODA）算法，这是一种基于搜索的反转方法，可以在获得语言模型及其输出的白盒访问权限的情况下，准确重建输入文本。我们的实验首次证明，在自然语言输入和随机输入上都可以实现精确的语言模型反转。实际上，SODA在对长度为10个标记的输入上分别实现了98%和79%的重建率。此外，我们证明输入长度和词汇大小对成功重建的概率有远比语言模型本身的大小更大的影响，从而让我们能够扩展到从33M到3B参数的模型。

论文及项目相关链接

PDF 7 pages, ICML 2025 Workshop on Reliable and Responsible Foundation Models

Summary

该论文提出了一种名为Sparse One-hot Discrete Adam（SODA）的搜索算法，可以在获取语言模型的white-box访问权及其输出信息的基础上，精确地重构输入文本。SODA不仅适用于自然语言输入，也适用于随机输入，且对长度达10个符号的输入有很高的重建率。另外，研究还发现输入长度和词汇表大小对重建成功率的影响远大于语言模型本身的大小。

Key Takeaways

1. 语言模型的文本重构任务是评估模型面对安全问题的漏洞的一个基本审计工具。
2. 现有重构方法往往无法完全重构出期望的输入。
3. SODA算法是一种基于搜索的输入重构方法，可以在获取语言模型的white-box访问权及其输出的基础上准确重构输入文本。
4. SODA算法适用于自然语言和随机输入的重建。
5. 对于长度达10个符号的输入，SODA有很高的重建率。
6. 输入长度和词汇表大小对重建成功率的影响大于语言模型本身的大小。

Cool Papers

点此查看论文截图

MIDB: Multilingual Instruction Data Booster for Enhancing Cultural Equality in Multilingual Instruction Synthesis

Authors:Yilun Liu, Chunguang Zhao, Xinhua Yang, Hongyong Zeng, Shimin Tao, Weibin Meng, Minggui He, Yan Yu, Hongxia Ma, Li Zhang, Daimeng Wei, Boxing Chen

Despite doubts on data quality, instruction synthesis has been widely applied into instruction tuning (IT) of LLMs as an economic and rapid alternative. Recent endeavors focus on improving data quality for synthesized instruction pairs in English and have facilitated IT of English-centric LLMs. However, data quality issues in multilingual synthesized instruction pairs are even more severe, since the common synthesizing practice is to translate English synthesized data into other languages using machine translation (MT). Besides the known content errors in these English synthesized data, multilingual synthesized instruction data are further exposed to defects introduced by MT and face insufficient localization of the target languages, leading to cultural inequality in trained LLMs. In this paper, we propose MIDB, a Multilingual Instruction Data Booster to automatically address the quality issues in multilingual synthesized data. MIDB is trained on around 36.8k revision examples across 16 languages by human linguistic experts, thereby can boost the low-quality data by addressing content errors and MT defects, and improving localization in these synthesized data. Both automatic and human evaluation indicate that not only MIDB steadily improved instruction data quality in 16 languages, but also the instruction-following and cultural-understanding abilities of multilingual LLMs fine-tuned on MIDB-boosted data were significantly enhanced, suggesting an improved linguistic and cultural equality.

尽管对数据质量存在疑虑，指令合成已被广泛应用于LLM的指令调整（IT）中，作为一种经济且快速的替代方案。近期的研究重点已转向提高英文合成指令对的数据质量，并促进了以英语为中心的LLM的IT。然而，多语言合成指令对的数据质量问题更为严重，因为常见的合成做法是将英文合成数据通过机器翻译（MT）翻译成其他语言。除了这些英文合成数据中的已知内容错误外，多语言合成指令数据还进一步面临由机器翻译引入的缺陷，以及目标语言的本地化不足问题，从而导致训练出的LLM存在文化不平等现象。在本文中，我们提出了MIDB（多语言指令数据增强器），旨在自动解决多语言合成数据的质量问题。MIDB由人类语言学专家在16种语言约36.8k个修订样本上进行训练，因此可以通过解决内容错误、机器翻译缺陷并改善合成数据的本地化来提升低质量数据。自动评估和人工评估均表明，MIDB不仅稳定提高了16种语言的指令数据质量，而且在MIDB增强数据上微调的多语言LLM的指令遵循能力和文化理解能力也得到了显著增强，这表明语言和文化的平等性得到了提高。

论文及项目相关链接

PDF accepted by AAAI 2026

Summary

该论文关注于多语言合成指令数据的质量问题，提出一种名为MIDB的多语言指令数据增强器，通过训练人类语言学专家的修订示例来解决合成数据中的质量问题，包括内容错误、机器翻译缺陷以及本地化不足等问题。实验表明，MIDB不仅能稳定提高16种语言的指令数据质量，还能显著提升微调在MIDB增强数据上的多语言LLM的指令遵循和文化理解能力，从而实现语言和文化的平等。

Key Takeaways

1. 指令合成已被广泛应用于LLM的指令调整（IT），但多语言合成指令对的数据质量问题更为严重。
2. 多语言合成指令数据常见的质量问题包括内容错误、机器翻译引入的缺陷以及目标语言的本地化不足。
3. 数据质量问题可能导致训练出的LLM存在文化和语言上的不平等。
4. MIDB是一种多语言指令数据增强器，能自动解决多语言合成数据的质量问题。
5. MIDB通过训练人类语言学专家的修订示例来提高数据质量，涵盖16种语言。
6. 实验表明，MIDB能有效提高多语言指令数据的质量，并显著提升LLM的指令遵循和文化理解能力。

Cool Papers

点此查看论文截图

CrystalFormer-RL: Reinforcement Fine-Tuning for Materials Design

Authors:Zhendong Cao, Lei Wang

Reinforcement fine-tuning played an instrumental role in enhancing the instruction-following and reasoning abilities of large language models. In this work, we employ reinforcement fine-tuning for materials design, in which discriminative machine learning models are used to provide rewards to the autoregressive transformer-based materials generative model CrystalFormer. By optimizing the reward signals-such as energy above the convex hull and material properties figures of merit-reinforcement fine-tuning infuses knowledge from discriminative models into generative models. The resulting model, CrystalFormer-RL, shows enhanced stability in generated crystals and successfully discovers crystals with desirable yet conflicting material properties, such as substantial dielectric constant and band gap simultaneously. Notably, we observe that reinforcement fine-tuning not only enables the property-guided material design but also unlocks property-based material retrieval behavior of pretrained generative model. The present framework opens an exciting gateway to the synergies of the machine learning ecosystem for materials design.

强化微调在提高大型语言模型的指令遵循和推理能力方面发挥了关键作用。在这项工作中，我们将强化微调应用于材料设计，使用判别机器学习模型为基于自回归转换器的材料生成模型CrystalFormer提供奖励。通过优化奖励信号，如凸包上方的能量和材料性能评估指标，强化微调将判别模型的知识注入生成模型中。结果得到的模型CrystalFormer-RL在生成的晶体中表现出更高的稳定性，并能够发现具有理想但相互冲突的材料特性的晶体，如实质的介电常数和带隙可以同时存在。值得注意的是，我们观察到强化微调不仅实现了属性导向的材料设计，还解锁了预训练生成模型的基于属性的材料检索行为。当前框架为机器学习生态系统在材料设计方面的协同作用打开了令人兴奋的门户。

论文及项目相关链接

PDF 10 pages, 7 figures

Summary

强化精细调整在大规模语言模型中提升了指令遵循和推理能力。本研究将强化精细调整应用于材料设计领域，使用判别机器学习模型为基于自回归转换器的材料生成模型CrystalFormer提供奖励。通过优化奖励信号，如凸包上能量和材料性能评价指标等，强化精细调整将判别模型的知识注入生成模型中。结果模型CrystalFormer-RL在生成的晶体中表现出更高的稳定性，并成功发现具有理想但相互冲突材料属性的晶体，如高介电常数和宽带隙。此外，观察到强化精细调整不仅支持属性导向的材料设计，还激活了预训练生成模型的属性基础材料检索行为。本研究展示了机器学习生态系统在材料设计中的协同潜力。

Key Takeaways

1. 强化精细调整增强了大型语言模型的指令遵循和推理能力。
2. 判别机器学习模型为基于自回归转换器的材料生成模型提供奖励。
3. 强化精细调整通过优化奖励信号，如凸包上能量和材料性能评价指标，将知识从判别模型注入生成模型。
4. CrystalFormer-RL模型在生成晶体方面表现出更高的稳定性。
5. 该模型能够发现具有理想但相互冲突材料属性的晶体，如高介电常数和宽带隙。
6. 强化精细调整不仅支持属性导向的材料设计，还激活了预训练生成模型的属性基础材料检索行为。

Cool Papers

点此查看论文截图

Stack Transformer Based Spatial-Temporal Attention Model for Dynamic Sign Language and Fingerspelling Recognition

Authors:Koki Hirooka, Abu Saleh Musa Miah, Tatsuya Murakami, Md. Al Mehedi Hasan, Yong Seok Hwang, Jungpil Shin

Hand gesture-based Sign Language Recognition (SLR) serves as a crucial communication bridge between deaf and non-deaf individuals. While Graph Convolutional Networks (GCNs) are common, they are limited by their reliance on fixed skeletal graphs. To overcome this, we propose the Sequential Spatio-Temporal Attention Network (SSTAN), a novel Transformer-based architecture. Our model employs a hierarchical, stacked design that sequentially integrates Spatial Multi-Head Attention (MHA) to capture intra-frame joint relationships and Temporal MHA to model long-range inter-frame dependencies. This approach allows the model to efficiently learn complex spatio-temporal patterns without predefined graph structures. We validated our model through extensive experiments on diverse, large-scale datasets (WLASL, JSL, and KSL). A key finding is that our model, trained entirely from scratch, achieves state-of-the-art (SOTA) performance in the challenging fingerspelling categories (JSL and KSL). Furthermore, it establishes a new SOTA for skeleton-only methods on WLASL, outperforming several approaches that rely on complex self-supervised pre-training. These results demonstrate our model’s high data efficiency and its effectiveness in capturing the intricate dynamics of sign language. The official implementation is available at our GitHub repository: \href{https://github.com/K-Hirooka-Aizu/skeleton-slr-transformer}{https://github.com/K-Hirooka-Aizu/skeleton-slr-transformer}.

基于手势的聋哑人语言识别（SLR）作为聋哑人之间的重要沟通桥梁。虽然图卷积网络（GCN）很常用，但它们依赖于固定的骨架图而受到限制。为了克服这一缺陷，我们提出了序贯时空注意力网络（SSTAN），这是一种基于Transformer的新型架构。我们的模型采用层次堆叠设计，按顺序集成了空间多头注意力（MHA）来捕捉帧内关节关系和时序MHA来对帧间长期依赖进行建模。这种方法使模型能够高效学习复杂的时空模式，无需预设图形结构。我们在多样的大规模数据集（WLASL、JSL和KSL）上进行了广泛的实验，验证了我们的模型。一个关键发现是，我们的模型完全从头开始训练，在具有挑战性的字母拼打类别（JSL和KSL）中达到了最先进的性能。此外，它在WLASL上仅依靠骨架数据的方法就建立了新的最高准确率记录，超过了依赖于复杂自我监督预训练的几个方法。这些结果表明，我们的模型数据效率很高，并能有效地捕捉到哑语的复杂动态特征。官方实现可以在我们的GitHub仓库中找到：https://github.com/K-Hirooka-Aizu/skeleton-slr-transformer。

论文及项目相关链接

PDF 15 pages, 12 figures. Submitted to IEEE Access (under review)

Summary

本文字描述了手势基础的聋人语言识别技术的新研究。研究人员针对现有图形卷积网络方法的限制提出了一种基于 Transformer 结构的新架构，即时序时空注意力网络（SSTAN）。SSTAN 利用层次堆叠设计，结合空间多头注意力与长时间帧间依赖关系建模，实现复杂时空模式的自适应学习。在多个大规模数据集上的实验表明，该模型在手指拼写类别上取得了最新进展，并在仅使用骨架数据的方法上在 WLASL 数据集上实现了最佳性能。

Key Takeaways

• 手势基础的聋人语言识别（SLR）是连接聋非聋群体的关键沟通桥梁。
• 研究人员提出时序时空注意力网络（SSTAN）新架构以改进现有图形卷积网络（GCN）方法的限制。
• SSTAN 利用层次堆叠设计结合空间多头注意力（MHA）与长时间帧间依赖关系建模。
• SSTAN 能够高效学习复杂时空模式，无需预设图形结构。
• SSTAN 在手指拼写类别上取得了最新进展，表现超越多个复杂自监督预训练的方法。
• SSTAN 仅使用骨架数据的方法在 WLASL 数据集上实现了最佳性能。

Cool Papers

点此查看论文截图