⚠️ 以下所有内容总结都来自于 大语言模型的能力，如有错误，仅供参考，谨慎使用
🔴 请注意：千万不要用于严肃的学术场景，只能用于论文阅读前的初筛！
💗 如果您觉得我们的项目对您有帮助 ChatPaperFree ，还请您给我们一些鼓励！⭐️ HuggingFace免费体验
2025-11-25 更新
PersonaAgent with GraphRAG: Community-Aware Knowledge Graphs for Personalized LLM
Authors:Siqi Liang, Yudi Zhang, Yue Guo
We propose a novel framework for persona-based language model system, motivated by the need for personalized AI agents that adapt to individual user preferences. In our approach, the agent embodies the user’s “persona” (e.g. user profile or taste) and is powered by a large language model (LLM). To enable the agent to leverage rich contextual information, we introduce a Knowledge-Graph-enhanced Retrieval-Augmented Generation (Graph RAG) mechanism that constructs an LLM-derived graph index of relevant documents and summarizes communities of related information. Our framework generates personalized prompts by combining: (1) a summary of the user’s historical behaviors and preferences extracted from the knowledge graph, and (2) relevant global interaction patterns identified through graph-based community detection. This dynamic prompt engineering approach allows the agent to maintain consistent persona-aligned behaviors while benefiting from collective knowledge. On the LaMP benchmark, our method improves news categorization F1 by 11.1%, movie tagging F1 by 56.1%, and reduces product rating MAE by 10.4% over prior methods. Our code is available at https://anonymous.4open.science/r/PersonaAgentwGraphRAG-DE6F
我们提出了一种基于人物特性的语言模型系统的新型框架，该框架的动机是开发能够适应个性化用户偏好的个性化AI代理。我们的方法中，代理体现了用户的“人格”（如用户资料或个人喜好），并由大型语言模型（LLM）提供支持。为了允许代理人利用丰富的上下文信息，我们引入了基于知识图谱增强的检索增强生成（Graph RAG）机制，该机制构建了由大型语言模型派生的相关文档的图索引，并总结了相关信息社区。我们的框架通过结合以下两个方面来生成个性化的提示：（1）从知识图谱中提取的用户的过往行为和偏好的摘要；（2）通过基于图的社区检测所确定的全球互动模式的相关性分析。这种动态的提示工程方法允许代理在利用集体知识的同时保持与个人一致性相符的行为。在LaMP基准测试中，我们的方法在新闻分类的F1得分上提高了11.1%，在电影标签的F1得分上提高了56.1%，在产品评级的MAE上减少了原有方法的平均值误差降低了减少了提高对比之前的方法，我们的代码产品评级平均绝对误差降低了下降了提供了进一步分析此外在与基于散列的改进对抗框架竞争对手对比分析基础上相比于我们在这种方法在不牺牲隐私的情况下显著提高了性能我们的代码可在https://anonymous.4open.science/r/PersonaAgentwGraphRAG-DE6F获得。我们的方法不仅能够在任务执行过程中维持用户一致性性格的展示并提供了改进性能的实际证据还保证了用户隐私的保护为未来的个性化AI代理开发提供了广阔的前景。
论文及项目相关链接
Summary
一个基于个性语言模型系统的全新框架被提出，该框架旨在实现个性化的AI代理，适应个人用户偏好。该框架采用知识图谱增强检索增强生成（Graph RAG）机制，构建大型语言模型（LLM）衍生的图形索引相关文档，并总结相关信息社区。通过结合用户历史行为和偏好的摘要以及通过图形社区检测确定的全球交互模式，生成个性化的提示。该框架使代理能够保持与个性一致的行为，同时受益于集体知识。在LaMP基准测试中，该方法在新闻分类、电影标签和产品评级任务上均表现出优越性能。
Key Takeaways
- 提出了基于个性语言模型系统的全新框架，旨在创建个性化的AI代理，适应每个用户的独特偏好。
- 框架融合了知识图谱技术，通过构建大型语言模型的图形索引来提供丰富的上下文信息。
- 引入Graph RAG机制来总结和连接相关信息社区，增强代理的智能化水平。
- 通过结合用户的个性化历史和偏好摘要以及全球交互模式，生成个性化的提示，保持与用户的个性一致的行为。
- 在多个基准测试中，该框架显示出显著的性能改进，特别是在新闻分类、电影标签和产品评级任务上。
- 该框架的代码已公开发布，便于他人使用和进一步开发。
- 该研究为创建更加智能、个性化的AI代理提供了新思路和方法。
点此查看论文截图
InTAct: Interval-based Task Activation Consolidation for Continual Learning
Authors:Patryk Krukowski, Jan Miksa, Piotr Helm, Jacek Tabor, Paweł Wawrzyński, Przemysław Spurek
Continual learning aims to enable neural networks to acquire new knowledge without forgetting previously learned information. While recent prompt-based methods perform strongly in class-incremental settings, they remain vulnerable under domain shifts, where the input distribution changes but the label space remains fixed. This exposes a persistent problem known as representation drift. Shared representations evolve in ways that overwrite previously useful features and cause forgetting even when prompts isolate task-specific parameters. To address this issue, we introduce InTAct, a method that preserves functional behavior in shared layers without freezing parameters or storing past data. InTAct captures the characteristic activation ranges associated with previously learned tasks and constrains updates to ensure the network remains consistent within these regions, while still allowing for flexible adaptation elsewhere. In doing so, InTAct stabilizes the functional role of important neurons rather than directly restricting parameter values. The approach is architecture-agnostic and integrates seamlessly into existing prompt-based continual learning frameworks. By regulating representation changes where past knowledge is encoded, InTAct achieves a principled balance between stability and plasticity. Across diverse domain-incremental benchmarks, including DomainNet and ImageNet-R, InTAct consistently reduces representation drift and improves performance, increasing Average Accuracy by up to 8 percentage points over state-of-the-art baselines.
持续学习的目标是使神经网络能够获取新知识而不遗忘之前学习的信息。虽然最近的基于提示的方法在类增量设置中具有强大的性能，但在领域转移的情况下它们仍然很脆弱，其中输入分布发生变化但标签空间保持不变。这暴露了一个持久的问题，称为表示漂移。共享表示以覆盖先前有用特征的方式发展，即使在提示隔离特定任务参数的情况下也会导致遗忘。为了解决这一问题，我们引入了InTAct方法，该方法能够在不冻结参数或存储过去数据的情况下，保持共享层的功能行为。InTAct捕获与先前学习任务相关的特征激活范围，并通过约束更新来确保网络在这些区域内保持一致，同时仍然允许在其他地方进行灵活适应。通过这种方式，InTAct稳定了重要神经元的功能角色，而不是直接限制参数值。该方法与架构无关，可以无缝集成到现有的基于提示的持续学习框架中。通过调节过去知识编码的表示变化，InTAct在稳定性和可塑性之间实现了平衡。在包括DomainNet和ImageNet-R在内的各种域增量基准测试中，InTAct持续减少表示漂移并提高了性能，在最新基准测试的基础上提高了高达8个百分点的平均准确率。
论文及项目相关链接
Summary
本文介绍了持续学习领域中的一项新技术——InTAct方法。该方法旨在解决神经网络在面临领域变化时出现的代表漂移问题。InTAct通过捕捉过去任务的特征激活范围并确保在这些区域内网络一致性来保留共享层的功能行为，从而实现稳定性和灵活性的平衡，提高了持续学习的性能。
Key Takeaways
- 持续学习的目标是使神经网络能够获取新知识而不会忘记先前学到的信息。
- 在类增量场景中，基于提示的方法表现出色，但在领域转移场景中仍面临挑战。
- 领域转移引发代表漂移问题，即使使用提示隔离任务特定参数，共享表示仍以方式演变，覆盖先前有用的特征并导致遗忘。
- InTAct方法旨在解决代表漂移问题，通过捕捉过去任务的特征激活范围并确保在这些区域内保持网络一致性。
- InTAct方法通过约束更新稳定了重要神经元的功能角色，而不是直接限制参数值。
- InTAct方法可以无缝集成到现有的基于提示的持续学习框架中，并适用于多种架构。
点此查看论文截图
ReBaPL: Repulsive Bayesian Prompt Learning
Authors:Yassir Bendou, Omar Ezzahir, Eduardo Fernandes Montesuma, Gabriel Mahuas, Victoria Shevchenko, Mike Gartrell
Prompt learning has emerged as an effective technique for fine-tuning large-scale foundation models for downstream tasks. However, conventional prompt tuning methods are prone to overfitting and can struggle with out-of-distribution generalization. To address these limitations, Bayesian prompt learning has been proposed, which frames prompt optimization as a Bayesian inference problem to enhance robustness. This paper introduces Repulsive Bayesian Prompt Learning (ReBaPL), a novel method for Bayesian prompt learning, designed to efficiently explore the complex and often multimodal posterior landscape of prompts. Our method integrates a cyclical step-size schedule with a stochastic gradient Hamiltonian Monte Carlo (SGHMC) algorithm, enabling alternating phases of exploration to discover new modes, and exploitation to refine existing modes. Furthermore, we introduce a repulsive force derived from a potential function over probability metrics (including Maximum Mean Discrepancy and Wasserstein distance) computed on the distributions of representations produced by different prompts. This representation-space repulsion diversifies exploration and prevents premature collapse to a single mode. Our approach allows for a more comprehensive characterization of the prompt posterior distribution, leading to improved generalization. In contrast to prior Bayesian prompt learning methods, our method provides a modular plug-and-play Bayesian extension of any existing prompt learning method based on maximum likelihood estimation. We demonstrate the efficacy of ReBaPL on several benchmark datasets, showing superior performance over state-of-the-art methods for prompt learning.
提示学习已成为针对下游任务微调大规模基础模型的一种有效技术。然而，传统的提示调整方法容易过度拟合，并且在处理分布外的泛化时可能会遇到困难。为了解决这些局限性，已经提出了贝叶斯提示学习，它将提示优化构造成一个贝叶斯推理问题以增强稳健性。本文介绍了排斥性贝叶斯提示学习（ReBaPL），这是一种新型的贝叶斯提示学习方法，旨在高效探索复杂的、通常是多峰的后验景观。我们的方法结合了循环步长计划与随机梯度哈密顿蒙特卡洛（SGHMC）算法，使探索和新模式的发现与现有模式的精炼交替进行。此外，我们从概率度量上的势函数（包括最大均值差异和Wasserstein距离）中引入了一种排斥力，这些概率度量是在不同提示产生的表示分布上计算的。这种表示空间排斥使探索多样化，并防止过早地崩溃到单一模式。我们的方法允许对提示后验分布进行更全面的特征描述，从而提高泛化能力。与之前基于最大似然估计的贝叶斯提示学习方法相比，我们的方法提供了一个模块化即插即用的贝叶斯扩展，适用于任何现有的提示学习方法。我们在多个基准数据集上验证了ReBaPL的有效性，证明了其在提示学习方面的性能优于最先进的方法。
论文及项目相关链接
PDF Under review
Summary
引入了一种名为ReBaPL的新型贝叶斯提示学习方法，用于优化大规模基础模型的下游任务。ReBaPL结合了循环步长调度、随机梯度哈密顿蒙特卡洛算法和基于表示空间排斥的力，以更全面地刻画提示后验分布，提高泛化能力。相较于以往的贝叶斯提示学习方法，ReBaPL更为模块化，可方便地作为任何基于最大似然估计的现有提示学习方法的贝叶斯扩展。在多个基准数据集上的实验表明，ReBaPL的性能优于当前的提示学习方法。
Key Takeaways
- ReBaPL是一种新型的贝叶斯提示学习方法，旨在优化大规模基础模型以适应下游任务。
- ReBaPL通过结合循环步长调度和随机梯度哈密顿蒙特卡洛算法，实现探索和精炼模式的交替。
- 引入的表示空间排斥力有助于多样化探索并防止过早陷入单一模式。
- ReBaPL能更全面地刻画提示后验分布，提高模型的泛化能力。
- 与其他贝叶斯提示学习方法相比，ReBaPL具有模块化特点，可方便地作为现有提示学习方法的贝叶斯扩展。
- ReBaPL在多个基准数据集上的实验表现优于当前的提示学习方法。
点此查看论文截图
SlsReuse: LLM-Powered Serverless Function Reuse
Authors:Jinfeng Wen, Yuehan Sun
Serverless computing has rapidly emerged as a popular cloud computing paradigm. It enables developers to implement function-level tasks, i.e., serverless functions, without managing infrastructure. While reducing operational overhead, it poses challenges, especially for novice developers. Developing functions from scratch requires adapting to heterogeneous, platform-specific programming styles, making the process time-consuming and error-prone. Function reuse offers a promising solution to address these challenges. However, research on serverless computing lacks a dedicated approach for function recommendation. Existing techniques from traditional contexts remain insufficient due to the semantic gap between task descriptions and heterogeneous function implementations. Advances in large language models (LLMs), pre-trained on large-scale corpora, create opportunities to bridge this gap by aligning developer requirements with function semantics. This paper presents SlsReuse, the first LLM-powered framework for serverless function reuse. Specifically, SlsReuse first constructs a reusable function repository serving as a foundational knowledge base. Then, it learns unified semantic-enhanced representations of heterogeneous functions through effective prompt engineering with few-shot prompting, capturing implicit code intent, target platforms, programming languages, and cloud services. Finally, given a natural language task query, SlsReuse performs intent-aware discovery combined with a multi-level pruning strategy and similarity matching. We evaluate SlsReuse on a curated dataset of 110 task queries. Built on ChatGPT-4o, one of the most representative LLMs, SlsReuse achieves Recall@10 of 91.20%, exceeding the state-of-the-art baseline by 24.53 percentage points.
无服务器计算作为一种流行的云计算范式迅速崛起。它使开发者能够执行函数级别的任务，即无服务器函数，而无需管理基础设施。这在减少运营开销的同时，也带来了挑战，尤其是对于新手开发者。从零开始开发函数需要适应不同平台的特定编程风格，这使得过程既耗时又容易出错。函数复用为解决这些挑战提供了有前景的解决方案。然而，关于无服务器计算的研究缺乏专门的函数推荐方法。来自传统上下文环境的现有技术由于任务描述和异质函数实现之间的语义差距而仍然不足。大型语言模型（LLM）的进展，在大量语料库上进行预训练，有机会通过对齐开发者要求和函数语义来缩小这一差距。本文介绍了SlsReuse，这是一个由LLM驱动的无服务器函数复用框架。具体来说，SlsReuse首先构建一个可复用的函数仓库作为基础知识库。然后，它通过有效的小样本提示工程来学习异质函数的统一语义增强表示，捕获隐式代码意图、目标平台、编程语言和云服务。最后，给定自然语言任务查询，SlsReuse结合意图感知发现和多层剪枝策略以及相似性匹配。我们在由精选的110个任务查询组成的数据集上评估了SlsReuse。基于最具代表性的大型语言模型ChatGPT-4o构建的SlsReuse，其Recall@10达到了91.2%，超过了现有技术基线24.53个百分点。
论文及项目相关链接
Summary
服务器无范式计算已迅速成为一种流行的云计算模式。它使开发者能够执行函数级别的任务，即无服务器函数，而无需管理基础设施。这减少了操作开销，但也带来了挑战，尤其是对于新手开发者。本文从函数重用的角度提出了一种解决这些挑战的方法，并介绍了SlsReuse，这是一个由大型语言模型驱动的首个无服务器函数重用框架。通过构建可重复使用的函数仓库、学习统一的语义增强表示以及通过有效的提示工程进行意图感知发现，SlsReuse实现了高效的函数推荐。在110个任务查询的评估数据集上，基于ChatGPT-4o的SlsReuse取得了91.20%的Recall@10，较现有技术提高了24.53个百分点。
Key Takeaways
- 服务器无范式计算已成为流行的云计算模式，有助于开发者执行函数级任务，同时减少操作开销。
- 函数重用是解决无服务器计算挑战的一种有前途的解决方案。
- SlsReuse是首个基于大型语言模型的无服务器函数重用框架。
- SlsReuse通过构建函数仓库、学习统一的语义增强表示以及意图感知发现来实现高效的函数推荐。
- SlsReuse使用ChatGPT-4o作为基础模型，取得了较高的召回率（Recall@10达到91.2%）。
- 与现有技术相比，SlsReuse在性能上有了显著提高（较现有技术提高了24.53个百分点）。
- 该方法对于推动无服务器计算领域的发展具有积极意义，尤其是在减少开发者操作开销和提高代码效率方面。
点此查看论文截图
One-Step Diffusion Transformer for Controllable Real-World Image Super-Resolution
Authors:Yushun Fang, Yuxiang Chen, Shibo Yin, Qiang Hu, Jiangchao Yao, Ya Zhang, Xiaoyun Zhang, Yanfeng Wang
Recent advances in diffusion-based real-world image super-resolution (Real-ISR) have demonstrated remarkable perceptual quality, yet the balance between fidelity and controllability remains a problem: multi-step diffusion-based methods suffer from generative diversity and randomness, resulting in low fidelity, while one-step methods lose control flexibility due to fidelity-specific finetuning. In this paper, we present ODTSR, a one-step diffusion transformer based on Qwen-Image that performs Real-ISR considering fidelity and controllability simultaneously: a newly introduced visual stream receives low-quality images (LQ) with adjustable noise (Control Noise), and the original visual stream receives LQs with consistent noise (Prior Noise), forming the Noise-hybrid Visual Stream (NVS) design. ODTSR further employs Fidelity-aware Adversarial Training (FAA) to enhance controllability and achieve one-step inference. Extensive experiments demonstrate that ODTSR not only achieves state-of-the-art (SOTA) performance on generic Real-ISR, but also enables prompt controllability on challenging scenarios such as real-world scene text image super-resolution (STISR) of Chinese characters without training on specific datasets.
近年来，基于扩散的现实世界图像超分辨率（Real-ISR）技术取得了显著的感知质量进步，但保真度与可控性之间的平衡仍然是一个问题：多步扩散方法受到生成多样性和随机性的影响，导致保真度较低，而单步方法则因针对保真度的微调而失去控制灵活性。在本文中，我们提出了ODTSR，这是一种基于Qwen-Image的单步扩散变压器，它同时考虑保真度和可控性进行Real-ISR：新引入的视觉流接收具有可调噪声的低质量图像（LQ），而原始视觉流接收具有一致噪声的LQ（先验噪声），形成了噪声混合视觉流（NVS）设计。ODTSR还采用了保真度感知对抗训练（FAA）来增强可控性并实现一步推理。大量实验表明，ODTSR不仅在通用Real-ISR上达到了最新技术水平，而且在具有挑战性的场景如中文现实场景文本图像超分辨率（STISR）中无需在特定数据集上进行训练即可迅速实现可控性。
论文及项目相关链接
Summary
扩散模型结合实时图像超分辨率（Real-ISR）技术的新进展已展现出令人瞩目的感知质量，但仍存在保真度与可控性的平衡问题。本文提出了基于Qwen-Image的一站式扩散转换器ODTSR，能同时考虑保真度和可控性。该方法引入了新的视觉流接收可调噪声的低质量图像（Control Noise），并结合原始视觉流接收具有一致噪声的低质量图像（Prior Noise），形成了噪声混合视觉流（NVS）设计。此外，ODTSR还采用了保真度感知对抗训练（FAA）以增强可控性并实现一步推断。实验表明，ODTSR不仅在通用Real-ISR上取得了最新技术性能，而且在挑战场景如中文场景文字图像超分辨率（STISR）中无需特定数据集训练即可实现即时可控性。
Key Takeaways
- 扩散模型在Real-ISR领域取得了显著进展，但保真度和可控性之间仍存在平衡问题。
- ODTSR是一种基于Qwen-Image的一站式扩散转换器，能同时考虑保真度和可控性。
- ODTSR通过引入新的视觉流和噪声混合视觉流（NVS）设计来处理低质量图像。
- ODTSR采用保真度感知对抗训练（FAA）增强可控性，并实现了一步推断。
- 实验表明ODTSR在通用Real-ISR上取得了最新技术性能。
- ODTSR在中文场景文字图像超分辨率（STISR）等挑战场景中表现出即时可控性。
点此查看论文截图
Sparse Reasoning is Enough: Biological-Inspired Framework for Video Anomaly Detection with Large Pre-trained Models
Authors:He Huang, Zixuan Hu, Dongxiao Li, Yao Xiao, Ling-Yu Duan
Video anomaly detection (VAD) plays a vital role in real-world applications such as security surveillance, autonomous driving, and industrial monitoring. Recent advances in large pre-trained models have opened new opportunities for training-free VAD by leveraging rich prior knowledge and general reasoning capabilities. However, existing studies typically rely on dense frame-level inference, incurring high computational costs and latency. This raises a fundamental question: Is dense reasoning truly necessary when using powerful pre-trained models in VAD systems? To answer this, we propose ReCoVAD, a novel framework inspired by the dual reflex and conscious pathways of the human nervous system, enabling selective frame processing to reduce redundant computation. ReCoVAD consists of two core pathways: (i) a Reflex pathway that uses a lightweight CLIP-based module to fuse visual features with prototype prompts and produce decision vectors, which query a dynamic memory of past frames and anomaly scores for fast response; and (ii) a Conscious pathway that employs a medium-scale vision-language model to generate textual event descriptions and refined anomaly scores for novel frames. It continuously updates the memory and prototype prompts, while an integrated large language model periodically reviews accumulated descriptions to identify unseen anomalies, correct errors, and refine prototypes. Extensive experiments show that ReCoVAD achieves state-of-the-art training-free performance while processing only 28.55% and 16.04% of the frames used by previous methods on the UCF-Crime and XD-Violence datasets, demonstrating that sparse reasoning is sufficient for effective large-model-based VAD.
视频异常检测（VAD）在诸如安全监控、自动驾驶和工业监测等实际应用中发挥着至关重要的作用。最近大型预训练模型的进步为基于先验知识和通用推理能力的无训练VAD提供了新的机会。然而，现有研究通常依赖于密集帧级推理，这带来了高计算成本和延迟。这引发了一个根本性的问题：在使用强大的预训练模型进行VAD系统时，密集推理真的是必要的吗？为了回答这个问题，我们提出了ReCoVAD，这是一个受人类神经系统双重反射和意识途径启发的新型框架，能够实现选择性帧处理以减少冗余计算。ReCoVAD由两个核心途径组成：（i）反射途径使用一个轻量级的CLIP基础模块来融合视觉特征与原型提示，并产生决策向量，这些向量查询过去帧的动态内存和异常分数以实现快速响应；（ii）意识途径采用中等规模的视觉语言模型来生成文本事件描述和新颖帧的精细异常分数。它不断更新内存和原型提示，而一个集成的大型语言模型定期回顾累积的描述以识别未见过的异常、纠正错误并优化原型。大量实验表明，ReCoVAD在UCF-Crime和XD-Violence数据集上仅处理之前方法使用的28.55%和16.04%的帧即可实现最先进的无训练性能，这表明稀疏推理对于有效的大型模型基于VAD是足够的。
论文及项目相关链接
Summary
本文介绍了视频异常检测（VAD）的重要性及其在现实世界应用中的价值，如安全监控、自动驾驶和工业监测。借助大型预训练模型的丰富先验知识和通用推理能力，无训练VAD出现新的机遇。然而，现有研究通常采用密集帧级推理，导致高计算成本和延迟。为此，本文提出ReCoVAD框架，该框架受人类神经系统双重反射和意识通路的启发，实现选择性帧处理以减少冗余计算。ReCoVAD包含两个核心通路：反射通路和意识通路，分别用于快速响应和生成文本事件描述及精细异常分数。实验表明，ReCoVAD在UCF-Crime和XD-Violence数据集上实现了最先进的无训练性能，同时仅处理之前方法的28.55%和16.04%的帧，证明了稀疏推理在大型模型中的有效性。
Key Takeaways
- 视频异常检测（VAD）在现实应用中的重要性，如安全监控、自动驾驶等。
- 大型预训练模型在无训练VAD中的新机遇和计算挑战。
- ReCoVAD框架由两个核心通路组成：反射通路用于快速响应，意识通路用于生成文本事件描述和精细异常分数。
- ReCoVAD通过选择性帧处理减少冗余计算。
- ReCoVAD框架在UCF-Crime和XD-Violence数据集上实现最先进的无训练性能。
- ReCoVAD实现了高效的稀疏推理，显著减少了帧处理量。
点此查看论文截图
ReVul-CoT: Towards Effective Software Vulnerability Assessment with Retrieval-Augmented Generation and Chain-of-Thought Prompting
Authors:Zhijie Chen, Xiang Chen, Ziming Li, Jiacheng Xue, Chaoyang Gao
Context: Software Vulnerability Assessment (SVA) plays a vital role in evaluating and ranking vulnerabilities in software systems to ensure their security and reliability. Objective: Although Large Language Models (LLMs) have recently shown remarkable potential in SVA, they still face two major limitations. First, most LLMs are trained on general-purpose corpora and thus lack domain-specific knowledge essential for effective SVA. Second, they tend to rely on shallow pattern matching instead of deep contextual reasoning, making it challenging to fully comprehend complex code semantics and their security implications. Method: To alleviate these limitations, we propose a novel framework ReVul-CoT that integrates Retrieval-Augmented Generation (RAG) with Chain-of-Thought (COT) prompting. In ReVul-CoT, the RAG module dynamically retrieves contextually relevant information from a constructed local knowledge base that consolidates vulnerability data from authoritative sources (such as NVD and CWE), along with corresponding code snippets and descriptive information. Building on DeepSeek-V3.1, CoT prompting guides the LLM to perform step-by-step reasoning over exploitability, impact scope, and related factors Results: We evaluate ReVul-CoT on a dataset of 12,070 vulnerabilities. Experimental results show that ReVul-CoT outperforms state-of-the-art SVA baselines by 16.50%-42.26% in terms of MCC, and outperforms the best baseline by 10.43%, 15.86%, and 16.50% in Accuracy, F1-score, and MCC, respectively. Our ablation studies further validate the contributions of considering dynamic retrieval, knowledge integration, and CoT-based reasoning. Conclusion: Our results demonstrate that combining RAG with CoT prompting significantly enhances LLM-based SVA and points out promising directions for future research.
上下文：软件漏洞评估（SVA）在评估软件系统中的漏洞并对其进行排名以确保其安全性和可靠性方面起着至关重要的作用。目标：尽管大型语言模型（LLM）最近在SVA中表现出了显著潜力，但它们仍面临两大局限。首先，大多数LLM都是在通用语料库上进行训练的，因此缺乏进行有效SVA所必需领域特定的知识。其次，它们倾向于依赖浅层的模式匹配，而不是深度的上下文推理，这使得全面理解复杂的代码语义及其安全影响具有挑战性。方法：为了缓解这些局限性，我们提出了一种新型框架ReVul-CoT，它将检索增强生成（RAG）与思维链（COT）提示相结合。在ReVul-CoT中，RAG模块从构建的本地知识库中动态检索与上下文相关的信息，该知识库整合了来自权威来源（如NVD和CWE）的漏洞数据，以及相应的代码片段和描述信息。基于DeepSeek-V3.1，COT提示引导LLM逐步进行可利用性、影响范围和相关因素的推理。结果：我们在包含12,070个漏洞的数据集上评估了ReVul-CoT。实验结果表明，在MCC方面，ReVul-CoT比最新的SVA基线高出16.50%~42.26%，并在准确率、F1分数和MCC方面分别超出最佳基线10.43%、15.86%和16.50%。我们的消融研究进一步验证了考虑动态检索、知识整合和基于COT的推理所做的贡献。结论：我们的结果表明，将RAG与COT提示相结合，可显着增强基于LLM的SVA，并为未来的研究指出了有前景的方向。
论文及项目相关链接
Summary
本文介绍了针对软件漏洞评估（SVA）领域的大型语言模型（LLMs）面临的挑战，并提出了一个新的框架ReVul-CoT来解决这些问题。该框架结合了检索增强生成（RAG）和思维链（COT）提示技术，通过动态检索本地知识库中的相关上下文信息，以及采用深度逐步推理，提升了LLMs在SVA领域的性能。实验结果表明，ReVul-CoT在多个评估指标上优于现有SVA基线方法。
Key Takeaways
- LLMs在软件漏洞评估（SVA）中面临两大挑战：缺乏领域特定知识和依赖浅模式匹配而非深度上下文推理。
- 提出了一种新的框架ReVul-CoT，结合了检索增强生成（RAG）和思维链（COT）提示技术来解决这些挑战。
- ReVul-CoT通过动态检索本地知识库中的相关上下文信息，以及深度逐步推理，增强了LLMs在SVA中的性能。
- 实验结果显示，ReVul-CoT在多个评估指标上显著优于现有的SVA方法。
点此查看论文截图
ARQUSUMM: Argument-aware Quantitative Summarization of Online Conversations
Authors:An Quang Tang, Xiuzhen Zhang, Minh Ngoc Dinh, Zhuang Li
Online conversations have become more prevalent on public discussion platforms (e.g. Reddit). With growing controversial topics, it is desirable to summarize not only diverse arguments, but also their rationale and justification. Early studies on text summarization focus on capturing general salient information in source documents, overlooking the argumentative nature of online conversations. Recent research on conversation summarization although considers the argumentative relationship among sentences, fail to explicate deeper argument structure within sentences for summarization. In this paper, we propose a novel task of argument-aware quantitative summarization to reveal the claim-reason structure of arguments in conversations, with quantities measuring argument strength. We further propose ARQUSUMM, a novel framework to address the task. To reveal the underlying argument structure within sentences, ARQUSUMM leverages LLM few-shot learning grounded in the argumentation theory to identify propositions within sentences and their claim-reason relationships. For quantitative summarization, ARQUSUMM employs argument structure-aware clustering algorithms to aggregate arguments and quantify their support. Experiments show that ARQUSUMM outperforms existing conversation and quantitative summarization models and generate summaries representing argument structures that are more helpful to users, of high textual quality and quantification accuracy.
在线对话在公共讨论平台（例如Reddit）上变得越来越普遍。随着争议话题的增加，人们不仅希望总结各种观点，还希望总结其背后的逻辑和依据。早期关于文本摘要的研究主要关注捕获源文档中的一般重要信息，忽视了在线对话的论证性。最近的对话摘要研究虽然考虑了句子之间的论证关系，但在摘要中未能明确揭示句子内部的更深层论证结构。在本文中，我们提出了一个新型任务——基于论证意识的定量摘要，以揭示对话中的观点-理由结构，并量化论证强度。我们进一步提出了ARQUSUMM这一新型框架来解决这一任务。为了揭示句子内部的潜在论证结构，ARQUSUMM利用基于辩论理论的LLM小样本学习来识别句子中的命题以及它们的观点-理由关系。对于定量摘要，ARQUSUMM采用论证结构感知聚类算法来聚合论点并量化其支持度。实验表明，ARQUSUMM在现有的对话和定量摘要模型上表现更佳，生成的摘要代表了更有帮助的论证结构，具有较高的文本质量和量化准确性。
论文及项目相关链接
PDF Paper accepted to AAAI2026 Main Technical Track
Summary
在线对话在公共讨论平台（如Reddit）上越来越普遍，随着争议话题的增加，对对话的摘要不仅要涵盖不同的观点，还要涵盖其背后的理由和依据。早期文本摘要研究主要关注捕获文档中的一般重要信息，而忽视了在线对话的论辩性质。最近关于对话摘要的研究虽然考虑了句子之间的论辩关系，但未能深入挖掘句子内部的深层论辩结构以用于摘要。本文提出了一个全新的任务：基于论证意识的定量摘要，以揭示对话中观点与理由的结构，并通过量化衡量论证强度。本文还提出了ARQUSUMM框架来解决这一任务。为了揭示句子内部的论证结构，ARQUSUMM利用大型语言模型（LLM）的少样本学习功能并基于论证理论来识别句子中的命题以及观点与理由之间的关系。在定量摘要方面，ARQUSUMM采用基于论证结构的聚类算法来聚合论点并量化其支持度。实验表明，ARQUSUMM相较于现有的对话和定量摘要模型表现更佳，生成的摘要能够代表论证结构，对用户更有帮助，同时具有良好的文本质量和量化准确性。
Key Takeaways
- 在线对话摘要需要涵盖不同的观点、理由和依据。
- 早期文本摘要研究主要关注一般重要信息的捕获，忽视了在线对话的论辩性质。
- 最近的研究虽然考虑了句子间的论辩关系，但未深入挖掘句子内部的深层论证结构。
- 提出了基于论证意识的定量摘要任务，旨在揭示对话中的观点与理由结构并通过量化衡量论证强度。
- ARQUSUMM框架通过利用大型语言模型的少样本学习功能来识别句子中的命题及观点与理由的关系。
- ARQUSUMM采用基于论证结构的聚类算法来聚合论点并量化其支持度。
点此查看论文截图
ToC: Tree-of-Claims Search with Multi-Agent Language Models
Authors:Shuyang Yu, Jianan Liang, Hui Hu
Optimizing patent claims is a critical yet challenging task, demanding careful balance between maximizing novelty and preserving legal scope. Manual claim drafting is labor-intensive, costly, and inherently inconsistent, while conventional Large Language Models (LLMs) often lack the structured, iterative reasoning essential for precise claim refinement. To address these challenges, we introduce Tree of Claims (ToC), an innovative framework that redefines claim editing as a guided search problem. ToC synergistically integrates Monte Carlo Tree Search (MCTS) with a collaborative multi-agent system, comprising an LLM-based EditorAgent that proposes contextually grounded edits, and an ExaminerAgent that mimics patent examiner critiques through structured, chain-of-thought analyses of novelty and prior art disclosure. Driven by a carefully designed multi-objective reward function, ToC jointly optimizes novelty, scope retention, and semantic coherence. Experimental evaluation on a benchmark of 1145 claims demonstrates that ToC significantly outperforms standard LLMs in zero-shot and few-shot scenarios, achieving an average composite score improvement of 8%, and up to 9% in certain cases. Extensive experiments, including detailed ablation studies, validate ToC’s efficacy in generating superior, legally robust claim revisions. Overall, ToC establishes a transparent, controllable, and interpretable methodology that effectively bridges advanced LLM reasoning capabilities with strategic MCTS planning for structured patent claim optimization.The source code is available at https://github.com/ysy2003/ToC.
优化专利索赔是一项至关重要的任务，但同时也是一项具有挑战性的任务，需要在实现新颖性的最大化和保持法律范围之间保持谨慎平衡。手动索赔草案编制工作量大、成本高且存在内在的不一致性，而传统的大型语言模型（LLM）往往缺乏精确索赔改进所需的结构化迭代推理。为了应对这些挑战，我们引入了索赔树（ToC）这一创新框架，它将索赔编辑重新定义为一项指导搜索问题。索赔树通过蒙特卡洛树搜索（MCTS）与协作多智能体系统协同集成，该系统包括基于LLM的EditorAgent，能够提出基于上下文编辑意见，以及通过结构化、思维链分析新颖性和现有技术披露来模拟专利审查员评审的ExaminerAgent。由精心设计的多目标奖励函数驱动，索赔树联合优化新颖性、范围保留和语义连贯性。在包含1145项索赔的基准测试上的实验评估表明，在零样本和少样本场景中，索赔树显著优于标准LLM，平均综合得分提高了8%，在某些情况下甚至提高了9%。包括详细消融研究在内的广泛实验验证了索赔树在生成优质、法律稳健的索赔修订方面的有效性。总体而言，索赔树建立了一种透明、可控、可解释的方法，有效地将高级LLM推理能力与战略MCTS规划相结合，以优化结构化专利索赔。源代码可在https://github.com/ysy2003/ToC获取。
论文及项目相关链接
PDF Accepted by AAAI 2026 (Oral)
Summary
专利索赔优化是一项既关键又具挑战性的任务，需要在最大化新颖性与保留法律范围之间谨慎权衡。本文提出了Tree of Claims（ToC）框架，将索赔编辑重新定义为一项有指导意义的搜索问题。ToC结合了蒙特卡洛树搜索（MCTS）与协作多智能体系统，包括基于LLM的EditorAgent提出上下文编辑建议，以及模拟专利审查员批评的ExaminerAgent。通过精心设计多目标奖励函数，ToC联合优化新颖性、范围保留和语义连贯性。在1145项索赔的基准测试中，ToC在零样本和少量样本场景中显著优于标准LLMs，平均综合得分提高8%，某些情况下甚至提高9%。总的来说，ToC建立了一种透明、可控且可解释的方法，有效地将先进的LLM推理能力与战略性的MCTS规划相结合，实现专利索赔的结构化优化。
Key Takeaways
- 专利索赔优化需要在新颖性和法律范围之间找到平衡。
- Tree of Claims（ToC）框架重新定义了索赔编辑作为一个有指导意义的搜索问题。
- ToC结合了蒙特卡洛树搜索（MCTS）与协作多智能体系统来优化专利索赔。
- ToC包括基于LLM的EditorAgent和模拟专利审查员批评的ExaminerAgent。
- ToC通过精心设计多目标奖励函数来联合优化新颖性、范围保留和语义连贯性。
- 在基准测试中，ToC显著优于标准LLMs，平均综合得分提高8%。
点此查看论文截图
PersonalizedRouter: Personalized LLM Routing via Graph-based User Preference Modeling
Authors:Zhongjie Dai, Tao Feng, Jiaxuan You
The growing number of Large Language Models (LLMs) with diverse capabilities and response styles provides users with a wider range of choices, which presents challenges in selecting appropriate LLMs, as user preferences vary in terms of performance, cost, and response style. Current LLM selection methods typically optimize for a single fixed objective, such as performance, cost, or a trade-off between them, and fail to learn individual user preferences from interaction data. To address these limitations, we propose PersonalizedRouter, a graph-based framework that models diverse user profiles and performs personalized LLM selection by leveraging interaction data that includes task context, queries, candidate LLMs, and user decisions. To capture contextual information between user queries and optimal LLMs, PersonalizedRouter converts the interaction data into a heterogeneous graph, where the relationships between different types of nodes are represented by edges. To evaluate adaptability across users, we design two strategies: the multi-cost-efficiency simulation strategy and the LLM-as-a-Judge strategy. In addition, we construct PersonaRoute-Bench, a large-scale benchmark with 1,000 simulated users and 10 LLMs. Experimental results show that PersonalizedRouter significantly outperforms existing LLM selection methods and surpasses the strongest methods by a large margin of 15.38% and 9.83% under two simulation strategies. On the PersonaRoute-Bench with 1,000 users, it further surpasses the best methods by 16.19% and 59.69% while maintaining higher efficiency. Moreover, PersonalizedRouter demonstrates strong few-shot generalization, achieving 64.81% and 85.80% of the fully trained model’s performance when adapting to new users and new LLMs.
随着具有各种能力和响应风格的大型语言模型（LLM）数量的不断增长，为用户提供更多的选择机会，但在性能、成本和响应风格方面，用户偏好各不相同，选择合适的LLM也带来了挑战。目前的LLM选择方法通常针对一个固定的目标进行优化，如性能、成本或它们之间的权衡，而无法从交互数据中学习个别用户偏好。为了解决这些局限性，我们提出了PersonalizedRouter，这是一个基于图的框架，能够建立多种用户配置文件，并通过利用包括任务上下文、查询、候选LLM和用户决策在内的交互数据，进行个性化的LLM选择。为了捕捉用户查询和最佳LLM之间的上下文信息，PersonalizedRouter将交互数据转换为异构图，图中不同类型节点之间的关系由边表示。为了评估用户之间的适应性，我们设计了两大策略：多成本效益模拟策略和LLM作为法官的策略。此外，我们构建了PersonaRoute-Bench，这是一个拥有1000个模拟用户和10个LLM的大规模基准测试平台。实验结果表明，PersonalizedRouter显著优于现有的LLM选择方法，在两种模拟策略下分别超过了最强方法15.38%和9.83%。在拥有1000个用户的PersonaRoute-Bench上，它进一步超越了最佳方法16.19%和59.69%，同时保持了更高的效率。此外，PersonalizedRouter表现出强大的少量样本泛化能力，在适应新用户和新的LLM时，达到了完全训练模型性能的64.81%和85.80%。
论文及项目相关链接
Summary
该文本介绍了针对大型语言模型（LLM）的用户个性化选择难题，提出了一种基于图的个性化路由器框架PersonalizedRouter。它能够根据用户的互动数据建立用户个人化偏好模型，并通过利用任务上下文、查询、候选LLM和用户决策来进行个性化的LLM选择。PersonalizedRouter将用户查询与最佳LLM之间的上下文信息转化为异构图，通过两种策略评估用户适应性，并构建大型基准测试PersonaRoute-Bench。实验结果表明，PersonalizedRouter显著优于现有LLM选择方法，并且在新的用户和LLM上具有强大的少量射击泛化能力。
Key Takeaways
- 用户在选择大型语言模型（LLM）时面临多样化能力和响应风格的挑战。
- 当前LLM选择方法通常优化单一目标，无法学习个人用户偏好。
- PersonalizedRouter框架利用互动数据建立用户个人化偏好模型进行LLM选择。
- PersonalizedRouter将互动数据转化为异构图以捕捉用户查询与最佳LLM之间的上下文信息。
- 通过两种策略评估用户适应性：多成本效率模拟策略和LLM作为法官策略。
- PersonaRoute-Bench基准测试验证了PersonalizedRouter的有效性，显著优于现有方法。
点此查看论文截图
Genomic Next-Token Predictors are In-Context Learners
Authors:Nathan Breslow, Aayush Mishra, Mahler Revsine, Michael C. Schatz, Anqi Liu, Daniel Khashabi
In-context learning (ICL) – the capacity of a model to infer and apply abstract patterns from examples provided within its input – has been extensively studied in large language models trained for next-token prediction on human text. In fact, prior work often attributes this emergent behavior to distinctive statistical properties in human language. This raises a fundamental question: can ICL arise organically in other sequence domains purely through large-scale predictive training? To explore this, we turn to genomic sequences, an alternative symbolic domain rich in statistical structure. Specifically, we study the Evo2 genomic model, trained predominantly on next-nucleotide (A/T/C/G) prediction, at a scale comparable to mid-sized LLMs. We develop a controlled experimental framework comprising symbolic reasoning tasks instantiated in both linguistic and genomic forms, enabling direct comparison of ICL across genomic and linguistic models. Our results show that genomic models, like their linguistic counterparts, exhibit log-linear gains in pattern induction as the number of in-context demonstrations increases. To the best of our knowledge, this is the first evidence of organically emergent ICL in genomic sequences, supporting the hypothesis that ICL arises as a consequence of large-scale predictive modeling over rich data. These findings extend emergent meta-learning beyond language, pointing toward a unified, modality-agnostic view of in-context learning.
上下文学习（ICL）——模型从其输入中提供的示例推断并应用抽象模式的能力——在人类文本下一令牌预测训练中训练的大型语言模型中已被广泛研究。实际上，先前的工作通常将此新兴行为归因于人类语言的独特统计属性。这引发了一个根本性的问题：仅通过大规模预测训练，ICL是否可以在其他序列域中自然出现？为了探索这一点，我们转向基因组序列，这是一个丰富的统计结构替代符号域。具体来说，我们研究了主要用于核苷酸（A/T/C/G）预测的Evo2基因组模型，其规模与中型LLM相当。我们开发了一个受控的实验框架，其中包括以语言和基因组形式呈现的象征性推理任务，从而能够在基因组和语言模型之间进行直接比较。我们的结果表明，随着上下文演示数量的增加，基因组模型在语言模型的基础上展现出对数线性增长的模式归纳能力。据我们所知，这是基因组序列中有机出现的ICL的首次证据，支持了这样一个假设：ICL是大型丰富数据预测建模的结果。这些发现将新兴元学习扩展到语言之外，指向一个统一、模态无关的在上下文学习观点。
论文及项目相关链接
Summary
本文探索了基因组序列中的上下文学习（ICL）现象。研究通过对Evo2基因组模型进行以核苷酸预测为主的大规模训练，发现基因组模型与语言模型类似，能够在上下文示例中展现出模式归纳能力。这是基因组序列中有机出现ICL的首次证据，表明大规模预测建模在丰富数据上可能引发ICL现象。这一发现将新兴元学习扩展到语言之外，指向一个统一、模态无关的在上下文学习观点。
Key Takeaways
- ICL（上下文学习）是语言模型中广泛研究的主题，涉及模型从输入示例中推断和应用抽象模式的能力。
- 基因组序列是一个富有统计结构的替代符号域，本文首次探索了其中的ICL现象。
- 通过Evo2基因组模型的实验，发现基因组模型能够在上下文示例中展现出模式归纳能力。
- ICL现象的出现支持了大规模预测建模在丰富数据上可能引发此现象的观点。
- 这种现象不仅限于语言模型，基因组模型的发现将其扩展到更广泛的领域。
- 实验结果展示了基因组模型与语言模型在ICL方面的相似性。
点此查看论文截图
Parameter-Efficient MoE LoRA for Few-Shot Multi-Style Editing
Authors:Cong Cao, Yujie Xu, Xiaodong Xu
In recent years, image editing has garnered growing attention. However, general image editing models often fail to produce satisfactory results when confronted with new styles. The challenge lies in how to effectively fine-tune general image editing models to new styles using only a limited amount of paired data. To address this issue, this paper proposes a novel few-shot style editing framework. For this task, we construct a benchmark dataset that encompasses five distinct styles. Correspondingly, we propose a parameter-efficient multi-style Mixture-of-Experts Low-Rank Adaptation (MoE LoRA) with style-specific and style-shared routing mechanisms for jointly fine-tuning multiple styles. The style-specific routing ensures that different styles do not interfere with one another, while the style-shared routing adaptively allocates shared MoE LoRAs to learn common patterns. Our MoE LoRA can automatically determine the optimal ranks for each layer through a novel metric-guided approach that estimates the importance score of each single-rank component. Additionally, we explore the optimal location to insert LoRA within the Diffusion in Transformer (DiT) model and integrate adversarial learning and flow matching to guide the diffusion training process. Experimental results demonstrate that our proposed method outperforms existing state-of-the-art approaches with significantly fewer LoRA parameters.
近年来，图像编辑领域越来越受到关注。然而，当面对新的风格时，通用图像编辑模型往往无法产生令人满意的结果。挑战在于如何利用有限的配对数据有效地对通用图像编辑模型进行微调以适应新的风格。针对这一问题，本文提出了一种新型的少样本风格编辑框架。为了完成此任务，我们构建了一个包含五种不同风格的基准数据集。相应地，我们提出了一种参数高效的混合专家低秩适应（MoE LoRA）方法，该方法具有风格特定和风格共享路由机制，可联合微调多种风格。风格特定的路由确保不同的风格不会相互干扰，而风格共享的路由则自适应地分配共享的MoE LoRA来学习常见模式。我们的MoE LoRA可以通过一种新的度量引导方法自动确定每层的最佳秩次，该方法估计每个单一秩组件的重要性得分。此外，我们探讨了将LoRA插入扩散变压器（DiT）模型中的最佳位置，并集成了对抗性学习与流匹配来引导扩散训练过程。实验结果表明，我们提出的方法在较少的LoRA参数下超越了现有的最先进的方法。
论文及项目相关链接
Summary
本文提出了一种基于少样本的图像编辑框架，解决了通用图像编辑模型在面对新风格时效果不佳的问题。文章构建了一个包含五种不同风格的基准数据集，并提出了一个参数有效的多风格混合专家低秩适应（MoE LoRA）方法，包括风格特定和风格共享路由机制，以联合微调多种风格。MoE LoRA通过一种新颖的指标引导方法自动确定每层的最佳秩，同时探索了在扩散转换器模型中的最佳位置插入LoRA，并结合对抗性学习与流匹配引导扩散训练过程。实验结果表明，该方法优于现有先进技术，且LoRA参数更少。
Key Takeaways
- 提出了基于少样本的图像编辑框架来解决通用图像编辑模型面对新风格时的不足。
- 构建了一个包含五种不同风格的基准数据集，为图像编辑研究提供了标准参照。
- 提出了参数有效的多风格混合专家低秩适应（MoE LoRA）方法，包括风格特定和风格共享路由机制，用于联合微调多种风格。
- MoE LoRA能自动确定每层的最佳秩，通过一种新颖的指标引导方法实现。
- 在扩散转换器模型中探索了LoRA的最佳插入位置。
- 结合对抗性学习与流匹配引导扩散训练过程，提高了模型的性能。
点此查看论文截图
T2I-RiskyPrompt: A Benchmark for Safety Evaluation, Attack, and Defense on Text-to-Image Model
Authors:Chenyu Zhang, Tairen Zhang, Lanjun Wang, Ruidong Chen, Wenhui Li, Anan Liu
Using risky text prompts, such as pornography and violent prompts, to test the safety of text-to-image (T2I) models is a critical task. However, existing risky prompt datasets are limited in three key areas: 1) limited risky categories, 2) coarse-grained annotation, and 3) low effectiveness. To address these limitations, we introduce T2I-RiskyPrompt, a comprehensive benchmark designed for evaluating safety-related tasks in T2I models. Specifically, we first develop a hierarchical risk taxonomy, which consists of 6 primary categories and 14 fine-grained subcategories. Building upon this taxonomy, we construct a pipeline to collect and annotate risky prompts. Finally, we obtain 6,432 effective risky prompts, where each prompt is annotated with both hierarchical category labels and detailed risk reasons. Moreover, to facilitate the evaluation, we propose a reason-driven risky image detection method that explicitly aligns the MLLM with safety annotations. Based on T2I-RiskyPrompt, we conduct a comprehensive evaluation of eight T2I models, nine defense methods, five safety filters, and five attack strategies, offering nine key insights into the strengths and limitations of T2I model safety. Finally, we discuss potential applications of T2I-RiskyPrompt across various research fields. The dataset and code are provided in https://github.com/datar001/T2I-RiskyPrompt.
使用如色情和暴力提示等高风险文本提示来测试文本到图像（T2I）模型的安全性是一项至关重要的任务。然而，现有的高风险提示数据集在三个方面存在局限性：1）风险类别有限，2）标注粒度粗糙，3）有效性低。为了解决这些局限性，我们推出了T2I-RiskyPrompt，这是一个为评估T2I模型中与安全相关的任务而设计的综合基准测试。具体来说，我们首先开发了一个层次风险分类法，其中包括6个主要类别和14个细粒度子类别。在此基础上，我们构建了一个收集和标注高风险提示的管道。最后，我们获得了6432个有效的高风险提示，每个提示都被标注了层次类别标签和详细的风险提示。此外，为了促进评估，我们提出了一种基于理由驱动的风险图像检测方法，该方法显式地将MLLM与安全性注释对齐。基于T2I-RiskyPrompt，我们对8个T2I模型、9种防御方法、5种安全过滤器和5种攻击策略进行了全面评估，提供了关于T2I模型安全性优势和局限性的9个关键见解。最后，我们讨论了T2I-RiskyPrompt在不同研究领域的应用潜力。数据集和代码详见：https://github.com/datar001/T2I-RiskyPrompt。
论文及项目相关链接
PDF AAAI 2026
Summary
本文介绍了针对文本转图像模型安全性的重要测试任务，即通过使用风险文本提示（如色情和暴力提示）来测试模型的安全性。现有风险提示数据集存在三个主要局限性：风险类别有限、标注粗糙以及有效性低。为解决这些问题，引入了T2I-RiskyPrompt综合基准测试，用于评估文本转图像模型的安全相关任务。该基准测试包括层次化风险分类、风险提示收集与标注的管道构建等。此外，还提出了一种基于理由的危险图像检测方法，该方法明确地将MLLM与安全性注释对齐。该基准测试对八个文本转图像模型进行了全面评估，提供了关于模型安全性的九个关键见解。
Key Takeaways
- 文本转图像模型的安全性测试至关重要，需要使用风险文本提示进行测试。
- 现有风险提示数据集存在局限性，如风险类别有限、标注粗糙以及有效性低等。
- 引入了T2I-RiskyPrompt综合基准测试，用于评估文本转图像模型的安全相关任务。
- T2I-RiskyPrompt包括层次化风险分类、构建风险提示收集与标注的管道等要素。
- 提出了一种基于理由的危险图像检测方法，与安全性注释对齐。
- 对八个文本转图像模型进行了全面评估，揭示了模型安全性的九个关键见解。
点此查看论文截图
GhostEI-Bench: Do Mobile Agents Resilience to Environmental Injection in Dynamic On-Device Environments?
Authors:Chiyu Chen, Xinhao Song, Yunkai Chai, Yang Yao, Haodong Zhao, Lijun Li, Jie Li, Yan Teng, Gongshen Liu, Yingchun Wang
Vision-Language Models (VLMs) are increasingly deployed as autonomous agents to navigate mobile graphical user interfaces (GUIs). Operating in dynamic on-device ecosystems, which include notifications, pop-ups, and inter-app interactions, exposes them to a unique and underexplored threat vector: environmental injection. Unlike prompt-based attacks that manipulate textual instructions, environmental injection corrupts an agent’s visual perception by inserting adversarial UI elements (for example, deceptive overlays or spoofed notifications) directly into the GUI. This bypasses textual safeguards and can derail execution, causing privacy leakage, financial loss, or irreversible device compromise. To systematically evaluate this threat, we introduce GhostEI-Bench, the first benchmark for assessing mobile agents under environmental injection attacks within dynamic, executable environments. Moving beyond static image-based assessments, GhostEI-Bench injects adversarial events into realistic application workflows inside fully operational Android emulators and evaluates performance across critical risk scenarios. We further propose a judge-LLM protocol that conducts fine-grained failure analysis by reviewing the agent’s action trajectory alongside the corresponding screenshot sequence, pinpointing failure in perception, recognition, or reasoning. Comprehensive experiments on state-of-the-art agents reveal pronounced vulnerability to deceptive environmental cues: current models systematically fail to perceive and reason about manipulated UIs. GhostEI-Bench provides a framework for quantifying and mitigating this emerging threat, paving the way toward more robust and secure embodied agents.
视觉语言模型（VLMs）越来越多地被部署为自主代理，以在移动图形用户界面（GUI）中进行导航。它们在动态设备生态系统（包括通知、弹出窗口和跨应用程序交互）中运行，面临一个独特且尚未广泛研究的威胁：环境注入。与基于提示的攻击不同，环境注入不会操纵文本指令，而是通过插入对抗性用户界面元素（例如欺骗性覆盖层或伪装通知）直接破坏代理的视觉感知能力，从而绕过文本保障并可能导致执行偏离轨道，导致隐私泄露、财务损失或设备遭到不可逆转的损害。为了系统地评估这一威胁，我们引入了GhostEI-Bench，它是第一个可以在动态可执行环境中评估环境注入攻击对移动代理影响的基准测试。除了基于静态图像的评估外，GhostEI-Bench还将对抗性事件注入到完全操作型Android模拟器中的实际应用程序工作流程中，并在关键风险场景中评估性能。我们还提出了一种法官-大型语言模型协议，通过审查代理的行动轨迹以及相应的截图序列来进行精细的故障分析，并准确指出感知、识别或推理方面的失败之处。在先进代理上的综合实验表明，它们对欺骗性环境线索存在明显的脆弱性：当前模型在感知和推理被操纵的UI方面普遍存在系统性问题。GhostEI-Bench提供了一个量化并缓解这一新兴威胁的框架，为更强大和安全的实体代理铺平了道路。
论文及项目相关链接
Summary
本文介绍了移动图形用户界面（GUI）中的视觉语言模型（VLMs）面临的一种新兴威胁——环境注入。环境注入通过在GUI中插入对抗性UI元素来绕过文本保障措施，导致自主代理的感知失效。为系统评估这一威胁，引入了GhostEI-Bench基准测试平台，该平台能在动态的可执行环境中对移动代理进行环境注入攻击评估。此外，还提出了法官大型语言模型协议，进行精细的失败分析。实验表明，当前模型对欺骗性的环境线索存在显著漏洞。GhostEI-Bench提供了一个量化并缓解这一新兴威胁的框架。
Key Takeaways
- VLMs作为自主代理在移动GUI中部署时面临环境注入威胁。
- 环境注入通过在GUI中插入对抗性UI元素绕过文本保障措施，导致感知失效。
- GhostEI-Bench是首个评估动态环境中移动代理面临环境注入攻击的基准测试平台。
- GhostEI-Bench在真实的操作流程中注入对抗事件，并评估关键风险场景下的性能。
- 提出法官大型语言模型协议，进行精细的失败分析，定位感知、识别或推理的失败点。
- 实验显示当前模型对欺骗性的环境线索存在显著漏洞。
点此查看论文截图
ReviewGuard: Enhancing Deficient Peer Review Detection via LLM-Driven Data Augmentation
Authors:Haoxuan Zhang, Ruochi Li, Sarthak Shrestha, Shree Harshini Mamidala, Revanth Putta, Arka Krishan Aggarwal, Ting Xiao, Junhua Ding, Haihua Chen
Peer review serves as the gatekeeper of science, yet the surge in submissions and widespread adoption of large language models (LLMs) in scholarly evaluation present unprecedented challenges. While recent work has focused on using LLMs to improve review efficiency, unchecked deficient reviews from both human experts and AI systems threaten to systematically undermine academic integrity. To address this issue, we introduce ReviewGuard, an automated system for detecting and categorizing deficient reviews through a four-stage LLM-driven framework: data collection from ICLR and NeurIPS on OpenReview, GPT-4.1 annotation with human validation, synthetic data augmentation yielding 6,634 papers with 24,657 real and 46,438 synthetic reviews, and fine-tuning of encoder-based models and open-source LLMs. Feature analysis reveals that deficient reviews exhibit lower rating scores, higher self-reported confidence, reduced structural complexity, and more negative sentiment than sufficient reviews. AI-generated text detection shows dramatic increases in AI-authored reviews since ChatGPT’s emergence. Mixed training with synthetic and real data substantially improves detection performance - for example, Qwen 3-8B achieves recall of 0.6653 and F1 of 0.7073, up from 0.5499 and 0.5606 respectively. This study presents the first LLM-driven system for detecting deficient peer reviews, providing evidence to inform AI governance in peer review. Code, prompts, and data are available at https://github.com/haoxuan-unt2024/ReviewGuard
同行评审是科学研究的守门人，然而，投稿数量的激增和大型语言模型（LLM）在学术评价中的广泛应用带来了前所未有的挑战。虽然最近的工作主要集中在使用LLM提高评审效率上，但来自人类专家和AI系统的不合格的评审威胁着系统地破坏学术诚信。为了解决这个问题，我们引入了ReviewGuard，这是一个通过四阶段LLM驱动框架检测和分类不合格评审的自动化系统。该框架包括从ICLR和NeurIPS收集OpenReview数据，通过GPT 4.1进行标注并由人工验证，合成数据增强生成包含6634篇论文、24657条真实和46438条合成评审数据的训练集，以及对基于编码器的模型和开源LLM进行微调。特征分析表明，不合格的评审在评分上较低，自我报告的自信度较高，结构复杂性降低，情感更加负面，相对于合格的评审展现出明显的不同。此外，通过对AI生成文本的检测发现，自ChatGPT问世以来AI撰写的评论数量大幅增加。混合使用合成和真实数据进行训练可大幅提高检测性能——例如，Qwen 3-8B的召回率达到了0.6653，F1分数为0.7073，相比之下之前的性能分别提高了0.1154和提高了约0.14。本研究首次展示了LLM驱动的同行评审缺陷检测系统，为AI治理中的同行评审提供了证据支持。相关代码、提示和数据可在https://github.com/haoxuan-unt2024/ReviewGuard找到。
论文及项目相关链接
PDF Accepted as a full paper at the 2025 ACM/IEEE Joint Conference on Digital Libraries (JCDL 2025)
Summary
本文介绍了Peer review面临的挑战，即投稿量增加和大型语言模型（LLMs）在学术评价中的广泛应用所带来的问题。为应对这一问题，提出了ReviewGuard系统，该系统通过四阶段LLM驱动框架来检测和分类不足的评审。通过收集数据、GPT-4.1标注和人类验证、合成数据增强和微调编码器模型等步骤，系统能够有效识别出不足的评审。研究发现，不足的评审通常具有较低的评分、较高的自信度、较低的结构复杂性和更多的负面情绪。此外，AI生成的文本检测显示，自ChatGPT出现以来，AI撰写的评论数量急剧增加。混合真实和合成数据训练可以显著提高检测性能。
Key Takeaways
- Peer review面临投稿量增加和LLMs在学术评价中应用的挑战。
- ReviewGuard系统通过LLM驱动框架检测和分类不足的评审。
- 系统通过数据收集、标注、合成数据增强和模型微调等步骤实现有效识别不足评审。
- 不足的评审通常具有低评分、高自信度、低结构复杂性和高负面情绪。
- AI生成的文本检测显示AI撰写的评论数量增加。
- 混合真实和合成数据训练能显著提高检测性能。
点此查看论文截图
LLM one-shot style transfer for Authorship Attribution and Verification
Authors:Pablo Miralles-González, Javier Huertas-Tato, Alejandro Martín, David Camacho
Computational stylometry analyzes writing style through quantitative patterns in text, supporting applications from forensic tasks such as identity linking and plagiarism detection to literary attribution in the humanities. Supervised and contrastive approaches rely on data with spurious correlations and often confuse style with topic. Despite their natural use in AI-generated text detection, the CLM pre-training of modern LLMs has been scarcely leveraged for general authorship problems. We propose a novel unsupervised approach based on this extensive pre-training and the in-context learning capabilities of LLMs, employing the log-probabilities of an LLM to measure style transferability from one text to another. Our method significantly outperforms LLM prompting approaches of comparable scale and achieves higher accuracy than contrastively trained baselines when controlling for topical correlations. Moreover, performance scales fairly consistently with the size of the base model and, in the case of authorship verification, with an additional mechanism that increases test-time computation; enabling flexible trade-offs between computational cost and accuracy.
计算文体学通过分析文本中的定量模式来分析写作风格，支持从法医任务（如身份关联和抄袭检测）到人文学科的文学归属等应用。有监督方法和对比方法依赖于具有虚假关联的数据，并且经常将风格与主题混淆。尽管它们在人工智能生成的文本检测中的使用很自然，但现代大型语言模型（LLM）的上下文学习（CLM）预训练很少用于一般的作者身份问题。我们提出了一种基于这种广泛的预训练和大型语言模型的上下文学习能力的新型无监督方法，利用大型语言模型的日志概率来度量一种文本向另一种文本的风格可转移性。我们的方法在控制主题相关性时，显著优于规模相当的大型语言模型提示方法，并且在对比训练的基准测试中实现了更高的准确性。此外，随着基础模型大小的增加，性能表现相当稳定；在作者身份验证的情况下，一种额外的机制可以在测试时间计算中增加灵活性，从而实现计算成本与准确性之间的灵活权衡。
论文及项目相关链接
Summary
本文介绍了计算文体学通过分析文本中的定量模式来分析写作风格，支持从身份关联、抄袭检测到文学归属等人文领域的应用。现有的监督学习和对比方法依赖于具有虚假关联的数据，往往混淆风格与主题。本研究提出了一种基于大型语言模型（LLM）预训练和上下文学习能力的新型无监督方法，利用LLM的对数概率测量文本之间的风格可转移性。该方法显著优于规模相当的LLM提示方法，并且在控制主题相关性时，其准确性高于对比训练基线。此外，其性能随着基础模型的大小而相当稳定，在作者身份验证的情况下，通过增加测试时的计算机制，可在计算成本和准确性之间进行灵活权衡。
Key Takeaways
- 计算文体学是通过分析文本中的定量模式来分析写作风格，支持多种人文领域的应用。
- 现有的方法往往混淆风格与主题，并依赖于具有虚假关联的数据。
- 本研究提出了一种新型的无监督方法，基于LLM的预训练和上下文学习能力。
- 该方法利用LLM的对数概率测量文本之间的风格可转移性。
- 该方法在准确性和性能上显著优于现有的监督学习和对比方法。
- 方法的性能随着基础模型的大小而相当稳定。
点此查看论文截图
CharCom: Composable Identity Control for Multi-Character Story Illustration
Authors:Zhongsheng Wang, Ming Lin, Zhedong Lin, Yaser Shakib, Qian Liu, Jiamou Liu
Ensuring character identity consistency across varying prompts remains a fundamental limitation in diffusion-based text-to-image generation. We propose CharCom, a modular and parameter-efficient framework that achieves character-consistent story illustration through composable LoRA adapters, enabling efficient per-character customization without retraining the base model. Built on a frozen diffusion backbone, CharCom dynamically composes adapters at inference using prompt-aware control. Experiments on multi-scene narratives demonstrate that CharCom significantly enhances character fidelity, semantic alignment, and temporal coherence. It remains robust in crowded scenes and enables scalable multi-character generation with minimal overhead, making it well-suited for real-world applications such as story illustration and animation.
在基于扩散的文本到图像生成中，确保不同提示下的字符身份一致性仍然是一个基本限制。我们提出了CharCom，这是一个模块化和参数高效的框架，通过可组合的LoRA适配器实现字符一致的故事插图，可以在不重新训练基础模型的情况下实现高效的按字符定制。CharCom建立在冻结的扩散主干网上，利用提示感知控制，在推理时动态组合适配器。多场景叙事实验表明，CharCom显著提高了字符保真度、语义对齐和时序一致性。它在拥挤场景中表现稳健，并且能够在最小开销的情况下实现可扩展的多字符生成，非常适合故事插图和动画等实际应用。
论文及项目相关链接
PDF Accepted by ACM MMAsia 2025
Summary:
文本生成的图像面临保持角色身份一致性的挑战。我们提出CharCom框架，通过模块化、参数高效的LoRA适配器实现角色一致性故事插图。无需重新训练基础模型即可进行高效的角色定制。在拥挤场景中也能保持稳健，适合用于故事插图和动画等实际应用。
Key Takeaways:
- 文本生成的图像在保持角色身份一致性方面存在挑战。
- CharCom框架通过模块化、参数高效的LoRA适配器解决此问题。
- CharCom实现角色一致性故事插图，能进行高效的角色定制。
- CharCom能在拥挤场景中保持稳健，进行多角色生成。
- CharCom适用于故事插图和动画等实际应用场景。
- CharCom通过动态组合适配器在推理过程中实现灵活性。
点此查看论文截图
MOCHA: Multi-modal Objects-aware Cross-arcHitecture Alignment
Authors:Elena Camuffo, Francesco Barbato, Mete Ozay, Simone Milani, Umberto Michieli
Personalized object detection aims to adapt a general-purpose detector to recognize user-specific instances from only a few examples. Lightweight models often struggle in this setting due to their weak semantic priors, while large vision-language models (VLMs) offer strong object-level understanding but are too computationally demanding for real-time or on-device applications. We introduce MOCHA (Multi-modal Objects-aware Cross-arcHitecture Alignment), a distillation framework that transfers multimodal region-level knowledge from a frozen VLM teacher into a lightweight vision-only detector. MOCHA extracts fused visual and textual teacher’s embeddings and uses them to guide student training through a dual-objective loss that enforces accurate local alignment and global relational consistency across regions. This process enables efficient transfer of semantics without the need for teacher modifications or textual input at inference. MOCHA consistently outperforms prior baselines across four personalized detection benchmarks under strict few-shot regimes, yielding a +10.1 average improvement, with minimal inference cost.
个性化目标检测旨在将通用检测器适应于仅通过几个示例来识别用户特定实例。由于轻型模型的语义先验较弱，因此它们在这种设置中的表现往往挣扎。而大型视觉语言模型（VLM）虽然提供了强大的目标级理解，但对于实时或设备端应用而言，其计算需求过于庞大。我们引入了MOCHA（多模态对象感知跨架构对齐），这是一个蒸馏框架，可以从冻结的VLM教师模型中转移多模态区域级知识到轻型的仅视觉检测器中。MOCHA提取融合的教师模型视觉和文本嵌入，并通过双重目标损失来指导学生的训练，该损失函数强制区域之间的准确局部对齐和全局关系一致性。这个过程能够在无需修改教师模型或在推理阶段提供文本输入的情况下，有效地转移语义。MOCHA在四个个性化检测基准测试中始终优于先前的基准测试，在严格的少镜头制度下平均提高了+10.1的性能，并且推理成本较低。
论文及项目相关链接
Summary
基于多模态区域知识的轻量化模型蒸馏框架——MOCHA，用于个性化对象检测任务中的跨架构对齐。该框架将从大型视觉语言模型中获得的多模态区域级知识转移到轻量化视觉检测器中，通过双重目标损失实现本地对齐和全局关系一致性，提高语义转移效率，而无需在推理阶段修改教师模型或引入文本输入。MOCHA在四个个性化检测基准测试中表现出出色的性能优势。相较于原有基准，实现了平均+10.1%的改善效果。在保证检测精度的同时降低了推理成本。
Key Takeaways
- MOCHA是一种基于多模态对象感知的跨架构对齐框架，用于个性化对象检测任务。
- 该框架实现了从大型视觉语言模型到轻量化视觉检测器的知识转移。
- MOCHA利用双重目标损失来实现本地对齐和全局关系一致性。通过这种方式，能够更有效地传递语义信息。
- MOCHA在个性化检测任务中表现出卓越性能，实现了平均+10.1%的改善效果。相较于其他基准测试方法具有显著优势。
- MOCHA框架在保证检测精度的同时降低了推理成本，适用于实时或嵌入式设备应用。
- 该框架无需在推理阶段修改教师模型或引入文本输入，提高了应用的便捷性和实用性。
点此查看论文截图
Few-shot Class-incremental Fault Diagnosis by Preserving Class-Agnostic Knowledge with Dual-Granularity Representations
Authors:Zhendong Yang, Jie Wang, Liansong Zong, Xiaorong Liu, Quan Qian, Shiqian Chen
Few-Shot Class-Incremental Fault Diagnosis (FSC-FD), which aims to continuously learn from new fault classes with only a few samples without forgetting old ones, is critical for real-world industrial systems. However, this challenging task severely amplifies the issues of catastrophic forgetting of old knowledge and overfitting on scarce new data. To address these challenges, this paper proposes a novel framework built upon Dual-Granularity Representations, termed the Dual-Granularity Guidance Network (DGGN). Our DGGN explicitly decouples feature learning into two parallel streams: 1) a fine-grained representation stream, which utilizes a novel Multi-Order Interaction Aggregation module to capture discriminative, class-specific features from the limited new samples. 2) a coarse-grained representation stream, designed to model and preserve general, class-agnostic knowledge shared across all fault types. These two representations are dynamically fused by a multi-semantic cross-attention mechanism, where the stable coarse-grained knowledge guides the learning of fine-grained features, preventing overfitting and alleviating feature conflicts. To further mitigate catastrophic forgetting, we design a Boundary-Aware Exemplar Prioritization strategy. Moreover, a decoupled Balanced Random Forest classifier is employed to counter the decision boundary bias caused by data imbalance. Extensive experiments on the TEP benchmark and a real-world MFF dataset demonstrate that our proposed DGGN achieves superior diagnostic performance and stability compared to state-of-the-art FSC-FD approaches. Our code is publicly available at https://github.com/MentaY/DGGN
少样本类别增量故障诊断（FSC-FD）旨在从新的故障类别中学习，并仅通过少量样本进行持续学习，而不会忘记旧类别，这对于真实世界的工业系统至关重要。然而，这项具有挑战性的任务严重放大了旧知识灾难性遗忘和在新数据稀缺上过拟合的问题。为了应对这些挑战，本文提出了一个基于双粒度表示的新型框架，称为双粒度指导网络（DGGN）。我们的DGGN明确地将特征学习解耦为两个并行流：1）精细粒度表示流，它利用新型的多阶交互聚合模块，从有限的新样本中提取具有区分性的类别特定特征。2）粗粒度表示流，旨在建模和保留适用于所有故障类型的通用类别无关知识。这两种表示通过多语义交叉注意机制动态融合，稳定的粗粒度知识引导精细粒度特征的学习，防止过拟合并缓解特征冲突。为了进一步缓解灾难性遗忘，我们设计了一种边界感知示例优先策略。此外，采用解耦的平衡随机森林分类器来应对由数据不平衡引起的决策边界偏见。在TEP基准测试和真实世界的MFF数据集上的广泛实验表明，与最新的FSC-FD方法相比，我们提出的DGGN在诊断性能和稳定性方面实现了优越性。我们的代码公开在：https://github.com/MentaY/DGGN。
论文及项目相关链接
PDF This manuscript is currently under review at the IEEE Transactions on Big Data
摘要
本文提出一种基于双粒度表示的新型框架——双粒度引导网络（DGGN），用于解决小样类别增量故障诊断（FSC-FD）的挑战性问题。DGGN将特征学习分为两个并行流：精细粒度表示流和粗略粒度表示流。前者利用新型多阶交互聚合模块从有限的新样本中学习类别特定的判别特征，后者旨在建模和保留所有故障类型共有的通用知识。通过动态融合这两种表示，稳定的粗略粒度知识引导精细粒度特征的学习，防止过拟合和缓解特征冲突。为缓解灾难性遗忘，采用边界感知示例优先策略。此外，采用解耦的平衡随机森林分类器来应对决策边界偏差问题。在TEP基准测试和真实世界的MFF数据集上的广泛实验表明，与最新的FSC-FD方法相比，所提出的DGGN在诊断性能和稳定性方面表现优越。
关键见解
- 引入双粒度表示框架来解决小样类别增量故障诊断（FSC-FD）中的挑战。
- 提出双粒度引导网络（DGGN），将特征学习分为精细粒度和粗略粒度两个并行流。
- 精细粒度流通过多阶交互聚合模块学习类别特定特征，而粗略粒度流则保留通用知识。
- 通过动态融合和边界感知示例优先策略来缓解灾难性遗忘和过拟合问题。
- 采用解耦的平衡随机森林分类器来处理决策边界偏差。
- 在多个基准测试集上的实验证明了DGGN在诊断性能和稳定性方面的优越性。
- 公开可用代码位于https://github.com/MentaY/DGGN。
点此查看论文截图
Dynamic User-controllable Privacy-preserving Few-shot Sensing Framework
Authors:Ajesh Koyatan Chathoth, Shuhao Yu, Stephen Lee
User-controllable privacy is important in modern sensing systems, as privacy preferences can vary significantly from person to person and may evolve over time. This is especially relevant in devices equipped with Inertial Measurement Unit (IMU) sensors, such as smartphones and wearables, which continuously collect rich time-series data that can inadvertently expose sensitive user behaviors. While prior work has proposed privacy-preserving methods for sensor data, most rely on static, predefined privacy labels or require large quantities of private training data, limiting their adaptability and user agency. In this work, we introduce PrivCLIP, a dynamic, user-controllable, few-shot privacy-preserving sensing framework. PrivCLIP allows users to specify and modify their privacy preferences by categorizing activities as sensitive (black-listed), non-sensitive (white-listed), or neutral (gray-listed). Leveraging a multimodal contrastive learning approach, PrivCLIP aligns IMU sensor data with natural language activity descriptions in a shared embedding space, enabling few-shot detection of sensitive activities. When a privacy-sensitive activity is identified, the system uses a language-guided activity sanitizer and a motion generation module (IMU-GPT) to transform the original data into a privacy-compliant version that semantically resembles a non-sensitive activity. We evaluate PrivCLIP on multiple human activity recognition datasets and demonstrate that it significantly outperforms baseline methods in terms of both privacy protection and data utility.
用户可控制的隐私在现代感知系统中非常重要，因为每个人的隐私偏好可能会有很大的不同，并且可能会随着时间的推移而演变。这在配备有惯性测量单元（IMU）传感器的设备中尤其相关，例如智能手机和可穿戴设备，这些设备持续收集丰富的时间序列数据，可能会无意中暴露用户的敏感行为。尽管先前的工作已经提出了用于保护传感器数据隐私的方法，但大多数方法依赖于静态的预定义隐私标签或需要大量私有训练数据，这限制了其适应性和用户控制权。在这项工作中，我们介绍了PrivCLIP，这是一个动态、用户可控的、少镜头隐私保护感知框架。PrivCLIP允许用户通过将活动分类为敏感（黑名单）、非敏感（白名单）或中性（灰名单）来指定和修改其隐私偏好。利用多模态对比学习方法，PrivCLIP将IMU传感器数据与自然语言活动描述对齐到一个共享嵌入空间，能够在少量样本的情况下检测敏感活动。当识别出隐私敏感的活动时，系统会使用语言指导的活动清洁器和运动生成模块（IMU-GPT）将原始数据转换为符合隐私的版本，该版本在语义上类似于非敏感活动。我们在多个人类活动识别数据集上评估了PrivCLIP的性能，结果表明它在隐私保护和数据实用性方面都显著优于基准方法。
论文及项目相关链接
Summary
该文本介绍了一种名为PrivCLIP的动态、用户可控的少数隐私保护感知框架，适用于配备有惯性测量单元（IMU）传感器的设备。PrivCLIP允许用户通过分类活动（敏感、非敏感或中性）来指定和修改其隐私偏好。通过多模式对比学习方法，PrivCLIP在共享嵌入空间中使IMU传感器数据与自然语言活动描述相匹配，实现少数敏感活动的检测。当检测到隐私敏感活动时，系统会使用语言引导的活动净化器和运动生成模块（IMU-GPT）将原始数据转换为符合隐私的版本，语义上类似于非敏感活动。评价结果表明，PrivCLIP在隐私保护和数据效用方面都显著优于基准方法。
Key Takeaways
- 用户可控的隐私在现代感应系统中很重要，因为每个人的隐私偏好可能大不相同，并可能随时间演变。
- 在配备有IMU传感器的设备中，如智能手机和可穿戴设备，持续收集的时间序列数据可能无意中暴露用户的敏感行为。
- 之前的隐私保护方法大多依赖于静态的预定义隐私标签或需要大量私人训练数据，这限制了其适应性和用户控制。
- PrivCLIP是一个动态、用户可控的少数隐私保护感知框架，允许用户通过分类活动（敏感、非敏感或中性）来指定和修改隐私偏好。
- PrivCLIP采用多模式对比学习方法，将IMU传感器数据与自然语言活动描述相匹配，实现少数敏感活动的检测。
- 当检测到敏感活动时，PrivCLIP使用语言引导的活动净化器和运动生成模块来转换原始数据，生成符合隐私的版本。
- 评价结果表明，PrivCLIP在隐私保护和数据效用方面优于基准方法。