⚠️ 以下所有内容总结都来自于 大语言模型的能力，如有错误，仅供参考，谨慎使用
🔴 请注意：千万不要用于严肃的学术场景，只能用于论文阅读前的初筛！
💗 如果您觉得我们的项目对您有帮助 ChatPaperFree ，还请您给我们一些鼓励！⭐️ HuggingFace免费体验
2025-04-24 更新
Talk is Not Always Cheap: Promoting Wireless Sensing Models with Text Prompts
Authors:Zhenkui Yang, Zeyi Huang, Ge Wang, Han Ding, Tony Xiao Han, Fei Wang
Wireless signal-based human sensing technologies, such as WiFi, millimeter-wave (mmWave) radar, and Radio Frequency Identification (RFID), enable the detection and interpretation of human presence, posture, and activities, thereby providing critical support for applications in public security, healthcare, and smart environments. These technologies exhibit notable advantages due to their non-contact operation and environmental adaptability; however, existing systems often fail to leverage the textual information inherent in datasets. To address this, we propose an innovative text-enhanced wireless sensing framework, WiTalk, that seamlessly integrates semantic knowledge through three hierarchical prompt strategies-label-only, brief description, and detailed action description-without requiring architectural modifications or incurring additional data costs. We rigorously validate this framework across three public benchmark datasets: XRF55 for human action recognition (HAR), and WiFiTAL and XRFV2 for WiFi temporal action localization (TAL). Experimental results demonstrate significant performance improvements: on XRF55, accuracy for WiFi, RFID, and mmWave increases by 3.9%, 2.59%, and 0.46%, respectively; on WiFiTAL, the average performance of WiFiTAD improves by 4.98%; and on XRFV2, the mean average precision gains across various methods range from 4.02% to 13.68%. Our codes have been included in https://github.com/yangzhenkui/WiTalk.
基于无线信号的人体感知技术，如WiFi、毫米波（mmWave）雷达和射频识别（RFID），能够检测和解读人的存在、姿势和活动，从而为公共安全、医疗护理和智能环境等领域的应用提供关键支持。这些技术具有非接触性操作和环境适应性强等优点；然而，现有系统往往未能充分利用数据集内在的文本信息。针对这一问题，我们提出了一种创新的文本增强无线感知框架WiTalk，它通过三种分层提示策略——仅标签、简短描述和详细动作描述——无缝集成语义知识，无需进行架构修改或产生额外数据成本。我们在三个人体行为识别（HAR）公共基准数据集XRF55，以及两个WiFi时间行为定位（TAL）数据集WiFiTAL和XRFV2上严格验证了该框架。实验结果表明，性能得到显著提高：在XRF55上，WiFi、RFID和mmWave的准确率分别提高了3.9%、2.59%和0.46%；在WiFiTAL上，WiFiTAD的平均性能提高了4.98%；在XRFV2上，各种方法的平均精度增益在4.02%到13.68%之间。我们的代码已包含在https://github.com/yangzhenkui/WiTalk中。
论文及项目相关链接
PDF 10 pages
摘要
无线信号基人体感知技术，如WiFi、毫米波雷达和射频识别，能检测并解读人的存在、姿势和活动，为公共安全、医疗健康和智能环境等领域提供关键支持。尽管这些技术具有非接触性和环境适应性的优势，但现有系统往往未能充分利用数据集内在的文本信息。为此，我们提出一种创新的文本增强无线感知框架WiTalk，通过三种层次提示策略——仅标签、简短描述和详细动作描述，无缝集成语义知识，无需修改架构或产生额外数据成本。在XRF55、WiFiTAL和XRFV2三个公共基准数据集上的实验验证显示，该框架显著提高性能：在XRF55上，WiFi、RFID和毫米波雷达的准确率分别提高3.9%、2.59%和0.46%；在WiFiTAL上，WiFiTAD的平均性能提高4.98%；在XRFV2上，各种方法的平均精度增益在4.02%至13.68%之间。相关代码已上传至https://github.com/yangzhenkui/WiTalk。
关键见解
- 无线信号技术如WiFi、mmWave雷达和RFID能够检测并解读人的存在、姿势和活动。
- 这些技术在公共安全、医疗健康和智能环境等领域有广泛应用。
- 现有系统常常忽略数据集中的文本信息。
- 提出的WiTalk框架通过三种层次提示策略无缝集成语义知识，提高性能。
- WiTalk框架在多个公共基准数据集上进行了实验验证，显著提高了无线信号基人体感知技术的性能。
- WiTalk框架的实现代码已公开分享，便于进一步研究和应用。
点此查看论文截图
