⚠️ 以下所有内容总结都来自于 大语言模型的能力，如有错误，仅供参考，谨慎使用
🔴 请注意：千万不要用于严肃的学术场景，只能用于论文阅读前的初筛！
💗 如果您觉得我们的项目对您有帮助 ChatPaperFree ，还请您给我们一些鼓励！⭐️ HuggingFace免费体验
2025-02-20 更新
Toward a Dialogue System Using a Large Language Model to Recognize User Emotions with a Camera
Authors:Hiroki Tanioka, Tetsushi Ueta, Masahiko Sano
The performance of ChatGPT\copyright{} and other LLMs has improved tremendously, and in online environments, they are increasingly likely to be used in a wide variety of situations, such as ChatBot on web pages, call center operations using voice interaction, and dialogue functions using agents. In the offline environment, multimodal dialogue functions are also being realized, such as guidance by Artificial Intelligence agents (AI agents) using tablet terminals and dialogue systems in the form of LLMs mounted on robots. In this multimodal dialogue, mutual emotion recognition between the AI and the user will become important. So far, there have been methods for expressing emotions on the part of the AI agent or for recognizing them using textual or voice information of the user’s utterances, but methods for AI agents to recognize emotions from the user’s facial expressions have not been studied. In this study, we examined whether or not LLM-based AI agents can interact with users according to their emotional states by capturing the user in dialogue with a camera, recognizing emotions from facial expressions, and adding such emotion information to prompts. The results confirmed that AI agents can have conversations according to the emotional state for emotional states with relatively high scores, such as Happy and Angry.
ChatGPT版权和其他大型语言模型的表现有了很大的提升。在线环境中，它们更有可能在多种情境中被广泛使用，例如在网页上的聊天机器人、使用语音交互的呼叫中心运营以及使用代理的对话功能。在离线环境中，也正在实现多模式对话功能，例如使用平板电脑终端的人工智能代理（AI代理）指导和安装在机器人上的大型语言模型形式的对话系统。在这种多模式对话中，人工智能和用户之间的情感相互识别将变得重要。迄今为止，已有表达AI代理情感或使用文本或用户发言的语音信息来识别情感的方法，但尚未研究AI代理通过用户的面部表情来识别情感的方法。本研究中，我们调查了基于大型语言模型的AI代理是否可以通过与对话中的用户摄像机的捕捉，从面部表情中识别情感，并将此类情感信息添加到提示中来实现与用户的交互。结果证实，对于幸福和愤怒等得分较高的情感状态，AI代理可以根据其情感状态进行对话。
论文及项目相关链接
PDF 4 pages, 5 figures, 1 table, The 1st InterAI: Interactive AI for Human-Centered Robotics workshop in conjunction with IEEE Ro-MAN 2024, Pasadona, LA, USA, Aug. 2024
Summary
人工智能聊天机器人ChatGPT等语言大模型（LLMs）性能显著提升，正广泛应用于在线环境的各种场景。同时，离线环境中的多模态对话功能也在实现，如AI智能代理指导的平板电脑终端和搭载LLMs的机器人对话系统。在多模态对话中，AI和用户之间的情感互认变得重要。本研究探讨了基于LLM的AI代理是否能通过捕捉用户对话时的摄像头记录来识别用户的情绪并据此进行交互。结果显示AI代理可以根据情绪状态进行对话，如快乐和愤怒等情绪状态较高的情境。
Key Takeaways
- ChatGPT等语言大模型（LLMs）性能显著改善，广泛应用于在线环境的多个领域。
- 离线环境中的多模态对话功能正在实现，涉及AI智能代理指导的平板电脑终端和机器人对话系统。
- 多模态对话中，AI和用户之间的情感互认变得重要。
- 本研究探讨了AI代理是否能通过摄像头捕捉用户情绪并进行交互。
- AI代理能够识别用户的情绪状态并进行相应对话，尤其是针对快乐和愤怒等情绪状态较高的情境。
- 目前尚未研究AI代理通过用户面部表情识别情绪的方法。
点此查看论文截图
