Interactive

⚠️ 以下所有内容总结都来自于 大语言模型的能力，如有错误，仅供参考，谨慎使用
🔴 请注意：千万不要用于严肃的学术场景，只能用于论文阅读前的初筛！
💗 如果您觉得我们的项目对您有帮助 ChatPaperFree ，还请您给我们一些鼓励！⭐️ HuggingFace免费体验

2025-05-17 更新

KwaiChat: A Large-Scale Video-Driven Multilingual Mixed-Type Dialogue Corpus

Authors:Xiaoming Shi, Zeming Liu, Yiming Lei, Chenkai Zhang, Haitao Leng, Chuan Wang, Qingjie Liu, Wanxiang Che, Shaoguo Liu, Size Li, Yunhong Wang

Video-based dialogue systems, such as education assistants, have compelling application value, thereby garnering growing interest. However, the current video-based dialogue systems are limited by their reliance on a single dialogue type, which hinders their versatility in practical applications across a range of scenarios, including question-answering, emotional dialog, etc. In this paper, we identify this challenge as how to generate video-driven multilingual mixed-type dialogues. To mitigate this challenge, we propose a novel task and create a human-to-human video-driven multilingual mixed-type dialogue corpus, termed KwaiChat, containing a total of 93,209 videos and 246,080 dialogues, across 4 dialogue types, 30 domains, 4 languages, and 13 topics. Additionally, we establish baseline models on KwaiChat. An extensive analysis of 7 distinct LLMs on KwaiChat reveals that GPT-4o achieves the best performance but still cannot perform well in this situation even with the help of in-context learning and fine-tuning, which indicates that the task is not trivial and needs further research.

基于视频的对话系统，如教育助理，具有引人注目的应用价值，因此正日益受到关注。然而，当前的基于视频的对话系统受限于其依赖于单一对话类型，这阻碍了它们在问答、情感对话等多种场景中的实际应用灵活性。在本文中，我们将这一挑战识别为如何生成视频驱动的多语言混合类型对话。为了缓解这一挑战，我们提出了一个新任务，并创建了一个人机视频驱动的多语言混合类型对话语料库，名为KwaiChat。它包含93,209个视频和246,080个对话，涵盖4种对话类型、30个领域、4种语言和13个主题。此外，我们在KwaiChat上建立了基线模型。对KwaiChat的7种不同LLMs的广泛分析表明，GPT-4o取得了最佳性能，但在上下文学习和微调的帮助下仍然无法在此情况下表现良好，这表明该任务并不简单且需要进一步研究。

论文及项目相关链接

PDF

Summary

视频对话系统在教育助理等领域具有应用价值，并受到越来越多的关注。然而，当前视频对话系统依赖于单一对话类型，限制了其在问答、情感对话等多场景应用中的通用性。本文提出生成视频驱动的多语言混合类型对话任务，并创建了一个全新的人与人之间视频驱动的多语言混合类型对话语料库——KwaiChat。该语料库包含93,209个视频和246,080个对话，涵盖4种对话类型、30个领域、4种语言和13个主题。对7种大型语言模型的广泛分析表明，GPT-4o表现最佳，但在这一任务中仍需进一步研究和改进。

Key Takeaways

1. 视频对话系统在教育助理等领域具有应用价值。
2. 当前视频对话系统受限于单一对话类型，缺乏通用性。
3. 本文提出生成视频驱动的多语言混合类型对话任务。
4. 创建了名为KwaiChat的视频驱动多语言混合类型对话语料库。
5. KwaiChat包含93,209个视频和246,080个对话，覆盖多个领域和语言。
6. GPT-4o在KwaiChat上的表现最佳，但仍需进一步研究改进。

Cool Papers

点此查看论文截图