⚠️ 以下所有内容总结都来自于 大语言模型的能力，如有错误，仅供参考，谨慎使用
🔴 请注意：千万不要用于严肃的学术场景，只能用于论文阅读前的初筛！
💗 如果您觉得我们的项目对您有帮助 ChatPaperFree ，还请您给我们一些鼓励！⭐️ HuggingFace免费体验
2025-03-15 更新
MotionScript: Natural Language Descriptions for Expressive 3D Human Motions
Authors:Payam Jome Yazdian, Rachel Lagasse, Hamid Mohammadi, Eric Liu, Li Cheng, Angelica Lim
We introduce MotionScript, a novel framework for generating highly detailed, natural language descriptions of 3D human motions. Unlike existing motion datasets that rely on broad action labels or generic captions, MotionScript provides fine-grained, structured descriptions that capture the full complexity of human movement including expressive actions (e.g., emotions, stylistic walking) and interactions beyond standard motion capture datasets. MotionScript serves as both a descriptive tool and a training resource for text-to-motion models, enabling the synthesis of highly realistic and diverse human motions from text. By augmenting motion datasets with MotionScript captions, we demonstrate significant improvements in out-of-distribution motion generation, allowing large language models (LLMs) to generate motions that extend beyond existing data. Additionally, MotionScript opens new applications in animation, virtual human simulation, and robotics, providing an interpretable bridge between intuitive descriptions and motion synthesis. To the best of our knowledge, this is the first attempt to systematically translate 3D motion into structured natural language without requiring training data.
我们介绍了MotionScript，这是一个生成关于3D人体运动高度详细、自然语言描述的新型框架。不同于依赖广泛动作标签或通用标题的现有运动数据集，MotionScript提供精细的、结构化的描述，捕捉人类运动的全部复杂性，包括表现性动作（例如情绪、风格化的行走）以及超出标准运动捕获数据集之外的交互。MotionScript既可作为描述工具，也可作为文本到运动模型的训练资源，能够实现从文本合成高度逼真和多样化的运动。通过为运动数据集增加MotionScript标题，我们展示了在超出分布的运动生成方面的显著改进，使大型语言模型（LLM）能够生成超出现有数据的运动。此外，MotionScript在动画、虚拟人类仿真和机器人技术等领域开启了新的应用，提供了直观描述和运动合成之间的可解释桥梁。据我们所知，这是首次尝试系统地以自然语言形式将三维运动转化为结构化形式，而无需训练数据支持。
论文及项目相关链接
PDF Project webpage: https://pjyazdian.github.io/MotionScript
Summary
MotionScript是一种新型框架，用于生成关于3D人类运动的详细自然语言描述。它不同于依赖广泛动作标签或通用标题的现有运动数据集，MotionScript提供精细结构化的描述，捕捉人类运动的全部复杂性，包括表达性动作（如情绪、风格化的行走）和超出标准运动捕获数据集的交互。MotionScript既可作为描述工具，也可作为文本到运动模型的训练资源，使从文本合成的现实高度逼真和多样化的运动成为可能。通过增强运动数据集与MotionScript标题，我们展示了在超出分布的运动生成方面的显著改进，使大型语言模型能够生成超出现有数据的运动。此外，MotionScript还为动画、虚拟人物仿真和机器人技术打开了新的应用领域，提供了一种直观易懂的语言与动作合成之间的桥梁。它是首次系统性地将三维动作转化为结构化的自然语言，无需训练数据。
Key Takeaways
- MotionScript是一个新型框架，用于生成关于3D人类运动的详细自然语言描述。
- 与现有运动数据集不同，MotionScript提供精细结构化的描述，捕捉人类运动的复杂性。
- MotionScript既可作为描述工具，也可作为训练资源，用于从文本合成高度逼真的运动。
- 通过增强运动数据集与MotionScript标题，显著改进了超出分布的运动生成能力。
- 大型语言模型（LLMs）能够利用MotionScript生成超出现有数据的运动。
- MotionScript为动画、虚拟人物仿真和机器人技术打开了新的应用领域。
点此查看论文截图
