嘘~ 正在从服务器偷取页面 . . .

Text-to-Motion


⚠️ 以下所有内容总结都来自于 大语言模型的能力,如有错误,仅供参考,谨慎使用
🔴 请注意:千万不要用于严肃的学术场景,只能用于论文阅读前的初筛!
💗 如果您觉得我们的项目对您有帮助 ChatPaperFree ,还请您给我们一些鼓励!⭐️ HuggingFace免费体验

2025-03-21 更新

Reinforcement learning-based motion imitation for physiologically plausible musculoskeletal motor control

Authors:Merkourios Simos, Alberto Silvio Chiappa, Alexander Mathis

How do humans move? The quest to understand human motion has broad applications in numerous fields, ranging from computer animation and motion synthesis to neuroscience, human prosthetics and rehabilitation. Although advances in reinforcement learning (RL) have produced impressive results in capturing human motion using simplified humanoids, controlling physiologically accurate models of the body remains an open challenge. In this work, we present a model-free motion imitation framework (KINESIS) to advance the understanding of muscle-based motor control. Using a musculoskeletal model of the lower body with 80 muscle actuators and 20 DoF, we demonstrate that KINESIS achieves strong imitation performance on 1.9 hours of motion capture data, is controllable by natural language through pre-trained text-to-motion generative models, and can be fine-tuned to carry out high-level tasks such as target goal reaching. Importantly, KINESIS generates muscle activity patterns that correlate well with human EMG activity. The physiological plausibility makes KINESIS a promising model for tackling challenging problems in human motor control theory, which we highlight by investigating Bernstein’s redundancy problem in the context of locomotion. Code, videos and benchmarks will be available at https://github.com/amathislab/Kinesis.

人类是如何运动的?对人类运动的理解具有广泛的应用,涉及计算机动画、运动合成、神经科学、人体假肢和康复等多个领域。尽管强化学习(RL)的进展在使用简化人形捕捉人类运动方面取得了令人印象深刻的结果,但控制生理准确的身体模型仍然是一个开放性的挑战。在这项工作中,我们提出了一个无模型的运动模仿框架(KINESIS),以促进对基于肌肉的运动控制的理解。我们使用具有80个肌肉执行器和20个自由度(DoF)的下肢骨骼肌肉模型进行演示,证明了KINESIS在1.9小时的运动捕捉数据上实现了强大的模仿性能,可以通过预训练的文本到运动生成模型通过自然语言进行控制,并且可以通过微调执行高级任务,如目标目标达成。重要的是,KINESIS产生的肌肉活动模式与人类肌电图活动具有很好的相关性。其生理可行性使KINESIS成为解决人类运动控制理论中的难题的有前途的模型,我们通过研究Bernstein在行走背景下的冗余问题来突出这一点。代码、视频和基准测试将在https://github.com/amathislab/Kinesis上提供。

论文及项目相关链接

PDF

Summary
人类如何运动?对运动理解的研究在多个领域具有广泛应用,如计算机动画、运动合成、神经科学、人类假肢和康复等。尽管强化学习(RL)在利用简化人形捕捉人类运动方面取得了令人印象深刻的结果,但控制生理准确的人体模型仍是一个挑战。在此工作中,我们提出了一种无模型的运动模仿框架(KINESIS),以推动基于肌肉的运动控制的理解。使用具有80个肌肉执行器和20个自由度(DoF)的下肢骨骼肌肉模型,我们证明了KINESIS在1.9小时的捕捉运动数据上实现了强大的模仿性能,可通过预训练的文本到运动生成模型实现自然语言控制,并且可以微调以执行高级任务,如目标目标达成。重要的是,KINESIS生成的肌肉活动模式与人类肌电图活动高度相关。其生理合理性使得KINESIS成为解决人类运动控制理论中的难题的潜力模型,我们以伯恩斯坦的冗余问题在行走方面的上下文为例加以强调。相关代码、视频和基准测试将在https://github.com/amathislab/Kinesis上提供。

Key Takeaways

  1. 人类运动理解在多领域有广泛应用。
  2. 强化学习在捕捉人类运动方面取得显著进展,但控制生理准确模型仍是挑战。
  3. KINESIS框架用于无模型运动模仿,实现强大的模仿性能。
  4. KINESIS框架适用于自然语言控制,能进行高级任务如目标达成。
  5. KINESIS框架生成肌肉活动模式与人类肌电图活动高度相关。
  6. KINESIS框架具有生理合理性,为解决人类运动控制理论中的难题提供了潜力。

Cool Papers

点此查看论文截图


文章作者: Kedreamix
版权声明: 本博客所有文章除特別声明外,均采用 CC BY 4.0 许可协议。转载请注明来源 Kedreamix !
 上一篇
R1_Reasoning R1_Reasoning
R1_Reasoning 方向最新论文已更新,请持续关注 Update in 2025-03-22 Chain of Functions A Programmatic Pipeline for Fine-Grained Chart Reasoning Data
2025-03-22
下一篇 
Talking Head Generation Talking Head Generation
Talking Head Generation 方向最新论文已更新,请持续关注 Update in 2025-03-21 Cafe-Talk Generating 3D Talking Face Animation with Multimodal Coarse- and Fine-grained Control
  目录