⚠️ 以下所有内容总结都来自于 大语言模型的能力，如有错误，仅供参考，谨慎使用
🔴 请注意：千万不要用于严肃的学术场景，只能用于论文阅读前的初筛！
💗 如果您觉得我们的项目对您有帮助 ChatPaperFree ，还请您给我们一些鼓励！⭐️ HuggingFace免费体验
2025-06-21 更新
Exploring Timeline Control for Facial Motion Generation
Authors:Yifeng Ma, Jinwei Qi, Chaonan Ji, Peng Zhang, Bang Zhang, Zhidong Deng, Liefeng Bo
This paper introduces a new control signal for facial motion generation: timeline control. Compared to audio and text signals, timelines provide more fine-grained control, such as generating specific facial motions with precise timing. Users can specify a multi-track timeline of facial actions arranged in temporal intervals, allowing precise control over the timing of each action. To model the timeline control capability, We first annotate the time intervals of facial actions in natural facial motion sequences at a frame-level granularity. This process is facilitated by Toeplitz Inverse Covariance-based Clustering to minimize human labor. Based on the annotations, we propose a diffusion-based generation model capable of generating facial motions that are natural and accurately aligned with input timelines. Our method supports text-guided motion generation by using ChatGPT to convert text into timelines. Experimental results show that our method can annotate facial action intervals with satisfactory accuracy, and produces natural facial motions accurately aligned with timelines.
本文介绍了一种用于面部运动生成的新型控制信号：时间线控制。与音频和文本信号相比，时间线提供了更精细的控制，例如生成具有精确时间安排的特定面部运动。用户可以指定按时间间隔排列的面部动作的多轨道时间线，从而实现对每个动作时间的精确控制。为了建立时间线控制能力模型，我们首先以帧级别粒度在自然面部运动序列中标注面部动作的时间间隔。这一过程通过基于Toeplitz逆协方差聚类进行，以尽量减少人工操作。基于这些标注，我们提出了一种基于扩散的生成模型，能够生成自然且准确与输入时间线对齐的面部运动。我们的方法支持通过ChatGPT将文本转换为时间线，从而实现运动生成。实验结果表明，我们的方法可以准确标注面部动作间隔，并生成与时间表准确对齐的自然面部运动。
论文及项目相关链接
PDF Accepted by CVPR 2025, Project Page: https://humanaigc.github.io/facial-motion-timeline-control/
Summary
本文介绍了一种新的面部运动生成控制信号：时间线控制。相较于音频和文本信号，时间线控制提供了更精细的控制，例如生成具有精确时间安排的特定面部运动。用户可指定按时间间隔排列的面部动作的多轨道时间线，实现对每个动作时间的精确控制。文章通过Toeplitz逆协方差聚类以最小化人力成本的方式，对面部运动序列中的面部动作时间间隔进行帧级粒度标注。基于这些标注，提出了一种基于扩散的生成模型，能够生成自然且与输入时间线精确对齐的面部运动。该方法支持通过ChatGPT将文本转化为时间线，指导运动生成。实验结果表明，该方法能够准确标注面部动作间隔，并生成与时间线精确对齐的自然面部运动。
Key Takeaways
- 引入了新的面部运动生成控制信号——时间线控制。
- 时间线控制提供了更精细的控制，可生成具有精确时间安排的面部运动。
- 用户可指定多轨道时间线，按时间间隔控制面部动作。
- 采用Toeplitz逆协方差聚类方法进行面部动作时间间隔的帧级粒度标注。
- 提出了一种基于扩散的生成模型，可生成自然且与输入时间线对齐的面部运动。
- 支持通过ChatGPT将文本转化为时间线，作为运动的指导。
点此查看论文截图
