⚠️ 以下所有内容总结都来自于 大语言模型的能力，如有错误，仅供参考，谨慎使用
🔴 请注意：千万不要用于严肃的学术场景，只能用于论文阅读前的初筛！
💗 如果您觉得我们的项目对您有帮助 ChatPaperFree ，还请您给我们一些鼓励！⭐️ HuggingFace免费体验
2025-01-09 更新
VideoAnydoor: High-fidelity Video Object Insertion with Precise Motion Control
Authors:Yuanpeng Tu, Hao Luo, Xi Chen, Sihui Ji, Xiang Bai, Hengshuang Zhao
Despite significant advancements in video generation, inserting a given object into videos remains a challenging task. The difficulty lies in preserving the appearance details of the reference object and accurately modeling coherent motions at the same time. In this paper, we propose VideoAnydoor, a zero-shot video object insertion framework with high-fidelity detail preservation and precise motion control. Starting from a text-to-video model, we utilize an ID extractor to inject the global identity and leverage a box sequence to control the overall motion. To preserve the detailed appearance and meanwhile support fine-grained motion control, we design a pixel warper. It takes the reference image with arbitrary key-points and the corresponding key-point trajectories as inputs. It warps the pixel details according to the trajectories and fuses the warped features with the diffusion U-Net, thus improving detail preservation and supporting users in manipulating the motion trajectories. In addition, we propose a training strategy involving both videos and static images with a weighted loss to enhance insertion quality. VideoAnydoor demonstrates significant superiority over existing methods and naturally supports various downstream applications (e.g., talking head generation, video virtual try-on, multi-region editing) without task-specific fine-tuning.
尽管视频生成领域已经取得了重大进展，但在视频中插入给定对象仍然是一项具有挑战性的任务。难点在于同时保留参考对象的外貌细节并准确模拟连贯的动作。在本文中，我们提出了VideoAnydoor，这是一个零样本视频对象插入框架，具有高保真细节保留和精确运动控制的特点。我们从文本到视频模型出发，利用ID提取器注入全局身份，并利用框序列控制整体运动。为了保留详细的外观同时支持精细的运动控制，我们设计了一个像素扭曲器。它接受带有任意关键点的参考图像和相应的关键点轨迹作为输入。它根据轨迹扭曲像素细节，并将扭曲的特征与扩散U-Net融合，从而提高了细节保留性，并支持用户操作运动轨迹。此外，我们提出了一种包括视频和静态图像的训练策略，使用加权损失来提高插入质量。VideoAnydoor相对于现有方法表现出显著的优势，自然地支持各种下游应用（例如谈话头部生成、视频虚拟试穿、多区域编辑）而无需针对特定任务进行微调。
论文及项目相关链接
PDF Project page: https://videoanydoor.github.io/
Summary
本文提出一种名为VideoAnydoor的零样本视频对象插入框架，具有高精度细节保留和精确运动控制特点。该框架以文本转视频模型为基础，通过ID提取器注入全局身份，并利用序列控制整体运动。为保留详细外观并支持精细运动控制，设计像素弯曲器，根据轨迹对参考图像进行像素级变形，并与扩散U-Net融合特征。此外，提出涉及视频和静态图像的训练策略，采用加权损失以提高插入质量。VideoAnydoor相较于现有方法具有显著优势，可自然应用于各种下游应用，如谈话头生成、视频虚拟试穿、多区域编辑等，无需特定任务微调。
Key Takeaways
- VideoAnydoor是一个零样本视频对象插入框架，旨在解决视频生成中的对象插入难题。
- 框架能够高保真地保留细节，并精确控制运动。
- 利用文本转视频模型、ID提取器和序列来控制运动和整体效果。
- 像素弯曲器的设计可按照轨迹对参考图像进行像素级变形，并与扩散U-Net融合，提高细节保留和运动轨迹操控。
- 训练策略涉及视频和静态图像，采用加权损失以提高插入质量。
- VideoAnydoor在多种下游应用中表现优越，如谈话头生成、视频虚拟试穿、多区域编辑等。
点此查看论文截图
