⚠️ 以下所有内容总结都来自于 大语言模型的能力，如有错误，仅供参考，谨慎使用
🔴 请注意：千万不要用于严肃的学术场景，只能用于论文阅读前的初筛！
💗 如果您觉得我们的项目对您有帮助 ChatPaperFree ，还请您给我们一些鼓励！⭐️ HuggingFace免费体验
2025-01-25 更新
Deblur-Avatar: Animatable Avatars from Motion-Blurred Monocular Videos
Authors:Xianrui Luo, Juewen Peng, Zhongang Cai, Lei Yang, Fan Yang, Zhiguo Cao, Guosheng Lin
We introduce Deblur-Avatar, a novel framework for modeling high-fidelity, animatable 3D human avatars from motion-blurred monocular video inputs. Motion blur is prevalent in real-world dynamic video capture, especially due to human movements in 3D human avatar modeling. Existing methods either (1) assume sharp image inputs, failing to address the detail loss introduced by motion blur, or (2) mainly consider blur by camera movements, neglecting the human motion blur which is more common in animatable avatars. Our proposed approach integrates a human movement-based motion blur model into 3D Gaussian Splatting (3DGS). By explicitly modeling human motion trajectories during exposure time, we jointly optimize the trajectories and 3D Gaussians to reconstruct sharp, high-quality human avatars. We employ a pose-dependent fusion mechanism to distinguish moving body regions, optimizing both blurred and sharp areas effectively. Extensive experiments on synthetic and real-world datasets demonstrate that Deblur-Avatar significantly outperforms existing methods in rendering quality and quantitative metrics, producing sharp avatar reconstructions and enabling real-time rendering under challenging motion blur conditions.
我们介绍了Deblur-Avatar，这是一个新的框架，可以从运动模糊的单目视频输入中建立高保真、可动画的3D人类化身。运动模糊在现实世界中的动态视频捕捉中普遍存在，特别是在3D人类化身建模中。现有方法要么（1）假设图像输入是清晰的，无法解决运动模糊引起的细节损失，要么（2）主要考虑由摄像头运动引起的模糊，而忽略在可动画化身中更常见的运动模糊。我们提出的方法将基于人类运动的运动模糊模型集成到3D高斯喷溅（3DGS）中。通过显式建模曝光时间内的人的运动轨迹，我们联合优化轨迹和3D高斯，以重建清晰、高质量的人类化身。我们采用姿态依赖融合机制来区分移动的身体区域，有效地优化模糊和清晰区域。在合成和真实世界数据集上的大量实验表明，Deblur-Avatar在渲染质量和定量指标方面显著优于现有方法，能够生成清晰的高质量化身，并在具有挑战性的运动模糊条件下实现实时渲染。
论文及项目相关链接
Summary
高清动画模糊化头像生成新方法：针对现实场景中人物动作导致的模糊，提出了一种新型建模框架。该方法融合3D动态模型和运动模糊模型，优化轨迹和三维高斯映射，生成高质量、可动画的模糊化头像。
Key Takeaways
一、提出一种名为Deblur-Avatar的新型框架，可以从运动模糊的单目视频输入中建立高质量的可动画3D人类头像。
二、针对现实世界中人物动态视频捕捉中的运动模糊问题，现有方法无法有效处理，而Deblur-Avatar能有效解决此问题。
三、融合基于人物运动的模糊模型与三维高斯映射技术（3DGS），优化轨迹与三维高斯映射以重建清晰的高质量头像。
四、采用姿态相关融合机制来区分身体移动区域，对模糊和清晰区域进行有效优化。
五、在合成和真实世界数据集上的实验表明，Deblur-Avatar在渲染质量和定量指标上显著优于现有方法，能在挑战性的运动模糊条件下生成清晰的头像重建并实现实时渲染。
六、该研究推动了从运动模糊视频输入中建立高质量可动画头像的技术进步。
点此查看论文截图
