⚠️ 以下所有内容总结都来自于 大语言模型的能力，如有错误，仅供参考，谨慎使用
🔴 请注意：千万不要用于严肃的学术场景，只能用于论文阅读前的初筛！
💗 如果您觉得我们的项目对您有帮助 ChatPaperFree ，还请您给我们一些鼓励！⭐️ HuggingFace免费体验
2025-11-15 更新
AHA! Animating Human Avatars in Diverse Scenes with Gaussian Splatting
Authors:Aymen Mir, Jian Wang, Riza Alp Guler, Chuan Guo, Gerard Pons-Moll, Bing Zhou
We present a novel framework for animating humans in 3D scenes using 3D Gaussian Splatting (3DGS), a neural scene representation that has recently achieved state-of-the-art photorealistic results for novel-view synthesis but remains under-explored for human-scene animation and interaction. Unlike existing animation pipelines that use meshes or point clouds as the underlying 3D representation, our approach introduces the use of 3DGS as the 3D representation to the problem of animating humans in scenes. By representing humans and scenes as Gaussians, our approach allows for geometry-consistent free-viewpoint rendering of humans interacting with 3D scenes. Our key insight is that the rendering can be decoupled from the motion synthesis and each sub-problem can be addressed independently, without the need for paired human-scene data. Central to our method is a Gaussian-aligned motion module that synthesizes motion without explicit scene geometry, using opacity-based cues and projected Gaussian structures to guide human placement and pose alignment. To ensure natural interactions, we further propose a human-scene Gaussian refinement optimization that enforces realistic contact and navigation. We evaluate our approach on scenes from Scannet++ and the SuperSplat library, and on avatars reconstructed from sparse and dense multi-view human capture. Finally, we demonstrate that our framework allows for novel applications such as geometry-consistent free-viewpoint rendering of edited monocular RGB videos with new animated humans, showcasing the unique advantage of 3DGS for monocular video-based human animation.
我们提出了一种利用三维高斯拼贴（3DGS）在三维场景中进行人物动画的新型框架。3DGS是一种神经场景表示，最近在新视角合成方面实现了最先进的逼真效果，但在人物场景动画和交互方面仍待探索。与现有的使用网格或点云作为底层三维表示的动画流水线不同，我们的方法将3DGS引入场景中的人物动画问题作为三维表示。通过将人物和场景表示为高斯分布，我们的方法允许对人物与三维场景的交互进行几何一致的自由视点渲染。我们的关键见解是，渲染可以与运动合成解耦，每个子问题都可以独立解决，无需配对的人物场景数据。我们方法的核心是对齐高斯运动模块，该模块可以在没有明确的场景几何的情况下合成运动，利用基于不透明度的线索和投影高斯结构来指导人物放置和姿势对齐。为了确保自然交互，我们进一步提出了人物场景高斯细化优化，以强制执行现实的接触和导航。我们在Scannet++和SuperSplat库的场景上评估了我们的方法，并在从稀疏和密集的多视角人物捕捉中重建的化身上进行了评估。最后，我们证明了我们的框架允许新的应用，如编辑的单目RGB视频几何一致的自由视点渲染中的新动画人物，展示了3DGS在单目视频人物动画中的独特优势。
论文及项目相关链接
Summary
在三维场景中，提出了一种基于三维高斯融合（3DGS）的新框架进行人物动画制作。该方法采用高斯表示人物和场景，实现几何一致性自由视角的人物与场景互动渲染。其核心在于将渲染与运动合成解耦，并独立解决每个子问题，无需配对的人物场景数据。通过高斯对齐运动模块合成运动，并利用基于不透明度的线索和投影高斯结构指导人物放置和姿态对齐。为确保自然互动，进一步提出了人物场景高斯优化，以强制实现真实接触和导航。经Scannet++和SuperSplat库的场景以及稀疏和密集多视角人物捕获重建的化身验证，该框架可实现如编辑的单目RGB视频几何一致性自由视角渲染等新应用，展示了3DGS在单目视频人物动画中的独特优势。
Key Takeaways
- 提出了一种基于三维高斯融合（3DGS）的新框架用于人物动画制作，采用高斯表示人物和场景。
- 实现几何一致性自由视角的人物与场景互动渲染。
- 将渲染与运动合成解耦，可独立解决每个子问题，无需配对的人物场景数据。
- 通过高斯对齐运动模块合成运动，利用基于不透明度的线索和投影高斯结构进行人物放置和姿态对齐。
- 提出了人物场景高斯优化，确保自然互动，实现真实接触和导航。
- 在Scannet++和SuperSplat库的场景以及多种人物重建数据上进行了验证。