⚠️ 以下所有内容总结都来自于 大语言模型的能力，如有错误，仅供参考，谨慎使用
🔴 请注意：千万不要用于严肃的学术场景，只能用于论文阅读前的初筛！
💗 如果您觉得我们的项目对您有帮助 ChatPaperFree ，还请您给我们一些鼓励！⭐️ HuggingFace免费体验
2025-11-18 更新
BecomingLit: Relightable Gaussian Avatars with Hybrid Neural Shading
Authors:Jonathan Schmidt, Simon Giebenhain, Matthias Niessner
We introduce BecomingLit, a novel method for reconstructing relightable, high-resolution head avatars that can be rendered from novel viewpoints at interactive rates. Therefore, we propose a new low-cost light stage capture setup, tailored specifically towards capturing faces. Using this setup, we collect a novel dataset consisting of diverse multi-view sequences of numerous subjects under varying illumination conditions and facial expressions. By leveraging our new dataset, we introduce a new relightable avatar representation based on 3D Gaussian primitives that we animate with a parametric head model and an expression-dependent dynamics module. We propose a new hybrid neural shading approach, combining a neural diffuse BRDF with an analytical specular term. Our method reconstructs disentangled materials from our dynamic light stage recordings and enables all-frequency relighting of our avatars with both point lights and environment maps. In addition, our avatars can easily be animated and controlled from monocular videos. We validate our approach in extensive experiments on our dataset, where we consistently outperform existing state-of-the-art methods in relighting and reenactment by a significant margin.
我们介绍了BecomingLit这一新型方法，用于重建可重新照明的、高分辨率的头部化身，这些化身能够以互动速率从全新视角进行渲染。因此，我们提出了一种新的低成本灯光舞台捕捉装置，特别适用于捕捉面部。使用该装置，我们收集了一个包含多种主题在不同照明条件和面部表情下的多样化多角度序列的新型数据集。通过利用我们的新数据集，我们引入了一种基于三维高斯基元的新可重新照明化身表示法，我们使用参数化头部模型和表情依赖的动态模块对其进行动画处理。我们提出了一种新的混合神经着色方法，将神经漫反射BRDF与分析镜面术语相结合。我们的方法从动态光照舞台记录中重建出分离的材料，使我们的化身能够进行全频率重新照明，同时支持点光源和环境映射。此外，我们的化身可以很容易地从单目视频中控制。我们在自己的数据集上进行了大量实验，验证了我们的方法，在重新照明和重演方面始终显著优于现有先进技术。
论文及项目相关链接
PDF NeurIPS 2025, Project Page: see https://jonathsch.github.io/becominglit/ , YouTube Video: see https://youtu.be/xPyeIqKdszA
Summary
在本文中，我们介绍了BecomingLit这一新型方法，它能重建出具有重光照功能的高分辨率头部虚拟角色，并以互动速率从全新视角进行渲染。我们提出了一种针对面部捕捉的低成本光照舞台设置方案，并基于此收集了一个包含多样化多角度序列、不同照明条件和面部表情的新数据集。利用此数据集，我们引入了一种基于三维高斯原始形态的可重光照虚拟角色表示方法，通过参数化头部模型和表情依赖的动态模块进行动画化。我们提出了一种新的混合神经着色方法，结合了神经漫反射BRDF和解析镜面反射项。我们的方法从动态光照舞台记录中重建出分离的材料，并使我们的虚拟角色可以进行全频率重光照，既可以用点光源也可以用环境地图。此外，我们的虚拟角色还可以轻松地从单目视频进行动画化和控制。在我们的数据集上进行的大量实验验证了我们的方法，在重光照和面部再演绎方面显著优于现有先进技术。
Key Takeaways
- BecomingLit是一种新型重建方法，能创建高分辨率的头部虚拟角色，具有重光照功能。
- 提出了低成本的面部捕捉光照舞台设置。
- 收集了一个多样化多角度序列、包含不同照明条件和面部表情的新数据集。
- 引入了基于三维高斯原始形态的可重光照虚拟角色表示方法。
- 采用了混合神经着色方法，结合了神经漫反射BRDF和解析镜面反射项。
- 方法可以从动态光照舞台记录中重建出分离的材料，实现全频率重光照。