⚠️ 以下所有内容总结都来自于 大语言模型的能力，如有错误，仅供参考，谨慎使用
🔴 请注意：千万不要用于严肃的学术场景，只能用于论文阅读前的初筛！
💗 如果您觉得我们的项目对您有帮助 ChatPaperFree ，还请您给我们一些鼓励！⭐️ HuggingFace免费体验
2025-09-20 更新
Roll Your Eyes: Gaze Redirection via Explicit 3D Eyeball Rotation
Authors:YoungChan Choi, HengFei Wang, YiHua Cheng, Boeun Kim, Hyung Jin Chang, YoungGeun Choi, Sang-Il Choi
We propose a novel 3D gaze redirection framework that leverages an explicit 3D eyeball structure. Existing gaze redirection methods are typically based on neural radiance fields, which employ implicit neural representations via volume rendering. Unlike these NeRF-based approaches, where the rotation and translation of 3D representations are not explicitly modeled, we introduce a dedicated 3D eyeball structure to represent the eyeballs with 3D Gaussian Splatting (3DGS). Our method generates photorealistic images that faithfully reproduce the desired gaze direction by explicitly rotating and translating the 3D eyeball structure. In addition, we propose an adaptive deformation module that enables the replication of subtle muscle movements around the eyes. Through experiments conducted on the ETH-XGaze dataset, we demonstrate that our framework is capable of generating diverse novel gaze images, achieving superior image quality and gaze estimation accuracy compared to previous state-of-the-art methods.
我们提出了一种新型的3D目光重定向框架，该框架利用明确的3D眼球结构。现有的目光重定向方法通常基于神经辐射场，通过体积渲染采用隐式神经表示。与这些基于NeRF的方法不同，其中3D表示的旋转和平移并没有明确建模，我们引入了一个专门的3D眼球结构，使用3D高斯贴图（3DGS）来表示眼球。我们的方法生成了逼真的图像，通过明确旋转和平移3D眼球结构，忠实复现了所需的目光方向。此外，我们提出了一个自适应变形模块，能够复制眼睛周围细微的肌肉运动。我们在ETH-XGaze数据集上进行的实验表明，我们的框架能够生成多种新颖的目光图像，与现有最先进的方法相比，图像质量和目光估计准确性更胜一筹。
论文及项目相关链接
PDF 9 pages, 5 figures, ACM Multimeida 2025 accepted
摘要
本文提出了一种新颖的3D目光重定向框架，该框架利用明确的3D眼球结构。与传统的基于神经辐射场的方法不同，这些方法采用隐式神经表示并通过体积渲染实现，而我们通过引入专门的3D眼球结构来表示眼球，并采用3D高斯拼贴（3DGS）。该方法能够生成逼真的图像，通过明确旋转和翻译3D眼球结构来忠实再现所需的目光方向。此外，我们提出了一种自适应变形模块，能够复制眼睛周围肌肉细微运动。在ETH-XGaze数据集上进行的实验表明，我们的框架能够生成多种新颖的目光图像，与以往最先进的方法相比，图像质量和目光估计准确性更高。
要点总结
- 提出了一种新颖的3D目光重定向框架，利用明确的3D眼球结构。
- 与基于神经辐射场的方法不同，采用专门的3D眼球结构来表示眼球。
- 通过引入的3D高斯拼贴技术，实现了对目光方向的准确模拟。
- 能够生成高质量的图像，展现出逼真和动态的眼部表情。
- 提出了一种自适应变形模块，模拟眼睛周围肌肉细微运动。
- 在ETH-XGaze数据集上的实验表明，该框架在生成多样化和高质量的目光图像方面表现优越。
点此查看论文截图
