3DGS
3DGS 方向最新论文已更新,请持续关注 Update in 2024-03-28 Modeling uncertainty for Gaussian Splatting
Talking Head Generation
Talking Head Generation 方向最新论文已更新,请持续关注 Update in 2024-03-28 Deepfake Generation and Detection A Benchmark and Survey
Diffusion Models
Diffusion Models 方向最新论文已更新,请持续关注 Update in 2024-03-28 AID Attention Interpolation of Text-to-Image Diffusion
NeRF
NeRF 方向最新论文已更新,请持续关注 Update in 2024-03-23 CombiNeRF A Combination of Regularization Techniques for Few-Shot Neural Radiance Field View Synthesis
3DGS
3DGS 方向最新论文已更新,请持续关注 Update in 2024-03-23 MVSplat Efficient 3D Gaussian Splatting from Sparse Multi-View Images
Talking Head Generation
Talking Head Generation 方向最新论文已更新,请持续关注 Update in 2024-03-23 EmoVOCA Speech-Driven Emotional 3D Talking Heads
Diffusion Models
Diffusion Models 方向最新论文已更新,请持续关注 Update in 2024-03-23 GRM Large Gaussian Reconstruction Model for Efficient 3D Reconstruction and Generation
SyncTalk实验笔记
Face-Sync ControllerFacial Animation CapturerBlendshape的提取可参考
https://colab.research.google.com/github/googlesamples/mediapipe/blob/main/examples/face_landmarker/python/%5BMediaPipe_Python_Tasks%5D_Face_Landmarker.ipynb
Head-Sync StabilizerHead Motion Tracker
头部姿势,表示为 p,是指人的头部在 3D 空间中的旋转角度,由旋转 R 和平移 T 定义。
不稳定的头部姿势会导致头部抖动,所以为了获得头部姿势的粗略估计。首先,通过在预定范围内迭代 i 次来确定最佳焦距,对于每个焦距候选 fi,重新初始化旋转和平移值,目标是最小化 3D 可变形模型 (3DMM) 的投影地标与视频帧中的实际地标之间的误差。
其中 $E_i$ 表示的就是 MSE,这样能够以更好地将模型的投影 lmk 与实际视频 lmk 对齐,然后得到最优的旋转和平 ...
3DGS
3DGS 方向最新论文已更新,请持续关注 Update in 2024-03-18 SWAG Splatting in the Wild images with Appearance-conditioned Gaussians
Diffusion Models
Diffusion Models 方向最新论文已更新,请持续关注 Update in 2024-03-18 Isotropic3D Image-to-3D Generation Based on a Single CLIP Embedding