Adventures in Kedreamix' Digital World

Talking Head Generation 方向最新论文已更新，请持续关注 Update in 2024-03-28 Deepfake Generation and Detection A Benchmark and Survey

Diffusion Models 方向最新论文已更新，请持续关注 Update in 2024-03-28 AID Attention Interpolation of Text-to-Image Diffusion

NeRF 方向最新论文已更新，请持续关注 Update in 2024-03-23 CombiNeRF A Combination of Regularization Techniques for Few-Shot Neural Radiance Field View Synthesis

3DGS 方向最新论文已更新，请持续关注 Update in 2024-03-23 MVSplat Efficient 3D Gaussian Splatting from Sparse Multi-View Images

Talking Head Generation 方向最新论文已更新，请持续关注 Update in 2024-03-23 EmoVOCA Speech-Driven Emotional 3D Talking Heads

Diffusion Models 方向最新论文已更新，请持续关注 Update in 2024-03-23 GRM Large Gaussian Reconstruction Model for Efficient 3D Reconstruction and Generation

Face-Sync ControllerFacial Animation CapturerBlendshape的提取可参考 https://colab.research.google.com/github/googlesamples/mediapipe/blob/main/examples/face_landmarker/python/%5BMediaPipe_Python_Tasks%5D_Face_Landmarker.ipynb Head-Sync StabilizerHead Motion Tracker 头部姿势，表示为 p，是指人的头部在 3D 空间中的旋转角度，由旋转 R 和平移 T 定义。 不稳定的头部姿势会导致头部抖动，所以为了获得头部姿势的粗略估计。首先，通过在预定范围内迭代 i 次来确定最佳焦距，对于每个焦距候选 fi，重新初始化旋转和平移值，目标是最小化 3D 可变形模型 (3DMM) 的投影地标与视频帧中的实际地标之间的误差。 其中 $E_i$ 表示的就是 MSE，这样能够以更好地将模型的投影 lmk 与实际视频 lmk 对齐，然后得到最优的旋转和平 ...

3DGS 方向最新论文已更新，请持续关注 Update in 2024-03-18 SWAG Splatting in the Wild images with Appearance-conditioned Gaussians

Diffusion Models 方向最新论文已更新，请持续关注 Update in 2024-03-18 Isotropic3D Image-to-3D Generation Based on a Single CLIP Embedding

REAL3D-PORTRAIT: ONE-SHOT REALISTIC 3D TALKING PORTRAIT SYNTHESISPaper : https://arxiv.org/pdf/2401.08503.pdf Project : https://real3dportrait.github.io/ Code : https://github.com/yerfor/Real3DPortrait Rebuttal: https://real3dportrait.github.io/static/pages/rebuttal.html 摘要 (1) 研究背景：说话人像生成旨在根据驱动条件（动作序列或驱动音频）合成说话人像视频。这是一个计算机图形学和计算机视觉中长期存在的跨模态任务，具有视频会议和虚拟现实 (VR) 等多项实际应用。先前的 2D 方法可以产生逼真的视频，这要归功于生成对抗网络 (GAN) 的强大功能。然而，由于缺乏显式的 3D 建模，这些 2D 方法在头部大幅移动时会面临变形伪影和不真实的失真。在过去的几年中，基于神经辐射场 (NeRF) 的 3D ...