由慕尼黑工业大学、Toyota Motor Europe、Woven by Toyota 的研究人员提出的、可从手机等拍摄的单目影像生成高精度带动画头部 3D Gaussian Splatting 的技术「GAF」已经发布。

GAF: Gaussian Avatar Reconstruction from Monocular Videos via Multi-view Diffusion

我们提出了一种新的方法，用于从由智能手机等通用设备拍摄的单目视频中重建可动画的 3D 高斯头像。 从这类录制视频中重建逼真的 3D 头部头像具有挑战性，因为可观测信息有限，未观测区域会在没有约束的情况下保留，并可能在新视角中引入伪影。 为了解决这一问题，我们引入了多视图头部扩散模型，并利用其先验来填补缺失区域，同时确保高斯 splatting 渲染中的视图一致性。 为了实现精确的视角控制，我们使用从基于 FLAME 的头部重建中渲染的法线图，提供像素对齐的引导偏置。 我们还将从输入图像中提取的 VAE 特征作为扩散模型的条件，以保留面部身份和外观细节。 为了进行高斯头像重建，我们通过将反复去噪后的图像作为伪真值来提取多视图扩散先验，从而有效缓解过饱和问题。 为了进一步提升照片级真实感，我们在将图像解码之前应用潜在空间上采样，以细化去噪后的潜在信息。 我们在 NeRSemble 数据集上评估了该方法，并表明 GAF 在新视角合成和新表情动画方面优于以往最先进方法。 此外，我们还展示了从通用设备拍摄的单目视频中进行更忠实的头像重建。

精度相当高，真厉害！这类技术今后应该还会继续发展吧。很期待它实现实用化。
目前「GAF」仅公开了论文，虽然有 Github 页面，但代码尚未公开。
关于详细信息，请查看项目页面。

链接

GAF: Gaussian Avatar Reconstruction from Monocular Videos via Multi-view Diffusion