卡利福尼亚大学默塞德分校和 Adobe Research 发布了一项名为“FaceLift”的技术，可从人脸单张图像生成高保真的 3D 高斯头部表示。

FaceLift: Single Image to 3D Head with View Generation and GS-LRM

FaceLift 是一种新的前馈式方法，能够从 1 张图像快速且高质量地重建 360 度头部。我们的流程首先采用多视图潜空间扩散模型，从单张人脸输入生成一致的头部侧面和背面视图。这些生成的视图会作为输入送入 GS-LRM 重建器，利用高斯 splatting 生成全面的 3D 表示。为了训练该系统，我们开发了一个使用合成 3D 人头资产进行多视图渲染的数据集。基于扩散的多视图生成器仅使用合成人头图像进行训练，而 GS-LRM 重建器先在 Objaverse 上进行初始训练，然后再用合成人头数据进行微调。FaceLift 在保持身份一致性和重建间视图一致性方面表现出色。尽管仅使用合成数据训练，我们的方法对真实世界图像也展现出显著的泛化能力。通过广泛的定性和定量评估，我们证明 FaceLift 在 3D 头部重建方面优于现有最先进方法，突出了其在真实世界图像上的实用适用性和稳健性能。除了单图像重建外，FaceLift 还支持用于 4D 新视角合成的视频输入，并可与支持 3D 面部动画的 2D 再动画技术无缝集成。

这类技术给人的印象是精度正在不断提升。
详细内容请查看项目页面和论文！

链接

FaceLift: Single Image to 3D Head with View Generation and GS-LRM

Paper