由威斯康星大学麦迪逊分校、ByteDance 公司提出的、可从一张照片构建 3D 头部的技术『PanoHead: Geometry-Aware 3D Full-Head Synthesis in 360°』已公开。
PanoHead: Geometry-Aware 3D Full-Head Synthesis in 360°
近年来，在计算机视觉和计算机图形学中，对三维人体头部的合成与重建的关注不断升高。现有用于3D人头合成的最先进3D生成式对抗网络（GAN），要么局限于近正面视角，要么难以在大视角下保持3D一致性。我们提出 PanoHead。PanoHead 是首个3D感知生成模型，能够生成具有多样外观和细致形状的、360° 全头部高质量视图一致图像合成。其核心在于提升近期3D GAN 的表现力，并弥合在从视角分布广泛的 in-the-wild 图像中学习时的数据对齐差距。具体而言，我们提出一种用于鲁棒3D GAN 学习的新型两阶段自适应图像对齐方法。此外，我们引入三格神经体积表示，它根植于广泛采用的三平面（triplane）表述，能够有效处理正面与后脑勺特征的纠缠问题。通过将2D图像分割的先验知识融入3D神经场景结构的对抗学习中，本方法实现了在多样背景下可合成的人头生成。得益于这些设计，本方法显著优于传统3D GAN，能够生成具有准确几何和多样外观的高质量3D头部。此外，我们还展示了该系统可以从单张输入图像重建完整的3D头部，用于个性化且逼真的3D头像。
PanoHead: 从单张图像进行3D人头的合成与重建 pic.twitter.com/Z4c0aOwBOU
— AI Insight (@ai_insight1) June 23, 2023
已经可以把用 StableDiffusion 输出的图喂给 PanoHead 了！https://t.co/j4IEEixF4B pic.twitter.com/IXOaReG9PU
— Artoid XYZ (@Artoid_XYZ) June 25, 2023
哎呀，真是厉害了。
使用 Dwayne Johnson 的照片的示例，在侧面和后脑勺上稍微有些违和感，不过如果今后有几张照片的话，感觉就能做到几乎完全复现了吧。
Colab 环境也已公开，所以看起来也能轻松试用。请务必看看！
链接
项目页面
论文
代码 | Github
试用环境 | Colab