这是利用深度学习、从一张图像生成 3D 头发的技术「3D Hair Synthesis Using Volumetric Variational Autoencoders」的 SIGGRAPH Asia 2018 论文。

3D Hair Synthesis Using Volumetric Variational Autoencoders (SIGGRAPH Asia 2018)

最近单视图 3D 头发数字化的进展，使高质量的 CG 角色能够扩展并让终端用户访问，从而可能实现个性化 VR 和游戏体验的新形式。为了处理复杂且多样的头发结构，大多数最先进技术都依赖于从综合头发数据库中成功检索特定的头发模型。上述数据驱动方法不仅需要大量存储，还倾向于在输入图像受限、发型复杂以及人脸检测失败时失效。我们建议不直接使用大规模的 3D 头发模型集合，而是通过体积变分自编码器（VAE）的紧凑潜在空间，隐式表示 3D 发型流形。该深度神经网络以 3D 头发模型的体积方向场表示进行训练，能够从压缩代码中合成新的发型。为了实现端到端的头发生成，我们还训练了一个额外的嵌入网络，用于从任意输入图像中预测 VAE 潜在空间内的代码。随后，可以从预测得到的体积表示中生成发丝级别的发型。我们的全自动框架不需要特殊的人脸拟合、中间分类与分割，或发型数据库检索。我们的头发合成方法相比最先进的数据驱动发型建模技术，对具有挑战性的输入更为稳健，包括低分辨率、过曝或极端头部姿态的照片，并且能够处理广泛的发型变化。存储需求极低，3D 头发模型可在 1 秒内从图像生成。我们的评估还表明，它能够从高度风格化的漫画图像、非人物主体以及从人物背后拍摄的图像中成功重建。我们的方法特别适合于在非常不同的发型之间进行连续且可信的头发插值。

如果能轻松做出这么自然的模型，工作效率应该会大幅提升吧。

参考链接

3D Hair Synthesis Using Volumetric Variational Autoencoders | Linjie Luo