Disney Research Studios推出的可从单张人物图像等重建可重新照明的3DGS头像技术“RelightAnyone: A Generalized Relightable 3D Gaussian Head Model”的视频和项目页面已公开！

RelightAnyone: A Generalized Relightable 3D Gaussian Head Model

3D高斯泼溅（3DGS）已成为重建和渲染逼真3D头部头像的标准方法之一。其主要挑战之一是如何根据任意场景光照重新设置头像的照明。为了实现高质量的重新照明，现有方法通常需要在复杂的时间分割照明条件下采集被摄体，例如“逐一灯光照明（OLAT）”。我们提出了一种新的通用可重新照明3D高斯头部模型，它无需被摄体的OLAT数据，即可对单张或多视角图像中观察到的任意被摄体进行重新照明。我们的核心思想是学习从处于平坦照明下的3DGS头像到其对应可重新照明高斯参数的映射。本模型由两个阶段组成。
第1阶段在不使用OLAT照明的情况下，对平坦照明下的3DGS头像进行建模，
第2阶段学习到物理基础的反射参数映射，以实现高质量的重新照明。
这种两阶段设计使我们能够利用多样的现有多视角数据集，在不使用OLAT照明的情况下进行第1阶段训练，从而保证跨被摄体的泛化能力。这里，我们为自监督的照明对齐学习了数据集特定的照明代码。随后，第2阶段可以使用一个小得多、在OLAT照明下拍摄的被摄体数据集进行训练。结合这两者，本方法表现出优异的泛化性能，能够将第1阶段学习到的任意被摄体重新照明得如同在OLAT照明下拍摄一般。此外，它还可以仅凭一张图像将模型拟合到未见过的被摄体上，并可用于新视角合成和数字头像重新照明等多种应用。

这类技术真是不断在进化啊
请务必看看！

链接

RelightAnyone: A Generalized Relightable 3D Gaussian Head Model | Disney Research Studios