由 NVIDIA、多伦多大学与 Vector AI 研究所的研究团队发布的 AI 模型「LuxDiT: Lighting Estimation with Video Diffusion Transformer」，可从单张图片或视频中推定光照环境，并生成 HDRI 环境贴图。
LuxDiT: Lighting Estimation with Video Diffusion Transformer
从单张图片或视频中估计场景照明，是计算机视觉和图形学中的长期难题。基于学习的方法受限于真实 HDR 环境贴图的稀缺性，而这类数据采集成本高且多样性有限。近年来的生成模型虽然为图像合成提供了强大的先验分布，但由于需要依赖间接的视觉线索、推断全局（非局部）上下文，以及恢复高动态范围输出，光照估计仍然具有挑战性。我们提出 LuxDiT。这是一种新的数据驱动方法，通过微调视频扩散变换器，生成以视觉输入为条件的 HDR 环境贴图。我们的模型在包含多样照明条件的大规模合成数据集上训练，学会了从间接视觉线索中推断光照，并能有效泛化到真实世界场景。为改善输入与预测环境贴图之间的语义一致性，我们引入了一种利用 HDR 全景收集数据集进行低秩适应微调的策略。该方法能够生成具有真实角度高频细节的准确光照预测，并在定量和定性评估中均优于现有最先进技术。
有了这个，就可以直接用外景拍摄的素材作为打光参考了对吧。真是很棒的技术。
代码据说之后会公开。详细内容请务必查看项目页面！
链接
LuxDiT