牛津大学知觉智能与扩展现实实验室（The Oxford Perceptual Intelligence and Extended Reality Lab (PIXL))的Miguel Farinha和Ronald Clark公开了单张图像重新打光技术「PIXLRelight:Controllable Relighting via Intrinsic Conditioning」！

PIXLRelight:Controllable Relighting via Intrinsic Conditioning

我们提出了一种可物理控制的单张图像重新打光的前馈方法「PIXLRelight」。现有方法存在照明控制受限（例如通过纹理或环境贴图）、在串联逆渲染与正向渲染时误差会累积，或者按图像进行优化的成本过高等问题。我们的核心想法是，通过可从真实照片或PBR渲染中获得的通用内在条件，将物理基础渲染（PBR）与学习型图像合成连接起来。在训练时，我们将成对的多光照照片分解为反照率、漫反射阴影以及非漫反射残差，并将其用作模型的条件。推理时，我们在用户指定的PBR照明下对输入图像进行粗略3D重建，并通过路径追踪渲染计算相同的条件。随后，基于Transformer的神经渲染器将目标照明应用到源照片上，并通过像素级仿射变形调整来保留图像的细节。PIXLRelight支持任意PBR风格的照明控制，实现了最先进的重新打光质量，并且每张图像的处理时间不到0.1秒。

推理流程：对单张输入图像，使用Depth Anything 3恢复几何形状，转换为三角网格，并通过Marigold-IID-Appearance恢复材质。带纹理的网格被载入Blender，在其中设置用户期望的照明后，由Blender的Cycles渲染场景，生成目标内在图。PIXLRelight一侧接收原始图像和目标内在图，生成最终的重新打光预测。

训练流程：源图像由ViT分支进行分块。目标图像由Marigold-IID-Lighting模型提取后、按通道连接的目标内在图由ConvNeXt分支进行分块。两个token网格在空间位置上融合、投影到公共维度后，由基于自注意力的Transformer主干处理。DPT头部读取主干的中间特征，预测源图像的逐像素仿射变形。训练使用像素损失和感知损失，以端到端监督方式针对目标图像进行学习。

这是相当有意思的技术！利用Blender也很有趣呢
请务必看看！

链接

Introducing PIXLRelight- our new method for precise image relighting. Our method allows you to specify the lighting you want exactly as in a standard 3D pipeline (no text prompts or exemplars).

Try the interactive demo here: https://t.co/xIA9Lvhp7g

w/Miguel Farinha pic.twitter.com/3lFHEENBwW

— Ronnie Clark (@ronnieclark__) May 28, 2026

Button Text

Github