从1张照片中提取反照率、粗糙度＆金属度、法线、照度的『RGB↔X: Image Decomposition and Synthesis Using Material- and Lighting-aware Diffusion Models』ACM SIGGRAPH 2024技术论文！

RGB↔X: Image Decomposition and Synthesis Using Material- and Lighting-aware Diffusion Models

现实的正向渲染、逐像素的反向渲染，以及生成式图像合成这三个领域，乍看之下可能像是图形学与视觉中彼此独立且无关联的子领域。然而，最近的研究表明，基于扩散架构的逐像素固有通道（反照率、粗糙度、金属度）估计已有所改善。我们进一步展示，给定固有通道以合成逼真图像的反向问题 X→RGB，也可以在扩散框架下得到处理。
我们聚焦于室内场景图像区域，介绍一种用于 RGB→X 的改进扩散模型，能够同时估计照明；以及首个扩散式 X→RGB 模型，它能够从（完整或部分）固有通道合成逼真的图像。我们的 X→RGB 模型探索了传统渲染与生成模型之间的中间区域。我们可以只指定需要遵循的特定外观属性，并让模型自由地幻化出其余部分的合理版本。
这种灵活性使得可以组合使用可用通道不同的异构训练数据集。我们使用了多个现有数据集，并通过自有的合成数据和真实数据进行扩展，从而实现了比以往研究更优的场景特性提取，以及能够生成极其逼真的室内场景图像的模型。

哎，这也太厉害了！技术详情请查看项目页面。Github 上也已公开代码。

链接

Project Page

Github