国立信息学研究所（NII）内容科学研究系助教池畑谕公布了“SDM-UniPS（Scalable, Detailed, and Mask-Free Universal Photometric Stereo）”。这是 CVPR（Computer Vision and Pattern Recognition）2023 论文。

SDM-UniPS（Scalable, Detailed, and Mask-Free Universal Photometric Stereo）

SDM-UniPS 是一个可扩展、无掩码、通用的光度立体网络。即使是在非受控环境中、在未知且空间变化的光照条件下拍摄的图像，它也能恢复出令人惊叹的复杂表面法线图，质量可与 3D 扫描仪相媲美。正如附录所示，它不仅提供用于法线图估计的模型，还提供 BRDF 参数（基础颜色、粗糙度、金属度）的模型。此外，还提供了使用法线参数和 BRDF 参数，在新的定向光源下从渲染帧制作视频的代码。

什么是通用光度立体（UniPS）？与现有假定特定物理光照模型、因此使用范围受限的已校准和未校准光度立体任务不同，通用光度立体的求解算法旨在不假定特定模型的情况下，针对任意光照变化下的各种形状和材质对象进行工作。

本项目根据带有非商业条款的 MIT 许可证授权。也就是说，软件可自由使用、复制、修改和分发，但禁止用于商业目的。
版权所有 (c) [2023] [池畑谕（Satoshi Ikehata）].

从多个方向拍摄

生成 Normal、Color、Roughness、Metallic

合成结果

以前用 xNormal 等制作法线贴图时，我想起了曾经使用来自各个方向的打光素材。
Metallic 的结果有点令人疑惑，不过最终生成的纹理质量和 xNormal 的已经完全不是一个级别了。
代码已在 Github 上公开中！请务必查看！

链接

satoshi-ikehata/SDM-UniPS-CVPR2023: Official pytorch repository for Scalable, Detailed and Mask-free Universal Photometric Stereo (CVPR2023)

如果你想在 Blender 上使用，已经有人很快做成插件了。
这篇文章也请一起看看

CEB SDM UniPS v0.01 – 可在 Blender 上使用的插件，免费公开！可从多方向打光的多张照片生成各种纹理贴图的技术