由 Meta、加利福尼亚大学圣地亚哥分校和马里兰大学帕克分校的研究人员提出的、可将纹理从数张图像转移到目标3D模型的技术『TextureDreamer: Image-guided Texture Synthesis through Geometry-aware Diffusion』已被发布。

TextureDreamer: Image-guided Texture Synthesis through Geometry-aware Diffusion

TextureDreamer会将照片级真实、保真度高且考虑几何结构的纹理，从3-5张图像转移到任意3D网格上。

我们提出TextureDreamer。TextureDreamer是一种新的图像引导纹理合成方法，它能够从少量输入图像（3到5张）向任意类别中的目标3D形状转移可重新照明的纹理。

纹理创建是视觉和图形学中的一个极其重要的课题。工业公司会聘请经验丰富的艺术家，为3D资产手工创建纹理。经典方法需要高密度采样视角以及精确对齐的几何结构，而基于学习的方法则受限于数据集中的类别特定形状。相比之下，TextureDreamer仅凭随手拍摄的几张图像，就能把现实环境中高度细致且复杂的纹理转移到任意物体上，因此有望大幅 democratize 纹理创建。

我们的核心思想——个性化形状感知分数蒸馏（PGSD）——借鉴了扩散模型的最新进展，包括用于纹理信息提取的个性化建模、用于细节外观合成的变分分数蒸馏，以及通过 ControlNet 实现的显式形状引导等。通过我们的整合和若干关键修改，纹理质量得到了显著提升。针对跨多种类别的真实图像进行的实验表明，TextureDreamer 能够成功地将极为逼真且语义上有意义的纹理转移到任意物体上，并在视觉质量上超越传统最先进技术。

看起来很适合用来制作简单的图案替换纹理呢。
比起从零开始生成，这类转写技术在现阶段似乎也还有不少应用空间，让人很在意。
目前代码还没有公开吗？其他详细内容请查看官方项目页面。

链接

TextureDreamer: Image-guided Texture Synthesis through Geometry-aware Diffusion