北京大学软件学院、VAST（Tripo的公司）、上海交通大学的研究者发布了「MV-Adapter: Multi-view Consistent Image Generation Made Easy」。这是一项可以从文本和图像生成高精度多角度图像，并可作为纹理应用的技术！

MV-Adapter: Multi-view Consistent Image Generation Made Easy

现有的多视图图像生成方法通常会对预训练的文本图像（T2I）模型进行侵入式修改，并且由于需要完整微调，因此存在以下问题：（1）尤其在大型基础模型或高分辨率图像上计算成本很高；（2）由于优化困难且高质量3D数据稀缺，画质会下降。本文首次提出了用于多视图图像生成的基于适配器的解决方案，介绍了MV-Adapter，这是一种通用的即插即用适配器，在不改变原始网络结构或特征空间的情况下，可扩展T2I模型及其衍生模型。MV-Adapter通过更新更少的参数实现高效训练，并通过保留嵌入预训练模型中的先验知识来降低过拟合风险。为了在适配器内高效建模3D几何知识，我们引入了创新设计，包括重复自注意力层和并行注意力架构，使适配器能够继承预训练模型强大的先验分布，从而建模新的3D知识。此外，我们提出了统一条件编码器，可无缝整合相机参数和几何信息，便于文本驱动和图像驱动的3D生成以及纹理处理等应用。MV-Adapter在Stable Diffusion XL (SDXL)上实现了768分辨率的多视图生成，展示了其适应性和通用性。同时，它还可扩展到任意视图生成，从而支持更广泛的应用。MV-Adapter证明了其通过效率、适应性和通用性为多视图图像生成设立了新的质量标准，并开启了新的可能性。

哎呀，太厉害了……仅仅有多角度图像就能把精度提高很多呢。
在 Hugging Face 页面上，可以实际体验从文本向3D模型应用纹理，以及从图像向3D模型应用纹理的演示。
详细内容请查看项目页面和 Github 等！

链接

Text to Texture with MV-Adapter

Image to Texture with MV-Adapter

Github

Project Page

顺便一提，还有 ComfyUI 版本呢

GitHub – huanngzh/ComfyUI-MVAdapter: Custom nodes for using MV-Adapter in ComfyUI.