中国清华大学研究团队等公开了一个从1张图像生成3D模型的框架「Unique3D」。

Unique3D: High-Quality and Efficient 3D Mesh Generation from a Single Image

本研究介绍了Unique3D，这是一个用于从单视图图像高效生成高质量3D网格的新图像-3D框架。基于评分蒸馏采样（Score Distillation Sampling: SDS）的传统方法，通过从大规模2D扩散模型中提取3D知识，可以生成多样的3D结果，但通常存在每个案例的优化时间长以及一致性不佳的问题。近期研究通过微调多视图扩散模型或训练高速前馈模型来生成更好的3D结果，以应对这一问题。然而，由于一致性不足且生成分辨率有限，复杂纹理和复杂几何形状仍然不足。为了同时实现从单张图像到3D的高保真度、一致性和效率，我们提出了新的框架Unique3D，其中包括：用于生成带法线图的多视图图像的带有对应法线扩散模型的多视图扩散模型；用于逐步提高生成的正交投影视图分辨率的多级上采样处理；以及一种名为ISOMER的即时且一致的网格重建算法，可将颜色和几何先验完整地整合到网格结果中。广泛实验表明，我们的Unique3D在几何细节和纹理细节方面显著优于其他图像到3D基线方法。

不断有新的方法被提出，精度也在不断提升。对于放在远处的小物件级别，或许已经接近可以使用的质量了？
「Unique3D」的代码已在Github公开，Hugging Face页面也可以试用演示。请务必查看！

链接

Unique3D

Hugging Face

Github