由清华大学和 DeepSeek AI 等研究者发布的、更高精度的 Text-to-3D 模型『DreamCraft3D: Hierarchical 3D Generation with Bootstrapped Diffusion Prior』已经公开。

DreamCraft3D: Hierarchical 3D Generation with Bootstrapped Diffusion Prior

我们发布了 DreamCraft3D。这是一种用于生成高保真且一致的 3D 物体的分层 3D 内容生成方法。我们通过利用 2D 参考图像来引导几何雕刻和纹理增强阶段来解决这一问题。本研究的核心关注点是解决现有研究所遇到的一致性问题。为了雕刻可一致渲染的几何，我们通过视图相关扩散模型执行 score distillation sampling。这个 3D 预处理与若干训练策略一起，优先保证几何一致性，但会牺牲纹理保真度。此外，我们提出了专用于纹理的Bootstrapped Score Distillation（BSD）。我们训练了 Dreambooth，这是一种个性化扩散模型，在场景的扩展渲染上，为正在优化的场景赋予 3D 知识。从这种面向 3D 的扩散预处理得到的分数蒸馏，为场景视角提供一致的引导。值得注意的是，通过交替优化扩散先验预测和 3D 场景表示，我们达成了相互增强的改进。优化后的 3D 场景有助于训练场景专属的扩散模型，并且越来越能为 3D 优化提供视图一致的引导。优化因此被逐步引导，从而带来显著的纹理增强。DreamCraft3D 通过在整个分层生成过程中协调 3D prior，生成在照片级真实感渲染下保持一致的 3D 物体，并推动 3D 内容达到最先进水平。

DreamCraft3D 利用由文本提示生成的 2D 图像，来引导几何雕刻和纹理增强阶段。在雕刻几何时，视图条件扩散模型提供关键的 3D 引导，以确保几何一致性。随后，通过周期性优化来提高纹理质量。它补强多视图渲染，并用其微调扩散模型 DreamBooth，为优化场景提供多视图一致的梯度。将从不断演化的扩散先验中蒸馏出的损失称为 bootstrapped distillation sampling。

首先生成高质量的 2D 参考图像，然后再转换为 3D，采用的是分阶段方法。
哎呀，这个领域的技术发展真是厉害……
虽然还不完美，但根据用途来看，现阶段似乎已经有可用的质量了。
据说论文和 Github 页面也已经公开。
其他详细信息请查看项目页面。

链接

DreamCraft3D: Hierarchical 3D Generation with Bootstrapped Diffusion Prior