由南洋理工大学、Math Magic、帝国理工学院的研究者等发布的、从一张图像生成超高精细、低破绽3D模型的技术『Sparc3D（Sparse Representation and Construction for High-Resolution 3D Shapes Modeling）』已公开！

Sparc3D（Sparse Representation and Construction for High-Resolution 3D Shapes Modeling）

高精度3D对象生成，相较于2D图像生成仍然是一个重大挑战。这是因为网格数据是非结构化的，或者高密度体素网格会带来立方级的计算成本。

传统的两阶段管线（用VAE压缩网格，再从其潜在空间用扩散模型生成）由于表示效率低，以及VAE内部的模态偏差，容易出现细节缺失的问题。

Sparc3D是为解决这一问题而开发的统一框架，它结合了可变形的稀疏 Marching Cubes 表示「Sparcubes」和基于稀疏卷积的 VAE「Sparconv-VAE」。

Sparcubes 通过将带符号距离场和变形信息散布到稀疏立方体中，可转换为具有任意拓扑的高分辨率（1024³）表面。这样既能保留细微形状，又能进行可微分优化。

Sparconv-VAE 是首个完全由稀疏卷积网络构建的 VAE，能够实现高效率且接近无损的重建。借此与扩散模型的整合也更加顺畅，从而实现可扩展的高分辨率3D生成。

• 压倒性的细节 —— 以超高分辨率（最大1536³体素）的网格，忠实再现精细形状
• 支持3D打印 —— 可立即导出完全封闭的网格，进行3D打印
• 也能高精度再现开口表面和复杂几何结构
• 可与现有扩散模型自然整合
• 生成、学习、推理都轻量且高速

这真厉害啊……很多事情都会因此改变……
也附上 Gleb Alexandrov 的观点视频。

在规则制定、法律完善、训练数据来源等仍然模糊不清的情况下，这类技术却在持续快速进化，给人这样的印象。未来会怎样呢……。
「Sparc3D」目前已公开项目页面。Hugging Face 上可试用演示的官方服务网站「Hitem3D」也已公开。欢迎查看。

链接

Sparc3D

Hitem3D