由南洋理工大学S实验室、2海AI实验室、复旦大学、北京大学、中国科学院大学、商汤研究、StepFun、西湖大学等带来的全新重网格化技术登场！！「MeshAnything: Artist-Created Mesh Generation with Autoregressive Transformers」据说能像艺术家亲手建模一样重建3D网格！

MeshAnything: Artist-Created Mesh Generation with Autoregressive Transformers

MeshAnything在从任何3D表示中提取网格时，会模仿人类艺术家。MeshAnything可以与3D重建、生成等各种3D资产制作流程结合，并将其结果转换为可无缝应用于3D行业的艺术家创建网格。

MeshAnything以数百分之一的面数生成网格，在大幅提升存储、渲染和模拟效率的同时，实现与传统方法相当的精度。

近年来，通过重建和生成创建的3D资产已经能够达到与手工制作资产相媲美的质量，这凸显了其替代的可能性。然而，这些资产始终需要转换为3D工业用途的网格，而现有的网格提取方法生成的网格远不如Artist-Created Meshes（AM），即由人类艺术家创建的网格，因此这一可能性几乎没有实现。具体来说，现有网格提取方法依赖高密度面片并忽视几何特征，导致效率低下、后处理复杂以及表现质量下降。为解决这些问题，我们将网格提取视为生成问题，介绍一种能够生成符合指定形状的AM的模型MeshAnything。通过将任何3D表示的3D资产转换为AM，MeshAnything可以与各种3D资产制作方法集成，从而增强其在整个3D行业中的应用。MeshAnything的架构由VQ-VAE和仅解码器的形状条件变换器组成。首先使用VQ-VAE学习网格词汇，然后基于该词汇训练仅解码器的形状条件变换器，用于形状条件自回归网格生成。我们的广泛实验表明，本方法能够以数百分之一的面数生成AM，在大幅提高存储、渲染和模拟效率的同时，达到与传统方法相当的精度。

这也太厉害了吧……我感觉照片测量建模网格、扫描得到的点云数据、AI生成类模型都要一下子变得实用起来了。「MeshAnything」的代码已在Github公开，并且还提供了可在浏览器中试用的演示页面。

请仔细阅读Hugging Face演示页面中列出的注意事项。
・输入网格会被归一化到单位边界框。
・为了获得更好的结果，输入网格的上方向向量需要设为+Y。
・如果输入网格是手动创建的网格，请勾选Preprocess with Marching Cubes
・MeshAnything是在少于800个面的网格上训练的，无法生成800面以上的网格。
以上

试了一下，怎么样？有未来感吗？如果多边形能再多用一些就更好了……
详情请查看项目页面！

链接

Project Page

Github Code

Hugging Face Demo