TripoSG＆TripoSF 现已开源

1 年前 3dnchu 尚无浏览 2 分钟阅读

TripoSG＆TripoSF 现已开源 – Tripo 的 VAST AI Research 团队将两项 3D 生成 AI 技术开源免费公开！

Tripo服务所熟知的VAST公司AI Research团队的两项3D生成AI技术「TripoSG」和「TripoSF」按预告如期开源公开了！

TripoSG & TripoSF are now OPEN-SOURCED! 🥳
✅ TripoSG excels at image-to-mesh generation
✅ TripoSF redefines high-res, complex topology with SparseFlex.

🔍 Discover how we’re setting a new SOTA for generative 3D models 🧵pic.twitter.com/0F5mIcgxMX

— Tripo (@tripoai) March 31, 2025

这些模型的开源将降低3D内容制作的门槛，使创作者和研究者能够更轻松地生成和利用高质量3D模型。今后，预计将在游戏开发、电影制作、VR/AR内容等多个领域得到应用。

TripoSG: High-Fidelity 3D Shape Synthesis using Large-Scale Rectified Flow Models

TripoSG是一种可从单张图片生成高质量3D模型的AI模型。比如，准备一张椅子的照片，TripoSG就能生成详细还原那把椅子形状的3D数据。这样就能从少量信息中轻松生成逼真的3D对象。

高精度3D形状生成：经过大规模数据集训练，可创建细节忠实的3D模型
支持多样风格：可灵活地针对各种图像风格和内容生成3D模型

近年来，随着扩散技术的进步，图像和视频的生成质量提升到了前所未有的水平，生成式AI的部署和应用也大幅加速。然而，3D形状生成技术由于3D数据规模的限制、3D数据处理的复杂性以及在3D领域对先进技术探索不足等因素，迄今仍然落后。当前的三维形状生成方法在输出质量、泛化能力以及与输入条件的一致性方面都面临重大挑战。我们介绍TripoSG，这是一种新颖且简化的形状扩散范式，能够生成与输入图像准确对应的高保真3D网格。具体来说，我们提出了1）用于三维形状生成的大规模整流变换器。2）用于3D VAE的、结合SDF、法线损失和Eikonal损失的混合监督学习策略。3）通过生成200万个高质量3D样本的数据处理管线，强调了3D生成模型训练中数据质量和数量的重要规则。通过全面实验，我们验证了新框架各组件的有效性。通过将这些部件无缝集成，TripoSG在3D形状生成方面达到了最先进的性能。生成的3D形状因高分辨率能力而细节突出，并且与输入图像高度一致。此外，TripoSG在从多样图像风格和内容生成3D模型时展现出更强的通用性，表现出强大的泛化能力。为推动3D生成领域的进步与创新，我们计划公开我们的模型。

ProjectPage

Github

Hugging Face Demo

TripoSF（SparseFlex: High-Resolution and Arbitrary-Topology 3D Shape Modeling）

TripoSF是一种用于高分辨率生成和重建具有复杂形状和开放表面的3D模型的AI模型。比如，即使是具有布料般复杂形状或内部结构的对象，TripoSF也能再现其细节。

高分辨率且复杂拓扑的3D形状建模：可在最高1024³分辨率下生成具有复杂形状和内部结构的3D模型。
采用SparseFlex技术：高效利用计算资源，通过聚焦表面附近区域，大幅减少内存使用量。
通过渲染损失直接优化：通过尽量减少与渲染结果之间的误差，生成高质量3D模型。

创建包含开放表面和复杂内部结构的任意拓扑高保真3D网格，仍然是一项重要挑战。现有的隐式方法通常需要代价高昂且会损失细节的闭合处理，而其他方法则在高分辨率方面表现困难。本文介绍SparseFlex，这是一种新的稀疏结构等值面表示，可直接通过渲染损失实现最高达10243分辨率的可微网格重建。SparseFlex结合了Flexicube的精度和稀疏体素结构，将计算集中于邻近表面的区域，并高效处理开放表面。
重要的是，通过引入一种考虑分体块的切片体素学习策略，在渲染过程中仅激活相关体素，显著降低内存消耗，并支持高分辨率训练。这使得首次仅使用渲染监督就能重建网格内部。以此为基础，通过训练变分自编码器（VAE）和整流流变换器，展示了用于高质量3D形状生成的完整形状建模管线。我们的实验表明，与传统方法相比，面向距离约减少82％，F分数约提升88％，展现了最先进的重建精度，并证明了生成具有任意拓扑的高分辨率、细致3D形状的能力。SparseFlex通过支持高分辨率可微网格重建以及带渲染损失的生成，大幅推动了3D形状表示与建模的前沿。

ProjectPage

Github

Hugging Face Demo

虽然开源很令人开心，但不知道会对 Tripo 的服务侧产生怎样的影响呢。
内部会不会已经开始使用更先进的技术了呢。总之，能有各种用途就让人很开心了。