从文本生成3D图像,英伟达提出比谷歌更优解决方案Magic3D
谷歌早前推出了一个AI模型Dreamfusion,可以通过文本生成3D图像。然而,英伟达的研究人员认为Dreamfusion存在处理时间长、生成低质量3D模型等局限性。为此,英伟达提出了一个名为Magic3D的解决方案,通过两阶段优化框架来解决这些限制。Magic3D核心依赖于一种根据文本创建图像的图像生成模型,使用稀疏的3D hash grid structure进行加速,并通过高效可微渲染器来优化纹理化的3D网格模型。与Nvidia的Get3D不同,Magic3D不需要稀缺的3D模型进行训练,可以从不同类别生成众多3D模型。Magic3D可以在40分钟内创建高质量的3D网格模型,比Dreamfusion快2倍,用户更喜欢Magic3D。Magic3D还可以执行基于提示的3D网格编辑,允许用户改变生成的模型。英伟达表示,Magic3D为用户提供了控制3D合成的新方法,为各种创意应用开辟了新途径。Magic3D将能加快普及3D合成,并促进游戏和VR行业的发展。