Meta发布Llama AI场景模型SceneScript,宣称AR里程碑,一督AI+AR未来
Reality Labs Research发布了一段视频展示了未来眼镜如何捕获点云,并使用Llama AI的SceneScript模型将其解释为现实世界对象,如墙壁、窗户、门和家具。SceneScript能够直接推断房间的几何形状并使用语言表示。它可以创建复杂的几何形状,为桌子、办公椅和沙发等物体提供更多细节。这种理解能够允许AR眼镜为个人环境量身定制内容,比如将数字内容与物理空间融合或提供导航指引。目前,构建3D场景表示是一项复杂的任务,但Reality Labs Research发布了一种生成场景布局和使用语言表示场景的新方法,称为SceneScript。SceneScript模型通过机器学习训练,将视觉数据编码为场景的基本表示,并解码为描述房间布局的语言。团队利用合成数据集进行训练,保护隐私同时实现了在模拟中训练SceneScript模型。SceneScript还具有可扩展性,可以准确预测物理环境中对象的位置和复杂几何形状的分解。这一研究成果在加速增强现实和推动LLMs人工智能和机器学习研究方面具有重要意义。