英伟达用Apple Vision Pro训练人形机器人
机器人训练中的输入数据对于实现精确对应非常重要,因此业界和学界正在利用XR技术来帮助训练机器人。通过使用头显,人形机器人可以精确复制人类操作员的动作,并通过软件实现第一人称视频的实时传输和精确控制输出,同时保持非常低的延迟。
为加速全球范围内人形机器人的发展,英伟达宣布向机器人制造商、人工智能模型开发商和软件制造商提供服务、模型和计算平台,旨在帮助开发、训练和构建下一代人形机器人。其中,两个全新的人工智能微服务允许机器人专家通过使用NVIDIA Omniverse平台中的NVIDIA Isaac Sim来增强生成物理人工智能的仿真工作流程。MimicGen NIM微服务可以根据来自Apple Vision Pro等空间计算设备的远程操作数据生成合成运动数据,Robocasa NIM微服务则在OpenUSD中生成机器人任务和模拟就绪环境。
团队演示了一个基于英伟达人工智能和Omniverse的远程操作参考工作流程,在此流程中研究人员可以通过最少量的远程捕获人类演示数据生成大量合成运动和感知数据。开发者可以使用真实和合成的数据来训练人形机器人的基础模型,并使用机器人学习框架Isaac Lab的Robocasa NIM微服务生成体验以重新训练机器人模型。在整个工作流程中,NVIDIA OSMO可以无缝地将计算工作分配给不同的资源,节省了开发者数周的管理任务。