骨架追踪自2011年开始成为可行的产品。在此之后,社区尝试了许多不同的解决方案,但大多存在计算量大、占用过多GPU或CPU资源以及仅适用于一般姿势估计等问题。为了解决这些问题,英特尔团队表示,“通过专注于VR/AR,我们可以利用头显的位置来训练更小的机器学习模型”。在最近的一个Meetup活动上,英特尔RealSense首席技术官Philip Krejov分享了他们在卷积神经网络上的一些探索,包括集成头部和控制器信息的方法,以及之前仅使用CPU进行实时手部追踪的研究工作。
英特尔RealSense深度摄像头允许支持多种照明环境的解决方案,并可实现更高的帧速率,而无需额外的CPU。通过采用多个摄像头,它还可以作为无标记动作捕捉解决方案。而其他三维体和表面数据可以用于游戏或社交VR等不同的用途。Philip还列举了一个利用Unity集成开发的应用程序示例,支持实时的交互式VR球坑模拟,而无需额外的追踪设备或传感器。
Philip Krejov拥有英国萨里大学的计算机视觉博士学位和电子工程学士学位。作为英特尔RealSense事业群的成员,他负责计算机视觉领域的研究,并专注于优化人机交互。他正在开发用于捕捉、整理和学习视觉数据的工具和架构。