斯坦福大学提出采用RGBD摄像头的高帧率,低延迟AR头显系统
斯坦福大学的研究团队发布了一篇名为《An Easy-to-use Pipeline for an RGBD Camera and an AR Headset》的论文,介绍了他们利用单个RGBD摄像头来支持AR头显的实验。该实验使用了搭载微软Kinect v2摄像头的系统来捕获人物,并通过微软HoloLens头显来显示场景。尽管保真度不如选择多摄像头的其他系统,但该系统具有高帧率、低延迟和可移动性,因为它不需要渲染计算机。系统的硬件端包括配备Kinect v2的笔记本电脑和HoloLens头显,软件端包括将像素从Kinect v2发送到HoloLens以及由HoloLens渲染像素的两个方面。该系统面临的挑战来自于设备的三个特征:Kinect v2产生大量数据、HoloLens需要无线传输以及HoloLens具有较低的计算能力。为了解决这些挑战,团队采用了VP8编解码器对彩色像素进行压缩,使用RVL对深度像素进行压缩,然后通过无线网络将像素发送到HoloLens,并使用渲染技术将像素渲染为漂浮在空间上的四边形。团队希望通过公开系统代码,为AR头显应用程序开发提供帮助和便利。