今年的E3游戏展中,大型游戏机厂商都没有推出与虚拟现实相关的新产品,这让人感到遗憾。然而,微软的Kinect 2.0可能成为一种重要的虚拟现实输入设备,因为它拥有丰富的功能和大幅提升的性能。
当Kinect在2010年推出时,微软将其定位为一种高科技输入设备,将彻底改变我们玩游戏的方式。不幸的是,它并没有达到微软所宣传的那个远大目标。部分原因是Kinect并不具备开发出微软所宣传体验的技术实力。
James Iliff是Project Holodeck的制作人,他在2012年告诉我,他的团队曾试图使用四个Kinect进行骨骼化身追踪,但由于性能原因不得不放弃。
“…Kinect的硬件精度非常欠缺。 Kinect跟踪的每个点都充满无法控制的抖动,使数据除了最简单的交互之外毫无用处。我们尝试过用我们编写的多个软件算法让多个Kinect相互通信,但不幸的是这并没有使任何事情更准确。”
尽管最初的Kinect可能无法胜任这个任务,但Kinect 2.0可能最终实现微软给出的技术承诺。
Wired在一篇精彩的Kinect 2.0预览文章中展示了其令人印象深刻的功能:
由于大大提高的精度,Kinect 2.0可以做比它的前身更多的事情。以下是一些该设备可以感应的事物以及开发人员可以利用的工具的简要列表:
1080p的彩色摄像头
主动红外光用于光线过滤
改进的骨骼追踪
关节旋转
肌肉/力量
表情平台:
心率估计
面部表情
参与度
是否转头(是/否)
说话
嘴巴动了
嘴巴(张开/闭合)
是否佩戴眼镜(是/否)
独立的右眼/左眼(睁开/闭合)
对虚拟现实的原版Kinect的局限性
对于虚拟现实来说,将玩家置于游戏之中(即所谓的“化身概念”)非常重要。没有适当的骨骼追踪,无法完全实现化身概念。
由于原版Kinect的精度较低,骨骼追踪很困难。
Oliver Kreylos是加州大学戴维斯分校数据分析和可视化研究所以及W.M. Keck主动可视化中心的虚拟现实博士研究员。他在Doc-Ok.org的博客中分享了他的虚拟现实研究。
Kreylos声称他拥有六个Kinect,并经常对其进行修改,他在博客上的最近一篇文章中谈到了原版Kinect的局限性。
底线是,在Kinect1中,深度摄像头的名义分辨率不是衡量其有效分辨率的好指标。粗略估计,典型情况下,只有大约每20个像素中有一个实际的深度测量值。这就是为什么Kinect1在检测小物体(如指向摄像头的指尖)时有困难。小物体很有可能完全落在光点之间,因此对最终的深度图像没有任何贡献。
其他用于骨骼追踪的系统价格昂贵。目前,许多Oculus Rift/虚拟现实开发者使用雷蛇Hydra追踪手部动作,但这离完整的骨骼追踪还有很长的路要走。
Kinect 2.0用于虚拟现实输入
从迄今为止我们所见到的,Kinect 2.0有足够的精度来提供适当的骨骼追踪。在Wired视频中(嵌入在上面),Kinect 2.0可以轻松地看到玩家衣服上的皱纹(甚至如果足够接近,还能看到纽扣)。微软对Kinect 2.0的很多技术规格保持沉默,但他们声称使用了“专有的时间飞行技术,该技术可以测量单个光子从物体或人反弹回来所需的时间,从而实现了前所未有的精确度和准确性。”
Kreylos考虑了这一技术的意义:
在时间飞行深度相机中,深度相机是一个实际的相机(拥有单个实际的镜头),每个像素都包含一个实际的深度测量值。这意味着,虽然Kinect2的深度相机的名义分辨率低于Kinect1,但其有效分辨率可能高得多,可能高出十倍左右。飞行时间深度相机存在一些问题,因此在我能够测试Kinect2之前,我将不会作出绝对的说法,但我期望能够获得更详细的深度图像…
“表情平台”可以对场景中的每个玩家进行分析,这对开发者非常有用。尤其是心率估计非常有趣——可以想象在恐怖游戏中知道玩家的心率并相应地改变音乐的节奏。可能性很多!
“表情平台”的一个不幸之处是,如果玩家的脸被遮挡,它将无法工作。大部分信息来自玩家的面部表情(甚至包括通过观察玩家脸上微小起伏来估计心率)。这意味着它在CAVE和其他一些系统上效果很好,但不能在像Oculus Rift这样的头戴显示设备上使用。
即使没有“表情平台”,具有高保真度、无延迟的廉价骨骼追踪也能让玩家完全体验自己的角色,提升沉浸感的标准。
Kinect 2.0 for Windows开发者套件计划接受申请
对于开发者们来说,微软宣布了一个开发者套件计划,以便获取Kinect 2.0 for Windows和即将推出的SDK。您可以在7月31日之前申请该计划。399美元可以让您在11月获得Kinect 2.0的预售硬件,并在正式发布后获得最终硬件版本。