在2014年的Engadget Expand展会上,我有机会看到Fove,这是一款集成眼动追踪的头戴显示设备。这是一款早期的原型,但展示了眼动追踪技术在头戴显示设备中的核心技术和潜在优势。
Fove是一家日本公司,致力于开发一款集成眼动追踪的消费级头戴显示设备。该公司最近因参与Microsoft Venture的加速器计划而受到一些媒体关注。
在Engadget Expand展会上,我与Fove的首席执行官Yuka Kojima会面,她向我展示了该公司的第一款原型头戴显示设备。目前,它由一个轻质泡沫外壳、两个镜片和两个小型摄像头组成,位于镜片的左右两侧,面向每只眼睛。我不能拍摄头盔内部的照片,但看起来他们在这款原型中使用了现成的零部件。镜片和微显示器组件似乎是从索尼HMZ头盔中拆卸出来的。左右两侧的红外摄像头有着相当宽广的视角,可能是从一个消费者手势摄像头中拆卸出来的。
考虑到约45度的视野,我不会将现有的Fove原型称为“虚拟现实头戴显示设备”。这个划分是为了具备更大视野的头戴式显示设备。然而,Fove打算将他们的最终产品定位在这个沉浸式的类别中;他们表示他们最新的原型使用了一块2.5k的显示屏,视野为100度。Fove表示他们还在致力于位置追踪技术的研发。
Kojima在展会上将Fove头戴显示设备连接到一台笔记本电脑上,但该电脑在运行演示时显得吃力;以10-15帧每秒的帧率来看,公司似乎并不太担心展示高保真度的虚拟现实体验,而是想展示他们的眼动追踪技术。不幸的是,我无法确定眼动追踪时我遇到的一些延迟是由于公司的技术问题,还是由于计算机性能不足。我们希望能尽快获得一台性能更强的电脑,运行该公司的最新原型演示。
Kojima向我演示了一个简单的校准序列,这个过程很容易被游戏化。屏幕上显示了一系列白点,让我逐个注视,而她则点击鼠标来保存每个点的眼部位置数据。整个校准过程大约需要15秒,结束后我被要求看着屏幕中央的一个绿点。如果校准进行得很好,另一个表示我的凝视的点会落在或者非常靠近中心点上。如果校准出现问题,这个点会偏离较远。我们经过了三次尝试才成功地校准好,当我们获得了一个良好的数据集时,追踪似乎非常精确,凝视点正好落在中心点上。
快速了解Fove的眼睛视野和校准过程。
在进行校准后,我问Kojima是否可以调紧头戴显示设备,但她有些着急地告诉我不要这样做,以免影响校准。这让我想知道用户是否需要在摘下头戴设备休息或进行调整时经常重新校准。只要校准过程可以变得更快速和更强大,这不会成为问题,但如果用户每次进行舒适调整时都需要重新校准,可能会影响可用性。
这款原型头戴显示设备具备头部追踪功能,但没有位置追踪。然而,该公司表示他们正在研发位置追踪技术。
Kojima向我展示了Fove头戴显示设备眼动追踪功能的几个不同体验。第一个体验将我置身于一个黑暗的城市街道,面前是一些未来派的超级士兵。注视着他们会导致我向他们开火,他们一个接一个地被击倒在地。
另一个演示基本上是同样的情况,但这次周围飞着一些飞船。注视着它们会锁定目标,然后点击鼠标射击将其击落。虽然我不会将这种基于眼睛瞄准的方式特别称为有趣的是,这似乎比戴着面部瞄准镜更进一步——这是我们在一些Oculus Rift演示中看到的情况。
下一个演示更接近于眼动追踪最有用的应用场景——基于凝视的焦点和角色互动。在下一个场景中,我站在一个虚拟角色面前的开放场地上。当我扫视背景时,前景变得模糊。当我注视角色时,她微笑着并且变得清晰,而背景变得模糊。
同样的机制也可以用于凹凸渲染,即在眼睛的中心区域以高保真度渲染图像,而离该区域较远的区域则以较低质量进行渲染,以减少渲染场景所需的计算能力(因为我们只在一个很小的区域内看得清晰)。这可能是推动虚拟现实达到90FPS或更高帧率所必需的,而这也是Oculus认为必要的。
如果Fove将要实现凹凸渲染,他们的眼动追踪技术必须非常快速,否则当你把视线转移到场景的另一部分时,你会看到它在系统发现新的凝视方向之前模糊一瞬间 —— 这会破坏沉浸感,除非速度足够快。正如我之前提到的,我在眼动追踪上体验到了明显的延迟,尽管这是否与计算机配置不足有关还不清楚。
总的来说,Fove的技术作为一个概念验证工作得很好。他们接下来的步骤将非常重要:展示他们能否在其他重要方面成功,比如舒适度、延迟、低持续性和位置追踪,以及让世界相信眼动追踪对于虚拟现实头显来说是必要的(我相信它是)。如果Fove能够成功,他们的创新很可能更多地关注定价而不是前所未见的技术;像之前的虚拟现实头显一样,眼动追踪并不新鲜,只是在消费者价格点上还没有出现过。如果有一天它出现了,它可能会改变游戏规则。