7invensun是最新进入HTC Vive X加速器计划的公司之一,他们推出了专为Vive头戴式设备设计的眼球追踪附件。该设备去年开始销售,使用一系列红外发光二极管和近眼摄像头实时追踪用户的眼睛,为虚拟现实提供了一系列潜在的好处。
更新(2018年5月30日):7invensun已确认该公司最新版本的aGlass眼球追踪附件aGlass DK2可与Vive Pro以及原版Vive兼容。唯一需要的是一个适配器,用于将附件的原始插头适应于Vive Pro的USB-C接口。
该公司表示,他们现在还提供“高级”、“分析”和“终极”版本的眼球追踪附件,具有比普通版本更强大的功能,如瞳孔直径、瞳孔位置、眼袋距离、虹膜识别和可定制校准。
图片由Road to VR提供。
原文(2017年4月27日):今天在旧金山 HTC Vive X加速器空间与7invensun会面,我亲眼见证了aGlass眼球追踪开发套件的操作。这个设备由两个紧凑的组件组成,可以轻松地插入Vive的镜片周围,使用一圈红外发光二极管照亮每只眼睛,而一个小型摄像头记录眼球的运动并将数据发送回电脑进行处理。这些设备巧妙地从Vive顶部的电缆固定器下隐藏的额外USB口供电。
眼球追踪在虚拟现实中可以用于许多有用的目的,其中最重要的之一可能是凹凸渲染,它可以降低您的周边视野的分辨率,因为屏幕边缘的图像不需要那么清晰,同时保持视野中心的高质量。这可以显著降低渲染高质量、高帧率虚拟现实场景所需的处理能力。在虚拟现实行业中,通过眼球追踪实现凹凸渲染被广泛认为是实现视网膜级分辨率显示器的必要技术,因为它可以降低在超高像素密度显示器上渲染所需的处理能力。
目前,凹凸渲染已经在aGlass开发套件上运行,并且据说在没有修改的情况下可以适用于任何应用程序,只要计算机配备有NVIDIA GPU。该公司还计划将这一功能扩展到AMD显卡。据我目前了解,其他利用aGlass眼球追踪数据的功能与GPU无关,但因为当前的渲染技术,凹凸渲染是一个特例。
除了凹凸渲染外,眼球追踪还可以用于更真实地模拟您的虚拟现实化身的眼睛动画,模拟景深效果,用于虚拟现实应用程序中的有意识和无意识输入等等。
矫正镜片
除了眼球追踪,aGlass附件还为那些通常佩戴眼镜的人提供了使用矫正镜片的可能性。现在的高端虚拟现实头盔缺乏可变焦距控制,所以戴眼镜的人要么试图把眼镜塞进头盔里,要么干脆不戴(导致模糊的虚拟图像)。aGlass附件可以轻松插入定制镜片,放在Vive的原始镜片上,并且开发套件配备了三种焦距选择。如果您不需要矫正镜片,该设备也完全可以正常使用。
亲身体验aGlass开发套件
今天在旧金山的Vive X加速器办公室,我亲自尝试了aGlass开发套件。
校准过程需要多次尝试,并且需要在头盔上进行一些调整,才能正确设置。根据我的经验,这种情况并不完全适用于aGlass, 而是针对设计一种能够处理各种脸部和眼睛结构,以及眼部问题的可靠眼球追踪系统的基本挑战(仅供参考,我很幸运拥有20/20视力)。
参见:使用眼球追踪的XR是一个改变游戏的技术,远远超出凹凸渲染的范围。
一旦我们成功进行系统校准,这涉及一些配置,请注意看著屏幕中的一系列点只需要几秒钟,如果第一次就成功了——通过使用NVIDIA的VR Funhouse进行了foveated渲染演示。Foveated渲染只有在眼球追踪快速准确到用户几乎察觉不到任何foveated渲染发生时才能很好地工作。
Road to VR拍摄
我被告知aGlass的延迟为5毫秒,这已经足够快了,以至于在正确的渲染设置下,我几乎无法察觉到foveated渲染被打开了,这太棒了。他们用来实现foveated渲染的特定方法被描述为“专有”,它比我见过的许多其他尝试效果更好,其他尝试通常会在外围产生模糊感,容易暴露效果并且不太正确。
这台演示的特定笔记本电脑缺乏足够的功率来被正式称为“适合VR的”,当foveated渲染被禁用时,我可以很容易地看到由于电脑无法跟上渲染负载而产生的抖动。一旦启用了foveated渲染,它允许电脑实现必要的90FPS稳定运行。
未来的改进
安装似乎非常简单,虽然当前的开发套件会在Vive的镜片周围增加一些体积,稍稍限制了下调IPD设置的范围。平均IPD通常被认为大约是64毫米,但在安装了aGlass之后,我只能将Vive的IPD调整到65毫米,尽管该公司表示他们计划在消费者版本的设备中修复这个问题。
对我来说,另一个问题是必须将Vive的镜片减少几个档位才能正确进行校准。这样做意味着减少头盔的视野,当然不是理想的。问题可能是由于眼球追踪相机的角度问题,该相机安装在aGlass的眼部下方。该公司表示,他们希望通过增加系统的“甜蜜区域”,以更好地处理不同的眼睛和面部结构,从而改善校准的稳定性。
在aGlass开发套件上还有两个软橡胶瓣片,我可以感觉到它们轻轻地推着我的眼角内侧。似乎这些瓣片可能是为了防止红外光干扰Vive的头部传感器(该传感器位于头戴设备的眼睛之间)。它不会疼痛,但稍微让人感到不适,因为通常不会有东西碰触到眼睛的那部分。该公司表示消费者版将不需要这些瓣片。
aGlass开发套件发布日期
7invensun表示,aGlass用于Vive的眼球追踪开发套件将于本月在中国上市,价格大约为220美元。该公司预计将在美国在第三季度销售开发套件。关于消费者版设备何时可用尚无消息。
0