/ Roadtovr / 0浏览

亲身体验:SMI证明了凝视渲染的来临,而且真的很有效果。

SMI是一家在凝视检测领域工作超过20年的公司,今年在CES展会上展示了他们最新的250Hz眼动追踪解决方案和第二代虚拟现实中的”神器”——视线优化渲染(FOVeated rendering)的应用。

SMI(SensorMotoric Instruments)在眼动追踪方面的历史悠久,已经在该领域处于领先地位超过20年了。直到现在,他们的技术一直被应用于多个领域,从消费者研究(收集人们在超市过道中对特定产品的注意力)到为运动专业人员设计眼镜的最优化。

在今年的CES展会上,SMI展示了他们最新的250Hz眼动追踪解决方案与VR头显的集成。更重要的是,他们展示了眼动追踪与视线优化渲染的结合,这被普遍认为是下一代虚拟现实体验至关重要的技术。
视线优化渲染是一种图像渲染技术,它来源于我们观察和处理周围世界图像的方式。尽管人类视觉的总体视野非常广阔,但我们一次只专注于很小的一部分。我们的眼睛迅速地从一个点移到另一个点,从这些焦点获取信息。在虚拟现实世界中,这意味着至少在理论上,用于以恒定分辨率渲染虚拟世界到头显上的大多数像素是浪费的。绘制所有这些像素的意义并不大,因为在任何一个时刻,我们只能看到其中一小部分。

视线优化渲染旨在通过使用凝视检测告诉VR应用程序用户正在看哪个区域,从而降低VR渲染的负担,使高视觉保真度区域的构建更高。而其他落入我们的外周视野的图像则可以以较低的分辨率绘制,距离当前焦点越远,分辨率就越低。根据Oculus首席科学家Michael Abrash的说法,这种技术在追求与现实无法区分的图像时被广泛接受,这种图像对于180度视野而言,每只眼睛的分辨率需要达到16k。这是大量潜在的被浪费的像素。
我见到了SMI的OEM解决方案总监Christian Villwock,他向我展示了他们最新的集成在经过改装的Oculus Rift DK2中的技术。SMI已经用包含了看向方向检测的自定义头显替换了头显内部的镜头组件。(我们将在以后详细讨论这个工作原理)

首先,Villwock向我展示了SMI的眼动追踪解决方案,并展示了它的速度和准确性。在校准后(一个简单的“看圆圈”的过程),您的个人信息将被储存以供将来的应用使用,因此这只需要一次。

首次演示是一个场景,面前是一堆木箱。红点突出显示您目前的凝视点,当您看向不同的箱子时,它们会突出显示。这非常快速和极其准确,我可以非常精确地瞄准和跟踪箱子边缘。有趣的是,一旦您选择了一个箱子,按下右手柄触发器,这个箱子就会高高升空。令人印象深刻的是,当箱子上升得越高时,我几乎能毫不费力地和几乎立即地把它们作为目标并继续让箱子升得更高。系统的准确性很好,甚至当箱子在几百英尺高的空中只有几个像素大小时,我仍然能够将其作为目标并继续让其上升。真是令人印象深刻的杰作。

最好的尚未到来,Villwock带我体验了他们的杰作——视线优化渲染。SMI将其集成到了Oculus SDK中的耐用的Tuscany技术演示中。他们的版本能够以不同详细级别渲染用户所看到的场景的指定部分,并以当前凝视点周围以同心圆的形式呈现出来。可以将其想象成一个射箭靶,以靶心代表你的焦点,以100%的细节渲染,下一个部分为60%的细节,最后一个部分为20%的细节。
在这个演示之前,我有几个问题。
第一个问题是:眼动追踪到虚拟区域的渲染过程是否足够快,能够追踪我的眼睛,快速移动靶心和更低细节的同心圆,以至于我无法察觉到它?答案是“是”,它确实可以-它工作得很好。
第二个问题是:我能否察觉到虚拟区域渲染开启或关闭的状态?答案是“是”,但你需要仔细观察(或者恰好看到)。对于SMI目前的系统,图像的低细节部分在你的外围视野中,对我而言,在视野的边缘会出现轻微的抖动。但要注意,这完全取决于图像本身的视场和外围区域细节的降低程度。也就是说,这可能是可以解决的问题,而且很多人可能甚至不会注意到-尤其是在更具动感的VR体验中。
我无法判断的是,这项技术旨在解决的关键问题-与将所有像素以完美保真度呈现相比,采用虚拟区域渲染到底节省了多少性能。这个问题还需要等待,但当然是不能被忽视的-所以我想要明确。
令我惊讶的是,虚拟区域渲染似乎已经处在第二代头戴设备的可实现范围内。Christian告诉我,他们正在与硬件供应商讨论实施方式。显然,对于第二代VR头戴设备来说,如果我们希望达到不可察觉的显示图像问题,眼动追踪是必不可少的。SMI似乎已经有了一个当前可行的解决方案,这使他们在VR下一代即将来临的研发中处于强势地位。

0

  1. This post has no comment yet

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注