显示分辨率正在增加,但用于为这些显示器提供内容的图形处理能力并未以相同的速度增长。于是,人们提出了凹凸渲染的概念,这是使虚拟现实头显更具沉浸感的一种常见技术。虽然人们对这个概念本身很了解,即跟踪用户的眼动,并只对眼睛的最中央区域进行高清渲染,而将其它部分模糊化以不引起周围注意,但这个问题在目前阶段还没有完全解决。为此,谷歌的软件工程经理Behnam Bastani和Daydream软件工程师Eric Turner最近在公司的初始凹凸渲染管道(用于增强现实/虚拟现实)上发布了一个简要概述。以下是一个稍微不太技术化的版本:
Bastani和Turner在他们的研究中表示,解决凹凸渲染的当前限制包括内容创建、数据传输、延迟以及在增强现实中与真实世界物体进行交互。为了解决其中一些问题,Bastani和Turner在新的管道中概述了三个主要的研究领域:凹凸渲染以减少像素的计算量,凹凸图像处理以减少视觉伪影,以及通过降低每像素传输的位数来解决延迟问题。
传统的凹凸技术将帧分成几个离散的空间分辨率区域,这往往会在内容的较低分辨率区域产生明显的伪影,比如走样。这毫不意外地破坏了整体期望的效果,即周围区域在任何方面都不应该引起注意。下面的GIF图展示了左侧的全分辨率渲染和右侧的传统凹凸渲染(高分辨率区域位于中间)。
谷歌的研究人员介绍了两种方法来解决这些伪影问题:相位对齐的凹凸渲染和共形的凹凸渲染。接下来,您将了解到另外两种使内容显示更高效的技术。
相位对齐的凹凸渲染
在相位对齐的渲染中,研究人员通过使场景的几何部分(如视锥体)与世界进行旋转对齐(例如始终面向北、东、南、西等),而不是与当前帧的头部旋转对齐,从而减少伪影。
然后,将其上采样,并重新投影到显示屏上来补偿用户的头部旋转,据研究显示,这可以减少闪烁。您可以看到右侧面板仍然存在一些走样,但它比左侧的传统场景更平滑,更不容易产生明显的走样。
研究人员表示,与传统方法相比,这种方法的计算成本更高,因为它需要两次光柱化处理(即为显示绘制图像),但同时通过以较低质量渲染低锐度区域,您可以获得出现“净节省”。缺点是它仍然在高锐度和低锐度区域之间产生明显的边界,可能会引起注意。
共形渲染
由于人眼在接近中央凹(眼睛最高分辨率区域)时从低锐度到高锐度有一个平滑的过渡,所以您可以通过尝试精确匹配最终图像中的这种过渡来利用这一点。
据说相对于其他凹凸技术,这种方法减少了计算的像素数,并且防止用户看到高锐度和低锐度区域之间明显的分界线。Bastani和Turner表示,这些好处允许“积极凹凸…同时保持相同的质量水平,从而实现更大的节省。”
与相位对齐渲染不同,共形渲染只需要一次光柱化处理。与相位对准相比,共形渲染的一个缺点是周围区域的走样伪影仍然会闪烁,这对于需要高视觉保真度的应用可能不太理想。
右侧是共形渲染的效果。内容匹配到眼睛的视觉感知和HMD镜头特性。左侧显示了用于比较的平面渲染。两种方法使用相同数量的总像素。
凹凸处理图像
在呈现之后,将AR/VR内容放在眼前之前,需要进行一些图像处理步骤,如局部色调映射、镜头畸变校正或照明混合。
在将凹凸内容放大之前运行镜头畸变校正,可以节省大量资源而且没有额外的察觉到的伪影。下图显示,尽管拟议版本在合并低和高视觉敏锐度图像之前多了一些步骤,但其整体效率更高,从而减少了工作量。
凹凸传输
由于Google非常关注移动VR/AR应用,节省功耗是一个需要解决的重要问题。研究人员声称他们的“凹凸传输”方式通过仅传输到显示器所需的最少数据来节省功耗和带宽。
通过将放大和合并帧的简单任务转移到显示器端,并仅传输凹凸渲染的内容本身,可以节省功耗。据报道,如果凹凸区域与眼球追踪同时移动,则会出现复杂性。由于移动系统芯片(SoC)和显示器之间的压缩不是为凹凸内容设计的,因此可能会出现时域伪影。
您可以在此处阅读完整的研究页面。该页面较为技术性,并包含了一些其他的参考图像。
0