第一部分我们探讨了CGI、游戏和现代VR系统的现状。在第二部分中，我们将研究人类视觉感知的限制，并展示了我们正在探索的几种方法，以将性能推向更接近未来VR系统的限制。
摘自Morgan McGuire博士的客座文章
Morgan McGuire博士是NVIDIA的AR和VR研究团队中的一名科学家。他曾为Activision和THQ出版的Skylanders、Call of Duty、Marvel Ultimate Alliance和Titan Quest游戏系列做出了贡献。Morgan是《The Graphics Codex》和《Computer Graphics: Principles & Practice》的合著者。他同时担任滑铁卢大学和威廉姆斯学院的教师职务。
注：本文第一部分为本讨论提供了重要背景，请在继续阅读之前阅读第一部分。
重新设计VR未来的管线
我们的未来VR规格是基于人类感知的限制。有不同的测量方法，但要制作完美的显示器，你大致需要相当于200台240Hz刷新率的HDTV。这相当于每秒大约10万兆像素的图形吞吐量。
请记住，现代VR目前每秒大约为450百万像素。这意味着我们未来VR需要200倍的性能提升。但考虑到高动态范围、可变焦点以及当前电影质量和照明标准等因素，更切实的需求是要提升1万倍的性能…而我们希望只有1毫秒的延迟。
从理论上讲，我们可以通过投入越来越大的计算力来实现这一目标，但强行实施仅仅是低效和不经济的。强行实施无法使VR得到广泛应用。那么，我们可以使用什么技术来实现这一目标呢？
渲染算法
凹凸渲染
我们的第一个性能优化方法是凹凸渲染技术，它通过降低用户周围视野中图像的质量，利用人类感知的一个特性，在不可察觉的质量损失的情况下提高性能。
由于眼睛本身只在你正在看的地方（视锥中央）具有高分辨率，VR系统可以在用户周围的像素中无法察觉地降低分辨率以提高性能。然而，它不能只是以低分辨率渲染。上述的图像都是在2D中缩小显示的广角图片。如果你在VR中看钟，那么左边的公告板将处于外围位置。就像顶部图像中的分辨率降低一样，会产生块状图形和视觉对比度的变化。这会在你眼角的运动或模糊中产生可察觉的效果。我们的目标是计算所需的精确增强，以产生一个低分辨率图像，其模糊与人类感知相匹配，在外围视野中看起来完美（Patney等人和Sun等人）。
光场
为了加速VR中逼真的图形，我们正在研究超越今天的三角网格渲染基元。在与麦吉尔大学和斯坦福大学的合作中，我们正在使用光场来加速光照计算。与今天的2D光照贴图不同，光场是一种4D数据结构，可以存储空间中所有可能方向和角度的光照。
它们在场景中的所有表面上产生逼真的反射和着色，甚至还包括动态角色。这是将光线追踪质量与环境探头和光照贴图性能统一起来的下一步。
实时光线追踪
那么，关于真正的实时光线追踪呢？NVIDIA Volta GPU是世界上最快的光线追踪处理器，而NVIDIA Pascal GPU则是最快的消费级光线追踪处理器。以大约10亿条光线/秒的速度，Pascal几乎足够快，可以替代现代VR中的主要光栅化器或阴影贴图。如果我们通过我刚刚描述的那些改变来解锁管线，光线追踪对未来的VR可以做到什么？
答案是：光线追踪对VR可以做很多。当你追踪光线时，你根本不需要阴影贴图，从而消除了延迟的障碍。光线追踪还可以实现…本地分别渲染红色、绿色和蓝色，并直接为镜头渲染桶形畸变图像。这样可以避免镜头的畸变处理和随后的延迟。
事实上，在光线追踪时，您可以完全消除渲染离散像素帧的延迟，以至于在传统意义上没有 “帧率”。我们可以在像素在GPU上生成时将其直接发送到显示器。这被称为 “光束追踪”，并消除了显示同步。在这个阶段，图形系统内不存在高延迟障碍。
由于没有像栅格化那样的平面，光线追踪也解决了视野问题。栅格化依赖于将直线（如三角形的边缘）从3D到2D保持不变。但VR所需的宽广视野需要从3D到2D的鱼眼投影，将三角形在显示屏周围弯曲。栅格化将图像分成多个平面以近似处理。使用光线追踪，如果需要，您甚至可以直接渲染完整的360度视野到球形屏幕上。光线追踪还原生支持混合基元：三角形、光场、点、体素，甚至文本，这在内容优化方面提供了更大的灵活性。我们正在研究以使这些方法比传统渲染更快速用于VR。
除了光线追踪可以加速VR渲染的延迟和吞吐量之外，光线追踪的一个重要特点是它对图像质量的影响。回想一开始这篇文章中提到的，电影渲染的图像质量是由一种称为路径追踪的算法决定的，它是光线追踪的扩展。如果我们转向基于光线的渲染器，我们将为VR解锁全新的图像质量水平。
实时路径追踪
虽然我们现在可以实时进行光线追踪，但实时路径追踪存在一个巨大的挑战。路径追踪计算量比光线追踪大约多10,000倍。这就是为什么电影需要几分钟来生成一个帧，而不是毫秒。
在路径追踪中，系统首先从相机发射一条光线以找到可见表面。然后，它再发射一条光线到太阳，看看该表面是否在阴影中。但是，场景中的照明并不只来自太阳。一些光是间接照明，经过地面或其他表面的反射。因此，路径追踪器会递归地发射另一条随机光线来采样间接照明。这个点还需要进行阴影射线投射和自己的随机间接光照…这个过程继续进行，直到每条单独路径追踪约10条光线。
但是，如果一个像素只有一两条路径，由于随机采样过程，图像会非常嘈杂。它会看起来像这样：
通过在每个像素处跟踪数千条路径，电影图形解决了这个问题。所有那些每个像素的路径数和每条路径的十条光线，是为什么路径追踪比单纯的光线追踪要昂贵10,000倍的原因。
要为VR解锁路径追踪的图像质量，我们需要一种方法来在每个像素上只采样少量路径，并避免随机采样的噪声。我们认为通过像焦点渲染等创新技术，我们很快就能实现这一点。焦点渲染使得我们只需为图像中心付费高昂的路径成本，并借助去噪技术，可以将多噪声的图像直接转换为清晰图像而无需跟踪更多光线。
今年我们发表了三篇论文，旨在解决去噪问题。这些论文是与麦吉尔大学、蒙特利尔大学、达特茅斯学院、威廉姆斯学院、斯坦福大学和卡尔斯鲁厄理工学院合作的结果。这些方法可以将像这样的嘈杂的实时路径追踪图像：
转化为像这样的清晰图像：
只需毫秒级计算时间，无需额外的光线。其中两种方法利用GPU的图像处理能力实现，而另一种方法则利用了NVIDIA GPU的新的人工智能处理能力。我们花了数天时间训练一个神经网络进行去噪，现在它能够在几十毫秒内独立进行图像去噪。我们正在加大以前的技术和训练越纯熟，成本就越低。这是一种令人兴奋的方法，因为最近我们发现了几种新的方法来意想不到地利用人工智能来提高计算机图形的质量，以及用于创建新的、动画的3D内容来构建虚拟世界的创作过程。

计算显示

如今的虚拟现实头显中的显示设备相对简单。显示器本身几乎没有进行任何处理，只是显示传递给它的数据。虽然对于电视、显示器和智能手机等设备来说这没问题，但是通过使显示器更加“智能”，不仅可以改善虚拟现实体验，还可以了解观察者的状态。我们正在探索头戴设备和显示器内部处理的几种方法，以推动虚拟现实的极限。

解决聚焦问题的解决方案

虚拟现实头显的第一个挑战是聚焦问题，技术上称为“聚焦-调节不一致”。所有现有的虚拟现实和增强现实设备都要求您聚焦在一个距离大约1.5米的点上。这有两个缺点：

当正在观看远处或近处的物体时，在立体虚拟现实中，您的双眼聚焦的点与调整焦距的点不一致。这种不一致会导致不适感，是现代虚拟现实中常见的抱怨之一。

如果您使用增强现实技术，则在现实世界中以实际深度查看。虚拟影像需要与您的焦点匹配，否则会太模糊而难以使用。例如，您无法在驾驶时将视线聚焦在20米外而同时在1.5米处查看增强现实地图导航。

我们创建了一个原型计算光场显示器，可以通过呈现来自多个角度的光使焦点落在任何深度。该显示器对于以往来说是重要的突破，因为计算直接发生在显示器中。我们不只是发送简单的图像：我们发送复杂的数据，显示器将其转换成适合您眼睛的形式。那些看起来有点像昆虫视角的微小图像网格需要经过特殊渲染，其中包括定制光学部件（微透镜阵列），以适当的方式呈现它们，使其看起来像自然界。

第一个光场显示器在2013年问世。下周，在ACM SIGGRAPH Asia 2018会议上，我们将展示一种新的全息显示器，使用激光和复杂计算来基于相互干涉的光波前生成光场。这里更难以想象其工作原理，但它基于相同的基本原理，并可以产生更好的图像。

我们坚信，此类内部计算技术是未来的关键技术。但光场不是我们用于解决聚焦问题的唯一方法。我们还创建了两种变焦或可变焦的光学技术。

此显示器原型使用激光将图像投射到扩散全息图上。您直接透过全息图看，当图像在弯曲玻璃上反射时，它看起来就像在远处：

我们通过使用微小电机移动全息图或太阳眼镜反光器来控制图像出现的距离。我们将虚拟物体的距离与您在现实世界中所看的距离相匹配，因此您始终可以自然地聚焦。

这种方法在显示器中需要两个计算部分：一个跟踪用户的眼睛，另一个计算适当的光学以渲染动态预畸变的图像。与我们大多数的原型一样，研究版比最终产品要大得多。我们使用大型组件来促进研究建设。当产品真正用于实际使用时，这些显示器看起来更像是太阳眼镜。

这是另一个变焦原型，与北卡罗来纳大学、马普研究所和萨尔兰大学的研究人员合作创建的。它是一种柔性透镜膜。我们使用计算机控制的气动装置来弯曲透镜，以便在调整焦距时始终保持正确。
混合云渲染
我们有多种新方法来解决VR延迟挑战。其中一种与威廉姆斯学院合作的方法利用了全面的GPU技术。为了减少渲染延迟，我们希望尽可能地将GPU靠近显示器。使用Tegra移动GPU，我们甚至可以将GPU放在身体上。但是移动GPU的处理能力比台式机GPU要弱，而我们希望VR拥有比今天的游戏更好的图形…所以我们将Tegra与无线连接的独立GeForce GPU，甚至更好地与云端的Tesla GPU相结合。
这样一来，强大的GPU可以计算光照信息，然后将其发送到身体上的Tegra来渲染最终图像。你可以享受到降低延迟和功耗需求的好处，同时实际上还可以提高图像质量。
降低延迟基线
当然，你不能将延迟推到低于帧率。如果显示器以90FPS更新，那么在最坏的情况下，延迟不可能小于11毫秒，因为显示器在帧之间等待的时间就是11毫秒。那么，我们能让显示器有多快呢？
我们与北卡罗来纳大学的科学家合作，建造了一个每秒运行16000个二进制帧的显示器。下面是数字示波器上显示的图表，显示了这在头部转向的关键情况下效果如何。当你转动头部时，屏幕更新的延迟会引起晕动病。
在图表中，水平轴表示时间。当顶部的绿线跳动时，这是佩戴该显示器的人转动头部的时间。黄线表示显示器更新的时间。它在仅0.08毫秒之后才跳跃起来显示新的图像…比商用VR系统今天最坏情况下的20毫秒好大约500倍。
渲染器无法运行在16000fps，所以这种显示器通过对最近的图像进行时间扭曲来匹配当前的头部位置。我们通过在头戴式显示器上直接运行时间扭曲过程来加快这个过程。下面是我们为此定制的头戴式处理器原型图：
与常规的时间扭曲会扭曲2D图像或者使用2D图像和深度的更先进的空间扭曲不同，我们的方法也适用于完整的3D数据集。最右边的图片显示了一个实时扭曲了完整的3D场景的案例。在这个系统中，显示器可以在你在场景中四处走动时持续更新，即使在短暂断开与渲染器的连接时也是如此。这使得我们可以以低速运行渲染器以节省功耗或提高图像质量，并在通过低速网络无线连接时产生低延迟的图形。
完整系统
提醒一下，在本文第1部分中，我们确定了当今VR头显所采用的渲染流程：
将刚才描述的所有技术整合在一起，我们可以勾勒出不仅仅是各个创新的一个全新构建VR系统的愿景。这个愿景几乎消除了所有的同步障碍。它将计算分散到云端和头戴式显示器上。延迟降低了50-100倍，图像具有电影般的质量。视觉分辨率增加了100倍，但只在你观看的区域付费。你可以自然地聚焦于多个深度。
我们以如此之快的速度向显示器传递二进制图像，以至于它们与现实无法区分。这个系统具有正确的聚焦调节、宽广的视场、轻巧和低延迟…使得它舒适时尚，足以全天使用。
通过在计算显示、可变焦光学、凹凸渲染、去噪、光场、二进制帧等领域取得突破，NVIDIA研究正在创新开发一种全新的虚拟体验系统。随着系统变得更加舒适、经济实惠和强大，这将成为每个人的新型计算界面。我所描述的方法可以在我们的网站上找到深入的技术细节。
我鼓励每个人去体验当今可用的伟大的早期采用者现代VR系统。我也鼓励大家和我们一起展望普及的AR/VR/MR的大胆未来，并认识到这项技术将带来革命性的变革。