通过虚拟现实、增强现实和混合现实的虚拟体验是计算机图形学的一个全新领域。这个领域的状态与现代游戏和电影图形截然不同。对于那些领域来说，数十年的生产经验和稳定的技术已经实现了2D屏幕上图形的潜力。本文描述了我们在NVIDIA正在创造中专门为虚拟体验优化的全面系统。
客座文章：摩根·麦克奎尔博士
摩根·麦克奎尔博士是NVIDIA的新体验增强现实和虚拟现实研究团队的科学家。他曾参与过Activision和THQ发行的Skylanders、使命召唤、漫威终极联盟和泰坦之旅游戏系列的制作。摩根是《图形密码》和《计算机图形学：原理与实践》的合着者。他在滑铁卢大学和威廉姆斯学院担任教职。
更新：本文的第二部分现已发布。
NVIDIA研究部门横跨全球，在与当地大学密切合作的同时，涵盖广泛的应用领域，包括自动驾驶汽车、机器人和游戏和电影图形。
我们在虚拟体验上的创新包括一些你可能已经有所耳闻的技术，比如凹凸渲染、可变焦光学、全息术和光场。本文详细介绍了我们在这些方面的最新工作，但更重要的是展示了它们如何共同发挥作用，改变与计算和现实的每一个互动。
NVIDIA努力确保我们的每一代GPU都是世界上最好的。作为研究部门，我们的角色是超越这个稳定的产品周期，寻找突破性的变革和新的应用。我们正在努力将虚拟现实从早期采用者的概念转变为计算的革命。
研究是远见
我们的远见是虚拟现实将成为所有计算的界面。它将取代手机显示屏、计算机显示器和键盘、电视机和遥控器、汽车仪表盘。为了简化术语，我们使用VR代指支持所有虚拟体验的缩写，无论您是否可以通过显示屏看到真实世界。
我们的目标是将计算的界面定位为所有计算，因为NVIDIA的使命是创造变革性的技术。只有当技术在日常使用中时，它才真正具有变革性。它必须成为我们生活中无缝且大部分透明的一部分，才能产生真正的影响。我们所认为最重要的技术往往是我们理所当然的技术。
如果我们在思考所有计算和无处不在的界面，那么游戏中的虚拟现实呢？如今，对于早期采用者和高级用户来说，游戏是一个重要的虚拟现实应用。我们已经通过产品支持它们，并在每一代GPU架构中发布新的VR功能。NVIDIA显然非常重视游戏，并确保它们在虚拟现实中表现出色。然而，虚拟现实技术的真正潜力远远超越游戏，因为游戏只是计算的一部分。所以，我们从虚拟现实游戏开始，但这种技术现在正随着虚拟现实的范围而扩展到工作、社交、健身、医疗、旅行、科学、教育和所有其他现在涉及计算的任务。
NVIDIA在虚拟现实革命中处于独特的地位。我们已经在1999年推出现代GPU，并借此为消费者应用提供了高性能计算的转变。如今，不仅你的计算机，包括平板电脑、智能手机、汽车和电视，都装载了GPU。它们提供了一种性能水平，曾经被认为只有高级用户才能获得的超级计算机。因此，我们都享受到了新的生产力、便利性和娱乐性水平。现在，多亏了我们设备中看不见但无处不在的GPU，我们都成为了高级用户。
为了使虚拟现实成为我们生活中的无缝一部分，虚拟现实系统必须更加舒适、易于使用、价格实惠和强大。我们正在发明新的头显技术，以取代现代虚拟现实的笨重头盔。激光和全息技术驱动的眼镜。它们将和平板电脑、手机和笔记本电脑一样普及，并且操作更简单。它们可以即时切换AR/VR/MR模式。它们将由新的GPU和图形软件提供动力，这与今天的技术几乎完全不同。
所有这些创新都指向一种与计算机交互的新方式，这将需要不仅仅是新的设备或软件，还需要完全新的VR系统。在NVIDIA，我们正在使用尖端的工具、传感器、物理学、人工智能、处理器、算法、数据结构和显示器来发明这种系统。
了解流程
NVIDIA研究非常开放，我们通过科学出版物和开源代码分享我们的研究成果。在本文的第二部分，我将介绍我们最近发明的一些技术概述。但首先，为了把它们和我们对未来AR/VR系统的愿景放入背景中，让我们先来看看当前的电影、游戏和现代VR系统是如何工作的。
电影图像系统
好莱坞大片动作电影中包含实物镜头和计算机生成的图像（CGI）的混合，以制作惊人的视觉效果。CGI现在非常出色，以至于好莱坞可以制作完全由计算机生成的场景。在漫威的《死侍》（2016）中，华丽的编排介绍中的每个物体都是由计算机渲染而不是拍摄的。不仅是爆炸和子弹，还有建筑物、车辆和人物。
从技术角度来看，创建具有高度视觉保真度图像的电影系统可以用以下图解来描述：
图解包含多个部分，从左边的创作阶段，通过粒子、三角形和曲面等建模原语，到渲染器。渲染器使用一种称为“路径追踪”的算法，在虚拟场景中进行以光线真实模拟。
渲染后还进行了对颜色和合成的二维图像的手动后处理。整个过程不断循环，导演、编辑和艺术家根据视觉反馈修改内容，然后展示给观众。电影的图像质量是我们对VR逼真度的目标。
游戏系统
电影图像系统演变成了类似的3D游戏系统。游戏代表了我们对VR交互速度和灵活性的目标，即使是非娱乐应用程序也是如此。游戏图形系统的示意图如下：

这里我特别展示了延迟渲染的流水线。这是大多数PC游戏使用的流水线，因为它提供了最高的图像质量和吞吐量。

与电影一样，它始于创作过程，并具有大的艺术指导循环。游戏为玩家增加了一个重要的交互循环。当玩家在屏幕上看到某个物体时，他们会通过按按钮做出反应。这个输入进入到图形处理的之后的帧中。这个过程引入了“延迟”，即计算和应用新用户输入所需的时间。对于一个动作游戏来说，要感觉到响应，延迟需要控制在150毫秒以下，因此保持较低的延迟是一项挑战。
不幸的是，有很多因素会增加延迟。例如，游戏使用基于“光栅化”的渲染算法，而不是路径追踪。延迟渲染流水线有很多阶段，每个阶段都会增加一些延迟。与电影一样，游戏还有一个大的2D后处理组件，上面的多阶段流水线中标有“PostFX”。就像一条装配线，这个长流水线增加了吞吐量，实现了流畅的帧速率和高分辨率，但增加了复杂性带来延迟。
如果只看输出，像素从流水线中迅速出来，这就是为什么PC游戏拥有高帧率的原因。问题是像素在流水线中停留的时间很长，因为它有很多阶段。图示中的红色垂直线表示阻塞同步点。它们放大了各阶段的延迟。由于存在一个屏障，下一阶段的第一个像素无法在上一阶段的最后一个像素完成之前进行处理。
游戏渲染流程可以提供令人惊叹的视觉体验。通过精心的艺术指导，它们可以接近电影CGI甚至现场拍摄电影的质量，尤其是在顶级GPU上。例如，看看电子游戏《星球大战：前线II》（2017年）。
然而，星球大战的电子游戏的画面比电影更加静态。这是因为游戏的视觉效果必须经过性能调优。这意味着灯光和几何图形不能以我们在大屏幕上看到的宏伟方式改变。你可能熟悉相对静态的游戏环境，只有在剧情过场动画中才会出现大型场景爆炸。
现代虚拟现实系统
现在让我们看看电影和游戏与现代虚拟现实的区别。当开发人员将他们的游戏引擎迁移到虚拟现实时，他们面临的第一个挑战是规格的增加。游戏的原始图形性能从每秒6000万像素（MPix/s）跃升到虚拟现实的每秒450 MPix/s。而这只是个开始……这个需求将在明年增加至四倍。
现今在Oculus Rift或HTC Vive上的每秒450 Mpix与1080p游戏以每秒30帧的速度相比，几乎是像素数量每秒增加了七倍。这是一个吞吐量的增加，因为它改变了像素移动通过图形系统的速率。这很大，但是性能挑战更加严峻。回想一下，传统游戏中的游戏交互延迟约为100-150ms，即从玩家的输入到像素在屏幕上发生变化之间的时间。对于虚拟现实，我们不仅需要将吞吐量增加七倍，还需要将延迟减少七倍。今天的虚拟现实开发者如何实现这一点？让我们先看看延迟。
在下面的图表中，延迟是数据从系统左侧移动到右侧所需的时间。系统中的阶段越多，吞吐量就越好，因为它们可以并行工作，但这也使得流水线更长，导致延迟变得更糟。要减少延迟，你需要消除方框和红线。
正如你所预料的，为了减少延迟，开发人员会尽可能地去除尽可能多的阶段，就像上面修改过的图表所示的那样。这意味着切换回“正向”渲染流程，即在场景中进行一次3D通行而不是多次2D着色和后期特效通行。这会降低吞吐量，然后通过显著降低图像质量来保持吞吐量。不幸的是，这仍然不能完全满足延迟减少的要求。
现代虚拟现实中有助于缩小延迟差距的关键技术称为时间扭曲。在时间扭曲下，屏幕上显示的图像可以在不通过整个渲染流程的情况下更新。相反，头部跟踪数据会发送到一个出现在渲染完成后的GPU阶段。因为这个阶段“更接近”显示屏，所以它可以根据最新的头部跟踪数据对已经渲染的图像进行扭曲，而无需通过整个渲染流程。通过一些预测技术，这将感知延迟从约50毫秒降低到零，根据最佳情况。
现代虚拟现实硬件的另一个关键启用技术是镜头畸变。一台好相机的光学设备至少包含五个高品质的玻璃镜片。不幸的是，那种镜头又重又大，而且价格昂贵，你不可能把两台单反相机绑在头上。
这就是为什么许多头戴式显示器使用每只眼睛一个经济实惠的塑料镜片。这些镜片轻巧而小巧，但质量较差。为了纠正简单镜片所引起的畸变和色差，着色器会对图像进行相反数量的预畸变。
NVIDIA GPU硬件和我们的VRWorks软件加速了现代虚拟现实渲染流程。GeForce GTX 1080和其他Pascal架构的GPU使用了一个称为Simultaneous Multiprojection的新功能，可以以增加的吞吐量和降低的延迟渲染多个视图。该功能提供了单次立体视觉，使两只眼睛同时渲染，并配合与镜头匹配的畸变校正技术。着色是直接渲染到预失真图像中的，能够提供更好的性能和更高的清晰度。1080中的GDDR5X内存提供了前一代的1.7倍带宽，并且硬件音频和物理模拟有助于创建更真实的虚拟世界以增强沉浸感。
现代VR系统由减少的流水线阶段、时间扭曲、镜头畸变和强大的PC GPU组成。
———
现在我们已经了解了电影、游戏和VR图形的工作原理，在本文的第2部分中，我们将探讨人类视觉感知的限制，并展示几种我们正在探索的方法，以使VR系统的性能更接近这些限制。
请继续阅读第2部分：重新定义流水线»