Insider Insider
Roadtovr 尚无浏览 2 分钟阅读

NVIDIA 揭开了 Gameworks VR 的面纱 – 技术深度剖析和社群问答

虚拟现实即将来临,这将需要高帧率和低延迟的视觉效果。在NVIDIA图形程序员Nathan Reed的客座文章中,我们深入探讨了他们即将推出的Gameworks VR倡议。它是什么以及它将如何推动我们即将到来的虚拟现实体验?

Nathan Reed是一位图形程序员、业余物理学家和科幻迷。他教会电脑如何制作漂亮的图像,并对美丽、沉浸式、叙事驱动的游戏和交互式小说充满激情。Nathan 在NVIDIA负责虚拟现实方面的工作,之前在Sucker Punch Productions为PS3和PS4开发了《Infamous》系列游戏。

我们知道你对虚拟现实感到兴奋,我们也是!毫不夸张地说,这是游戏和娱乐界多年来最有趣的事情。虚拟现实是下一个领域,可能性是无限的,而我们现在还只是刚刚开始。
NVIDIA正在大力投入虚拟现实。虚拟现实游戏将需要大量的GPU计算能力,低延迟、立体渲染、高帧率、高分辨率和高保真度的视觉效果都是为了将真正沉浸式的体验带入现实。作为一家GPU公司,当然我们将迎接虚拟现实所带来的新挑战,并尽一切努力帮助虚拟现实游戏和头戴式显示器开发人员充分利用我们的GPU来创建最佳的虚拟现实体验。

为此,我们构建了、并将继续构建GameWorks VR。GameWorks VR是我们正在开发的一套技术,用于应对高性能虚拟现实渲染的挑战。它具有几个不同的组件,一些面向游戏引擎开发人员,一些面向头戴式显示器开发人员。GameWorks VR技术目前在有限的 Alpha 计划下可供使用,并且我们正在与Oculus、Valve、Epic等合作密切合作,希望这些技术能够经受住实际考验,并尽快部署到我们全球的客户那里。
对于引擎开发人员
虚拟现实多GPU并行渲染
人们有两只眼睛,所以虚拟现实游戏必须进行立体渲染。这会大大增加每一帧渲染的CPU和GPU负载,最坏的情况下几乎翻倍。一些操作,如物理模拟和阴影贴图渲染,可以在两个立体视图之间共享。然而,视图本身的实际渲染必须分别完成每只眼睛,以确保正确的视差和深度线索,使你的大脑能够融合为一个3D虚拟世界的感知。

显然,通过两个独立视图,您可以将渲染工作在两个GPU之间并行化,从而大幅提高性能。换句话说,您在每个GPU上渲染一个眼睛,并将两个图像合并成一个单帧发送到头戴式显示器。这减少了每个GPU所做的工作量,从而提高了帧率,或者在不影响延迟的情况下允许您使用更高的图形设置,并保持在头戴式显示器的每秒90帧刷新率以上。
Oculus Rift虚拟现实头戴式显示器
这是我们预计人们使用虚拟现实多GPU并行渲染的主要方式。但是,虚拟现实多GPU并行渲染甚至超越了此功能 – 它实际上是一个DirectX扩展API,使引擎开发人员能够对如何在任意数量的GPU上分布工作拥有明确的控制。因此,如果您是开发人员,并且希望在一台计算机中支持4个甚至8个GPU,您可以实现。您可以根据自己的需求将工作分割在多少GPU上。
如前所述,虚拟现实多GPU并行渲染作为一个DirectX扩展进行操作。它可以通过两种主要方式使用。首先,它能够实现GPU亲和掩码:即掩盖一组绘制调用将发送到哪些GPU的能力。通过这个功能,如果引擎已经支持立体渲染,非常容易启用双GPU支持。您只需要添加几行代码将所有左眼的绘制调用发送到第一枚GPU,将所有右眼的绘制调用发送到第二枚GPU。对于两个GPU都会使用的阴影贴图等多个情况,您可以将这些绘制调用发送到两个GPU。这真的很简单,非常容易在引擎中集成。

另一种方式是在引擎中实施显示模式管理的功能,使开发人员可以更具灵活性和可扩展性地定义渲染管线的分布。使用VR SLI的一种方法是使用GPU广播。这需要开发人员进行更深入的集成和更多的工作,但不仅可以提高GPU性能,还可以提高CPU性能。 CPU性能很重要,因为一旦将游戏的渲染工作分割成两个GPU,CPU就成为可能影响游戏性能的下一个最可能的瓶颈。

GPU广播允许您使用单个绘制调用来渲染两个眼睛的视图,而不是为每个眼睛提交完全单独的绘制调用。因此,它将每帧的绘制调用数量及其相关的CPU开销减少了大约一半。这是因为每只眼睛的绘制调用最初几乎完全相同。两只眼睛可以看到相同的对象,使用相同的几何、着色器、纹理等进行渲染。因此从驱动程序的角度来看,它只是重复相同的工作两次。两只眼睛之间唯一的区别就是它们的视图位置——只是常量缓冲区中的一些数字。 VR SLI使您可以一次提交绘制调用,将其广播到两个GPU,同时向两个GPU发送不同的常量缓冲区,以使每个GPU得到正确的眼睛位置。这让您几乎不需要额外的CPU开销就可以渲染两只眼睛。

我已经讨论了使用VR SLI的两种不同方法——亲和遮罩和广播,但请注意您不需要在它们之间进行选择。这两种使用方式可以在同一个应用程序中轻松混合使用。因此,引擎开发人员可以很容易地从亲和遮罩开始使用,然后在需要时逐渐将其引擎的部分转换为广播。但是,任何级别的VR SLI支持都需要积极地集成到引擎中,无法在未集成VR SLI的游戏中自动启用它。

由于VR SLI是一种软件(驱动程序)功能,因此它适用于各种不同的NVIDIA GPU,包括从GeForce GTX 600系列到最新的GPU。目前它作为DX11的扩展存在。DX12已经内置了非常相似的多GPU支持。我们希望最终能够将VR SLI扩展暴露给OpenGL和Vulkan,并在以后的时间里将VR SLI引入Linux。

VR SLI是一项极好的功能,可以在多GPU系统中实现最大的性能。但是,即使在单个GPU上,我们如何使VR渲染变得更高效呢?那就是我接下来要讲的主题。

第二页——多分辨率着色

多分辨率着色

所有新兴的VR头显都有镜片,这些镜片位于您和屏幕之间。镜片为您提供更宽广的视野并使您能够舒适地调焦,但也会对图像造成显著的畸变。为了补偿这一点,VR运行时软件会对从游戏中渲染出来的帧进行反畸变处理:它将它们扭曲成非线性的奇异曲线格式,然后在显示器上呈现。当您通过镜片观看这种扭曲的图像时,它看起来正常。

问题在于,这种扭曲处理会显著压缩图像的边缘,而保持中心不变甚至略微扩展。为了在中心获得完整的细节,您必须以更高的分辨率进行渲染,但在扭曲处理中会舍弃大部分像素。

理想情况下,我们将直接渲染到最终的扭曲图像。但是,GPU无法原生处理这种非线性扭曲——它们的光栅化硬件是基于线性透视投影的假设设计的。

然而,包括GeForce GTX 900系列和Titan X在内的NVIDIA Maxwell GPU具有称为“多投影”的硬件功能,使我们能够在单个渲染目标内非常高效地将几何图形光栅化到多个视口内。这些视口可以是任意不同的形状和大小。因此,我们可以将渲染的图像分割成几个不同的视口,将中心部分保持其通常大小,但缩小外部部分。这实际上形成了一个多分辨率渲染目标,我们可以使用渲染它的绘制调用。single pass, as efficiently as an ordinary render target.

简而言之,这就是我们所称的多分辨率着色。它允许我们在图像中心以全分辨率有效地渲染,并在外围降低分辨率,实现一次渲染。这更加接近最终显示的扭曲图像的着色率,换句话说,它避免了渲染大量不会显示在屏幕上的额外像素,并为您提供了相当大的性能提升,而不会视觉上降低图像质量。
与VR SLI一样,多分辨率着色需要开发人员将该技术集成到游戏和引擎中,而不是通过驱动程序自动开启。除了在主通道中启用多分辨率渲染外,引擎开发人员还必须修改任何作用于多分辨率渲染目标的后处理通道,例如SSAO、延迟着色或景深效果。
我们正在与几个关键合作伙伴一起开发多分辨率着色,并且正在看到一些非常有希望的初步结果。
第3页-直接模式和前置缓冲

面向头盔开发者

VR SLI和多分辨率着色主要针对开发VR游戏引擎的开发者。但是,GameWorks VR还包括一些面向VR头盔开发者在自己平台软件中利用的低级功能。
直接模式和前置缓冲渲染
任何有VR头盔使用经验的人可能会遇到这样的情况:系统天真地将它视为另一台显示器:将桌面扩展到它,随机将应用程序窗口移动到它上面,在插入时引起屏幕闪烁等等。但是VR头盔并不只是另一台显示器,将其作为这样的处理只会给用户带来不必要的困扰。
通过直接模式,显示驱动程序在插入头盔时能够识别到它,并将其隐藏在操作系统中,从而避免了所有这些用户体验问题,同时仍然允许VR应用程序渲染到头盔上。这还带来了一些便利的副作用:我们可以确保在头盔上始终在全屏独占模式下运行,而不受操作系统的干扰,并且我们可以为VR头盔开发人员提供对帧排队和垂直同步行为的精确控制。这不仅提高了用户体验,还有助于确保渲染和显示扫描输出之间的延迟尽可能地降低。
直接模式的另一个好处是我们可以公开直接渲染到前置缓冲的能力,即当前正在被扫描输出到显示器的缓冲区。虽然需要先进的低级了解才能利用此功能,但它可以通过在垂直空白期间进行渲染或与屏幕扫描线并行来进一步减少延迟。
上下文优先级
为提供最舒服的VR体验,游戏最好始终以每秒90帧的完美一致性运行,永远不会丢失任何一帧。不幸的是,多任务操作系统、内存分页、后台流媒体等等会导致很多事情的发生,即使是经过完美优化的游戏也可能偶尔会出现卡顿或停顿。即使在常规屏幕上玩时,错过帧也很烦人,但在VR中,它们极其令人分心,甚至会让人感到恶心。
为了解决这个问题,我们在驱动程序中启用了创建特殊高优先级D3D11设备的选项。当将工作提交到该设备时,它会抢占GPU上运行的任何其他工作,切换到高优先级上下文,然后在完成后恢复到原来的工作上下文。这支持一些功能,比如异步时间扭曲,如果游戏偶尔卡顿或停顿,没有按计划提供新帧,它可以重新扭曲上一帧。

这就是GameWorks VR!NVIDIA对虚拟现实的未来非常兴奋,并努力为开发者提供最快的GPU和最好的工具,以构建令人惊叹的VR体验。对于希望获得我们SDK的开发者,他们可以在developer.nvidia.com/vr了解更多信息并注册。

GameWorks VR社区问答

社区问答
我们可以期待何时实现一次通过,就像普通的渲染目标那样更加高效?
VR SLI能力的公开发行驱动程序?
在接下来的几个月内。(然而,驱动程序本身并不能自动启用VR SLI——它需要集成到每个游戏引擎中,所以对它的支持将取决于各个开发者。)
您可以确认哪些GPU将获得哪些GameWorks VR功能,比如它是否仅限于9xx系列?
几乎所有功能都适用于从6xx系列开始的所有GPU!唯一需要9xx系列的是多分辨率着色,因为它依赖于只存在于我们最新的GPU架构Maxwell中的多投影硬件。对于专业用户,GameWorks VR也完全支持相应的Quadro显卡。当然,VR渲染要求很高,所以我们建议使用GeForce GTX 970或更高性能的显卡来准备以进行VR体验的PC。
关于最近发现的关于NVIDIA VR头显的专利申请,您能发表评论吗?(链接)
NVIDIA经常在广泛的图形和显示相关领域申请专利。
您能解释一下GameWorks VR和VR Direct之间的区别吗?它们之间会互相取代吗?
GameWorks VR是我们以前称之为VR Direct的新名称。随着我们扩展了VR软件开发工具包(SDK)的功能集,将这些能力整合到我们的整体GameWorks计划中是合理的。
很多人都指望SLI在VR中能起到解决高性能要求的作用。您认为实现每个眼睛使用一个GPU时的延迟是否与单卡设置的水平相同的机会有多大?
我们已经做到了!在我们的VR SLI演示应用程序中,我们可以看到一个眼睛一个GPU的工作方式,而相对于单个GPU系统,延迟没有增加。
有计划在Linux操作系统上推出GameWorks VR功能吗?
最终会有的,但这是在更长的时间内。
关于凹凸渲染和VR SLI:您有计划使两个或更多不同性能级别的显卡或GPU实现SLI吗?比如,在中心区域使用高性能的显卡(比如GM200/GP100),在外围视野使用较低规格的显卡(比如GM206/GPxxx)?有否计划开发一款特殊的VR双GPU卡来实现这一点?
SLI要求所有显卡的型号完全相同,所以目前我们无法做到这一点。异构多GPU(即不同类型的GPU协同工作)作为一个研究项目是有潜力的,但目前不是我们正在积极研究的项目。
您有什么长期计划来提高显卡利用率而不增加延迟吗?
不太明白这个问题的具体含义,但我们会不断改进驱动程序,以便让显卡始终有工作可做,而不必等待CPU,而且我们每一代新的显卡架构都会提高多任务处理和抢占支持。
是否计划使用LOD(级别细节)基于渲染,使其在接近时成为立体视觉而在一定距离后变为单眼视觉?
这取决于各个游戏开发者是否认为这样的实现对他们有意义。
我看到您已经添加了对头显的监视器检测,您是否打算将其扩展到即插即用的VR设置,让插入头显时其分辨率和功能可以像即插即用一样传递下来?
如前所述,我们正在实现直接模式(Direct Mode),这样头显会被识别并被处理成头显,而不是作为一个台式显示器,但除此之外,由头显制造商提供的运行时/驱动程序与应用程序之间关于头显功能的通信是由他们负责的。
NVIDIA的VR研发团队有多大?
这有点难说,因为并没有一个专门的“VR团队”,几乎公司的每个组织都有人专注于VR。这对我们来说是一个重要的倡议。