NVIDIA最新的“RTX”卡不仅在性能上有了渐进的提升,而且代表着NVIDIA在实时渲染方面的重大新方向。RTX卡基于该公司的“图灵”架构,为图形带来了经过加速的光线追踪和人工智能,并且与基于“帕斯卡”架构的NVIDIA之前的10系列GPU相比,还带来了专为虚拟现实优化的增强功能。
图灵架构引入了两种在之前的GeForce显卡中找不到的新型“核心”(专门处理特定任务的处理器):RT核心和Tensor核心。RT核心旨在加速光线追踪操作,这是模拟光线如何在场景中反弹并与物体交互的数学过程。Tensor核心旨在加速张量操作,这对于神经网络和深度学习等人工智能推理非常有用。
这意味着除了通常基于CUDA的渲染外,RTX卡还能够将加速光线追踪和人工智能处理引入渲染中,从而实现一些令人印象深刻的实时反射等效果。但除了通过更逼真的光照获得更好的图形效果之外,RTX卡在虚拟现实领域还有哪些亮点?NVIDIA最近解释了其中的一些亮点。
超宽视野头显的多视角渲染
在过去的几年中,“单次立体”渲染成为为虚拟现实头显渲染立体景观的重要组成部分,因为每只眼睛需要看到场景的稍微不同的视角,以创建准确的3D视图。单次立体允许将场景的几何形状以单次渲染的方式同时呈现给两只眼睛,而不是为每只眼睛进行一次渲染。
即将推出的像StarVR One这样的超宽视野头显通常使用相互倾斜的显示器来实现其广阔的视野。在不引起畸变的情况下渲染如此宽广的视野(尤其是考虑到每个显示器的扩展视野和角度导致每只眼睛的视野内容相对较不同)并不是一项简单的任务。
RTX GPU现在能够进行多视角渲染,NVIDIA表示这类似于单次立体的下一代版本。多视角渲染将单次渲染的可能几何投影数从两个增加到四个,可以在单次渲染中呈现具有倾斜显示的超宽视野头显的场景。该公司还表示,所有四个投影现在都是位置独立的,可以沿任意轴移动,这将为未来的头显设计带来更复杂的显示布局。
似乎可以将多视角渲染中的每个视角划分为通过同时多投影进行透镜匹配着色(这是基于帕斯卡显卡引入的一项功能)。
变速率着色用于凹凸视渲染
凹凸渲染-在你不会注意到的周边视野中减少细节以实现更高效渲染-多年来一直是热门话题,但实际的实施主要依赖于当前许多头显中并不可用的眼球追踪技术。但随着眼球追踪预期在一系列下一代头显中普及,寻找一种高效的凹凸渲染方法变得越来越重要。
NVIDIA表示,他们的新RTX卡支持名为变速率着色的功能,可以动态调整在场景的某个部分与另一个部分之间进行着色的程度。目前尚不清楚这个功能的具体工作方式,但听起来它类似于之前的多重分辨率着色功能,该功能用于静态的凹凸渲染解决方案。
加速光线追踪声音模拟
VRWorks音频在几何体上经过路径,以构建环境的声学模型的示意图 | 图片由NVIDIA提供
事实证明,光线追踪不仅限于图形渲染,也可以应用于音频模拟。光线追踪也可用于模拟声波在环境中的复杂交互。正如NVIDIA指出的那样,目前许多用于VR的空间音频实现提供了准确的立体声音效,但通常不考虑声音与用户周围环境的几何结构的互动,这可能对场景的准确性和沉浸感产生重大影响。
NVIDIA于2016年推出了他们的VRWorks Audio解决方案,该解决方案能够在GPU上实时模拟声音。随着新的RTX系列显卡中的RT核心,该公司表示与上一代显卡相比,VRWorks Audio的实现加速了多达6倍。由于VRWorks Audio需要一部分GPU的处理能力,这种新加速能力可能对开发者更具吸引力,因为他们可以保留更多GPU的计算能力用于图形任务。
VirtualLink
图片提供:NVIDIA
当然,还有VirtualLink,这是VR行业最大的参与者推动的基于USB-C的连接标准。VirtualLink连接器提供了四个高速HBR3 DisplayPort通道(可根据未来需求进行扩展),一个用于内置相机的USB3.1数据通道,以及最多27瓦的电力传输,所有这些功能都集成在一根电缆中。该标准据说是专为VR而设计,经过了优化以满足延迟和下一代头戴显示设备的需求。
所有的Turnig显卡(包括Quadro显卡)都在技术上支持VirtualLink,尽管具体端口可能因制造商而异。至于NVIDIA公司,他们自己的“创始人版”2080 Ti、2080和2070已确认支持VirtualLink。
— — — —
上述提及的所有功能(VirtualLink除外)都是NVIDIA的VRWorks套件的一部分,必须由开发者或游戏引擎创建者进行特定实现。该公司表示,可变速率着色、多视图渲染和VRWorks音频软件开发工具包将在9月的VRWorks更新中提供给开发者。
0