幸亏Rift S上的跟踪摄像头，该头戴式设备还配备了一个由Oculus称为“Passthrough+”的实时视频功能（其中的“+”表示低延迟、立体校正和宽广视野）。虽然这是目前市面上任何消费级头戴式设备中我们见过的最好的实时视频功能，但该功能很快将会进行升级，以利用NVIDIA最新的GPU中可用的新功能。Oculus 的异步空间扭曲技术（Asynchronous Spacewarp）也将进行类似的升级。

虽然Quest也具有实时视频功能，但由于其延迟和缺乏立体深度，Oculus并未给予其“Passthrough+”的称号。然而，在Rift S上，该公司能够利用计算机的功率，计算解决用户周围场景的深度，然后据此重新投影视图以提供立体深度。此外，与更低的延迟一起，这使得Rift S上的Passthrough+看起来和感觉更加自然。

在Oculus开发者博客上，该公司今天解释说Passthrough+利用了Oculus最初为异步空间扭曲（ASW）开发的技术。ASW可以在帧率不稳定时保持头戴式设备内部的运动平滑。ASW通过比较前一帧的运动来估计未来运动的方式实现此功能（并在此基础上合成新的帧）。对于Passthrough+，类似的技术被用来比较Rift S摄像头中同时捕捉到的帧，以了解每个帧中物体之间的距离，然后推断场景的深度（类似于我们通过两只有稍微不同视角的眼睛感知真实世界的深度）。

该方法类似于大多数视频编码技术使用的方法，ASW和Passthrough+现在在NVIDIA和AMD GPU上使用视频编码器来异步完成这项工作（而不会影响GPU在首次渲染VR世界时所需的工作）。但是，Passthrough+和ASW的升级已经在进行中，并将利用NVIDIA RTX（以及其他NVIDIA“图灵”GPU）中的功能，这些功能支持新的NVIDIA光流技术。（更新：Oculus已经确认ASW的升级也将适用于最初的Rift）。

NVIDIA光流技术将宏块分辨率增加了四倍，提高了运动矢量分辨率，实现了对物体在亮度改变中的跟踪，并更加强调合理的光流而非压缩比率。结果是与传统视频编码运动矢量相比，平均终点误差减少了一半。定性结果同样令人印象深刻。使用ASW时，近距离物体的跟踪更加可靠。挥舞的手电筒产生的运动幻象明显减少，而增加的精确性意味着运动对于单个粒子和物体的跟踪更加准确。

Oculus表示，最终的结果是更准确的运动估计，这意味着在使用ASW时出现的伪影现象更少。

图示展示了光流方法中运动估计密度和精度的增加。

同样，利用图灵GPU的Passthrough+将利用光流升级来提高投射世界的立体分辨率，同时正确跟踪和追踪细长物体。当面临低对比度或过曝光区域时，NVIDIA光流仍然能够推断出有意义的视差值，避免出现视觉空缺或遗漏数据，同时估计场景的深度。

Oculus表示这些增强功能将在6月发布，并与运行最新驱动程序的图灵GPU兼容。

除此之外，该公司对NVIDIA光流技术可能开启的其他可能性也表示乐观。不是ASW和光流的终点。正如这里展示的，光流不仅可以跟踪运动，还可以提供关于场景在空间上如何排列的信息。我们可以通过光流获得许多关于环境的信息，而这些信息无法用传统的视频编码器方法很好地实现。光流软件开发工具包（SDK）提供了许多机会和研究方向，请务必关注以获取更多的经验和见解！