Oculus最新的特性原型VR头盔,代号Crescent Bay,在今年的CES展会上引起了广泛关注。但是尽管围绕着它的光学和显示器被激烈争论,Crescent Bay的音频却有些被忽视了。以下是为什么Oculus在建立高端硬件的专用音频流水线方面的工作非常重要的原因。
“VR音频” – Oculus改善沉浸感的最新倡议
Oculus在2015年CES展会上的目标非常明确;1)让尽可能多的人戴上新的Oculus Rift ‘Crescent Bay’ 2)宣传VR音频,即公司用于描述其3D定位音频流水线的术语。从媒体和社区的广泛报道来看,他们两项任务都完成得不错 – 大家都在谈论3D定位音频以及他们在Oculus最新硬件上的惊人体验。
虽然Crescent Bay新集成的耳机引起了媒体和社区的一些肤浅关注,但也许很多人并没有立即意识到Oculus对你在虚拟现实中听到的东西有多么重视。而且,如果你还没有在虚拟现实中体验过真正有效的定位音频(或者任何游戏体验),你可能不会意识到“存在感”(行业术语,指心理沉浸感)在很大程度上依赖于它。
硬件
Oculus提供高品质VR音频的公开任务始于他们在Oculus Connect上宣布,公司将授权Maryland大学的初创公司Visisonics的Realspace 3D音频引擎,并将其纳入其软件开发包(SDK)中。这意味着为Oculus Rift开发体验的所有开发人员都可以立即访问一组API,以便在不寻求专有解决方案的情况下利用3D定位音频。理论上,这降低了游戏中出色的3D声音要求的门槛。
今年的CES展会上展示的Crescent Bay演示包括了更新的演示,其中包括了这种新的定位音频。VR音频本身可能会在接下来的几个月内在Beta版本的SDK中发布,完整版本将在消费版Rift上市前发布。然而,包含RealSpace3D音频的VR演示已经可以尝试(请参见下面的链接)。
参见:Oculus新授权音频技术的预览展示了令人惊叹的3D声音
Oculus在今年9月公开宣布的最新特性原型Crescent Bay,通过包含一对集成耳机来体现他们的VR音频使命 – 这一设计最初看起来略显不协调。然而,事实证明,这些耳机是Oculus采取的一系列步骤的收尾,旨在提供最纯净、最准确的音频体验。
一个USB数字音频转换器的使用示例
为那些追求超越电子设备在声音呈现方面的标准的人来说,上述方法是众所周知的。绕过日常消费电子产品中通常仅考虑成本而非忠实度而设计和构建的内建DAC和放大器,追求更高水平的音质,可以带来令人印象深刻的改进,而不是代表高端音频爱好者的耍花招。
Oculus告诉我们,这里的目标是尽可能提供最干净、最平整的音频硬件响应。头戴式显示器的音频硬件成为传达开发人员选择的音频设计的空白画布。与此同时,音频路径是可预测的,因此在虚拟现实中实现“存在感”倚重着这一点。计算和定位虚拟空间中的音频提示也应如预期般工作。Oculus实际上已经推出了一个参考设计,作为开发者可以创建的标准目标。
该流程还允许Oculus避免由各个声卡驱动程序引起的任何麻烦,其中包括麻烦的默认均衡(“增强”低音或高音),更不用说经常在音频堆栈中潜伏的不受选择的声卡制造商提供的DSP(数字信号处理,如添加回音)效果。在很多方面,这种方法类似于“直接模式”,Oculus试图从Windows GPU驱动程序堆栈中剔除中间环节,以向HMD的显示屏提供最低延迟。
所有这些意味着,从理论上讲,如果Oculus按照这个设计推出最终的消费产品,每个零售购买Oculus Rift的用户都有最好的机会在开箱之后立即获得高质量和有效的3D定位音频体验。
关于头部相关传递函数(HRTFs)的几句话
与我们大脑为我们所做的大部分不可思议之事一样,通过声音感知世界的方式被视为理所当然。但声音在到达我们耳朵之前所遭受的反射和失真的微妙检测为我们提供了关键的空间信息。
HRTF(头部相关传递函数)是一个听起来不太有帮助的缩写词,指的是大脑用来识别环境中的音频延迟和特性变化的方法,大脑用于判断与声源之间相对距离的方法。大脑通过ITD(耳间时间延迟:到达我们每只耳朵的声音之间的时间延迟的相关性)和HRTF来构建一个令人惊讶的精确的听觉世界。毫不奇怪,模拟这些提示可以极其有效地使大脑相信自己在某个地方。
然而,并非所有的HRTF都是相等的。由于每个人的头部形状都略有不同,你的大脑专门适应自己的头部形状。这对于VR音频的实现提出了有趣的问题。是否会有一个校准步骤,允许您提供您头部的3D模型,以确保准确计算音频的反射和阻塞?我认为不会有这样的步骤,但是随着VR的其他方面变得越来越逼真,为每个用户在虚拟现实中校准HRTF可能是重要的。
根据我的个人经验,使用空间化的3D音频VR演示更接近实现存在感,因此我对Oculus为确保未来虚拟现实内容中的音频使用不仅得到支持,而且得到积极鼓励所做的努力感到振奋和印象深刻。
Oculus在Crescent Bay的音频流程的每个阶段都结合了高质量的定制组件,为消费者提供了一种确保其引人入胜且最终增强存在感的3D定位音频愿景能够传递的方式。只要这些措施被纳入到消费版中,Oculus Rift有可能成为家庭中音质最好的设备。