Insider Insider
Roadtovr 尚无浏览 1 分钟阅读

Oculus新获许可音频技术的预览展示了令人惊叹的3D音效(下载)

在经过2年的时间,Oculus集合了他们的智慧和才华来解决虚拟现实显示和低延迟头部跟踪等”难题”后,今年在Oculus Connect会议上,我们听到了一个新的话题引起了注意:VR音频。Oculus最近公布的”Crescent Bay”原型是该公司第一个配备集成耳机的产品。Oculus明确表示,意识到VR中的音频需要超过简单的立体声,因此该公司还宣布,他们正在从Visisonics授权了一种名为RealSpace 3D音频的3D空间音频处理技术。

通过立体声耳机实现3D音频
音频对于几乎所有形式的娱乐的戏剧性影响都是至关重要的。尤其是电影和游戏很大程度上依赖声音来深入我们的潜意识,这可以增强,转化或颠覆任何伴随的视觉效果。几乎没有什么比引人入胜和强大的电影配乐更能唤起情感,也没有什么比专业设计的悬疑配乐更能令人毛骨悚然。
模仿我们在日常生活中体验声音的方式,并将这种逼真水平应用于娱乐活动——这一追求在提升视觉效果之后很长一段时间里一直处于次要位置,但多年来已经发展出了无数技术和技术来尝试实现这一目标。
“Crescent Bay”是Rift的第一个原型,它配备了集成耳机。Oculus表示,如果你愿意,你也可以使用自己的耳机。
Oculus在上月的首届开发者活动“Oculus Connect”上明确表示,他们关注音频。在该活动上,除了展示配备高质量集成耳机的新”Crescent Bay”原型之外,他们还展示了使用RealSpace 3D音频的高质量音频流处理技术。RealSpace 3D音频是Visisonics的一种专有3D音频混合和处理技术。
在Connect活动的舞台上,Oculus首席执行官Brendan Iribe表示,公司正在努力使音频与VR体验的其他方面一样引人入胜。
“……我们在音频方面的工作与我们在视觉方面的工作一样积极。我们已经组建了一个全新的团队,”Iribe说。”作为这一(音频)计划的一部分,我们已经获得了RealSpace 3D音频技术的许可,这是一种高保真VR音频系统,经过10年的开发……”
RealSpace音频全景相机
Visisonics提供了多种解决方案,用于捕捉、混合和处理3D声音舞台,其中包括一个很酷的”音频全景相机”,一个带有64个麦克风和5个内嵌摄像头的8英寸球体,用于捕捉带有广阔声音的全景视频。
该公司与马里兰大学有密切联系,马里兰大学是Oculus首席执行官Brendan Iribe曾经就读过(并随后退学)的学府。Iribe最近向马里兰大学捐赠了3100万美元,用于资助奖学金和扩建计算机科学设施。Visisonics是该学校的一个分离公司,目前拥有校内开发的技术的专有许可权。他们专注于捕捉、混合和处理空间音频,专门针对HRTF(头相关传递函数)技术的系统。
实际使用的RealSpace 3D音频
很明显,Oculus喜欢RealSpace 3D的技术和算法,所以我搜索了一下该技术在实际中的应用示例。说实话,我根本不需要搜索,因为RealSpace 3D不仅提供了两个供任何人下载和尝试的演示,其中一个是针对VR特别优化的、支持DK2的Tuscany VR演示。
“标准”演示是一个相当简单的演示,使用第一人称视角(包括枪支,原因不明)。你会先听到未启用RealSpace 3D处理的音效和音乐,然后再启用。说实话,如果我只看了这个视频,我会感到相当失望。
幸运的是,Tuscany演示完全是另一回事。
我听过很多环绕声系统,也体验过许多DSP/处理过的3D音频技术以及无数的双耳曲目,但是这个演示给我树立了一个新的标杆。
这个演示与我们所有人所熟悉的Tuscany体验完全相同。熟悉的除了虚拟世界中的物体作为展示RealSpace 3D音频技术的焦点。走进喷泉(红色闪烁,有些令人不安),您将首先听到喷泉的声音。可能没有什么特别之处,但当您转动头部时,流水的声音会按照预期在3D空间中锚定,甚至在您身后时也是如此。这种效果有些过热,但仍然令人印象深刻。
进一步行走,您会看到标有红色的蝴蝶,走向蝴蝶,蝴蝶的轨迹后面跟随着直升机的隆隆声。当它飞过您的头顶时,垂直定位非常惊人,我发现自己围着转,对与我视线进入虚拟世界的位置准确度感到惊讶。非常令人印象深刻,虽然有些突然和突出。
然而,我最喜欢的是当进入房屋本身时。您会发现一个有些不协调的扬声器悬浮在楼梯旁边;音乐从稍高于头部高度传出,这种效果带来了一种我只能形容为“声音存在”的感觉-也就是我的大脑几乎完全接受了音频。我就在那个房间里,听着那首音乐,它不仅听起来真实,而且听起来真正。我只是在别墅里走来走去,把自己安置在近乎触摸的明火之间,我就坐在那里,惊讶地张着嘴,感叹声音的质量是多么好。
收集自己的思绪,我意识到我听到的不仅仅是良好的音频定位,而且声源似乎反射和被遮挡,就像在真实的空间中一样。也就是说,当您靠近扬声器对面的墙壁时,体验会与您在房间中间时略有不同。走出别墅,位于别墅正面,音频似乎是从楼上的窗户中发出,非常符合您的期望。现在,这可能是强大的视觉效果迫使我的大脑纠正这一点,但不管怎样,声音听起来很棒。
演示在呈现方式上有些过于笨重。音频源的淡入过于突然(尽管考虑到缺乏虚拟空间,我可以理解为什么),除了一些由鸟类等提供的环境音外,没有与周围环境相匹配的连贯音场。但这是可以预期的,对于这样的技术演示。我期待着看到一个经过适当混音的场景。
作为对感官的一次快速打击,并展示了准确、逼真的音频与虚拟现实结合所能做到的事情,它可能是无与伦比的。我当然可以理解为什么Oculus决定许可这项技术,它显示出巨大的潜力。

您可以在Visisonic的Realspace 3D Audio页面下载这些演示。我们将尽快努力了解有关RealSpace 3D音频和Oculus的音频技术的更多信息。