(
映维网
2018年12月24日
)3D音频是为VR内容提供沉浸感和临场感的一个关键因素,所以我们有必要理解3D音频格式,以及它们对音频内容创建和渲染的应用。下面我们来看一下三种3D音频格式,并分析Ambisonics对VR音频的重要性。
1. 多声道
在基于声道的声音表达中,信息单元是扬声器。每个声道与扬声器相关联,系统在几个扬声器上混合各种声道来实现声音表达。声道越多,
空间音效
感就越强。基于声道的声音表达是过去50年,甚至更久远时所采用的传统声音表达方式。立体声,5.1,7.1格式是基于声道的水平表示。通过增加额外的过顶扬声器可以实现3D,如11.1格式(在7.1声道的基础上再增加4个天花板扬声器)。
多声道音频表达的一个主要缺点是,它依赖于扬声器设置,并且每个设置类型需要一个混合,而基于Object和Ambisonics的内容则独立于扬声器设置。
2. 基于Object的声音表达
在基于Object的声音表达中,信息单元是声源。场景由几个声源及有关其位置和渲染环境等信息组成。系统通过在用户位置计算所有声源的组合来实现3D音频渲染。但它同时需要使用大量的CPU资源。场景越复杂(声源数量)和越逼真(混响精度),需要的CPU资源就越多。
3. Higher Order Ambisonics (HOA)
与上述两种声音表达形式不同,Ambisonics格式不依赖于单个声源的描述,它能够再现用户位置的生成声场。我们将用于描述声场的数学形式称为球面调和函数,而信息单位则是球面表示的组分数(或阶数)。组分越多或者阶数越高,你获得的声场空间呈现精度就越高。
这并不是什么新概念,它在过去几十年间一直用于专业音效社区。他们将这种音域的独立表达称为B格式,而它实际上是第一阶的Higher Order Ambisonics。
4. Ambisonics对VR而言是非常有吸引力的解决方案
谷歌
和
索尼
等VR行业的主要厂商都在拥抱Higher Order Ambisonics(HBO)这个概念,并正在开发相应的商业应用,如将HOA作为默认音频格式的
YouTube
360。这种选择的背后存在几个原因,最重要的是以下几点:
5. 总结
我们相信多声道将逐渐成为不太适合VR音频需求的传统格式,而基于Obeject和Ambisonics才是VR所需的格式。我们对未来的看法是:
对于VR游戏等交互式内容的渲染,基于Object的3D音频格式非常有意义。但对于由众多声音对象组成的复合声场而言,其渲染需要大量的计算,并需要大众市场所不一定能提供的资源。就这个问题,我们可以将基于Object的全部或部分表达转换为Ambisonics,并利用渲染的可扩展性来适配CPU资源。
0