Voices of VR播客
主持人介绍
我的名字是Kent Bye,欢迎收听Voices of VR播客。今天的节目将启动一个为期四集的迷你系列,深入探讨虚拟现实中的音频。我们将从Dolby Atmos开始,讨论它是什么以及它能做什么。
嘉宾介绍
今天的嘉宾是Joel Sussoll,他是Dolby虚拟和增强现实技术的总监。在之前的播客中,我谈到过关于Ambisonics的不同解决方案和适用于游戏引擎的插件。如果你正在为电影制作音频,那么在后期混音和更改音频的过程中有一个完全不同的流程。这就是Dolby Atmos的作用所在。我们将讨论他们的解决方案,以及如何处理音频,以帮助大家理解虚拟和增强现实的音频制作与二维体验的区别。
赞助商信息
在开始之前,快速介绍一下我们的赞助商——虚拟现实公司(VRC)。VRC位于技术和娱乐的交叉点,创造互动叙事体验。VRC的独特之处在于它与像D BOX这样的公司建立了战略合作关系,D BOX是一个触觉椅,使沉浸感和存在感提升到另一个层次。他们正在为电影、工作室和原创内容打造这些数字家庭外体验。想了解更多信息,请访问vrcompany.com。
采访开始
这次与Joel Sussell的采访是在3月份于旧金山举行的GDC展会现场进行的。你好,我是Joel Sussle,我是Dolby实验室中的虚拟与增强现实总监,这意味着我负责我们的虚拟与增强现实业务。
Dolby Atmos技术介绍
我们所做的就是将Dolby Atmos技术应用于近两年内创作的十大高票房电影中,适用于线性虚拟现实内容。我所说的线性虚拟现实内容是指基于时间线的内容,因此30秒后会发生什么是可以预测的,但不一定能预测观众在看什么。
音频对象的定义
Dolby Atmos的核心技术基于所谓的音频对象。音频对象的定义方式与传统的音频通道方式不同。例如,在5.1声道中,你有左声道、右声道和中央声道等,但Dolby Atmos允许你独立定义声音的位置。更重要的是,你可以为这些音频对象赋予特性或行为,例如轨迹或大小,以及在VR中定义某个对象是否应该跟随头部移动。
音频混音的复杂性
例如,VR电影中的大多数元素是基于场景的,意味着它们会从电影中发生的场景中发出声音。但内容创作者也希望包括音乐配乐、旁白或角色的声音。这些声音在你移动时不应该改变,这就是为什么容易混淆的场景对象与头部对象之间需要很好的区分。
Dolby Atmos的优势
使用Dolby Atmos这样的对象模型,可以很简单地明确对象是与头部相关还是与场景相关。这在你尝试提供这种体验时也很重要,因为我们也有一种名为Dolby Digital Plus的交付技术,它以非常低的比特率和高质量的方式传输Atmos混音会话的输出。
混音流程中的技术实现
例如,如果你有一个内容,你想将与头部相关的对象与场景相关的对象混合。假设在一个展会上,有人走过,但你想添加旁白的声音,不希望它随着视线的移动而变化。在没有对象模型的解决方案中,你需要发送两个音频流,这会加倍发送的比特率和计算负载。
音频对象的灵活性
而使用Dolby Atmos解决方案,你只需为每个对象指定特性,这实际上是附加到每个对象上的额外元数据,这不会显著增加比特率,也不会影响解码的计算复杂度。
捕捉音频的过程
当然可以使用Ambisonic麦克风,我们建议在内容捕捉中使用尽可能良好的设备,无论是领夹麦克风还是从混音台直接输入。Dolby Atmos提供了一个工具,供音效设计师将这些声音放置在正确的位置,并定义其他元数据特性,以确保回放时的表现。
使用Dolby Atmos的最终目标
最终,我认为虚拟现实的潜力在于能够生成如此真实的体验以至于与现实区分不开。一旦我们能够在这方面有所突破,那将是一项很有价值的技术。
接下来的步骤
如果内容创作者希望使用此技术开展制作,他们应该如何着手呢?我们刚刚启动了我们的测试版程序,欢迎感兴趣的用户通过邮箱联系。
结束感谢
谢谢你,Joel Sussell,他是Dolby实验室的虚拟与增强现实技术总监,今天我们讨论了Dolby Atmos。希望这次对话对大家在虚拟现实音频方面有所帮助。
总结与展望
在接下来的节目中,我将继续聚焦音频主题,采访其他音频领域的专家,探讨虚拟现实音频的未来发展。
感谢收听,大家再见!