The Voices of VR Podcast
欢迎来到播客
我的名字是肯特·拜（Kent Bye），欢迎收听《VR之声》播客。去年在CES上，我有机会与Aussik的首席执行官杰森·里格斯（Jason Riggs）交谈。他告诉我，未来的音乐将会是沉浸式和互动式的。现在存在的许多音乐都是经过创作的，完全是线性的。但如果你看看在虚拟环境下，如Unity或视频游戏中所发生的声音设计，那么未来的音乐将更像这种沉浸式的互动环境。
就在过去的几周，《滚石》杂志有一篇关于Glitch的文章，讲述了他们体验Magic Leap的一些演示，其中包括Sugar Rose这个乐队，它们制作了这种互动的音乐体验，用户可以在与这些数字光场和增强现实体验交互的过程中，实际改变音乐。这让人想起我在硅谷虚拟现实大会上采访莎莉·卡拉威（Sally Callaway）时，她谈到了作为沉浸式和互动音效设计师的意义。那时，莎莉是Aussik的创意总监，Aussik是一家创造可以追踪你头部位置的3D音频智能耳机的沉浸式音频公司。莎莉随后离开了，成为了一名音效设计师，为虚拟和增强现实实现音频策略，并推广这种技术。她讨论了音频设计的流程和一些隐喻，帮助人们了解沉浸式和互动音频是什么。因此，今天的《VR之声》播客将涵盖这些内容。
采访开始
与莎莉的采访发生在2017年3月30日，硅谷虚拟现实大会上。接下来让我们直接深入讨论。
莎莉的介绍
嗨，我是莎莉·卡拉威。我刚刚开始在一个叫Aussik的公司担任创意总监，实际上我是一名声音设计师。我之前在游戏音频和虚拟现实游戏方面工作。我很久以前就开始接触音频了，高中的时候玩乐器，自己也是个音频迷，也喜欢计算机。现在在虚拟现实中，我应用了所有我关于音乐和声音设计的知识，尝试在这个新的创意领域中帮助Aussik，将3D音频智能耳机制作成功能实用的产品，并真正赋能内容创作者，让他们能够实现创作的可能性。
关于互动音频的思考
太好了。在我与杰森·里格斯的采访中，他提到未来的音乐将是沉浸式和互动式的。因此，虚拟现实提供的这种沉浸质量，以及Aussik所有技术中的3D专业化都很重要。而我认为互动的部分非常有趣，似乎这正是你长久以来一直在做的事情。也许你可以开始描述一下你如何看待互动音频，相较于更为制作的录音，这有什么不同。
有趣的是，我来自一个预先创作、预先渲染、录制声音的背景。我的第一个学位是声音录制，对吧？我很快做出了一个决定——这是无聊的，还是我做得不好？我必须决定是否想变得精通于不同吉他的音色、不同音箱的声音，努力在录音艺术中找到自己的定位，还是寻找一种介质来参与。当时我有一个朋友玩了很多游戏，其中一个游戏《生化危机》（BioShock）让我着迷。对于我来说，这个游戏中遵循了一个非常简单的东西，是我沉迷于互动音频的起源，你身处这个水下城市，进行探索。如果你像我一样，对任何事都感到恐惧，你会非常缓慢地探索，以免受到攻击。在这个水下城市中，有一些窗户，可以看到外面的海洋。在《生化危机》中，当你靠近这些窗户时，你听到的海洋声就会变得越来越明显。
设计与交互
对于习惯听音乐的人而言，我不仅仅是在思考我是如何靠近窗户或远离窗户的，而是，这好像就是魔法。我进入了这个小兔子洞，想要学习软件如何知道玩家进行了一些按钮按压和方向改变。这需要什么条件？然后还有一个创造者在说：“不，我们需要确切的鲸鱼声和确切的水波声。”这就是我现在的工作。整个游戏如何响应玩家的行为有很多创造性的实践。因此，我最终得出了一种哲学，在某种程度上，我们仅仅是试图创造这些虚拟空间的声音，以及它们如何在玩家周围的行为，就像互动音频一样。我们只是试图让它像现实生活一样，重现现实生活中一切发生的复杂性。游戏对于此来说是一个完美的载体。来自其他行业的人可能会对游戏嗤之以鼻，觉得“你只是射击东西，不够高雅或文化”，但实际上它为我们即将面临的整个未来虚拟现实、增强现实和混合现实做好了非常完美的准备。在这种体验中，人们有最多的沉浸感时，他们有最多的自主权，或至少能够感受到自己是周围正在发生事情的一部分。
创造与表现
你是如何定义所有这些声音关系的？玩家与周围世界的关系是什么？实际上，你需要回到一个思维点上，思考玩家需要感受到什么？他们需要对周围世界有什么想法？我们怎么能激励他们转动头部？游戏或玩家参与的其他东西需要有一定程度的意识，来反映玩家的行为。它不能仅仅是旋转。人们也可以伸手或移动。如果你给他们机会去真正与周围世界互动，那么声音也应该对这些互动作出响应。
当我考虑理解如何实施互动音频的隐喻时，我认为音频是关于录音在带子上，并且听起来是线性的，但这里我们进入了一个互动的游戏引擎，其中你有一个3D沉浸环境。通常情况下，你会有一个角色摄像机与之关联，玩家通过它能够在空间中自由穿行。当你接近这些触发器时，会发生音频事件。你所说的是你试图模仿现实生活，但你显然不能让所有的事情同时发生，因为计算和其他需求太高了，因此你根据玩家的物理位置动态触发事情。
互动音频的构架
在著作方面，你有乐谱，你是如何映射和造型的？作为设计这些互动音响环境的创作者，你的思维过程是什么样的？
在某种程度上，它就太广泛了，尤其是在你从工作室或客户那里得到简要意见的情况下，你可以随意开始，这其实是有趣的部分。作为创意人士，你当然想要从你觉得最强的地方开始。但如果你在一个较大的工作室工作，你也许需要处理游戏中表现最好的部分，而不会导致崩溃。
关于定义这些关系和你在游戏中将要做什么，以及你可以做什么，如果你在移动VR上工作，会比在Oculus或Vive上工作要少，最重要的就是决定什么对玩家最重要，你想让玩家做什么，思考和感受什么，认真打造不仅是声音听起来是什么样的设计，而且也是为了帮助玩家感受到他们应该感受到的东西。
互动设计的体验
我最喜欢的例子之一是去年我参与了一个僵尸游戏，有六名玩家在一个空间中，他们每个人都有三种武器可以选择，然后我们即将进行比赛。我们试图决定在任何时间应该有多少僵尸出现，以便在确保有趣的同时增加适度的挑战。但是如果你把很多僵尸放在一个空间里，然后六个人背对着彼此，随意开枪，那就听起来像白噪声，因为声音太多了。
因此，作为音效人员，你必须尽快处理你完全填满的内容，因为你从来没有足够的时间，实际上需要问，“我需要做些什么，使这一切对玩家而言听起来合理？”然后还要让他们在游戏关卡中移动，使之对他们更有趣。如果你在大型自由移动VR中工作甚至是在空间缩放中，能够让他们向左或向右移动一两米，或者甚至想让他们转过身去看看你的声音，则需要为这些声音留出空间，并给出非常清晰的声响提示，表明玩家此时应做某事。
声音的情感作用
这部分是声音人员所能做出超级有趣的事情之一，因为我们确实可以闭上眼睛，思考整个哲学，试图弄清楚什么时候、为何以及如何让玩家感受到他们戴下耳机时的感觉。声音是这一切的巨大组成部分，我非常伤心当人们说“我们希望有很多枪声，并将声音的音量调到11，然后一切都在爆炸。”不，伙计！如果玩家应该感到害怕，那么他们应该感到非常害怕；如果他们应该感到强大，那么他们应该感到自己能够摧毁一切。
这样思考使我意识到，首先我们的耳朵是我们所拥有的唯一3D感官。我们能够通过耳朵感知周围的一切。具体来说，声音与情感有很大联系。当我思考不同的临场感水平时，我认为音效和音乐与我们情感的压迫性联系紧密，我想知道你是否也发现这一点，能够根据人们所听到的东西去激发不同的情感状态。
音频工具与设计
我很想听听你所见到的不同类型的音频创作工具。我知道我们有Unity和Unreal，它们提供了一些内置的选项，但我想象还有更复杂的工具供声音设计师深入创建这些互动体验。我很好奇这些选择是什么，以及你最喜欢哪一个。
这是一个很好的问题。作为游戏领域的音效设计师，我在互动工具方面有很深的经验和知识。自然地，当你制作任何类型的声音时，你也必须使用线性工具。因此，作为声音录制和音效设计师，我们有一个术语叫做DAW（数字音频工作站），它就像一个数字录音机，允许我们使用插件、均衡器和混响等。我们会用你的设备在某个东西上录制声音，然后将其带回工作室进行处理，最后导出音频。
如果你像我一样是一个真正的技术迷，你会用到音频中介（middleware），这是一种非常特定的软件，用于取代像Unity或Unreal这样的互动游戏引擎的音频引擎。它实际上从内核中切割出音频部分，提供更好的UI和更多的特性。可能CPU的使用率会更好，或者库会非常轻量，所以你可以把它放到移动设备上，仍然有很多声音和功能。
因此，你将在那种特定的软件中进行大量的自适应音频设计。我实际上为一家名为Firelight Technologies的公司工作了近两年，他们生产一个名为fmod的音频中间件。市场上还有一个名为WISE的音频中介，这是由Audio Kinetic制作的。两者具有不同的特性，音频极客们对这两种软件有极大的争论，类似于在Unreal和Unity之间的争论，音频领域的人也会陷入这些争论中，真是太搞笑了。
处理音频的实践
你会在这个工具中完成你的创作，然后以特殊的格式输出文件，游戏引擎也能理解，然后程序员会整理游戏，让游戏不崩溃，同时在此基础上进行大量的额外音频编程。然后你就点击构建按钮，期望一切正常。但在这一切中，还存在大量其他工具。随着时间推移，新的工具不断涌现，将会变得越来越普及。
并且在虚拟现实领域，可能您还会使用像Facebook 360空间工作站这样的插件，或者RealSpace，他们有自己的空间化工具。Aussik当然会开发自己的输入管道，同时试图与其他人的输入管道进行整合，比如Steam Audio。这些都有不同的特性，它们提供的特殊化插件帮助人们在360度空间听到声音的来源，因为仅仅通过立体声或环绕声不可能实现360度的声音，实际上需要一种特殊的例如这些空间化插件才能实现。
整合音频
我听你说到音频整合的过程中就想到了一个画面。在各种组件中，底层的游戏引擎在负责所有的3D图形和你将要交互的虚拟空间，然后音频中间件作为更精炼的创作工具，能够提供更多的控制或许对声音进行调节，而你与其互动的游戏引擎之上，还有音频专业化的因素，在某种程度上试图表征该区域的物理空间、反射以及所有声音，使其听起来就像你身处那种空间。我的问题是，大多数音频输出是否也在渲染，比如说立体声或双耳音频，而Aussik则可能具备处理更复杂音频的能力，比如说某个环绕声输出，或者你需要更多通道，或者更多信息通过那些音频专业化的插件。
关于你所提到的Aussik所处理的输出，除了双耳音频之外，我们可以处理双耳音频，如果有预处理的音频，我们会为此准备管道；此外，我们还能够专注于立体声输出，也会对环绕声输出进行专业化。当我说专注于这些传统格式时，确切来说，它是将声音从你的耳朵内推出，放到世界之中。因此，不仅仅是让音频在你的耳朵附近存在，实际上能够让它在空间中更远，从而让你的大脑有更多呼吸的余地。
关于环绕内容，理解起来相对容易；例如，如果你有5.1声道环绕声，你会有一个中间声道、左前、右前，然后你会有两个后环绕声发声，感觉应该从后面或前面传来的声音我们会将这放置在那些位置，这样你听到的声音就会确实在那些位置存在。更不用说7.1，它是像PlayStation 4等常见设备的标准输出。因此这非常酷，也非常有用。
至于游戏，情况会变得有点特别，因为在过去的几年中，随着3D音频和基于对象的音频的出现，我们能够将那些音频对象放在空间中。例如，我喜欢使用僵尸作为例子，因为它们总是让我觉得有趣。僵尸们发出的嘶哑声和其他声音可以通过相应的物体附加在游戏引擎中，因此我们会说：“好的，这个声音连接到那个物体上。”当僵尸在你周围奔跑时，声音也将随之而来。我们也会提供一个环绕声轨道以供铺设，所以当有一堆环境声不那么重要的声音，不需要实时处理的声音，比如说远处的鸟鸣声，在僵尸吮吸你耳朵的时候就不需要将鸟声放置在同样重要的，只需将鸟声放置到环境接近你周围的地方，以便节省处理对于玩家更重要的声音的CPU使用率。
出色的声音设计作品
我想听听你认为的拥有出色声效设计的2D游戏或沉浸式VR体验。此前我引用的《生化危机》，我认为作为整体包，那个游戏的音频设计和交付都极为出色。当然，它是我职业生涯中新理念的诞生时刻，确实非常吸引人。而被困在其中，音乐设计也很到位，真的是一个完美的伟大游戏。我还很喜欢一个恐怖游戏《死亡空间》（Dead Space），这是个充满悬念的设定，设置在一个太空船上，情况变得非常糟糕，有邪恶的外星人撕扯开了所有人，血腥的场景随处可见。声音设计师们做得很好，我特别喜欢音乐。杰森·格雷夫斯（Jason Graves）为这款游戏创作的音乐非常独特，他使用了随机音乐创作的技术，这种方法也叫即兴音乐。他可以给乐队或弦乐队指示某些指令，如“尽量发出可怕的声音”，然后如果每个人都这么做，这便可以集体生成这种古怪的感觉。他们在游戏中将这种设计结合了起来，当玩家接近某些即将从天花板掉落的生物时，音乐也会随之加剧，若你与我一样，那么你就真的快要窒息了。而且设计得非常巧妙，那里也会设置一些虚假触发器，在没事发生时音乐也会升高，因此当你意识到这个机制时，也会停下来，产生一种不知所措的感觉——当然其他人会很喜欢。原因在于这种效果会让我感到强烈的情感体验，这两款游戏都是我最喜欢的。
Aussik的未来
对于你们Aussik将来将要做什么，我期待看到你们实现一些演示，以展示新技术。因此，我很好奇的是，能够为这家硬件制造公司工作，对开发下一代沉浸式音频的机会让你感到兴奋的地方，究竟是什么？
在整个采访中，我谈到了我来历的许多方面，很多的兴趣来源于我专业生涯中我所实践的内容。我来自音乐编写，我曾经在游戏和模拟及虚拟现实方面工作，也接触过这个管道的许多不同部分，正是因这样与音频和声音的技术实践的结合，才使我获得了这种熟悉的背景。实际上，我在声学方面也获得了硕士学位，对听觉背后如何运作的科学非常感兴趣。这对我来说是个绝佳的时机，让我能在这个领域深耕。
去年，我在家乡的一个VR游戏公司工作，合同结束后，我给Aussik发了封邮件，因为我有几个在那里的联系人，我就说：“哦，请不要再用这个邮箱了。”他们回答：“哦，天哪，你有空吗？你想和我们聊聊吗？”我简直不敢相信，我是这样的声音技术迷，Aussik是一家希望改变人们听到声音方式的公司，它与我这种技术追求的人才真是天作之合，因此我非常兴奋。
那么，我将要做的很多事情实际上是参加像SVVR、GDC、VRLA和Vision Summit等会议，很多时间我将与内容创建者、开发者和拥有酷技术的人交流，超赞的游戏引擎，每个人希望能够在我们的新现实中意识到什么是3D音频和空间音频，同时帮助人们带去最好的技术。
与传统音乐行业的对比
我对Aussik的这个范式转变充满好奇，你们在某种程度上在试图推进，它与传统音乐行业的转变，我认为与固定的工作流相比，将会是一个完全改变他们思考方式的过程。因此，你们是为音乐赋予主动权，而且我想听听你认为这将如何展开，如果从设计一个物理空间，它是能够对你做出反应，而不是你处于一个位置上获得完全创作的体验，如何看待这一点？
有趣的是，你将这两类体验分开讨论，我不确定你是否在故意制造二元对立，但它们似乎确实存在于一个横轴的谱系上；在某种程度上，我认为Aussik的技术不仅仅适用于VR和互动或沉浸式媒体，它同样适用于传统媒体，并帮助人们与传统媒体保持紧密联系，以便能够以一种与我们曾听过的相似，但又稍微好了一些的方式去倾听音乐。这就像是打破了这个固有的观念，即所有乐器都待在一个特定的位置，并呈现在用户面前，而是实际上能够让所有乐器散布到整个空间中。因此，确实有某种范式转变，因为你让人们改变对音乐和声音的认知，让他们意识到这与真实生活一样，我们所描述的3D音频、空间音频和我们正在尝试做的一切，都是事实。因此，为什么不在任何消费媒体中拥有这种感觉？这正是我们试图实现的目标。
我希望这一转变能够顺利实施，人们能够理解，因为对于某些人来说，这确实是相当复杂的，但我感觉，当他们听到这些时，他们会真心相信这一点。我们希望每个人都能听到这些并理解、支持它，尤其是对于内容创建者来说，这将是一个巨大的创造性空间，他们将能够在此探索，超越立体声，走入360度的世界。
我认为我提及二元对立，某种意义上是从音乐创作者的角度出发，他们习惯于只创作音乐并将其发布，但并没有真正考虑如何将用户代理引入他们的工作流中，如何真正地把这个要素整合进来，并考虑到如何进行管理。因此我认为这正是新生事物的角度：如何使那些来自更传统的音乐制作背景的人思考，如何引入互动元素？他们可以使用那些隐喻来帮助思考。
互动与反馈
很有趣的是，我们在游戏音频中也面临同样的挑战，例如人们希望我在游戏中写音乐，你需要教他们一点关于动态或自适应音乐的内容以及其区别，为什么这会有所不同，并且要思考的不再仅仅是5秒、10秒、15秒、20秒这样的线性时间，而是考虑音乐中强度和其他效果，这种结构和内容安排如何变化，以帮助补充互动环境中的事情。因此这是我们在游戏中自然而然会做的事情。
人们总是不断尝试进入这一领域，寻找自己的创作表达模式，尤其是在音乐方面，而当我们开始在互动和虚拟现实的框架内时，你为人们提供了另一种新的范式，让他们思考音频如何进行空间性的整合，并要求他们去考虑这些。因此我认为，理解这一切确实需要时间，而这正是我们努力的方向，整个行业的原因，为什么我们今天会有这样的小组讨论，未来也有许多讨论引导音频专业人员，分享各自在特定项目中处于特定情境下的创作实践。这没有一种单一的解决方案，正是因为这个领域的多样性和不同工作形式的结合，才能交汇出更好的火花。
虚拟现实的最终潜力
最后，你认为虚拟现实的最大潜力是什么？它将能够赋予我们怎样的能力？
虚拟现实的最终潜力在于，我们确实看到了…我这一周与人交谈，感觉跟我的观点一致……当谈到音频技术和我们在过去的几十年中不断发展的多种处理技术时，无论是谈论40年的音频技术，还是谈论超过100年的黑胶唱片。这些技术在某种程度上都是独立存在的，等着人们去发掘，但虚拟现实伟大地为所有这些音频技术提供了一个温床，让它们实现商业化的潜力，突飞猛进，成为我们工作流和创作实践的一部分，这种融合让我十分兴奋。虽然我不想说虚拟现实仅仅是一个为音频服务的工具，但这一种美好的共生关系，确实随着虚拟现实未来的发展，有助于我们真正体验声音的深度，看到这一点，我们如何能在虚拟现实中进一步利用这个空间，尤其是音乐家和声音设计师，去空间化地思考声音，这将带来我们无法在二维屏幕或我们的想象中所做的境界……这就是我所期许的一切。
结束语
非常感谢你的分享。
这是莎莉·卡拉威，在这次采访中，她是Aussik的创意总监，现在是一名自由职业的音效设计师和虚拟现实音频策略师。我从这次采访中得到了很多不同的想法。首先，在互动音频的整个领域，我被深深吸引，这是一种新的范式，并不局限于某种特定方法，而是一种迭代过程。莎莉提到，她经常进入未完成的游戏，必须在这个仍在开发的庞大项目中找到切入点，这需要在环境构建中不断试错、增添细节与色彩。
如果你熟悉像Unreal Engine或Unity这样的工具，你会知道在这些3D空间中，当你接近不同的3D对象时，这将触发不同的音频事件。因此，可以将互动音频的体验比作面向对象的编程，你将音频附加到这些对象上，而这些对象在空间中移动，产生声音。然后在这个过程中，还涉及数字音频工作站，这是控制波形和添加不同效果的最精确方式。接着是音频中间件，它与3D音频接口结合，然后在人工生成的3D环境中，声音被专业化，使其听起来像是反射在物理空间中的声响。莎莉所描述的层次感极好，我相信这些都是她设计的互动音频中相互关联的各种层次。
她在开始做声音设计时反复询问的一个问题是，“你希望人们感觉到什么？”而这种对于音频和音乐的情感认知也是导入互动体验的核心，甚至其中提到的概率音乐和机会音乐，给予每一个个体参与者一定的自由表达。她回顾了杰森·里格斯曾说的话：未来的音乐将是沉浸式和互动的。你有可能获得最深的沉浸体验，当你在这其中获得最大的主动权。她的确指出，许多奇怪的音频技术在过去数十年间已经存在，而虚拟现实给予这些技术一个崭新的家，能够与之配合的视觉体验，加上音频进一步提升了整个体验的深度，尤其耳朵所感知的360度听觉与视觉截然不同，期待与这相结合有更强大的表现力。这才是未来音频的潜力所在。
最后我希望，上述内容对大家对音频发展及其在VR行业未来重要性有更深入的认识。同时感谢你收听《VR之声》播客。如果你喜欢这个播客，请告诉你的朋友并考虑成为Patreon的会员。每月几美元的支持将会对本节目产生巨大影响。你可以在patreon.com/VoicesofVR捐款。再次感谢你的收听。