VR播客《声音的VR》 我叫罗德·哈克森，我是Physasonics的首席软件开发人员。我们专注于3D音频，该技术来自马里兰大学的10年研究，由拉克马尼·杜拉斯瓦米博士和德米特里·扎特金博士领导。他们发现使用HRTF技术可以实现真正的3D音频。我是负责将其封装成Unity插件的软件开发人员。我们还有WISE插件，我们的技术已经被Oculus许可使用。很棒。所以也许你可以进一步谈一下，这个技术让你能做到什么？跟直接将声音放入Unity相比，你的插件有什么不同之处？好的，所以我们的技术适用于耳机。与Unity或其他不使用HRTF技术的3D音频相比，它们基本上只是左右声道定位。然后你就不会有仰角、正面或背面的感觉，通常声音只是直接放在你头部的中间位置。而我们的技术可以让你获得音频的仰角，听起来就好像在你前面，身后，非常准确地确认位置。这就是为什么我们称其为“真实空间3D音频”，因为它确实是真实的。这项技术已经存在了20多年，但一直没有得到很好的应用。HRTS因此声名狼藉，但现在我们终于用对方法做了正确的应用。我们将真实环境中的材料反射全部考虑在内，因此如果房间中有玻璃、砖头或地毯，我们将采用这些材料系数并通过我们的算法运算。这个过程类似于使用视觉进行光线追踪，只不过我们是用耳朵进行计算，然后将所得到的所有声音和反射能量通过耳机传到你的耳朵。所以或许你可以描述和解释一下“HRTF”这个首字母缩写是什么意思？它代表头相关传递函数，它涉及到每个人的耳朵都是不同的。因此，声音在环境中的传播方式与您的耳朵、肩膀、脖子以及环境有关。基于声音传播和回响、材料反射以及它传播和衰减的时间等方面的萨宾定律，我们对这些进行计算，然后再将结果输入。之所以能做到这一点，天才之处就在于德米特里·扎特金。了解了。听起来就好像人耳可以根据位置或左右方向来调整和过滤声音频率，这就是仿效的方法，对吗？对，每个人的耳朵都是不同的，有些人的耳朵大，有些人的耳朵小，它们呈碗状，贴近头部。因此，我们有一个HRTF数据库，我们使用的默认值适用于85%的人口。在我们的实验室，我们已经获得了一种快速捕获每个人HRTF的方法。所以在将来，我们计划修改它，使其可以在像Best Buy或GameStop这样的地方提供个性化的HRTF。然后对我们来说，这样我们就有一份数据库，我们可以将其卖给像Dolby等其他公司。因此，人们可以到那里获取他们的HRTF。然后在视频、电影、游戏中，他们可以插入自己个性化的HRTF，这将是对他们来说最好的。因此，除了眼间距（IPD）多远，您的眼睛之间有多少，它听起来像您拥有某个人的耳朵配置才能确定他们听到声音的过滤频率和xyz坐标的位置的特征标志。那么，以这种方式来描述某人的耳朵配置需要多少数值或多少个数字呢？通常的做法是将麦克风放在某人的耳朵和扬声器上，扬声器布置成环绕式，可能达到200或300个，并通过这种方式进行捕获。因此，然后以该人的角度进行捕获。但我们刚好相反，现在扬声器在您的耳朵中，麦克风在您周围，我们对此进行了专利申请，我们的麦克风安装在你的耳朵周围，而扬声器在你耳朵里面。这种捕获方式与现有的HRTS捕获方式相比可能需要2到3个小时，而我们的方式只需要15分钟。而且每个人的HRTF都是不同的，而且也在变化中。所以当你20岁的时候，你的HRTF与你50岁的时候是不同的。你的听力开始下降一点。所以这就像那些能听到不同音调的位置，一个12岁的孩子能听到，但30岁的人就听不到了。这是基于HRTF来进行的。我了解了，是的。看起来，布莱恩·胡克在Oculus Connect上谈到了实施Visisonics插件和一些音频方面的考虑。他说如果你只是把一个纯正弦波放入其中，效果不会很好。实际上，它需要更广泛的频率范围，以便被过滤并能够定位。所以也许你可以谈谈，什么样的声音和输入会与HRTF更好地配合？哪些不会？好的。所以为了获得最佳的特化效果，我们使用WAV文件。我们可能会转向Ogg和mp3格式。但要使声音在游戏中能够最好地空间特化，声音能量应在20赫兹以上，因为低于这个频率的声音空间感较差。所以，是的，我们可以将声音波浪进行空间化处理，但效果就不正常，比如，如果声音在你头部的右侧，你可能会偏离10度，因为它的空间化不正常。所以我们有一个工具可以向开发人员展示这一点，他们只需把他们的WAV文件运行过该工具，我们就展示给他们能量源，并告诉他们这很适合空间化，如果不适合，他们可以增加音频中的能量，以获得适当的空间化。所以是的，Oculus在本周的GDC上宣布他们有一个新的音频SDK，而我们拥有自己的Unity SDK。所以也许你可以再谈一下，人们应该使用什么，他们应该使用Oculus吗？那会是一样的吗？还是他们应该直接获取源文件，或者他们应该怎么做？好的，我还没有完全了解我们与Oculus的许可协议，但我知道Oculus已经许可使用我们的技术。他们已经把我们的底层引擎包装进了他们的SDK中。所以如果你正在使用Rift，我猜你只需使用Oculus的SDK，因为它已经集成到了Rift中。但是我们的插件也可以在Rift之外使用。所以如果你正在制作一个3D游戏或者如果你有一个希望实现3D音频或任何其他应用的2D游戏，只要你没有使用Rift，比如我们正在与OSVR合作，我们也在与其他HMD合作，那么你可以使用我们的技术。所以我还没有下载过Oculus的SDK，不知道它与我们的插件有什么区别。但是因为它的底层是真实的，所以你将得到相同的效果。我会这么说。那么，如果我们回归一下，看看你的SDK以及你向开发人员公开的功能，有哪些东西可以使开发人员能够实现音频特化？好的，如果你熟悉Unity，我们的插件运作方式是相同的。我们有一个音频监听器，有一个音频源。在大约10分钟内，你就可以在你的游戏中实现3D音频。它的操作方式与在Unity中的对象上放置音频源一样，你只需在该对象上放置一个RealSpace3D音频源，然后可以使用默认值，向其放置一个WAV文件，就可以实现游戏中的3D音效。我们还允许编写脚本，我们在音频源上有一个API，可以为该音频源分配多个音频剪辑。因此，通过编写脚本，您可以控制播放下一个音频剪辑。我们的API允许您实时加载音频剪辑，播放声音、停止声音、暂停声音。我们还可以提供音频的长度，所以如果您想剪辑音频，我们允许您设置最小和最大范围，这可以通过UI或API完成。我们提供了一个庞大的API，已经收录在手册中，如果你下载我们的插件，还会有示例。你可以创建预制件，可以实时生成。在给定场景中，您希望将多少个音频对象实现特化？在PC版本中，我们最多可以实现60或70个，但你永远不会同时播放所有这些音频源，我们只是想看一下我们能做到什么。它可能可以实现更多，我们处理的计算量是有限的，如果你不在声音源的范围内，那么我们就不处理这个声音源，所以你可以拥有无限的数量，只要你在现实世界中适当放置声音源，你不会在一个地方同时放置20个对象，否则你只会得到噪音。所以这取决于开发人员或音频工程师的创造性设计，他们要在想要它被听到的位置适当地放置他们的声音。并不是所有的声音都需要3D音效，所以你仍然可以将环境声以2D格式保留，也可以将它们作为3D声音。这完全取决于开发人员或音频工程师的创造性设计。那么在尚未实施的功能方面，有哪些新功能或前景？好的，目前我们没有实现遮挡和挡住声音。我们正在测试中。所以在我们的下一个版本中，我们将会有遮挡功能。然后是挡住声音，我们计划为插件添加生成音频和过程音频功能，还可以改进引擎以实现更快的填充。目前每个声音的处理可能占用CPU的2％，所以我们并不重。所以性能方面我们没有发现任何问题，因为我们处理速度非常快。我们知道听者是否超出范围，所以我们停止对那些听不到的声音进行处理。所以像我刚才说的，对于每个独立的声音源，它可能占用2％的CPU。我们可能可以将其运行在GPU上，但是因为我们正在通过Unity的底层音频引擎FMOD进行处理，因此我们不希望涉及到许多平台。我们喜欢Unity拥有FMOD音频引擎，我们可以在其之上进行开发。他们负责与各平台的底层工作,使我们可以跨平台使用。我们还有WISE插件，所以我们可以做同样的事情，让他们处理底层工作，而我们只需要保持自己的最佳状态。那么HRTF这样的技术的性能有什么影响呢？显然，虚拟现实真的挤压了CPU和GPU能够处理的边界，所以当你使用HRTF这样的技术时，性能会受到什么影响？我们没有发现任何问题，因为我们以非常低的速率进行处理。所以你知道，我们知道什么时候听者超出范围时，我们就不会处理那些音频源。所以像我刚才说的，对于每个独立的声音源，它可能占用CPU的2%。我们可能可以将其运行在GPU上，但是因为我们正在通过Unity的底层音频引擎FMOD进行处理，所以我们不希望涉及到许多平台。我们喜欢Unity拥有FMOD音频引擎，我们可以在其之上进行开发。他们负责与各平台的底层工作，使我们可以保持跨平台应用。我们还有WISE插件，所以我们可以做同样的事情，让他们处理底层工作，而我们只需保持我们最擅长的状态。那么对于Unreal Engine 4，有计划支持吗？是的，我们有支持Unreal Engine 4的计划。通过虚幻引擎4，我们有了Wyze插件，这就是开发者可以进入虚幻引擎4的方式。我们将在几周后在我们的网站上发布。目前我们还在测试阶段，只和一些精选的开发者合作，并获得测试反馈，以优化和使其与Wyze正常工作。你曾提到研究人员在过去的十年里一直在从事这项工作。那么虚拟现实应该是从六十年代开始出现的。但是他是否在虚拟现实的背景下使用这项研究？在VR真正流行之前，这些研究被用于什么领域？好的，是的，Ramani Duraswamy医生过去十年一直在马里兰大学从事这项声音方面的研究。最初这项研究始于国防部的一个项目，他们希望找到一种方法帮助新近失明的士兵在环境中找到自己的方向。所以Duraswamy医生利用他的技术制作了一个原型，并在街上测试了士兵能够利用这种3D音效寻找方向就像使用听力助听器一样。基于此，公司开始开发了一个球形相机。相机由5个摄像头和64个音频麦克风组成，可以实时拍摄带有音效的360度全景视频。市面上大多数的相机只能拍摄视频，拍摄完成后再混合音频。而我们的相机可以实时混合，而且这款相机还被汽车行业使用，可以可视化地显示声音在汽车环境中的传播情况。比如，特斯拉等汽车经销商们使用它来检测车内的噪声来源，然后添加吸音材料，以便车主不会听到任何小声音。在音乐厅方面，相机可以提供更好的音响效果。你可以拍手或说话，然后看到声音如何在环境中传播，并显示出反射声的位置。我们通过颜色来展示声音的强度和随时间的衰减情况，以便对其进行修改和调整。相机的研发是与公司首席技术官Adam O’Donovan合作完成的。他和Duraswamy医生分别为相机和音频完成了他们的博士学位研究，并与Dmitry Zatkin一起创立了这家公司。从相机开始，当我被雇佣后，我看到3D音效的能力后问为什么上面这些技术还没有被应用到游戏引擎中。Adam提到他们一直在尝试，但是缺乏资源。所以两年半前我们第一次尝试，我们将其整合到虚幻引擎中，并进行了演示。此后，Sensex看到了演示，要求我们为IdSec展示一次演示。所以我们在虚幻引擎中做了一个演示。布兰登·奥雷布恰好在奥卡鲁斯公司参观，所以我们向他展示了演示。我猜当时他们还专注于图形方面，所以我们的首席执行官格雷格·威尔克斯加入我们，并于去年在GDC展会上进入了快速推广模式。我们四处走动，找人尝试我们的演示。我穿了一件衣服，上面写着“We’re a real space, Touch me if you wanna hear a demo”（我们是真实的空间，如果你想听一个演示，请触摸我），我们找人尝试演示。然后格雷格碰到了布伦丹他们，布伦丹又找了帕尔默，他们过来听了我们的演示，然后从那时开始进行了谈判。所以我们一开始用的是虚幻引擎，但是格雷格决定注重Unity这个大型独立开发者群体，所以我们将重点从虚幻引擎转向Unity并开始为其开发插件，这使我们得到了更多关注和更多测试用户。我们正在与一些优秀的独立开发者合作，他们正在做一些非常酷的事情。我们还与Blair Renard合作，他正在制作《科技欲望》游戏。我们还与Aaron Lemke的Anello设计的《伊甸之河》合作。我们还与Joe Chang合作，他正在制作《幻术》。还有一些其他使用我们技术的HMD设备，我现在不能说出来，因为我不知道是否有权透露。能够可视化声音波的传播，通过减缓物理过程，可以在完全沉浸的虚拟现实中看到声音如何传播，我认为这将是令人惊叹的。你们有完整的3D模型，可以将其投入到虚拟现实环境中，真实地看到声音的传播吗？是的，还有相机的另一个功能我没有提到，就是监控。我们可以将相机放在这个房间里，周围的人在交谈，我们可以使用一种叫做beam forming的技术，将麦克风聚焦在一个区域内，可以屏蔽其他的声音，而我们可以在长达30米的走廊里听到人们的对话。所以相机在这方面也可以有用途。我们曾与拉斯维加斯的一些赌场接触过，亚当和格雷格与他们交谈过。他们说这项技术非常好，因为我们可以听到人们是否在作弊，但是我们不想听到他们是否使用非法货币，而这将迫使我们根据法律向有关部门报告，但我们想要他们的钱，所以我们不想听到那些。所以能够将声音可视化，这也是为什么公司被称为VISASONIX的原因，你可以看到声音。还有几家电影制作公司与亚当、格雷格和Ramani讨论过使用我们的相机来捕捉实时视频。但是我们还需要开发插件，比如Pro Tools或其他视频編輯工具，这样他们才能在拍摄视频时添加更多的3D声音对象，所以相机一开始就可以提供360度全景，最近亚当还到中国，在那里他们卖了一台相机，并将其放在长城上拍摄了视频，所以人们可以下载并体验。在您看过的VR体验中，有没有哪些真正很好地结合了声音的VR体验吗？是的，如我所说的，Blair Enard的《科技欲望》非常棒，他正在制作一个赛博朋克游戏，非常棒，他在游戏中非常注重细节，并很好地运用了3D声音效果，给人一种身临其境的感觉。Aaron Lemke的《伊甸之河》是一个更加放松冥想类型的环境;此外，Bully Entertainment的Pure也是一个放松的环境，人们可以在其中漂浮，Bob Berkeley, Chris Apple和他们的团队在展示我们的3D声音音频方面做得非常好。基本上取决于创意人员，我们是中间件，所以我们没有做演示的好。但是我做的一个演示吸引了很多人的注意，那就是Oculus制作的Tuscany Villa，我在别墅里放置了扬声器，我们对喷泉做了3D声效，还在蝴蝶上加了直升机的声音，这让人们很容易地看到了Real Space 3D的能力，让人们摆脱了对HRTF的负面印象。在奥卡鲁斯与我们合作之前，人们曾表示 “好吧，你们的视频、图形做得很好，但是音频呢？因为那是另一半”。我在论坛上发帖说，”好吧，看看 Real Space 3D吧”。人们说”那只是HRTFs，并不起作用，以前试过了，不会起作用，这让公司有些担心，我们开始远离HRTF的说法，我们认为我们应该说这是真实的声音或者是正确的声音等等，但是我们知道我们做得很对，我们应该为此负责，说HRTFs更好。现在奥卡鲁斯已经授权我们，之前”不起作用的 HRTF “的议论都消失了，大家都说好，你们正在做的很好。而且我们不是这个领域唯一的一家，还有其他几家公司也在做类似的工作，所以HRTS将会有一个合适的回归，就像VR重新回来一样，在九十年代被抨击，而且人们不敢做，直到奥卡鲁斯再次站出来，帕尔默展示了VR能做得很好，你可以看到它现在正迅速发展，这对我们来说很好，因为有多个HMD，越多越好。最后，您认为虚拟现实的终极潜力是什么以及它能够实现什么？无所不能的，虚拟现实将在许多领域迎头赶上，不仅仅是游戏，还有医学、医疗保健、建筑等甚至是游戏建模，我相信Maya和其他3D图形软件将能够让用户在虚拟现实中进行建模，只要有创造力，现在已经有一些15岁的孩子，在家里的地下室里，和他们的母亲，他们已经在准备某些在未来20年具有革命性的东西，所以一切取决于每个人的创造力，现在有很多人正在做很多事情，比如电影，看看 AltSpace VR，你可以进入其中并进行社交，我脑海中有无数的可能性，这个时候真是太好了，VR重新站在前沿，成为这一新运动的一部分。非常感谢你，非常好。好的，谢谢你。