Facebook Reality Labs Research团队今天分享了他们最新的音频项目。该团队旨在将技术融入AR头戴设备中，通过使您能够在嘈杂的环境中轻松隔离对话声音，并能够再现虚拟声音，让其听起来像是来自您身边的真实世界。定制的HRTF（头对传输函数）——即根据每个人的头部和耳朵形状来模拟其听觉方式的数字版本——对于提供这种体验至关重要，但这个过程耗时且昂贵。该团队正在研究可扩展的解决方案，该解决方案可以通过简单的耳朵照片生成准确的HRTF。

Facebook Reality Labs（FRL）是Facebook团队的新名称，该团队致力于构建沉浸式技术（包括Oculus头戴设备）。Facebook Reality Labs Research（FRLR）是该团队的研发部门。
今天，Facebook Reality Labs Research在一些持续进行的沉浸式音频研究项目上分享了最新进展，称这项工作与Facebook推出AR眼镜的工作“直接相关”，尽管其中一部分工作也广泛适用于虚拟现实。

空间音频
团队的目标之一是重新创建虚拟声音，使其在同一房间内与真实物体或人的声音“在感知上无法区分”。
“想象一下，如果您正在通话中，并且忘记了您与对方之间的距离，”研究主管菲利普·罗宾逊说。“这是我们正在开发的技术的承诺。”
为了实现这一目标，研究人员表示有两个关键挑战：1）了解听者环境的独特听觉特性，2）了解听者基于其生理特征听到声音的独特方式。
通过估计房间的声学特性（声音如何在其中回响），可以通过从头盔的跟踪传感器已经映射的几何形状估计房间的声学特性。结合能够估计房间特定表面的声学特性的人工智能，可以使用虚拟声音在听者身边产生真实声音的粗略想法，使其看起来像是真正来自同一房间内。
Facebook研究人员还表示，这些信息可以添加到LiveMaps中，即Facebook正在构建的增强现实的真实世界副本，并且可以被同一空间中的其他设备检索，以使声学估计通过众包数据逐渐改进。
第二个主要挑战是了解每个人根据头部和耳朵形状听到世界的独特方式。头部和耳朵的形状不仅会影响您的听觉感知，还对您确定声音来源的能力至关重要；如果您借用别人的耳朵一天，您将更难准确判断声音的具体来源。
有关声音如何与不同形状的耳朵相互作用的科学已经足够理解，可以用紧凑的数值函数表示，称为HRTF（头对传输函数）。但要准确测量个体的HRTF则需要专门的工具和漫长的校准程序，这使得将其扩展到多个用户变得不切实际。
为此，Facebook Reality Labs Research希望“开发一种算法，可以通过简单的耳朵照片近似生成可用的个性化HRTF”。
为了展示团队在空间音频方面的工作，他们创建了一种迷你游戏，参与者戴着跟踪耳机站在一个房间里，里面散布着几个真实的扬声器。然后团队播放一段声音，并询问参与者选择该声音是否是通过虚拟方式产生并播放的耳机，或者通过房间内的真实扬声器播放。团队表示，许多参与者的结果显示，虚拟声音与真实声音几乎无法区分。

感知无差异的虚拟声音可能会让人觉得朋友就在身边，即使他们通过佩戴头戴式耳机在另一个国家与你交流。Facebook Reality Labs Research还希望利用音频增强真实的面对面交流。

其中一种方法是创建环境感知噪音消除技术。尽管当前的噪音消除技术旨在减少所有外部声音，环境感知噪音消除技术试图隔离你想听到的外部声音，同时减少其他声音。

为此，Facebook研究人员建造了带有多个麦克风、头部跟踪和眼球跟踪的原型耳机和原型眼镜。眼镜监控用户周围的声音以及他们的注视点。算法旨在利用这些信息来确定用户想要听取的主题，无论是桌子对面的人，还是房间角落的电视。该信息输入算法的音频处理部分，该部分试图通过筛选进来的声音来突出主题的特定声音，同时减少其他声音的影响。

Facebook明确表示，他们正在致力于将这项技术最终应用于AR和VR头戴设备。尽管研究人员表示已经验证了许多这些概念，但还不清楚它何时能从实验室引入到日常使用的头戴设备中。