/ Roadtovr / 0浏览

苹果的iPhone即将通过扫描你的耳朵来解决空间音频中的一个大问题

在今天的苹果全球开发者大会(WWDC)2022主题演讲中,该公司宣布iOS 16将允许现代iPhone用户扫描耳朵的形状,以创建更准确的空间音频。可能是作为头相关传递函数(HRTF)实现的,为消费者创建定制的HRTF曾因需要复杂设备而不切实际,但计算机视觉的进展正在使这项技术变得更加易于接近。

在数字空间音频领域,要想实现‘位置’或‘3D’音频的准确性,必须考虑到用户头部和耳朵的独特形状的影响。因为每个人的头部形状和尤其是耳朵都是独特的,来自现实世界的声音元素会以不同且非常微妙的方式反弹到头部和耳朵中。例如,当一个声音在你身后时,你耳朵褶皱的精确几何形状会以独特的方式反射来自那个角度的声音。当你以那种特定的方式听到声音进入你的耳朵时,你会敏锐地理解声音的来源在你后面。
要创建高度准确的数字空间音频感觉,就需要一个能考虑到这些因素的模型,这样音频就能与你头部和耳朵的独特形状所创建的正确线索混合。
听力学家用数学方法描述了这种现象,也就是我们所称的头相关传递函数(HRTF)模型。使用HRTF,可以通过修改数字音频来复制与个体耳朵唯一相关的空间音频线索。
尽管数学方法已经有很好的研究,而且实时应用HRTF的技术今天也已经可以获得,但仍然存在一个大问题:每个人都需要有自己的定制HRTF。这就需要准确地测量每个人的每只耳朵,而没有专门的设备是很难实现的。
但是现在苹果表示将利用其最新iPhone中的先进传感器,允许任何人扫描他们的头部和耳朵,并根据这些数据创建定制的空间音频配置文件。
苹果并不是第一家基于计算机视觉耳朵模型提供定制HRTF的公司,但将其内置于iOS中将使这项技术比以往任何时候都更加普及。
在WWDC 2022主题演讲中,苹果宣布了这一功能,作为即将发布的iOS 16更新的一部分,预计将在今年晚些时候推出。它将适用于配备TrueDepth摄像头系统的iPhone,包括iPhone 10及以后的机型。
但仅仅拥有一个准确的耳朵模型是不够的。苹果需要开发一种自动化流程,来模拟真实声音与耳朵独特几何形状的相互作用方式。虽然苹果没有明确表示这将基于HRTF实现,但鉴于它是空间音频领域中的已知量,这似乎是非常有可能的。
最终,这应该会在iPhone上(以及很可能是未来的苹果XR头戴设备上)实现更准确的数字空间音频。这意味着距离你左耳10英尺的声音将听起来更像它本该在那个距离上,从而更容易区分距离你左耳2英尺的声音,例如。
这将与苹果产品现有的空间音频功能相得益彰,特别是与可以跟踪您头部运动的AirPods一起使用,以获得头部跟踪的空间音频体验。苹果的iOS和MacOS都支持开箱即用的空间音频,可以将标准音频变为仿佛来自您房间中的扬声器(而不是你的脑内),并精确播放为空间音频专门创建的声音,例如Apple Music上的Dolby Atmos音轨。
而且,该功能还有另一个潜在的好处。如果苹果让用户下载自己的定制HRTF配置文件,他们可能能够将其用于其他设备上(例如VR头盔)。

0

  1. This post has no comment yet

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注