Meta AR/VR专利使用模拟传感器低成本低功耗实现面部肌肉追踪
目前的VR/AR头戴式设备包括眼动追踪系统、内视摄像头和超声波扫描仪。它们可以收集用户面部表情的实时信息,并帮助生成与用户相关的Avatar,从而实现真实的社交体验。然而,这些先进的眼动追踪和面部追踪硬件需要大量的系统功率和计算周期,因此它们往往是过于复杂的设备,体积庞大、重量大,并且实现高精度具有挑战性。
为解决以上问题,Meta在名为“Embedded sensors in immersive reality headsets to enable social presence”的专利申请中提出使用一组模拟传感器,以低成本和低功耗的方式实现面部肌肉追踪。该专利还描述了利用头显面部界面和其他接触表面上的压力/触觉传感器、温度传感器、音频等实现基于用户肌肉收缩的眼动追踪和面部追踪的方法。传感器可以识别哪些肌肉正在收缩,软件可以利用相关输入来重建Avatar的面部肌肉运动或者理解用户在场景中的视线方向。
此外,该专利还描述了使用光学技术来提高性能和降低功耗的方法。