/ Nweon / 0浏览

苹果专利用可调节照明系统优化AR/VR头显手部追踪性能

(映维网Nweon 2025年03月24日)对于头显设备,特定环境照明条件可能有足够的环境光可用来操作图像传感器。例如明亮的环境照明条件,系统可以捕获令人满意的手部图像。但在昏暗的环境照明条件下,电子设备可能需要发出补充照明,以确保设备的图像传感器依然可以看到用户的手部。

苹果表示,可以通过可见光和/或红外波长提供补充照明。补充红外照明的存在可以帮助红外图像传感器捕获满意的手部图像。同时,使用肉眼看不见的红外线照明有助于避免打扰附近的人。

为了确保在生产辅助照明时不会消耗过多的电力,可为头显设备提供可调节的照明系统。发射照明的角扩展和强度可以实时调整,以对焦感兴趣的目标对象。

例如在追踪用户的手时,一个可调节的照明系统可以产生一束对焦在用户手部的红外光。当用户的手移动时,红外光束可以跟随手的移动。使用这种方法,不需要照亮场景中无关的背景物体。所以,使用可调节的照明系统有助于节省电力。

在图2示出具有头戴式外壳20和头带22的头戴式设备。

图5是提供照明以照亮目标的说明性电子装置示意图。如图5所示,电子设备10可以包括可调照明系统32和传感器34。可调节照明系统32,可具有一个或多个发光组件,如红外光源。光36可以照亮诸如目标38的目标对象。光36可以是可见光和/或红外光。

目标38可以是有生命的,或可以是无生命的。作为示例,目标38可包括用户的一个或多个身体部位或无生命物体。其中,目标38是用户的手。

当系统32和传感器34用于支持手部追踪的头戴式设备时,手部动作、手指姿势和其他手部输入可用作用于控制设备10的用户输入形式。例如,手势可用于移动与设备10的显示资源一起呈现给用户的虚拟对象,可用于在显示内容中进行菜单选择等。虚拟对象可以单独呈现,或可以与真实世界内容合并。

在操作期间,当目标38由光36和任何可能存在或可能不存在的环境光照射时。可使用诸如传感器34的传感器来收集目标38的数据。作为示例,传感器34可以包括一个或多个红外图像传感器。

传感器34可以收集用于手部追踪的红外手图像。图像传感器的视场可以至少部分重叠,以便捕获三维图像。这使得设备10可以在三维空间中追踪目标38的位置。例如,当手相对于传感器34向上/向下、向左/向右和/或向前/向后移动时,传感器34可以追踪用户手的运动。

例如在头戴式设备中,用户的一只手或两只手可以在传感器34的视场内,并且可以由光36照亮。通过比较目标38在连续图像帧或其他合适时间段之间的位置,可由传感器34确定目标38的运动速度和方向。根据监测到的手部运动信息,传感器34可以预测目标38的未来位置。这允许来自系统32的光束36进行调整,以确保目标38在目标38移动时都能追踪。

一般来说,对由系统32产生的光36的调整可包括对发射光36的方向的调整和光36的角度覆盖范围的调整。如果需要,光36可以分成多个光束。有时候,可以对光36的强度进行调整,以确保在用传感器34捕获图像时获得所需的最小信噪比,并且可以以其他方式降低以节省功率。可能影响信噪比的条件包括环境光照水平、目标距离和目标反射率。

举个例子,考虑一个场景,其中目标38向40方向移动到38 ‘位置。利用传感器34,可以捕获目标38的当前位置,并可以确定指示目标38运动速度和方向的运动信息。然后传感器34可以预测位置38 ‘的位置(三维)。

利用来自传感器34的信息,系统32可以将照明36转向38 ‘的位置。如图5所示,通过对系统32发出的照明方向进行角度调整42,可以将光36的发射方向改变为新的方向36’。

最初,当手部追踪(或其他目标追踪)操作开始时,设备10可能不知道目标38的位置。手部追踪有时会暂时中断。

如图6所示,这时候可以调整系统32以提供泛光照明。在以这种方式在整个区域44发射光36的同时,传感器34重新获取目标38的位置,然后可以调整系统32以缩小光36的角扩散。

作为示例,系统32可用于产生覆盖图7的缩小尺寸面积44 ‘的光束36。区域44’可以调整为与目标38重叠,所以系统34可以在覆盖面积小于区域44的情况下继续追踪目标38。面积44’的大小可以是面积44总大小的70%以下,30%以下,15%以下,从而有助于节省电力。

在目标38移动的情况下,传感器34可以检测到该移动,并且基于所监测的目标运动,可以调整系统32以便移动区域44’以照亮新位置的目标38。

如果需要,区域44 ‘可以划分为多个子区域。例如,如图9所示,当目标38位于相邻位置时,区域44′可以覆盖两个目标38。在目标38彼此分离的情况下(例如,如果用户的手分开移动),系统32可以被调整为为两个各自的单独区域产生两个单独的光束36。例如,如图10所示,第一区域44′-1可提供第一光束36以照亮目标38的第一,第二区域44′-2可提供第二光束36以照亮目标38的第二。

如果需要,系统32可以使用多个发光装置,例如多个红外发光二极管和多个相应的光转向系统来创建多个离散(未连接且不重叠)的照明区域,以独立地之中用户的两只手。

图11是用于用光36照射目标38的示意图。如图11所示,系统32可以包括具有一个或多个独立发光装置70的光源16。器件70可以是单独可调的发光二极管或激光器。工作时,打开光源16,产生光源36。

光36可通过透镜54从系统32发射。透镜54可以包括一个或多个透镜元件,其准直和/或以其他方式塑造从源16发出的光36,从而产生一个或多个期望的光束。在图11的示例中,光向60方向发射,并且如虚线所示,58的特征为角扩展a。在目标38附近,这创建了与目标38重叠的照明区域44 ‘,从而照亮了目标38。这确保了即使在低环境光照条件下,目标38对传感器34是可见的。

为了操纵和塑造从系统32发出的光束36,系统32可以调整设备70中的哪一个是活动的,并且可以使用一个或多个定位器,例如定位器50和52来调整光源16和透镜54的位置。如果需要,给定系统32可具有多个光源16、多个定位器50、多个对应透镜54和多个定位器52。

定位器50和52可以是基于压电元件,电机,螺线管和/或其他可调致动器的机电致动器。定位器50和52通常可以在六个自由度上进行位置调整。

图12显示了组件62(可以是光源16和/或透镜54)如何通过定位器50或定位器52沿轴向64方向旋转到新的位置62′。这种类型的操作可以对光源16和/或透镜54使用,以改变(操纵)光36从系统32发射的方向。

图13示出如何使用定位器50或定位器52在方向66中将组件62平移到新的位置62’。作为一个例子,这种类型的平移可用于使光源16和透镜54彼此靠近或彼此远离。如果需要,设备10中的加速度计或其他传感器可以检测设备10何时处于自由落体状态(零重力条件),因此可以快速将源16和透镜54分开,以避免当设备10接触地面时源16和透镜54之间不希望的和潜在的破坏性接触。

在图14示例中,组件62由定位器50或52沿方向68移动(平移)到新的位置62′。这种运动可以改变输出波束的方向。

图15示出如何在关闭其余器件70的同时打开一个或多个器件(发光元件)70的子集。通过选择性地激活所需器件70,可以调整输出光束的大小、方向和形状。源16中可以有N个设备70,设备70可以布置在一维或二维阵列中。N的值可以是至少1、至少2、至少4、至少16、至少25、至少36、小于100、小于40和/或其他合适的值。

在图15的示例中,最初只打开设备70-1,而关闭设备70-2、70-3和70-4。如箭头72所示,当需要调整由系统32产生的照明图案时,可以调整激活装置70。在图15的布置中,设备70-1处于非激活状态,设备70-3和70-4处于非激活状态,而设备70-2处于开启状态。

因为设备70-2现在产生输出光,而不是设备70-1,从设备70向透镜54发射光的位置改变,因此系统32输出光的最终方向改变。可以通过增加和减少活动器件70的数量来改变波束大小。例如,当所有设备70都打开时,光36将覆盖比仅打开其中一个设备70时更宽的区域。

相关专利:Apple Patent | Electronic devices with illumination systems

名为“Electronic devices with illumination systems”的苹果专利申请最初在2023年9月提交,并在日前由美国专利商标局公布。