/ Nweon / 0浏览

Meta申请眼动追踪系统校准专利,支持头显设备自动校准

(映维网Nweon 2025年06月13日)眼动追踪(ET)对于AR/VR头显的一系列应用和功能变得越来越重要。通常情况下,工厂会在将头戴式设备发布给客户之前对其进行校准。但发货后的产品可能会受到各种机械或热效应的影响。例如,在产品的使用寿命期间,头戴式设备可能会跌落,或暴露于各种温度变化之中,并造成眼动追踪性能的下降。

在一项专利申请中,Meta就介绍了用于校准眼动追踪系统的方法。

图1示出了耦合到校准装置108的头戴式设备100。校准装置108可拆卸地耦合到头戴式设备100的透镜101和/或框架106的背面。校准装置108包括多个3D物体,包括3D柱或圆柱体102以及具有反射表面的3D球面或3D球105。

如图1所示,三维柱或圆柱102具有不同的高度,彼此之间的距离不同。头戴式设备100包括框架106、透镜101和臂104。眼动追踪系统可以使用位于头戴式设备框架的摄像头。在实施例中,头戴式设备100包括ET摄像头147A和ET摄像头147B。

ET摄像头147A或147B可以拍摄多个3D物体的图像,以收集每个ET摄像头147A或147B各自的校准信息,并可以同时从多个摄像头收集校准信息。

在实施例中,校准装置108可以以任何合适的方式(机械、磁性或其他方式)耦合到透镜101,从而提供校准装置108与头戴式设备100的可重复、稳定和安全的耦合。

图2是示例校准装置208的放大平面视图。示例校准设备208包括多个3D对象(称为“校准目标”),诸如3D柱或圆柱体202和具有镜像或反射表面的3D球面或3D球205。在示例中,3D柱或圆柱体202具有不同的高度。

在图2中,3D柱或圆柱体202彼此之间的距离基本上是规则的,但通常可以彼此距离不同。在各种实施例中,多个3D对象可以以独特的模式排列以协助摄像头重新校准,例如具有不同的几何尺度、距离,并且3D对象可以近似从眼球到3D对象的距离变化。

球体的半径或3D球205的特定反射几何形状可以在8-10毫米的范围内,并且3D球表面的平面可以距离标称眼睛位置或框架中心约12毫米。请注意,205A类似于眼球的半径,因为校准包括模仿眼睛闪烁,以达到预测注视角度和3D瞳孔位置的准确性。

在一个实施例中,圆筒直径可能在0.2-1毫米的范围内。圆筒202的顶表面可以与206的背面平面有不同的距离,范围为8- 12毫米。透镜与校准装置之间的平均距离为4.5毫米-20毫米的眼廓距离。

在本例中,两个相邻的圆柱形之间的距离为2-3毫米。尺寸公差可以小于0.05毫米,并且3D对象或校准目标的总数可以从每只眼睛或透镜20×20或30×20变化。

图3示出头戴式设备300。头戴式设备300包括ET摄像头347A和347B,它们靠近安装在框架306透镜301的外围。如图所示,阵列或多个近红外或红外光源,LED的309位于透镜301内或其上,并且308显示了简化的校准装置。

校准过程的目标是确定光源的位置,例如LED的309。LED 309的位置是相对于用户眼球的投影位置388确定。

为了进一步说明,图4示出示例过程400。

在405,图3中的ET摄像头(347A/347B)在校准装置308获取第一物体(例如圆柱体302)的图像以确定第一校准信息。使用第一校准信息来确定更新后的摄像头模型。另外,3D柱或圆柱体的图像用于确定ET摄像头的更新位置。

ET摄像头347A或347B的位置包括ET摄像头相对于投影标称眼位置的位置。在实施例中,框架中心定义为当与透镜301的光轴对齐时,眼球可相对于框架边缘位于其中。

在410,通过LED的309将光投射到包括多个第二物体、3D球305的校准装置308。

在415,ET摄像头拍摄3D球305的第二张图像,以收集包括3D球305闪烁位置的第二校准信息。在实施例中,第二校准信息可用于使用几何光学来计算所述多个光源中的一个或多个LED 309的位置。

在420,使用第一和第二摄像头校准信息来生成用于眼动跟踪计算的更新参数。所述第一摄像头校准信息包括所述多个3D柱或圆柱的图像。更新的摄像头模型信息与3D球的反射或闪烁的位置一起使用,以确定LED 309的位置。

来自摄像头的多个同时图像以及不同的支柱可以一起使用来验证校准。由于透镜301中的层和LED 309的位置,所述位置是虚拟位置。在实施例中,流程400启用新的校准参数,以允许ET追踪算法计算或重新预测用户的注视或瞳孔所在的位置。

可以理解,头戴式设备300的左眼透镜可以包括另一校准装置,以校准与左眼透镜相关联的ET摄像头。

图5示出了包括校准装置的另一示例头戴式设备。头戴式设备500包括位于透镜周围”的光源560,这与位于图3的透镜301内或上的“场内”光源形成对比。

在所述示例中,头戴式设备500可拆卸地耦合到校准设备508以及充电站590。在实施例中,光源560向眼睛方向发射光以照亮头戴式设备500的视窗,以从头戴式设备500的佩戴者的一只(或多只)眼睛产生反射。

根据实施例,光源560发出不可见光。根据实施例,光源560发射近红外光。其他来源的红外光可以照亮眼睛。在操作过程中,来自光源560的反射光由用户的眼睛反射,并由ET摄像头547A和547B接收。在校准过程中,来自光源560的反射光在3D球505产生闪烁,而闪烁在校准过程400中由摄像头547A和547B拍摄的图像中捕获。

如图所示,头戴式设备500包括连接到504A和504B的框架506。501A和501B安装在框架506上。透镜501A和501B可以对用户显示为透明,以促进增强现实或混合现实,支持用户能够查看来自其周围环境的场景光,同还接收通过例如波导550A和550B定向到其眼睛的图像光。

ET摄像头547A或547B可以包括互补金属氧化物半导体(CMOS)图像传感器。头戴式设备500可以会检测到需要校准,并在不使用或充电期间进行校准。充电站590可提供稳定的平台或支架进行校准。充电站590可以提供无线或有线电源和/或可以配置为由一个或多个电池供电。

相关专利:Meta Patent | Calibration of eye tracking system

名为“Calibration of eye tracking system”的Meta专利申请最初在2023年7月提交,并在日前由美国专利商标局公布。