（

映维网Nweon
2024年10月25日

）
眼动追踪
可以通过一系列的技术来实现。例如，条纹投影将周期性的图案投射到眼睛，并利用反射的图案来确定3D特征。另一种技术利用投射到眼睛的光的飞行时间分析。

眼球运动可以达到每秒1000度。所以，高速测量对于眼动追踪应用至关重要。用于近眼显示设备的小尺寸摄像头可能难以实现这样的捕获速率，所以作为一种解决方案，单光子雪崩二极管SPAD传感器是一种可以实现超快速度的小尺寸传感器。

另一方面，为了匹配成像速度，照明需要达到与可编程模式照明相同甚至更高的速度。在日前由美国专利商标局公布的一份专利申请中，Meta介绍了一种用于眼动追踪的超快照明。

用于眼动追踪的照明系统可包括激光光源和超快速扫描微机电系统。所述微机电系统可在约10khz至约100khz的频率范围内工作以将入射激光反射到远场。系统同时可以控制激光光强度和定时以产生所需的条纹图案。

图4示出了基于结构光的眼动追踪系统的图400。图400显示了将具有相位线404和投影机像素406的投影机条纹402 (C)投影到具有相位线412的对象408 (B)的光源D，其中投影机像素406被投影为对象点410。反射条纹图案由摄像头E捕获为摄像头图像414 (a)，其中对象点410捕获为摄像头像素416。

在一个实施例中，单光子雪崩二极管传感器可用于超快图像检测。在基于低比特单光子雪崩二极管的成像中，基于单光子雪崩二极管的光子计数能力可以实现高达每秒10秒的千帧的超高速。

然而，由于光子检测效率相对较低以及环境噪声导致的误触发，可能需要进行平均处理，从而导致有效的3D成像帧率较低。为了匹配成像速度，照明可能需要达到与可编程模式照明相同甚至更高的速度。

单光子雪崩二极管传感器可以通过增加增益来减少积分时间来实现超高速测量。单光子雪崩二极管传感器由于具有高增益特性，容易受到环境光的影响，导致测量过程中产生噪点。

在特定示例中，窄带单光子雪崩二极管传感器可用于解决特征匹配过程中的噪声挑战，并实现更精确的测量。

特征匹配是指基于搜索距离算法从两个相似的图像中找到对应的特征。可以将其中一幅图像视为源图像，另一幅图像视为目标图像，并且可以使用特征匹配技术来查找或派生属性并将其从源图像传递到目标图像。

特征匹配过程可以分析源图像和目标图像的拓扑结构，检测特征模式，匹配所述模式，并匹配所发现模式内的特征。特征匹配的准确性可能取决于图像的相似性、复杂性和质量。因此，减少单光子雪崩二极管传感器中环境光产生的噪点可以提高检测眼睛三维特征的准确性，特别是瞳孔，然后可以用来确定用户的注视点。

图5示出用于眼动跟踪的基于远场焦平面的结构光投影图500。图500示出光子集成电路520可包括若干发射器508，而其可为基于光栅的照明器。在一个示例中，发射器508可以在两个输入行510、512之间以行和列的矩阵格式组织。从输入线510、512提供光的行选择506和/或列选择可通过绝热开关完成。

在操作中，来自诸如边缘发射激光器514的光源的光可通过一个或多个绝热开关定向到一个或多个发射器并投射出去。投射的光可以通过透镜504聚焦，产生输出光束502。因此，可以通过有源微机电系统(控制的绝热开关激活不同的光栅光源来实现基于远场焦平面的投影。

图6示出基于压缩感知的分辨率增强图600。图600显示了一个示例压缩感知技术实现，其中可以通过将2D照明矩阵604与到达功率测量向量602的示例图像向量606相乘来形成矩阵方程。通过施加照明图案、对所述信号进行积分并记录所述信号的迭代过程，可以重构示例照明图案608。

压缩感知用于有效地获取和重建图像或其他信号。压缩感知重建必须满足稀疏性和非相干性这两个条件，而这两个条件都存在于条纹投影和捕获系统中。压缩感知可以从不同于信号稀疏域的域中的样本加权线性组合开始。

为了将图像转换回预期的域，可以求解一个待定矩阵方程，因为压缩测量的数量小于图像中的像素数量。然而，由于初始信号是稀疏的，矩阵方程可能被求解为一个欠定的线性方程组。

在一个实施例中，两个或多个单像素和一个微机电系统开关照明器可用于视网膜表面的三维重建。所述微机电系统开关照明装置可将多个二值图像或灰度图像投影到视网膜。单个像素可以捕获信号。使用压缩感知技术，如傅里叶变换，每个像素可以恢复视网膜的灰度图像。

图7示出基于微机电系统的开关实现。图700示出处于关断状态702和导通状态710的光子集成电路720的耦合部分。在关闭状态702中，耦合器704、705可以充分地置于输入线和总线2707之上，以防止光从输入线传播到总线2707，其中一个或多个衍射波导发射器可以耦合到总线2707。

在开状态710中，可以物理地将耦合器704、705移动到源波导和衍射波导的倏逝耦合距离内。因此，光通过绝热耦合器从输入线定向到总线2707。在一个实施例中，衍射波导发射器可以提供弗劳恩霍夫衍射。

衍射波导发射器可在其表面上包括任意数量和类型的衍射元件。因此，投影的条纹图案可能是线性的或另一种更复杂的图案。另外，通过激活多个衍射波导，可以投射出各种条纹图案。投影条纹图案的相位可以通过在衍射波导使用不同的衍射元件来选择。

所以，可以选择投影条纹图案的类型、周期和相位，并根据激活的衍射波导来改变。通过使用不同周期的条纹图，可以采用多种条纹图分析技术，以在不增加尺寸和功耗成本的情况下提高精度。

在一个实施例中，选定的衍射波导可以通过微机电系统控制的绝热开关激活。绝热开关可以包括源波导和单个衍射波导之间的耦合器，而耦合器可以通过微机电系统将源波导耦合到所选的衍射波导并将流动光耦合到所选的衍射波导来升高或降低。

微机电系统是通过微制造技术制造的具有按比例缩小元件的机电设备和结构。在一个实施例中，静电力可以用来提高和降低耦合器，从而降低功耗。

在一个实施例中，衍射波导可以彼此平行地布置在光子集成电路，源波导可以垂直于光子集成电路顶面的衍射波导。耦合器可以是源波导和衍射波导之间的90度光学耦合器。所述耦合器可以在关闭状态下升高（解耦），在打开状态下降低（耦合），在打开状态下将光流从源波导引导到所选的衍射波导。

在一个实施例中，在每个交叉点的绝热耦合器开关元件可能对两个极化都有很高的耦合效率。所选衍射波导的激活可以通过物理移动带有微机电系统致动器的绝热耦合器来实现。在关闭状态下，耦合器可以放置在两个波导的上方(，以防止光通过它们传播。在导通状态下，耦合器可以物理移动到源波导和衍射波导的倏逝耦合距离内。因此，光通过绝热耦合器从源波导定向到衍射波导。

所述耦合器可以形成为具有例如380 nm厚的芯部和100 nm厚的翼部的肋波导。对于低功耗，翼部的运动可以由静电力驱动，默认状态为关闭状态。因此，在激活时，仅可消耗少量功率来提供静电力。在其他例子中，可以用磁力代替静电力。所描述的配置可以实现高于30khz的切换速度，允许顺序地和快速地生成具有不同周期的多个条纹图案。因此，可以采用多种条纹分析技术来提高眼动追踪的准确性。

图8举例说明了使用光子集成电路进行眼动追踪的基于远场焦平面的结构光投影图800。图800显示了由光子集成电路804选定的衍射波导发射器808投射到眼睛802的条纹图案，以及在摄像头806捕获的反射条纹图案。

基于微机电系统绝热开关照明器的源可以将多个二进制/灰度图像投影到眼睛802，并且可以利用单个像素来捕获在摄像头806处从视网膜接收的反射信号。压缩感知技术可以应用于检测端。通过使用微机电系统绝热开关，可以实现耦合损耗小于2db，开关速度高于30khz，功耗低（静电驱动）的光学高效照明系统。

投影可以在没有功率损耗的情况下完成，类似于DMD或LCD等显示型投影机，并且支持基于增强分辨率感知的压缩感知。条纹图案可以在不同的时期产生。因此，可以采用多种条纹分析方法，如基于傅里叶变换的方法、相移算法等。通过检索眼表面的三维几何信息，可以获得注视和瞳孔的定位。

图9A-9C说明了基于超快扫描微机电系统的结构光系统。图9A中的图900A显示了通过微机电系统反射器906以条纹图案910投影的准直光源所提供的光。从眼表面反射的条纹图案可由单光子雪崩二极管902捕获。

因此，使用工作频率为10 kHz至100 kHz的超快扫描微机电系统，可以将从微机电系统表面反射的激光定向到远场，并通过控制激光强度和定时可以产生所需的条纹图案。

图900B显示了由激光904提供的光通过衍射光学元件或超表面微机电系统反射器907作为条纹图案912投射。条纹图案从眼表面的反射可以被单光子雪崩二极管902捕获。图900B中的配置与图900A中的配置不同，在图900A中，可以通过微机电系统907表面的衍射光学元件或超表面来生成二维图案，而不是生成垂直线。

图9C中的图900C显示了由激光904提供的光通过微机电系统反射器906投影为条纹图910。条纹图案从眼表面的反射可以由基于单光子雪崩二极管的系统捕获。系统包括有源微机电系统快门阵列922、透镜924和单光子雪崩二极管阵列926。

在一个实施例中，有限数量的单光子雪崩二极管像素可以用来实现更快的速度。为了保证单光子雪崩二极管传感器在一个方向有足够的像素数，可以使用一维单光子雪崩二极管阵列926代替二维单光子雪崩二极管阵列，并与有源微机电系统快门阵列922一起用于快速二维成像。

即便在水平位置，有源微机电系统快门阵列922都可以用一系列模式打开。在单个单光子雪崩二极管像素上使用N次检测和不同的快门阵列模式，可以实现垂直方向的线像。

图10示出基于超快扫描结构光的眼动追踪系统方法1000。

在1002，可使用激光光源和以约10 kHz至约100 kHz频率范围工作的超快速扫描微机电系统将激光反射到眼睛。系统可以控制激光光强和定时以产生所需的条纹图案。

在一个实施例中，微机电系统的表面可以包括衍射光学元件，以将入射激光反射为集中的光束。在其他示例中，光可以通过基于光栅的照明器投射到通过绝热耦合器耦合到照明器的光子集成电路。微机电系统绝热开关照明器也可以将多个二进制/灰度图像投射到眼睛。

在1004，可以使用二维单光子雪崩二极管传感器或单光子雪崩二极管阵列探测器和有源微机电系统快门阵列的组合来捕获反射条纹图案。单个像素可以用来捕获从眼睛接收到的反射光。

在1006，压缩感知技术可以应用于检测端。压缩感知可以被眼动追踪系统的控制器用来有效地获取和重建图像或其他信号。

在1008，可以从捕获图像中检索眼睛表面的3D特征。

特征可以通过基于搜索距离算法从两个相似的图像中查找相应的特征进行特征匹配来检索。可以将其中一幅图像视为源图像，另一幅图像视为目标图像，并且可以使用特征匹配技术来查找或派生属性并将其从源图像传递到目标图像。

特征匹配过程可以分析源图像和目标图像的拓扑结构，检测特征模式，匹配所述模式，并匹配所发现模式内的特征。然后可以从检索到的特征中推断出用户的注视点。

相关专利

：
Meta Patent | Ultrafast illumination for structured light based eye tracking

名为“Ultrafast illumination for structured light based eye tracking”的Meta专利申请最初在2022年12月提交，并在日前由美国专利商标局公布。