（
映维网Nweon
2024年10月09日
）对于AR/VR头显，
眼动追踪
可以通过一系列的技术来实现。眼球运动可以达到每秒1000度。所以高速测量对于眼动追踪应用至关重要。另一仿麦呢，严格的设备尺寸和功率要求限制了传统照明组件的使用，而如此高的图像捕获速度很难用摄像头实现。
对于这个问题，业界开始把目光投向单光子雪崩二极管SPAD传感器。这是一种可以实现超快速度检测的小尺寸传感器。然而，SPAD传感器在眼动追踪应用中面临着自己的挑战，例如有限的带宽，低分辨率和/或噪点敏感性等等。
在一份专利申请中，Meta描述了使用SPAD传感器的基于三维压缩传感的眼动追踪系统。为了通过使用低分辨率SPAD传感器实现高分辨率深度测量，可以将主动编码照明投射到眼睛表面，并且可以通过SPAD传感器捕获投影图案的反射。利用正演观测模型和多次观测可以获得更高分辨率的三维结果。
高速照明装置可用于以与SPAD传感器相同的速率改变图案。处理器可以采用压缩感知技术从不同模式的捕获图像中获得高分辨率图像和深度信息。通过快速改变模式投影和捕获速度，可以以更快的速度捕获高分辨率信息。
图4示出了基于结构光的眼动追踪系统。图400显示了将具有相位线404和投影头像素406的投影机条纹402 (C)投影到具有相位线412的对象408 (B)上的光源D，其中投影机像素406投影为对象点410。反射条纹图案由摄像头E捕获为摄像头图像414 (a)，其中对象点410捕获为摄像头像素416。
在一个实施例中，至少可以使用一个单光子雪崩二极管传感器来进行快速图像检测。在基于低比特单光子雪崩二极管的成像中，基于单光子雪崩二极管的光子计数能力，可以实现高达每秒10秒的千帧的超高速。然而，由于光子检测效率PDE相对较低以及环境噪声导致的误触发，可能需要进行平均处理，从而导致有效的3D成像帧率较低。为了从基于SPAD的传感器捕获的低分辨率图像中获得高分辨率图像，可以采用压缩感知技术来提高图像质量。
单光子雪崩二极管(传感器可以通过增加增益来减少积分时间来实现超高速测量。单光子雪崩二极管传感器由于具有高增益特性，容易受到环境光的影响，导致测量过程中产生噪点。在一个实施例中，窄带单光子雪崩二极管传感器可用于解决特征匹配过程中的噪点挑战，并实现更精确的测量。
特征匹配是指基于搜索距离算法从两个相似的图像中找到对应的特征。可以将其中一幅图像视为源图像，另一幅图像视为目标图像，并且可以使用特征匹配技术来查找或派生属性并将其从源图像传递到目标图像。
特征匹配过程可以分析源图像和目标图像的拓扑结构，检测特征模式，匹配所述模式，并匹配所发现模式内的特征。特征匹配的准确性可能取决于图像的相似性、复杂性和质量。因此，减少单光子雪崩二极管传感器中环境光产生的噪点可以提高检测眼睛三维特征的准确性，特别是瞳孔，然后可以用来确定用户的注视点。
图5A-5B举例说明了使用单光子雪崩二极管传感器的三维)压缩传感眼动追踪系统配置。
图5A中的图500A显示了基于微机电系统(的投影仪504将主动编码照明投射到眼睛502的表面，并且投影图案的反射被低分辨率单光子雪崩二极管传感器506捕获。
基于微机电系统的投影仪504和单光子雪崩二极管传感器506可以通信耦合到处理器510，处理器510可以暂时同步基于微机电系统的投影仪504和单光子雪崩二极管传感器506，并使用压缩感知技术处理捕获的图像。
微机电系统可以由尺寸在1到100微米之间的组件组成，并包括处理数据的中央单元和与周围环境相互作用的几个组件，如微镜或反射器。
可以利用静电荷或磁矩来实现运动。在微机电系统投影仪504中，由诸如侧发射激光二极管、垂直腔面发射激光二极管二极管或超发光发光二极管等准直光源提供的光可通过至少一个微机电系统(反射器反射到眼睛。
所述微机电系统反射器可以在一个或多个方向移动或扫描，以在眼表面投射主动编码照明图案。微机电系统反射器可以操作，例如在10千赫到100千赫之间，从而将激光指向远场，并通过控制激光强度和定时，以在眼睛表面产生所需的图案。
在一个实施例中，可以通过衍射光学元件或微机电系统反射器表面的超表面来产生二维图案，而不是产生垂直线。当眼动追踪只需要有限数量的垂直分辨率时，这种方法可能有效。光束在一定方向的集中同样有助于提高信噪比。
单光子雪崩二极管光电探测器采用CMOS技术实现，其p-n结反向偏置高于其击穿电压，使得单个光子入射到有源器件区域可以产生电子-空穴对，从而触发二次载流子雪崩。雪崩的积累时间可在皮秒量级，所以相关的电压变化可以用来精确测量光子到达的时间。
尽管单光子雪崩二极管(传感器可以以非常高的速率捕获图像，但它具有低分辨率。例如，单光子雪崩二极管传感器可能具有32×32像素的分辨率。与可能具有8，12，16或更高比特率的传统摄像头相比，典型的单光子雪崩二极管传感器的比特率可能在1到4比特之间。
图5B中的图500B显示了与图500A中的配置类似的配置，但不是基于微机电系统的投影仪504，而是用于将主动编码照明投影到眼睛502的数字微镜设备投影仪514。
数字微镜设备利用大量微小的移动镜来成像。数字微镜设备芯片可以在其表面上有几十万个微镜，它们排列成与待投影图像的像素相对应的矩形阵列。反射镜可以旋转±10-12度。在开状态下，来自光源的光可以被镜子反射，使像素看起来明亮。在关状态下，光线被引导到其他地方，使像素看起来很暗。镜子可以非常快地开关。
在一个实施例中，数字微镜设备中的反射镜可以由铝制成，并且直径约为15微米。每个镜子可以安装在轭，轭又可以通过弯曲的扭转铰链连接到两个支撑柱。两对电极可以通过静电吸引来控制镜子的位置。每一对电极可以在铰链的每一侧都有一个电极，其中一对电极定位为作用于轭，另一对电极直接作用于镜子。
在一个实施例中，镜像的状态可以加载到存储器中，而存储器可以连接到电极。一旦所有的SRAM单元加载，偏置电压可以移除，允许来自SRAM单元的电荷占上风，从而移动镜子。当偏置恢复时，镜子可能会再次保持在原位，下一个运动可以加载到各自的记忆单元中。
单光子雪崩二极管传感器506可以实现高达500 kHz的图像捕获率，但操作在1或4位多捕获32×32像素一次。处理器510可以时间同步单光子雪崩二极管传感器506和数字微镜设备投影仪514，确保捕获快速投影的主动编码照明图案系列。然后，处理器510可以采用压缩感知技术从单光子雪崩二极管传感器506捕获的图像中获得高分辨率图像，例如256×256。
在一个实施例中，可以使用多个单光子雪崩二极管传感器来捕获来自眼表面的图案反射。在其他示例中，线性单光子雪崩二极管传感器阵列与有源微机电系统快门阵列或二维单光子雪崩二极管阵列结合同样可用于捕获反射。
图6A-6B举例说明了可以投影到眼表面，并用于基于眼动跟踪的三维压缩传感。图6A和6B包括示例主动编码照明图案602、604、606和608。
在一个实施例中，主动编码照明图案可包括与另一图案叠加的标准条纹图案的各种排列。不同的图案可以以快速速率顺序投射，并由一个或多个单光子雪崩二极管传感器同步捕获。
其他图案序列可以包括随机或伪随机模式。每一种不同的图案可能提供不同的信息，因此，通过使用一系列不同的图案，可以捕获更多关于眼睛表面的信息。
压缩感知用于有效地获取和重建图像或其他信号。通过优化，可以利用信号的稀疏性从比Nyquist-Shannon采样定理所需的更少的样本中恢复信号。在眼动追踪模式投影和捕获系统中，稀疏性和非相干性是压缩感知重建的必要条件。这种小波变换对眼表面的捕获图像进行变换，满足稀疏性条件。使用不同图案的序列可以满足不相干性要求。
压缩感知可以从不同于信号稀疏域的域中的样本加权线性组合开始。为了将图像转换回预期的域，可以求解一个待定矩阵方程，因为压缩测量的数量小于图像中的像素数量。
然而，由于初始信号是稀疏的，矩阵方程可能被求解为一个欠定的线性方程组。示例压缩感知技术可以包括但不限于凸优化和基于自适应梯度的技术。
图7示出了使用单光子雪崩二极管传感器的基于三维压缩传感的眼动追踪方法700。
在702，诸如二维编码图案、斑点图案、随机图案及其组合的主动编码照明图案可以以快速速率投射到眼睛表面。投影仪可以包括激光源和基于超快速扫描微机电系统的投影仪或具有合适光源的数字微镜设备投影仪。
在704，可以使用一个或多个2D单光子雪崩二极管传感器或单光子雪崩二极管阵列探测器来捕获来自眼睛表面的投影图案的反射。单光子雪崩二极管传感器可以是低分辨率传感器，例如，以1位或4位模式工作，并与投影仪时间同步，以便传感器捕获每个投影模式。
在706，压缩感知技术可应用于所述反射图案的捕获图像。这种小波变换对眼睛表面的捕获图像进行变换，满足稀疏性条件，变换图案的序列可以满足压缩感知的非相干性要求。通过压缩感知可以从捕获的图像中检索高分辨率图像和深度信息。
在708，可从所述高分辨率信息检索眼睛表面的3D特征。特征可以通过基于搜索距离算法从两个相似的图像中查找相应的特征进行特征匹配来检索。
可以将其中一幅图像视为源图像，另一幅图像视为目标图像，并且可以使用特征匹配技术来查找或派生属性并将其从源图像传递到目标图像。特征匹配过程可以分析源图像和目标图像的拓扑结构，检测特征模式，匹配所述模式，并匹配所发现模式内的特征。然后可以从检索到的特征中推断出用户的注视点。
相关专利
：
Meta Patent | Three-dimensional (3d) compressive sensing based eye tracking
名为“Three-dimensional (3d) compressive sensing based eye tracking”的Meta专利申请最初在2022年12月提交，并在日前由美国专利商标局公布。