（
映维网Nweon
2024年06月03日
）深度感测系统（DDA）确定描述局部区域的深度信息。传统的深度感测系统，特别是诸如头戴式设备这样具有小形状参数的系统，尽管它们通常能够投影结构化光图案或泛光照明，但不能两者都投影。
名为“Indirect time of flight sensor with parallel pixel architecture”的专利申请中，Meta介绍了一种平行像素结构的间接飞行时间传感器（iToF）。所述传感器包括多个并行像素，像素包括多个不同的像素组，并且每个像素具有各自的专用计算电路。
其中，每组像素配置为检测以不同频率调制的光。并行像素架构描述每个像素如何包括和/或耦合到专用的各自计算电路。多个像素包括配置为检测以不同频率调制的光的不同像素组。计算包括用于多个并行像素中的每一个的相应计算电路。
计算层配置为使用间接飞行时间技术和具有不同各自调制频率的一个或多个检测光来校准和确定局部区域的深度信息。本地计算电路可以创建具有不同幅度的相位幅值图，从而使置信度能够决定次频率的选择。
配置用于每个相应像素的相应计算电路以确定与其各自像素检测的光相关联的深度信息。对于给定像素，计算电路可以部分地基于来自相邻像素的信息来消除给定像素的深度信息的歧义。
注意，深度确定在每个像素的各自计算电路执行，并且以相对于传感器的其他像素的异步方式执行。相应地，并行像素架构在每个像素的基础上异步地提供深度确定。
所述传感器可集成到包含照明器的DDA中。DDA可以是可穿戴设备的一部分。照明器配置成以不同频率调制的光照射局部区域。包括以不同频率调制的光在内的照明可以同时发生、在时间上复用等。
请注意，单频iToF受到范围折叠的影响，这可能导致在瞬时视场中测量不同距离的对象重叠时深度确定的误差。通常，这个问题可以通过使用第二频率调制的光来解决。然而，尽管这对于静态场景很有效，但对于具有动态方面的场景，它可能会导致运动模糊的问题。
部分原因是iToF通常依赖于正交采样来测量映射到距离的相移。在正交采样中，对于给定的调制频率，通常至少捕获四个相位并用于确定深度。然而，为了消除确定的深度的歧义，需要以不同的调制频率捕获一组额外的相位。
传统的iToF传感器通常以第一个调制频率从整个传感器收集数据，然后做同样的事情，但不同的调制频率。然后，常规的深度确定系统可以通过与传感器分离的处理器使用所收集的数据计算深度信息。因此，如果使用传统的iToF传感器，在每个频率收集的图像帧的数量可能导致显著的运动模糊和图像捕获和计算的功耗显著增加。
相比之下，采用并行像素结构的iToF传感器在每个像素上异步进行深度确定。另外，iToF传感器包括配置为检测以不同频率调制的光的像素。iToF传感器的任何给定像素能够使用来自一个或多个相邻像素的信息，相邻像素配置为以不同于给定像素的频率检测调制光，以消除给定像素的深度信息的歧义。
由于发明描述的iToF传感器可以同时检测不同频率调制的光，因此iToF传感器的像素能够比传统iToF系统更快地确定相关深度信息，从而减轻了相对于传统iToF系统的运动模糊变化。
图2是根据一个或多个实施例的DDA 200框图。照明器210配置成将光投射到局部区域。光源阵列230产生光。光源阵列230包括发射红外光的多个相干光源。多个相干光源可以具有相同的波长。在其他实施例中，多个相干光源中的一个或多个具有不同的波长。
所述多个相干光源可细分为多个相干光源阵列。多个相干光源阵列中的每一个配置成分别发射以特定频率调制的光。例如，可以将第一相干光源阵列配置为以第一频率发射光，可以将第二相干光源阵列配置为以调制第二频率发射光等。光源阵列230可以使用脉冲调制。
光学组件240配置为调节来自光源阵列230的光，并将所调节的光投射到DCA 200的局部区域。光学组件200包括一个或多个透镜和/或一个或多个衍射光学元件DO。光学组件240可以平铺由光源阵列发出的光，使得由光源阵列200发出的光平铺在局部区域。
传感器组件220检测被来自光源阵列的光照射的局部区域内对象反射/散射的光。传感器组件220包括一个或多个具有并行像素结构的iToF传感器。每个iToF传感器包括具有并行像素结构的多个像素。
并行像素架构描述每个像素如何包括和/或耦合到用于确定该像素的深度信息的专用各自计算电路（在计算层中）。计算层配置为使用间接飞行时间技术和具有不同各自调制频率的一个或多个检测光来确定局部区域的深度信息。
所述多个像素配置为检测以不同频率调制的光。所述多个像素包括配置为检测以不同频率调制的光的不同像素组。在一个实施例中，不同的组各自与特定频率相关联。
例如，可以将一组配置为检测以第一频率(调制的光，并且可以将第二组配置为检测以第二频率调制的光。在其他实施例中，一组或多组像素可以动态配置为根据来自计算电路的指令检测不同频率范围上的光。例如，第一组可配置为检测在第一频率范调制的光，而第二组可配置为检测在第二频率调制的光。
不同的像素组可以具有具有不同检测区域的像素。检测区域是像素检测光的部分。例如，一组中像素的检测区域可以相同，一组中像素的检测区域可以不同于其他组中像素的检测区域。配置为检测较高频率的像素的检测区域可以小于配置为较低频率的像素的检测区域。
例如，一组包括配置为检测以第一频率(和/或频率范围)调制的光的像素，而另一组包括配置为检测以高于第一频率的第二频率调制的光的像素。第一象素组的每一象素可具有第一检测区域，第二象素组的每一象素可具有第二检测区域，第二检测区域小于第一检测区域。
在一个实施例中，所述计算层配置为控制所述DDA 200的元件。计算层可以配置为向DDA 200的各个组件提供指令并计算局部区域的深度信息。
计算层配置为生成指令，使所述照明器210向所述局部区域发射光。在一个实施例中，计算层可以为不同的像素组选择不同的频率，并配置像素组以检测以其各自所选频率调制的光。例如，计算层可以使用以不同频率调制的光在感兴趣的区域中局部确定距离模糊度。
计算层可以运行一个小的预曝光窗口，其单个和/或多个频率为像素的5-10%。计算层可以从图像中提取深度信息，以确定在无歧义范围内的频率是否提供唯一的距离测量。计算层可以使用来自多个像素的幅度和/或返回信号作为测量范围的置信度度量。可以使用基于梯度的方法，并和与DDA 200同步操作的灰度和/或彩色图像进行比较。
来自第二摄像头的运动补偿可以引导DDA 200优化多个像素的调制频率。计算层指示照明器210用用所选频率中的至少一个调制的光照射局部区域的一部分。在一个实施例中，计算层可以指示照明器210同时发射以一种频率调制的光和以另一种频率调制的光。或者，计算层可以指示照明器210以时间复用方式发射光。
计算层可以指示照明器210用以不同频率调制的光照射部分或全部局部区域。计算层可以指示照明器210发射以一种频率调制的光，并在局部区域的同一部分发射以另一种频率调制的光。
在一个实施例中，计算层可以指示照明器210在局部区域的不同各自部分上发射以一种频率调制的光和以另一种频率调制的光。例如，计算层可以识别局部区域的特定部分，以跟踪并指示照明器210以以第一频率调制的光选择性地照亮所识别的部分。
在一个实施例中，计算层可以确定用具有第一调制频率的光照射局部区域的第一部分，第一调制频率部分基于由检测来自该局部区域的第一部分的光的多个像素的第一子集检测到的第一组信噪比。计算层同时可以确定用具有第二调制频率的光照亮局部区域的第二部分，第二调制频率部分基于由检测来自该局部区域第二部分的光的多个像素的第二子集检测到的第二组信噪比。
在一个实施例中，计算层可以确定局部区域的第一部分以具有第一调制频率的光照射。同时，计算层可以确定局部区域的第二部分以具有第二调制频率的光照射。计算层可以以第二调制频率照亮局部区域的第一部分，同样以第一调制频率照亮局部区域的第二部分，以确保计算的深度信息正确。
计算层配置为使用间接飞行时间技术和具有不同各自调制频率的一个或多个检测光来确定局部区域的深度信息。所述计算层包括用于所述多个像素中的每一个的相应计算电路。
用于像素的计算电路可以包括，例如，一个或多个模拟数字转换器ADC和相互关联电路。所述ADC可以配置成输出与在特定调制频率下检测到的光相对应的数字信号。相互关联电路可以配置为基于从配置为检测具有不同调制频率的光的相邻像素输出的第一数字信号和第二数字信号来确定估计深度。
例如，相互关联电路可以使用正交采样来识别潜在深度，并使用第二数字信号来确定深度信息来消除潜在深度的歧义。计算层可以将深度信息存储在局部区域的模型中。
注意，iToF传感器的任何给定像素能够使用来自一个或多个相邻像素的信息，这些相邻像素配置为以不同于给定像素的频率检测调制光，以消除给定像素的深度信息的歧义。由于iToF传感器可以同时检测不同频率调制的光，因此iToF传感器的像素能够比传统iToF系统更快地确定相关深度信息，从而减轻了相对于传统iToF系统的运动模糊变化。
图3A示出以不同频率调制的光照亮局部区域310的DDA 200泛光。如图所示，照明器210用调制光320照射局部区域310。调制光320包括以第一频率（例如100 MHz）调制的光和以低于第一频率的第二频率（例如30 MHz）调制的光。在一个实施例中，调制光320同时可以包括以第三频率、第四频率等调制的光。调制光320反射位于局部区域310内的物体330和物体340。
传感器组件220检测来自对象330和对象340的反射光和/或散射光。如上所述，传感器组件220包括一个或多个iToF传感器，所述iToF传感器包括多个像素。所述多个像素的第一组配置为检测以第一频率调制的光，所述多个像素的第二组配置为检测以第二频率调制的光。
在从包括以其他频率调制的光的照明器210发射的光的实施例中，多个像素将包括配置为检测以这些频率调制的光的像素组。每个像素的计算电路使用ToF深度确定技术在像素处确定像素的深度信息。
在一个实施例中，调幅AM同差相移用于解调。在其他实施例中，调幅外差ZF相位可用于解调。在一个实施例中，计算电路中的相互关联电路可以使用正交采样来识别给定像素的潜在深度，并使用来自相邻像素的第二数字信号来消除潜在深度的歧义性以确定深度信息。计算层可以将深度信息存储在局部区域的模型中。
注意，在本实施例中，配置为检测以一个频率调制的光的像素可以与配置为检测不同频率的光的另一个相邻像素同时确定深度信息。同时，来自给定像素的信息可用于根据相邻像素的需要消除深度信息的歧义。因此，可以并行地确定不同频率的相邻像素的深度信息。
如图3A所示，使用以不同频率调制的光对局部区域310进行并行泛光照明来确定深度信息。在一些实施例中，计算层可以指示照明器210选择性地照亮局部区域的一个或多个部分，而不是泛光照明。
图3B是图3A的DDA选择性地用光照射局部区域中的对象。在一个实施例中，计算层可以指示照明器210用调制光350照射对象330，并用调制光360照射对象340。
在一个实施例中，调制光350和调制光360包括以第一频率调制的光和以第二频率调制的光。然而，一旦对象的深度在局部区域内已知，可能不需要使用多个频率来消除歧义。例如，对象330可能比对象340更接近DDA 200。
一旦确定了对象330的深度信息，计算层可以指示照明器210以第一频率调制的光照射对象330，并以第二频率调制的光照射对象340，同时使用调制光的单频确定对象330、340的深度信息。
图4是根据一个或多个实施例的具有平行像素架构的iToF传感器。iToF传感器包括具有不同检测区域的多组像素。
在所示示例中，iToF传感器包括两组像素，一组低频组和一组高频组。低频组包括配置为检测以第一频率调制的光的像素，并且高频组包括配置为检测以高于第一频率的第二频率调制的光的像素。例如，第一频率可以是10mhz，第二频率可以是100mhz。如图所示，低频像素比高频检测像素具有更大的检测区域。
注意，检测区域的大小差异可能有助于提高信噪比。例如，深度分辨率通常对于更接近DDA的对象更重要。因此，以高频调制的光可主要用于靠近DDA的对象，而以较低频率调制的光可主要用于远离DDA的对象。这样，用于低频像素的较大检测区域有助于相对于检测区域具有相同尺寸的实施例提高信噪比，而不管它们配置为检测的光的调制频率如何。
图5是根据一个或多个实施例的具有平行像素结构的iToF传感器的一部分。检测层510检测来自以不同频率调制的局部区域的光。检测层510包括每个像素的相应检测区域，并且可以包括附加组件(例如，偏光器、滤光器阵列。如图所示，不同像素的检测区域具有相同的区域。在其他实施例中，与配置为检测以不同频率调制的光的像素相关联的检测区域可以不同。
计算层520配置为使用间接飞行时间技术和对应于在一个或多个像素处检测到的光的信号来确定局部区域的深度信息。所述计算层520位于所述检测层下方。所述计算层520包括用于所述多个像素中的每一个的计算电路。
注意，在特定实施例中，多个像素中的一些或全部可以具有它们自己的时钟。部分或全部像素可以异步方式操作，并且每个像素可以通过其相应的检测区域确定与其检测到的光相对应的深度信息。
例如，像素530包括检测区域540和计算电路550。所述检测区域540配置为检测以第一频率调制的光并产生相应的第一数字信号，所述第一数字信号由所述计算电路用于确定深度信息。
在一个实施例中，计算电路550基于从配置为检测具有不同调制频率的光的相邻像素输出的第一数字信号和第二数字信号确定估计深度。例如，相邻像素可以配置为检测以不同于像素530的调制频率调制的光。相邻像素可包括产生深度估计的检测区域560和计算电路580。为了消除估计的深度信息的歧义，像素530可以使用从相邻像素生成的深度估计。
图6是图5的iToF传感器内像素600的结构的框图。检测层510检测来自以不同频率调制的局部区域的光。在所示实施例中，检测层510包括微透镜610、滤光片620、偏光镜630和光敏器640。微透镜610收集来自局部区域的光，并将其聚焦到光敏传感器640的检测区域。
滤光片620过滤来自微透镜610的光。例如，滤光片620可用于滤除由DDA 200的照明器发出的波段以外的光。偏振器630使滤过的光偏振光入射到光敏器640。
计算层520配置为确定深度信息。计算层520包括用于像素600的计算电路650。计算电路650包括一个或多个ADC、互相关电路670和控制电路680。如图所示，存在两个ADC 650，但在其他实施例中，可以存在一个ADC或两个以上ADC。一个或多个ADC配置成基于光敏传感器640检测到的与具有特定调制频率的检测光对应的光输出一个或多个数字信号。
相互关联电路670配置为基于从ADC 660输出的一个或多个数字信号，或从ADC 660输出的一个或多个数字信号和配置为检测具有不同调制频率的光的相邻像素来确定估计深度。
相互关联电路670通过与用于调制产生该光的照明器的时钟的关联来解调信号。相位和幅度可以对多个不同的采样进行提取。在一个实施例中，相互关联电路670可以使用正交采样来确定深度信息。
相互关联电路670可以使用正交采样来估计潜在深度，并使用来自相邻像素的第二数字信号来消除潜在深度的歧义性以确定深度信息。所述互相关电路670可将所述深度信息存储在所述局部区域的模型中。
控制电路680可控制照明器680。例如，控制电路可以确定所接收的信号使光敏器640饱和，并指示照明器降低所发射的信号对应于所述像素600的强度。
图7示出用于使用DDA确定深度信息的过程700的流程图。
710，DDA选择用以不同频率调制的光照亮局部区域。DDA可以使用包括多个相干光源阵列的照明器照亮局部区域。例如，DDA可以指示第一相干光源阵列发射以第一频率调制的光，并指示第二相干光源阵列发射以不同于第一频率的第二频率调制的光。
720，DDA检测以不同频率调制的光。所述DDA使用包括具有并行结构的多个像素的传感器检测所述光。例如，传感器可以检测以第一频率调制的光或以第二频率调制的光中的至少一个。
730，DDA使用传感器的计算层，根据检测到的光确定深度信息。所述传感器包括多个像素，并且每个像素具有专用计算电路。所述多个像素包括多个像素组，并且每个像素组配置为检测被调制为不同于其他像素组的特定频率的光。计算层使用像素信息和iToF技术来确定深度信息。
相关专利
：
Meta Patent | Indirect time of flight sensor with parallel pixel architecture
名为“Indirect time of flight sensor with parallel pixel architecture”的Meta专利申请最初在2022年2月提交，并在日前由美国专利商标局公布。