（

映维网Nweon
2024年11月25日

）条纹投影轮廓法（Fringe Projection Profilometry）是一种创建深度图的方法，可用于确定对象的形状和/或对象相对于参考位置的距离。在条纹投影轮廓术中，照明光源向对象发射图案，摄像头捕获图案的图像，然后系统分析图案的图像以确定对象的形状和/或距离。为了提高所确定形状和/或距离的精度，可以将条纹移动到对象的多个位置，并捕获和分析多个位置的图案图像。

可以使用机械致动器将条纹移动到多个位置，但诸如压电移位机制可能不适合特定类型的设备，而且机械致动器通常会增加设备的尺寸、费用和复杂性。

在名为“Polarization interference pattern generation for depth sensing”的专利申请中，Meta就介绍了一种可产生要投射到目标区域的极化干涉图案的深度传感设备。

所述深度传感设备包括至少一个成像组件，成像组件可捕获目标区域的至少一个图像，而图像包括投射到所述目标区域的干涉图案。所述深度传感设备同时包括从所述至少一个捕获图像确定所述目标区域的深度信息的控制器。

控制器可以根据所确定的深度信息确定目标区域的追踪信息。控制器可以使用追踪信息来确定图像如何在可穿戴设备显示，例如图像的位置、图像的感知深度等。

在一个实施例中，深度传感设备可以包括照明源、偏光束分离元件和偏光器。所述照明源可将光束引导到所述偏振光束分离元件。另外，偏振光束分离元件可以产生右手圆偏振（RCP）光束和左手圆偏振（LCP）光束投射到目标区域，其中RCP光束和LCP光束之间的干涉产生干涉图案。

可将偏振器定位为增加干涉图案的强度，例如通过使从偏振光束分离元件传播的光偏振或使从目标区域反射的光偏振。特别地，偏光镜可以通过允许具有特定偏振的光通过偏光镜而阻止具有其他偏振的光通过偏光镜来增加干涉图案的强度。

在一个实施例中，偏光镜可以是像素化偏光镜，其包括若干相对于彼此具有不同偏振方向的像素化偏光镜。在这样的实施例中，通过基于施加在图像的偏振方向来将捕获的图像分离成多个图像，可以同时捕获目标区域和干涉图案的多个图像。

在多个图像中捕获的干涉图案的条纹可以相对于彼此移位。控制器可以使用多个图像来准确地确定目标区域的深度信息，而不必执行多个照明和图像捕获操作。这既可以减少执行的操作次数，又可以在目标区域不固定的情况下确定深度信息。

另外，像素化偏振片的使用可以帮助捕获具有移位条纹的多个图像，而不必移动偏振片来移位条纹。换句话说，可以在不使用机械驱动器的情况下获得具有移位条纹的多个图像。省略这样的机械致动器可以帮助小型化设备。

在一个实施例中，专利描述的度传感设备可包括调制器，以用于调制通过偏振器发射的光的偏振。所述调制器可以包括，例如液晶调制器，并且可以位于所述偏振器的上游，其方向与光束在所述深度传感装置中传播的方向相同。

通过调制光束的偏振，调制器可以使干涉图样中的条纹移位。另外，可以捕获移位位置处的干涉图案的图像并用于确定目标区域的深度信息。

图1A示出了深度传感设备100。所述深度传感设备100可包括用于产生极化干涉图和用于使用所述极化干涉图确定目标区域102的深度信息的组件。深度信息可用于确定目标区域102中的追踪信息，例如
眼动追踪
、面部追踪、手部追踪、距离追踪等。

所述深度传感装置100包括将输出光束106的照明源104。例如，照明源104可以是垂直腔面发射激光器（VCSEL）、边缘发射激光器、可调谐激光器、发射相干光的光源等。在一些示例中，照明源104被配置为在红外(IR)波段(例如，780 nm至2500 nm)内发射光。

所述深度传感设备100同时可以包括偏振光束分离元件108，其衍射所述光束106并使干涉图案110投射到所述目标区域102之上。特别是，例如，偏振光束分离元件108可以从光束106产生右手圆偏振光束112和左手圆偏振光束114。

如图1所示，RCP波束112和LCP波束114相互发散，例如，RCP波束112和LCP波束114可以相互重叠和干涉，形成干涉图样110。干涉图样110可以是由于RCP波束112和LCP波束114的干涉而产生的条纹或带的排列。另外，干涉图110中的条纹可由于目标区域102中的轮廓而失真。

举例说明，偏振光束分离元件108为PBP光栅。在一个实施例中，PBP光栅是PBP液晶光栅。有源PBP液晶光栅可以具有两种光学状态，即衍射和中性。衍射状态可使有源PBP液晶光栅将光衍射成各具有不同偏振的第一光束和第二光束，例如RCP和LCP。

衍射状态可以包括加性状态和减性状态。加性状态可使有源PBP液晶光栅将特定波长的光衍射成正角(+θ)。减性状态可使有源PBP液晶光栅对特定波长的光衍射成负角(−θ)。中性态不会引起光的衍射。有源PBP液晶光栅的状态可以由入射到有源PBP液晶光栅上的光的偏振的手性和施加的电压来决定。

在一个实施例中，PBP液晶光栅是无源元件。无源PBP液晶光栅可以具有加性光学状态和减性光学状态，但不能具有中性光学状态。当入射光束通过无源PBP液晶光栅时，光束的任何左圆偏振部分都可能变为右圆偏振部分并沿一个方向(+1衍射阶)衍射，而任何右圆偏振部分都可能变为左圆偏振部分并沿另一个方向(-1衍射阶)衍射。

深度传感设备100同时可以包括成像组件116，成像组件116可以捕获目标区域102的至少一个图像和从目标区域102反射的干涉图案110，例如成像光118。

根据示例，深度传感设备100可以包括控制器120，控制器120可以使用至少一个捕获的图像确定目标区域102的深度信息。在一个实施例中，控制器120可以从所确定的深度信息确定追踪信息。

在一个实施例中，控制器120可控制照明源104输出光束106和成像组件116，以捕获目标区域102和干涉图案110的至少一个图像。控制器120同时可以控制成像组件116，以在目标区域102未被干涉图案110照射时捕获目标区域102的至少一个图像。

控制器120可以通过例如测量目标区域102的干涉图案110的畸变来确定深度信息。或者，控制器120可以使用傅里叶轮廓术或相移轮廓术方法确定深度信息。

如果使用一个以上的成像组件118，则控制器120可以使用干涉图案110作为附加特征的来源，以增加立体成像的鲁棒性。作为另一个示例，控制器120可以应用机器学习来估计感兴趣的照明对象的3D深度。在本例中，控制器120可能已经使用学习数据进行了训练，并且可能已经对数据集进行了测试，以构建鲁棒且高效的机器学习管道。

在一个实施例中，控制器120可以从所确定的深度信息确定追踪信息。作为示例，在目标区域102包括可穿戴设备的视窗的情况下，控制器120可以使用深度信息确定用户眼睛和/或用户面部围绕眼睛的部分的追踪信息。

控制器120可以使用一个或多个捕获的图像来估计用户眼睛的位置以确定追踪信息。控制器120同时可以使用捕获的一个或多个图像来估计用户面部在眼睛周围的部分位置以确定追踪信息。

应当理解，追踪信息可以使用任何合适的技术从深度信息确定。例如，基于将捕获的一个或多个图像的部分映射到用户眼睛的虹膜的3D部分，以找到用户眼睛的法向量。通过对两只眼睛这样做，可以根据捕获的一个或多个图像实时估计用户的注视方向。然后，控制器120可以更新用户眼睛和/或围绕用户眼睛的面部部分的模型。

在其他示例中，在目标区域102包括可穿戴设备外部的区域，控制器120可以使用深度信息确定目标区域102中至少一个对象的追踪信息。控制器120可以使用所捕获的一个或多个图像来估计所述对象的位置，以类似于上述所讨论的方式确定所述追踪信息。

所述深度传感设备100同时可以包括沿所述偏振束分离元件108和所述成像元件116之间的光束106的路径定位的偏振器122。偏振器122可以是光学滤光器，其允许特定偏振的光波通过滤光器，同时阻挡其他偏振的光波。

偏振器122可以增加干涉图案110的强度，使得成像组件116可以更容易地捕获干涉图案110的图像。例如，偏振器122可以阻挡具有一个偏振的光，但可以允许具有正交偏振的光，使得在干涉图案110上形成强度条纹。

偏振器122如何增加干涉图样110的强度的示例如图1B所示。特别是，图1B示出了通过偏振束分离元件108传播的光154的偏振方向152的示例图150。图例同时表明，光154可以通过偏振器122传播，而偏振器122可以传输垂直偏振光，如箭头158所示。

因此，偏振器122可以允许垂直偏振光通过偏振器122并部分阻挡对角偏振光，这取决于光的方向的大小。由此产生的光160可以包括具有不同强度的条纹162，如箭头和阴影的大小所示。

在图1A所示的实施例中，偏振器122位于与偏振束分离元件108相邻的位置，使得偏振器122可以在RCP波束112和LCP波束114投射到目标区域102之前使RCP波束112和LCP波束114极化。

换句话说，偏振器122可以在干涉图样110投射到目标区域102之前，增加由RCP波束112和LCP波束114之间的干涉所产生的干涉图样110的强度。

现在转到图2，深度传感设备100描述为包括位于目标区域102和成像组件116之间的偏振镜124。偏光镜124可定位于成像组件116的附近，作为与成像组件116分离的滤光片或作为成像组件116内的滤光片。在任何情况下，偏振器124可以增加干涉图案110的强度。

在一个实施例中，偏振器124是像素化偏振器200。图3示出了可用作图2中所示的偏振器124的像素化偏振器200。

像素化偏振器200被描述为包括四个像素偏振器202-208，其中每个像素偏振器202-208位于成像组件116的相应像素210的前面。所述成像组件116的像素210各可为CCD像素、CMOS像素等。在这方面，像素偏振器202-208可各自具有约5.0微米和约10微米的尺寸。

如图3所示，每个像素偏振器202-208相对于彼此可以具有不同的偏振方向。作为非限制性示例，第一像素偏振器202可以具有0°的偏振方向，第二像素偏振器204可以具有45°的偏振方向，第三像素偏振器206可以具有90°的偏振方向，第四像素偏振器208可以具有−45°的偏振方向。

结果，每个像素偏振器202-208可以对指向像素210的成像光118施加不同的偏振方向。因此，成像组件116可以同时捕获多个条纹已经移位的图像。在这方面，控制器120可以使用通过减少的次数，例如，单个照明和图像捕获操作捕获的多个图像，准确地确定目标区域102的深度信息。

在一个实施例中，偏光镜124可以是如图4所示的超表面透镜220。具体地，图4示出可用作图2中所示的偏光镜124的超表面透镜220。

超表面透镜220可以在入射波前引入相移，以允许控制光线的偏转。所述超表面透镜220可包括设置为引入相移，并使所述超表面透镜220同时用作红外IR滤光片和偏光镜的组件。

图5示出了图1中所示的深度传感设备。在图5中，深度传感设备描述为包括调制器130，调制器130将移位干涉图案110的一个周期。干涉图110的周期可以是干涉图110的条纹中的连续波峰通过指定点所需要的时间。因此，周期的移位可包括干涉图样110的条纹中连续波峰通过指定点所需时间的移位。

在一个实施例中，调制器130可以是液晶调制器，而在其他实施例中，调制器130可以是另一种类型的调制器。调制器130可以是机械极化开关、电光晶体极化开关。另外，在图5所示的示例中，所示调制器130位于偏振束分离元件108和偏振器122之间。

在图6所示的其他实施例中，调制器130可位于目标区域102和偏振器124之间。例如，调制器130可以位于相对于所述偏振器124的成像组件116所处的侧的偏振器124附近。

在5和6的示例中，成像组件116可以捕获目标区域102的多个图像，其中干涉图案110在干涉图案110的一个周期的多个分数处移位。作为示例，可以将干涉图110移位三次或更多次，并且可以捕获具有移位的干涉图110的目标区域102的三个或更多图像。

另外，控制器120可以使用多个捕获的图像来确定深度信息，其中额外捕获的图像可以增加深度信息的准确性，例如通过提供增加的深度信息的分辨率。

现在转到图7。如图7所示，深度传感设备100可以包括多个成像元件116、300、302。特别是，深度传感设备100可以包括第二成像组件300，其定位为捕获目标区域102的第二图像。深度传感设备100同时可以包括第三成像组件302，其定位为捕获目标区域102的第三图像。第二、第三成像要素300、302可以类似于成像要素116。

在图7中将深度传感设备100描述为包括多个偏振片124、306和308。

特别地，深度传感设备100可以包括第二偏振器306，其定位为产生第二干涉图案，并被第二成像组件300捕获。所述深度传感设备100进一步可以包括所述第三偏振器308，所述第三偏振器308定位为产生将被所述第三成像组件302捕获的第三干涉图案。

第二偏振器306和第三偏振器308可以通过增加第二和第三干涉图案的强度来产生第二和第三干涉图案分别被第二和第三成像元件300、302捕获。

根据示例，偏振器124、306和308中的每一个都可以对指向成像组件116、300和302的成像光118施加不同的偏振方向。作为非限制性示例，偏振器124可以具有0°的偏振方向，第二偏振器306可以具有30°的偏振方向，第三偏振器308可以具有60°的偏振方向。

因此，成像组件116、300和302可以同时捕获干涉图案中的条纹已经移位的目标区域102的多个图像。在这方面，控制器120可以通过减少次数的照明和图像捕获操作，准确地确定目标区域102的深度信息。

相关专利

：
Meta Patent | Polarization interference pattern generation for depth sensing

名为“Polarization interference pattern generation for depth sensing”的Meta专利申请最初在2022年11月提交，并在日前由美国专利商标局公布。