（

映维网Nweon
2024年11月22日

）MR透视正逐渐成为XR头显的标配，但对于这项功能，因为透视摄像头和用户眼睛之间的视觉位移会造成负面的感知效果，实现正确的透视视图是一项挑战。

消除视觉位移的一种选择是设计一种直接捕获进入眼睛的光线，从而捕获正确视角的光学结构。对于这种架构中，除了失真校正之外，摄像头视图不需要后期处理，并且可以以低延迟直接流式传输给用户。

一种方法是在头显前面使用一个45度角的反射镜，以将光路折叠到设备上方或下方的摄像头。但由于镜面突出会影响形状参数。另一种方法是用棱镜代替镜子，棱镜利用全内反射（TIR）来折叠光路，但棱镜的固体质量增加了重量，并且视场将限制在与TIR条件相匹配的角度。

另外，密集的光场包含合成新视图所需的所有信息，使得光场成为透视的一种诱人候选。然而，光场在空间和角度分辨率之间存在权衡，设备要么空间分辨率低，要么没有足够的角度采样来进行无伪影视图合成。

在一份专利申请中，Meta介绍了一种用于实现正确透视的架构。相关的图像捕获设备包含在每个透镜后面且具有光圈的透镜阵列。光圈巧妙地放置，以允许特定光线通过，特别是允许光线到达与传感器间隔的某个参考位置。

这家公司指出，与先前使用反射镜或棱镜光学捕获正确视图的架构不同，发明描述的图像捕获设备薄而扁平，满足VR头显的形状参数要求。

图1示出了头显100的透视图，头显按包括一对图像捕获设备102、104。

图2A示出图1中所示的图像捕获设备102的正面透视视图。图2B则是横截面侧视图。1

图像捕获设备102可包括透镜阵列106。所述图像捕获设备104可以包括与所述图像捕获设备102相同的组件。

透镜阵列106可包括由透镜支撑结构107支撑的多个透镜108。所述透镜支撑结构107可以以使得所述透镜108捕获来自多个视点光线的方式支撑透镜108。透镜支撑结构107可以包括以相对于彼此的多个角度设置的多个开口109。在每个开口109中可提供各自的透镜108，并且每个透镜108可相对于图像捕获装设备02的水平和垂直轴定位于特定角度。

透镜支撑结构107可以由任何合适的材料形成，以支撑透镜108。如图2B所示，透镜支撑结构107可以延伸到图像捕获设备102之中，使得各自透镜管123可以从透镜108延伸到图像捕获设备102的内部。

根据示例，透镜管123的内部可包括防止杂散光从所述透镜管123的内部反射，并使其通过所述光圈进入所述传感器的特征。如图2B所示，所述透镜管123的内部可包括可防止所述透镜管123内部杂散光的边界的挡板125。

图3示出图像捕获设备102。如图所示，图像捕获设备102可以包括透镜阵列106、多个光圈110和传感器112。如图2A所示，透镜支撑结构107可以支撑透镜阵列106中的透镜108。传感器112可捕获已通过透镜阵列106和光圈110中的透镜108的光，并可将捕获的光转换成用于形成图像的数据。

所述光圈110可位于所述透镜108和所述传感器112之间，以允许光线到达与所述传感器112间隔的某一参考位置114。换句话说，在光圈110之间的部分111可以阻挡不会到达特定参考位置114的光线。

根据示例，光圈110可的位置使得截面111可以物理地阻挡不会进入特定参考位置114的所有光线。

添加光圈110和截面111可以测量本应进入特定参考位置114（例如用户眼睛）的精确射线束。除了捕获正确的视图并通过阻挡大部分光场在镜头108之间创建无缝过渡之外，传感器112有限数量的像素可以更好地分布。

光圈110和截面111可以相对于透镜108放置，以便无论入射角如何，仅允许将定向到特定参考位置114的光线。

根据示例，可以在某参考位置114处定义一个虚拟光圈，虚拟光圈可称为虚拟眼位置114。对于阵列106中的每个透镜108，真实光圈110和虚拟眼位置114可以是共轭。

可以考虑独特的光场透视设计，这可能指向更薄的VR头戴式显示器并获得更好的透视体验。透镜阵列的焦距f近似设置透视摄像头的厚度。图5A描绘了从摄像头传感器到眼睛的距离与焦距之间的关系。

图5B示出描绘从摄像头传感器到眼睛的距离和透镜阵列尺寸之间的关系。图5B中绘制的视场可由头显轨迹长度和透镜阵列的横向尺寸确定。

图6A示出通过图像捕获设备102捕获的原始传感器数据300。根据示例，可以对图6A所示的原始传感器数据300实施后处理，因为原始传感器数据300包括诸多子光圈视图，而不是场景310的完整图像。

理论上，对于理想的透镜阵列，可以使用透镜108位置的先验来简单地将子光圈视图重新排列成最终的透视图像。但在实践中，无法知道精确的透镜108位置，而且每个透镜108的畸变可能在重建中产生伪影。

根据示例，可以校正未知的透镜位置和畸变。

图7描绘了对应于不同深度的两点的射线。p1在较远的深度处聚焦在传感器112上，p2在较近的深度处对焦在传感器112后面，从而在原始数据中产生散焦模糊（图7B）。如果在p1平面上进行校准，则原始数据中与p1对应的点将在重建中对齐；结果如图7C中的曲线图420所示，其中p1为对焦，p2为散焦。

注意，图7A中p2的散焦散线分布在两个透镜108之间，并且在最终重建中没有重叠，从而导致最终图像中的散焦模糊比每个子光圈单独视图中的散焦模糊更多。

相反，如果在p2的平面进行校准，则会将p2对应的原始数据中的点对齐，从而产生如图7D图430所示的重建强度，从而导致图像中p1加倍的不良后果。

本例表明，应在图像捕获设备102的焦平面处进行校准。但由于透镜108的场曲率，可能不会有一个单一的平面。当在背景进行校准时，前景中可能存在伪影。

这可以通过前景校准来解决，然而背景可能会有严重的加倍。对于这种情况，可以采用重构算法。其中，重构算法可以是深度依赖，或可以是深度独立。

给定一个深度图，可以通过为每个像素选择正确的校准来重建整个视场的图像。由于大多数混合现实应用程序可能需要深度图，一种选择是简单地利用深度图。使用深度估计的改进显而易见，因为前景和背景都是在没有双重伪影的情况下重建。

Meta指出，与传统的基于深度的重投影不同，发明描述的深度图中的不准确性对重建产生最小的影响，因为输出中的点仅作为深度的函数移动少量像素。

即使采用平场校正，杂散光都可能导致子光圈视图之间的强度差异，从而在重建中产生明显的接缝。所以，梯度域图像编辑（GDIE）技术可用于无缝拼接。在示例中，可以计算每个子光圈图像的空间梯度，从而平滑地混合成单个梯度图像，然后使用例如快速傅里叶变换（FFT）方法转换回图像域。

相关专利

：
Meta Patent | Perspective-correct passthrough architectures for head-mounted displays

名为“Perspective-correct passthrough architectures for head-mounted displays”的Meta专利申请最初在2024年1月提交，并在日前由美国专利商标局公布。