（映维网Nweon 2025年04月21日）Meta指出，在生成透视可视化时，XR系统可以从视觉数据的选择性上采样中受益。例如，选择性上采样可以减少系统图像捕获设备的硬件要求，并降低处理负载。所以，可以利用以较低分辨率捕获的视觉数据来生成更高分辨率的透视显示。

图4示出组件框图。专用组件430可以包括配置为执行用于选择性上采样视觉传感器数据以进行有效显示操作的软件或硬件。专用组件430可包括眼动仪434、视觉数据管理器436、mipmap 438、透视渲染器440等。

眼动仪434可以使用捕获的用户面部图像来追踪用户的眼睛。诗句数据管理器436可以选择性地对捕获的可视化数据进行上采样，并用上采样的可视化数据稀疏地填充数据结构。

mipmap 438可以存储不同质量水平的视觉数据。透视渲染器440可以使用从图像传感设备捕获的视觉数据渲染视觉透视显示。

图5示出透视视觉显示的概念图。用户视场的上采样部分和/或上采样程度的配置可以基于眼动追踪精度和/或置信度指标。例如，具有高置信度指标的眼动追踪可以针对较小的部分进行上采样，从而可以执行更高程度的上采样。当眼动追踪报告的置信度较低时，可能会有更大的部分用于上采样，所以上采样的程度可能会降低（为了管理硬件的处理负载）。

图6A示出注视点显示的质量水平模式。图600A说明了注视点显示器对应于不同质量水平。在示例中，级别0对应于高质量级别，级别1对应于中等质量级别，级别2对应于低质量级别。

在一个实施例，质量级别动态地分配给捕获的视觉数据，以响应用户眼动追踪。例如，眼动追踪可用于识别用户视场的中心部分和/或用户视场的外围部分。与用户视场中心区域相对应的视觉数据可以分配到0级，与用户视场外围区域相对应的视觉数据可以分配到1级或2级。

上采样数据可以包括以给定分辨率捕获的视觉数据。原始数据可以包括具有由图像捕获设备捕获的分辨率的视觉数据。例如，图像捕获设备可以包含支持给定分辨率的图像捕获的物理和/或软件组件。

通过执行选择性上采样，图像捕获设备支持的图像分辨率可以翻倍（例如4mp到8mp、8mp到16mp等，甚至是4mp到16mp等）。在本例中，具有高分辨率显示器的XR系统可以利用低分辨率图像捕获设备，并有效地上采样以提供高分辨率视觉显示。在

图6B示出具有不同显示质量水平的用户视场，包括高质量级别610、中等质量级别612和低质量级别614，以及捕获的视觉数据604。

在一个实施例中，对捕获的视觉数据604应用质量等级602包括用捕获的视觉数据604和/或上采样捕获的视觉数据稀疏地填充分层mipmap。例如，捕获的视觉数据604可以以给定的分辨率捕获。可以用原始捕获的视觉数据和/或下采样的视觉数据填充分层mipmap的中质量和/或低质量级别。

mipmap的高质量级别可以选择性地填充上采样的视觉数据。例如，分配给高质量级别610的捕获视觉数据604的部分可以选择性地上采样，并且所述上采样数据可以稀疏地填充分层mipmap的高质量级别。

换句话说，对于未分配给高质量级别610的捕获视觉数据604部分，mipmap的高质量级别可以为空。在一个实施例中，可以通过自动mip生成技术自动填充低于捕获视觉数据604分辨率的分层mipmap的质量级别。

在一个实施例中，将捕获的视觉数据分配到不同质量水平的方式可以基于用户眼动跟踪。例如，捕获的视觉数据604可包括多个部分，每个部分可包括像素区域（例如，16×16像素区域、32×32像素区域等）。

在一个实施例中，将像素区域分配给质量水平的方式可以基于眼动追踪置信水平。例如，具有高置信度指标的眼动追踪可以针对较小的部分进行上采样；具有低置信度指标的眼动追踪可以针对更大的部分进行上采样。

换句话说，捕获的视觉数据可以根据像素区域分组，并按像素区域分配质量级别。在本例中，像素区域大小可以基于用户眼动跟踪的置信度度量进行动态调整。

下采样可以通过丢弃捕获的视觉数据来执行，从而降低分辨率，例如将512×512像素视觉数据减少到256×256像素。上采样则可以通过增加捕获的视觉数据来增加分辨率，例如将512×512像素视觉数据增加到1024×1024像素。

在一个实施例中，可以使用稀疏填充的mipmap执行渲染管道。可以根据频率（例如60hz）渲染透视可视化，并且可以对渲染实例的子集（例如30hz， 15hz等）或每个渲染实例（例如，60hz）执行上采样。例如，每个实例可以选择性地上采样，每个其他实例可以选择性地上采样等等。

图7示出用于选择性上采样视觉传感器数据以进行有效显示的过程。

在702，可以通过图像捕获设备捕获视觉数据。

在704，可以为捕获的视觉数据分配质量级别。

在706，可以选择性地对分配到高质量水平的部分的捕获的视觉数据进行上采样。

在708，可以选择性地用上采样的视觉数据填充高质量的mipmap级别。例如，分层mipmap可以存储不同质量级别的视觉数据版本。可以使用选择性上采样的视觉数据填充分层mipmap的高质量级别，以将捕获的视觉数据部分分配给高质量级别。对于他部分，分层mipmap的高质量级别可以为空，从而实现稀疏填充的分层mipmap。

在710，可以填充分层mipmap的其他级别。例如，可以用捕获的可视化数据和/或捕获的可视化数据的下采样版本填充中等质量级别和/或低质量级别的mipmap。

在712，可以使用分层mipmap来呈现用户的透视显示。

相关专利：Meta Patent | Selectively upsampling visual sensor data for efficient display

名为“Selectively upsampling visual sensor data for efficient display”的Meta专利申请最初在2024年8月提交，并在日前由美国专利商标局公布。