（

映维网Nweon
2024年12月17日

）对于头显而言，MR录屏已成为一个重要功能，但在不同区域有着不同分辨率的注视点屏幕同样成为了一个重要组成。所以在进行MR录屏时，注视点屏幕可能会产生分辨率不平衡的画面。

在一份专利申请中，
苹果
就介绍了一种用于注视点显示内容的MR录屏方法。

为了记录所显示内容，记录块可以动态地重新采样多分辨率图像数据的不同部分，以生成要输出到不同电子显示器的一致分辨率图像帧。实际上，指示可调区域之间的边界或以其他方式划定内容分辨率变化的边界数据可用于在相应的可调区域中执行动态重采样。

另外，可裁剪多分辨率图像数据以包括所述内容的特定部分。可以对具有较高分辨率的图像数据进行下采样以实现匹配，并且可以裁剪具有较低分辨率的图像数据。可选地，具有较低分辨率的图像数据可以上采样以匹配记录块的输出分辨率。

图7示出图像处理电路。

在一个场景中，可以将显示图像数据56以多分辨率格式从图像处理电路28输出到以多分辨率显示的电子显示器12。然而，对于在不同的电子显示器12的重放，这种格式可能并不适合。

针对这种情况，记录块52可以动态地重新采样图像数据的不同可调区域，以生成具有一致分辨率的记录图像数据。这样，当输出到不同的电子显示器12时，记录图像数据可以显示出具有一致的分辨率。

在一个实施例中，记录块52可以使用指示多分辨率图像数据区域之间边界的边界数据来执行重采样。另外，记录块52可以利用来自图像内容的生成和显示特定补偿之间的图像数据。

对于注视点显示器，图像数据的不同部分可以包括不同的内容分辨率。这样，用于记录或其他重放的多分辨率图像数据的重新采样可以根据不同内容分辨率的大小和位置而变化。

图8是具有像素组62的多个可调区域60的注视点显示器58。一般而言，注视点显示器58具有跨显示面板40的可变内容分辨率，使得显示面板40的不同部分根据用户注视焦点64以不同的分辨率显示。

在图8的实施例中，焦点64位于注视点显示器58的中心，给出对称的可调区域60。然而，根据焦点64的位置，边界66的位置和可调节区域60的大小可能会变化。

在所描述的示例中，注视点显示器58根据其相关的像素分组62划分为一组5×5可调区域60。换句话说，五列（例如L4、L2、C、R2和R4）和五行（例如T4、T2、M、B2和B4）可以定义可调整区域60。中心中间（C， M）可调节区域与用户焦点64重合，并且可以利用显示面板40的本机分辨率（例如1×1像素组62）。

位于中心(C)右侧列中的可调区域60（如R2和R4），在水平方向上的内容分辨率分别降低了2倍和4倍。类似地，位于中心左侧列中的可调区域（如L2和L4）在水平方向上的内容分辨率分别降低了2倍和4倍。

另外，位于中间(M)上方的行，如T2和T4，在垂直方向上的内容分辨率分别降低了2倍和4倍。类似地，在中间(M)以下的行，如B2和B4，在垂直方向上的内容分辨率分别降低了2倍和4倍。因此，根据可调节区域60，内容分辨率可以水平和/或垂直变化。

像素组62可以指示在降低的内容分辨率中利用相同图像数据的显示像素集。例如，当焦点64处的可调节区域60可由1×1像素组62填充时，L4列和M行中的可调节区域60可由4×1像素组62填充，使得作为与降低内容分辨率中的单个像素位置相对应的单个像素值分别发送到显示面板40的四个水平像素集合。

类似地，L4列和T4行中的可调整区域60可以由4×4像素分组62填充，这样像素值一次更新16个像素。

如果焦点64位于注视点显示器58的远右上角，则与焦点64重合的中心中间（C， M）可调区域60可以设置为注视点显示器58的远右上角。在这种情况下，T2和T4行以及R2和R4列的高度和宽度可能分别为零，其余的行和列可能扩展以包含注视点显示58。这样，可调区域60的边界66可以基于焦点64进行调整，以定义针对注视点显示58的不同部分的像素分组62。

像素组62是接收相同图像数据的像素块，就好像像素块是相关可调区域60的降低内容分辨率中的单个像素一样。为了追踪像素组62，可以为每个像素组62分配一个锚点像素，以表示对应于像素组62的单个像素位置。

例如，锚点像素可以是每个像素组中的左上角像素。在同一可调区域60内的相邻像素组62的锚点像素可以通过像素组62的大小在适当方向上分开。另外，像素分组62可以跨越一个或多个边界66。例如，锚点像素可以在一个可调区域60中，但像素组62的剩余像素可以延伸到另一个可调区域60中。

因此，可以为每列和/或行设置偏移量，以定义锚点像素的起始位置。例如，边界66处的锚点像素可以具有零偏移，而从边界66移除一个像素的锚点像素可以具有1偏移。

图9示出接收多分辨率图像数据68和边界数据70，并输出记录图像数据72。

如上所述，多分辨率图像数据68可以至少部分地处理具有每图像帧具有多个不同分辨率的图像内容的图像数据。另外，边界数据70指示可调节区域60的边界66和/或与之相关联的偏移量。

记录块52可以包括多个子块，子块可以选择性地启用或禁用，以影响所需格式、分辨率和精度的记录图像数据72。

多分辨率图像数据68可以是混合现实、增强现实或虚拟现实设备的图像数据68。所以图像处理电路28可以生成/处理对应于用户不同眼睛输出的单独图像数据馈送。

子块可以复制以并行处理多个图像数据馈送，或者每个馈送可以通过同一组记录块子块串行处理。另外，可以选择将单个图像数据馈送记录在存储器中或输出到非立体显示器。可以对多分辨率图像数据68进行采样，使得记录图像数据72的帧率等于或小于显示图像数据56的帧率。

为了生成记录图像数据72，可以裁剪多分辨率图像数据68以选择要记录和/或输出到不同显示器的图像内容的所需部分，从而生成裁剪的图像数据76。裁剪可以降低图像处理电路28的带宽利用率，减小用于存储目的的记录图像数据72的大小，和/或给予记录图像数据72视觉效果。

例如，通过裁剪多分辨率图像数据68以使其包括靠近焦点64的可调节区域60，同时裁剪远离焦点64的可调节区域60，记录图像数据72可有效地在多分辨率图像数据68的完整图像框架内显示用户的注视点。

在特定场景中，裁剪的图像数据可能是显示图像数据56中显示的数据的子部分。裁剪量可以基于焦点64和/或基于多分辨率图像数据68的分辨率预先设置。例如，裁剪子块74可以裁剪多分辨率图像数据68以包括围绕焦点64的固定或可变大小的裁剪窗口的内容。

另外，如果焦点64靠近电子显示器12的边缘，则裁剪窗口可以改变大小以保持焦点64位于裁剪窗口的中心，或者裁剪窗口可以保持大小并简单地靠近图像帧的边缘。

裁剪子块74可以利用边界数据70来限制多分辨率图像数据68对应于具有降低分辨率的可调区域60的部分。例如，如果将裁剪窗口设置为排除具有下采样因子大于2的可调区域60，则可以限制T4和B4行以及L4和R4列（相对于图8的示例）的图像内容不包括在裁剪窗口中。

另外，边界数据70的边界66（或其偏移量）可以定义裁剪窗口的边缘。通过保持较高分辨率的内容和裁剪较低分辨率的内容，记录图像数据72可以以较高的分辨率提供。

在特定场景中，可能希望不同显示器播放之前改变多分辨率图像数据68的色彩空间。这时，记录块52可以包括色彩空间变换子块78，以对图像数据应用色彩空间变换，从而生成转换的图像数据80。例如，颜色空间变换子块78可以对图像数据的颜色分量应用3×3矩阵乘法和/或偏移量来影响颜色空间变换。转换后的图像数据80可以具有任何所需的色彩空间。

另外，多分辨率图像数据68可以具有比记录图像数据72所需的更高的精度（例如位深度）。这样，精度重映射子块82可以降低图像数据的精度以生成重映射的图像数据84。通过降低精度，可以提高存储效率和/或传输到不同显示器的效率。降低的精度同时可以降低精度重新映射子块82之后的子块的硬件大小和/或资源利用率。

在一个实施例中，多分辨率图像数据68可以在线性色彩空间中格式化。多分辨率图像数据68可以从图像处理电路28的中间阶段获取，中间阶段可以至少部分地在线性色彩空间中操作，以增加色彩校正/补偿的精度。然而，有时候可能需要记录图像数据72采用伽马编码格式。这样，伽马子块86可以编码重新映射的图像数据84以生成伽马编码的图像数据88。

还原子块90可以降低图像数据的精度以生成还原的图像数据92。可以调整精度重映射子块82和还原子块90，使得总体上降低多分辨率图像数据68的精度。换句话说，精度降低可以在伽玛编码之前和/或之后完成。另外，还原子块90可以可编程以提供还原图像数据92的不同输出精度，从而提供记录图像数据72的不同输出精度。

如上所述，多分辨率图像数据68包括不同分辨率的可调区域60。然而，可能不希望将具有多种分辨率的图像数据输出到不同的电子显示器。例如，如果注视点不理想，则可能出现分辨率明显变化的多分辨率图像数据，这可能看起来很奇怪或不自然。

这样，记录块52可以包括用于生成重采样图像数据100的动态重采样子块98。动态重采样器利用指示可调区域60的边界66的边界数据70或与之相关联的偏移量，从而确定图像数据的哪些部分处于何种分辨率并相应地重采样。

下采样和上采样可以通过任何合适的方法来完成。例如，水平和垂直滤波器可用于通过在水平和垂直方向上分别删除每一个其他像素来对图像数据进行下采样。另外，下采样和/或上采样可以包括周围像素的插值。水平和垂直重采样可以独立完成，并依赖于适用的边界数据70。

这样，对于单个图像帧，可以以不同的方式对图像数据的不同部分进行重采样。例如，如果图像数据包括与具有2×2、2×1、1×2和1×1像素组62的可调区域60相对应的多分辨率图像数据68的部分，并且期望的输出分辨率是具有2×2像素组62的等效分辨率，则动态重采样子块98可以在水平和垂直方向上对1×1像素组62进行下采样，在垂直方向上对2×1像素组62进行下采样；并在水平方向上通过1×2像素组62，同时通过2×2像素组62。

类似地，如果期望的输出与1×1像素组62的分辨率相等，则可以对1×2、2×1和2×2像素组62进行相应的上采样，并且可以通过1×1像素组62。另外，可以实现上采样和下采样。例如，4×N和N×4像素组62可以上采样为2×2像素组62，而2×1、1×2和1×1像素组62可以下采样为2×2像素组62，以实现重新采样的图像数据100的一致分辨率。

可以在水平方向上向上采样4×1像素组62，并在垂直方向上向下采样，以获得2×2像素组62的等效分辨率。这样，动态重采样子块98可以基于边界数据70将图像数据从多个分辨率动态重采样到一致分辨率。

在一个实施例中，可以省略上采样（例如为了降低复杂性、硬件占用、处理带宽利用率和/或处理时间）。如上所述关于裁剪子块74，可以裁剪多分辨率图像数据68以将可调节区域60限制为至少具有阈值分辨率的区域。

换句话说，所述记录图像数据72的分辨率可以是所述裁剪图像数据76的最低分辨率。例如，可以通过裁剪子块74裁剪图像数据，以包括与具有2×2、2×1、1×2和1×1像素组62的可调区域相对应的内容，并排除与N×4和4×N像素组62相对应的内容，同时动态重采样子块98可以在水平和垂直方向上对1×1像素组62进行下采样，在垂直方向上对2×1像素组62进行下采样。在水平方向上通过1×2像素组62，同时通过2×2像素组62。

另外，动态重采样子块98的输出分辨率可以预先设置或可选择，这样，如果裁剪的图像数据76具有更高的分辨率，则图像数据下采样或保持在预先设置或选择的分辨率。

另外，在记录图像数据72在彩色空间中输出的实施例中，图像数据的色度通道可以通过色度下采样子块102进行下采样。可使用色度降采样来减小输出记录图像数据72的大小并增加存储器、时间和/或处理效率。事实上，色度通道与色度空间的亮度通道相比可能具有更少的高频信息，并且可以以最小的质量损失获得效率。

相关专利

：
Apple Patent | Mixed reality recording of foveated display content systems and methods

名为“Mixed reality recording of foveated display content systems and methods”的苹果专利申请最初在2023年5月提交，并在日前由美国专利商标局公布。