（

映维网Nweon
2024年10月11日

）一系列的厂商都在积极优化基于
眼动追踪
的注视点渲染。在一份专利申请中，
高通
就介绍了一种使用分层调制的拆分处理方法，从而减少头显的延迟、功耗和处理开销。

高通指出，XR正在成为无线通信网络中的一个主要用例。例如，XR可能导致大量带宽占用，XR头戴式显示器往往会消耗大量的电力。所以，减少设备在无线通信网络中的功耗将非常有用。

图4示出可用于降低头显402的功耗的拆分处理系统400。在拆分渲染中，图像或帧的渲染可以在多个位置和/或多个设备执行，例如，为了在不同设备之间拆分渲染工作量，渲染工作负载可以在两个客户端设备之间拆分，例如UE手机 404和HMD头显 402。

所以在图4的示例中，可以提供轻量级、低功耗和低成本的头显，因为大部分或所有繁重的处理可以转移到诸如UE 404或基站406的另一设备以进行云边缘处理。

在拆分处理中，可以应用分层调制来减少与头显中视频编码、传输、接收、解码和呈现相关的延迟或处理开销。

与非分层调制方案相比，分层调制在数据信号中传输的信息位分为高优先级流或携带较高分辨率数据的位，以及低优先级流或携带较低分辨率数据的位。

如果基站采用分层调制，点或位序列就会分成具有不同调制顺序的低优先级位和高优先级位。例如，图像的高优先级位可以用较低的调制顺序进行调制，而图像的低优先级位可以用较高的调制顺序进行调制。

由于较低调制阶数的点或位序列之间的间隔比较高调制阶数的点或位序列之间的间隔更大，所以即便在较差的信道条件或较低的SNR信噪比环境，具有较低调制阶数的高优先级位依然可以解码。

所以，分层调制图像的接收器可以在较差的信道条件下解码低分辨率图像或在较好的信道条件下解码高分辨率图像。例如在DVB-T标准中，发射器可以应用分层调制，在较差的信道条件向具有高优先级比特的接收器提供低分辨率视频，但在较好的信道条件下提供高分辨率视频。

所以，接收器可以能够在较好的信道条件下以较高的调制顺序以改进的视频分辨率解码视频帧，同时即便在较差的信道条件下依然能够以较低的调制顺序解码视频帧。

图5示出分层调制数据信号星座图。例如，与QPSK调制相关的高优先级比特可能包括各自象限中心的2位序列或4个点（白色中心圆圈），而与64位QAM相关的低优先级比特包括各个象限内的6位序列或64个点（黑色圆圈）。

在这里，每个象限的中心点可以由彼此之间具有较大空间间隔的高优先级比特表示（因此在恶劣信道条件下包括更容易的可解码性），而其余点可以由彼此之间具有较小空间间隔的低优先级比特表示。

作为示例，图5所示的6位序列110100对应的标记黑点可以调制，使得其最重要的两个比特11是QPSK调制，而其余比特0100是64-QAM调制。

当应用分层调制时，发送器可以首先用高优先级流调制信号，然后使用更高的分辨率或更低的优先级数据再次调制它。嵌入的、调制的信号可以输出并提供给接收器，接收器反过来可以最初使用较低的调制顺序解码信号以接收高优先级位或较低分辨率位。

如果接收器经历的信噪比相对较好，接收器可以尝试使用更高的调制顺序解码信号，以获得低优先级或更高分辨率的比特。在信号的调制和解调之前，发射器和接收器之间可能发生某种类型的信令，其中发射器通知接收器调制和编码方案，而发射器将在分层调制中应用高优先级和低优先级比特。

所以，基站可以应用分层调制来用高优先级位或较低调制顺序调制高分辨率数据，同时用低优先级位或较高调制顺序调制较低分辨率数据，以提高接收器成功解码传输的可能性。

然而，对于试图接收和解码整个分层调制视频帧的拆分处理系统中的头显，它可能依然会观察到与在较高调制顺序下接收和解码较低优先级比特相关的显著延迟和处理开销。

类似地，在拆分渲染中与头显交互的另一设备，例如UE 404或基站406，在向HMD发送整个分层调制视频帧时，可以观察到与较低优先级位的传输和编码相关的类似延迟和处理开销。因此，使用分层调制进一步减少与拆分视频渲染相关的延迟和处理开销将是有帮助的。

高通描述的发明主要通过对分层调制图像应用注视点渲染来进一步降低延迟和处理开销。注视点渲染是基于人眼在其视场范围内具有非常不同的属性的现象。

图6示出典型人眼的相对视觉特征的示例600。在视网膜601的中心附近，分辨率最大。所以，阅读、符号辨别和颜色辨别往往发生在靠近中央凹的区域。相反，距离视网膜中心越远，空间分辨率越低，光敏感度和运动敏感度则越高。

这是因为靠近视网膜中心的602中央凹的视锥细胞具有非常高分辨率的彩色视觉，但光敏感度较低，而连接在中央凹外靠近视网膜边缘的神经元的视杆细胞具有非常光敏感和高度运动敏感，但分辨率较低的黑白视觉。

图7示出了分层调制图像702，其中，诸如UE 404的拆分处理系统中的UE可以应用注视点处理或渲染以改进视频编码或渲染延迟，以及在头显402感知到的图像分辨率或质量。

除了从诸如基站406的基站接收分层调制图像702以在HMD 402处进行拆分渲染外，UE 404同时可以从头显402接收指示相关联的区域604或中央凹602当前所在方向的注视信息。

注视信息可以在报告中传输，并包括头显摄像头传感器对每只人眼测量的仰角、方位角和聚焦深度，并且UE 404可以从注视信息确定注视方向或每只眼睛的中央凹区域或中央凹602的当前位置或位置。

为了从注视信息中确定中央凹区域704的位置，UE可以选择在靠近中央凹区域的区域中解码分层调制图像中的低优先级位，以获得区域中的高分辨率数据。

使用解码的高分辨率数据，终端可以编码和传输分层调制图像702的至少一部分以在头显呈现。所处理的图像可以在中央凹区域704中包括较高的空间分辨率，但在中央凹区域704之外可包括较低的空间分辨率。

因此，可以使用分层调制和注视点解码和渲染来支持XR中的拆分渲染，以减少头显的延迟、功耗和处理开销，同时利用UE可用的更高复杂性和接收能力。

在上述示例中，UE 404从头显402接收的注视信息可以指示用户的视网膜601区域604或中央凹602位置，并且UE 404可以确定分层调制图像702的中央凹区域704，在其中解码来自注视信息的高优先位。

如图7所示，中央凹区域704可以包括分层调制图像702中的圆形区域，其中心点对应于中央凹的指示位置，其半径708是由UE 404或头显402在注视信息报告中设置的配置值或预配置值。

通过将注视信息中接收到的数据与圆形区域中像素的相应位置进行比较，UE 404可以相应地确定哪个区域对应于中央凹。通过为中央凹半径设置不同的值，UE 404或HMD 402可以控制中央凹区域704的大小，从而控制在头显402呈现图像中提供的围绕中央凹的高空间分辨率数据的数量。

另外，UE 404可以在中央凹区域的不同区域进行分级处理，例如，通过在靠近中央凹的区域解码更多的高优先级位并提供具有更大量高空间分辨率数据的图像，而在远离中央凹的区域解码较少的高优先级位并提供具有较少量高空间分辨率数据的图像。这种分级处理可以解释视网膜中锥细胞的分级减少。

图8A-8B举例说明了使用分层调制和注视点渲染的不同视频解码方案。具体地，图8A示出联合解码方案的示例，其中基站802通过多播向UE 804和头显806提供使用分层调制的视频流，并且UE和头显都对视频流进行解码。

图8B示出了介导解码方案的示例，其中基站802通过单播向UE 804提供分层调制视频流，但不向头显806提供。相反，UE向头显提供一个介导的视频流。在任一示例中，基站802应用分层调制来将其视频流传送到UE 804或头显806。例如，图像的低分辨率特征可以在具有较低调制顺序的高优先位上传输，以便接收器可以在相对较低的信噪比条件下以最小的处理和功耗成功解码特征。

另一方面，图像更精细或更高分辨率的特征可以在具有更高调制顺序的低优先级比特上传输，以便当UE或头显能够进行更复杂的视频处理时，可以选择在相对较高的信噪比条件下解码特征。

图9是无线通信的示例方法的流程图900。

在902，第一设备从网络实体获得包括高优先级位和低优先级位的分层调制图像。

在904，第一设备从第二设备获得注视信息，注视信息指示与第二设备相关联的中央凹区域。

在906，第一设备使用注视信息处理与较低优先位相关联的分层调制图像的一部分。

在908，第一设备提供要在第二设备呈现的图像，包括所述分层调制图像的处理部分。

相关专利

：
Qualcomm Patent | Split processing xr using hierarchical modulation

名为“Split processing xr using hierarchical modulation”的高通专利申请最初在2023年3月提交，并在日前由美国专利商标局公布。