（

映维网Nweon
2024年09月20日

）特定XR环境允许多个用户相互交互。然而，传输多个用户的虚拟化身数据在计算方面可能十分昂贵。在一份专利申请中，
苹果
介绍了一种基于注视点的共在系统，而它可以在虚拟通信会话中选择性地传输不同质量的数据。

其中，在虚拟通信会话中，基于接收设备的用户的注视方向确定感兴趣区域。然后，识别在感兴趣区域内表示的一个或多个远程用户。对于在感兴趣区域中表示的远程设备，请求第一质量数据流。

同时，可以识别在虚拟通信会话中活动，但未在感兴趣区域中表示的一个或多个远程设备，并且可以请求较低质量的数据流。换句话说，位于注视点区域之内的用户，以第一质量呈现相应的虚拟化身；位于注视点区域以外的用户，以第二质量呈现相应的虚拟化身。

通过这种技术，可以减少传输到接收设备的总数据，同时降低了接收设备的功率要求。

图1示出在虚拟通信会话中选择性地传输不同质量的数据。特别是，图1的图显示了一个示例虚拟通信会话100，其中接收者105与三个发送者110A、110B和110C交互。

发送者110A、110B和110C可以与传输代表相应用户的虚拟化身数据的设备相关联。虚拟化身数据可以包括用于生成面部纹理、深度组件和/或姿态数据的数据。化身数据以视频图像数据的形式传输，例如一系列图像帧。

用户中的每一个都可能与发送和接收数据的设备相关联。例如，在具有多个设备的共存应用程序中，每个设备可以对另一个设备的化身表示进行编码和传输。

在一个实施例中，发送方设备110和接收方设备105可以在扩展现实中交互，例如出席会话、通信会话等。接收方105可以与从发送方110A、发送方110B和发送方110C对应的设备接收虚拟化身数据的设备相关联，并将其自己的虚拟化身数据发送到发送方110A、110B和110C对应的每个设备。

类似地，与发送方110A、110B和110C对应的设备可以从与接收方105对应的设备接收虚拟化身数据。但为清楚起见，将针对虚拟通信会话中的发送方，就特定的接收方105进行描述。

根据一个实施例，每个发送者与发送者设备相关联。例如，发送方110A与发送方120A关联，发送方110B与发送方120B关联，发送方110C与发送方120C关联。发送方设备120A、120b和120c中的每一个都可以向接收方设备140传输发送方数据，例如虚拟化身数据。在一些实施例中，接收器设备140是与接收器105相关联的设备。

在一个实施例中，中央服务器130可用于管理发送设备120和接收设备140之间的传输。例如，每个发送方设备120可以将第一质量级别的发送方数据传输到服务器130。服务器130可以确定将发送方数据传输到接收方设备140的质量级别。

在这样做时，发送方设备120不需要确定将其自身数据传输到特定接收方设备的质量水平。相反，服务器130确定并管理虚拟通信会话之间的各种传输。以这种方式，发送方设备120可以以单一质量水平传输单个发送方数据流。

在当前示例虚拟通信会话100中，接收器105正在查看发送方110 B。因此，接收方设备140可以以第一质量级别向发送方120B请求发送方B数据125。例如，当虚拟化身不在感兴趣的区域内时，接收方设备可以以相对于虚拟化身数据的高质量级别请求发送者110B的虚拟化身数据。

第一质量级别可以与发送方数据105由发送方设备120生成的原始质量级别相关联。相比之下，由于发送方110A和发送方110在虚拟通信会话100的感兴趣区域之外，接收方设备140可以从发送方设备120A接收发送方数据125A的降低质量级别，以及由发送方设备120C生成的发送方C数据125C。

这样，数据135A降低帧率和数据135C降低帧率，而接收设备140接收发送方B数据135B的全帧速率。

在一个实施例中，请求可以直接传输到发送方设备，或者可以传输到可以管理数据传输的中央服务器130。

服务器130可以被配置为接收发送方数据，例如发送方A数据125A、发送方B数据125B和发送方C数据125C，并以请求的质量水平为接收方设备140生成数据流。例如，可以通过在传输到接收设备之前从发送方数据丢弃帧来降低发送方数据的帧速率。

图2示出选择性地传输不同质量的化身数据。

从205开始，在这里，虚拟通信会话在一个呈现环境中启动。虚拟通信会话可以在扩展现实环境中的本地设备呈现，其中多个用户正在与来自不同物理设备的公共虚拟对象进行通信。这样，用户可以位于相同位置，或位于远程位置，或其某种组合。虚拟通信会话可以包括至少与其他用户共享内容的用户。

例如，用户可以共享代表设备用户的虚拟化身数据，以便在虚拟通信会话中以跨设备的公共配置呈现用户的虚拟表示。另外，虚拟通信会话可以包括用户可以在虚拟环境中与之交互或查看的通用虚拟对象和应用程序。

在210，从第一质量级别的每个设备接收数据流。根据一个实施例，中央服务器可以在第一质量级别接收来自每个设备的数据流。在一个实施例中，可以从所有设备以相同质量水平接收数据流，或者从不同质量水平接收数据流。

在本实施例中，初始质量水平可与特定帧速率相关联。这个初始帧速率可以是一个全局初始帧速率，每个发送方都希望以此速率来传输发送方数据。或者，初始帧速率可能是特定于设备的，例如，当设备之间的原始质量水平不同时。

在215，从一个设备接收来自其余设备的数据流的流质量请求。如上所述，在共现环境的示例中，每个设备都可以发送和接收数据。然而，流质量请求可以基于特定设备的数据是否在相对于请求设备的感兴趣区域内表示。

流质量请求可以基于其他参数，例如接收设备是否可以基于资源可用性处理高质量流等等。流质量请求可以指示接收方设备希望接收发送方数据流的质量级别。因此，一个质量请求可以指示通信会话中多个发送方设备的质量级别，或者多个质量请求可以由服务器接收。

在220，基于感兴趣的区域在质量级别上为请求设备生成数据流。如上所述，可以为为其请求数据流的虚拟通信会话中的每个设备生成数据流。可以为相对于接收设备的感兴趣区域内表示的设备接收请求。请求可能与高质量数据流请求相关联。

另外，数据流可以指示如何为特定数据流生成质量水平降低的数据流。例如，发送方可以发送要丢弃的帧的指示，以便达到特定的一个或多个质量水平。目标质量级别可以是全局目标质量级别，例如预定义的每秒帧数或类似。或者，目标质量水平可以相对于传输的原始质量水平来定义。

在一个实施例中，服务器可以确定在未接收请求的虚拟通信会话中活动的设备的其余部分。换句话说，如果接收设备没有指定在感兴趣区域中已识别的特定发送设备，则服务器可以识别其余设备，并决定向所述设备发送较低质量的数据流。

所以在225，服务器确定每个剩余的设备是否都是请求设备感兴趣区域。然后，在230，服务器降低来自感兴趣区域之外的每个剩余设备的传输的帧速率。这可以基于服务器的确定、来自接收设备的请求等。

在235，中央服务器将流传输到请求设备。如上所述，流可以特定于特定的发送设备，并且中央服务器可以为虚拟通信会话中活动的每个其他设备将流传输到请求设备。

图3示出选择性地请求不同质量的化身数据的技术。

从305开始，为一个存在环境中的本地设备)确定位置信息。本地设备可以与特定位置或一组坐标相关联。

在310，为存在环境中的本地设备确定感兴趣区域。

在315，识别相对于感兴趣区域的存在环境中的一个或多个远程设备的位置。为了流程图300的目的，将一次确定一个远程设备的位置。然而，远程设备的位置可以同时识别。根据一个或多个实施例，可以识别远程设备在存在环境中的位置，以确定远程设备的用户的表示是否存在于感兴趣的区域中。

在320，确定当前设备是否在感兴趣的区域内。更具体地说，从接收设备的角度确定远程设备提供的内容是否在感兴趣区域内表示。

如果当前设备在感兴趣的区域内，则继续325，其中从远程设备请求更高质量的虚拟化身数据传输。更高质量的传输可以包括数据流的原始质量传输。

类似地，返回到320，如果当前远程设备不在感兴趣的区域内，则继续330，其中从远程设备请求虚拟化身数据的较低质量传输。

不同的质量级别可以与不同的数据类型相关联。在一个实施例中，选择用于传输的质量水平可以基于多个因素或信号。

流程图300继续到335，其中确定是否有其他远程设备在共现环境中。如果是，则流程图返回到315，并确定下一个远程设备在再现环境中的位置。这个过程将在每个远程设备执行，直到对所有远程设备进行了说明。

根据一个或多个实施例，在检测到存在环境中的本地设备和/或一个或多个远程设备的空间配置的变化时，可以重复有关流程图300所描述的过程。例如，如果本地设备的位置和/或方向发生变化，则存在环境感兴趣的区域同样可能发生变化。因此，在感兴趣的新区域内表示的远程设备可能不同。相应地，本地设备可以基于本地设备对一个或多个远程设备的相对空间配置，为各种远程设备订阅不同质量的传输。

图4示出确定感兴趣区域的技术的流程图。

所述流程图400从405开始，其中本地设备接收眼动跟踪数据

在410，
眼动追踪
数据与共享的共现环境对齐。根据一个或多个实施例，眼动追踪数据可以通过确定源自本地设备用户的注视矢量，并根据用户的确定凝视方向投射到共同存在环境中，从而与共享的共同存在环境对齐。

在415，识别上下文信息。根据一个实施例，感兴趣的区域可以考虑注视方向以及其他因素，例如用户环境中的活动内容。

在420，感兴趣的区域是在存在环境中确定。感兴趣的区域可以基于注视向量、上下文信息等。感兴趣的区域可以是在场环境中远程设备用户的视场的一部分。感兴趣的区域可以是固定大小，或可以是基于在场环境中的活动上下文的动态区域。

根据一个或多个实施例，可以识别多个感兴趣区域。例如，第一区域可以是基于眼动追踪数据的目标区域，第二区域可以在视场内但在眼动追踪数据的目标之外，例如围绕第一感兴趣区域。

可以确定其他区域，例如在外围。不同的区域可能与不同的质量水平相关联。例如，根据远程设备所在的区域，将相应地要求质量级别。

相关专利

：
Apple Patent | Gaze-based copresence system

名为“Gaze-based copresence system”的苹果专利申请最初在2024年3月提交，并在日前由美国专利商标局公布。