/ Nweon / 0浏览

苹果专利分享XR环境中基于对象自适应的Avatar分层传输技术

(映维网Nweon 2025年04月22日)XR环境允许多个用户在XR环境中相互交互。然而,传输多个Avatar的数据在计算方面可能十分昂贵。在一份专利申请中,苹果就介绍了一种传输方法。

具体来说,这是一种用于管理对象传输质量的技术,包括获取用于主体的虚拟表示的表示数据。确定第一比特率和第二比特率,其中第一比特率满足第一数据质量层的第一质量度量,第二比特率满足第二质量层的第二质量度量。基于第一比特率和第二比特率为主体的表示生成一组数据质量层。

图1A-1B示出对Avatar数据进行编码的技术流程图。

转到图1A,Avatar数据100是在一系列帧捕获的主体。Avatar数据100可以包括图像数据、深度数据、音频数据等。Avatar数据100可以包括来自捕获的传感器数据的用户表示,例如3D几何信息、纹理信息、特征向量等。另外,Avatar数据100可以包括单个帧或多个帧。

Avatar数据100可以以不同的质量级别进行编码。如图1A所示,Avatar数据100可以由与不同量化参数值相关联的不同编码器进行编码。编码器a110关联一个低量化参数值,编码器b112关联一个中等量化参数值,编码器c114关联一个低量化参数值。

量化参数值表示对一组数据执行的压缩量。所以,较低的量化参数值表示压缩程度较低(数据质量水平较高),而较高的量化参数值表示压缩程度较高(数据质量水平较低)。

在图1A中,由编码器a110编码的Avatar数据100的结果(具有低QP值)。随着时间的推移,产生的编码可能需要不同的比特率。例如,图表120描述了使用编码器a110对Avatar数据100的帧进行编码所需的编码比特率124的表示。

根据一个或多个实施例,可以基于随时间的比特率来确定目标高层级比特率122。目标高层级比特率122可以对应于能够对足够数量的Avatar数据进行编码的比特率。高层级比特率122表示可以使用低QP值对足够数量的Avatar数据100进行编码的比特率。这个高级比特率122特定于对象,比如Avatar数据100中描述的用户。

所以,不同对象的Avatar数据可能会造成相同编码质量的不同目标比特率,如下图1B所示。

类似地,确定目标比特率的技术可以重复用于其他层级别。根据一个或多个实施例,可以使用特定编码器参数基于随时间的比特率来确定目标中间层比特率132。

同样的技术适用于低质量的Avatar数据编码。例如,图表140描述了使用编码器c114对Avatar数据100进行编码。根据一个或多个实施例,可以基于随时间的比特率来确定目标低层比特率142。

转到图1B,可以清楚地看到,不同的目标带宽值可能因用户而异。如图所示,Avatar数据150是通过一系列帧捕获的不同主体的数据。

Avatar数据150可以包括例如图像数据、深度数据、几何数据、纹理数据、音频数据等。Avatar数据150可以包括来自捕获的传感器数据的用户表示,例如3D几何信息、纹理信息、特征向量等。另外,Avatar数据150可以包括单个帧或多个帧。

在图1B中,Avatar数据150可以由与不同量化参数值相关联的不同编码器进行编码。编码器可以与上述关于图1A所描述的编码器相同或不同。换句话说,不同的主体可以使用不同的编码器来确定与不同编码器参数相关联的数据质量层。

对于本例,Avatar数据150使用与Avatar数据100相同的编码器进行编码。编码器a110与诸如低量化参数值的第一编码器参数集相关联,编码器b112与诸如中等量化参数值的第二编码器参数集相关联,编码器c114与诸如高量化参数值的第三编码器参数集相关联。Avatar数据150可以由不同的编码器编码,以响应接收Avatar数据。

由于不同的主体、捕获数据的设备等原因,Avatar数据150将具有与Avatar数据100不同的特征。所以,在每个质量级别编码Avatar数据150所需的比特率可能与在相同质量级别编码Avatar数据100所需的比特率不同。

例如,图表160描述了使用编码器a110对Avatar数据150的帧进行编码所需的比特率随时间的变化。编码比特率164随时间变化。

类似地,确定目标比特率的技术可以重复用于Avatar数据150的其他层级别。例如,图170描述了使用编码器b112为中等QP值对Avatar数据150进行编码所需的编码比特率174的表示。

在本例中,中级层比特率172表示可以使用中级QP值对足够数量的Avatar数据150进行编码的比特率。这个中间层比特率172同样是特定于对象,例如Avatar数据150中描述的用户,所以可以不同于使用编码器b112为Avatar数据100确定的中间层比特率132。

在本例中,所述技术同样用于低层比特率(与高QP值相关)。例如,图180描述了使用编码器c114编码Avatar数据150所需的编码比特率184的表示,以获得高QP值。在本例中,低层比特率182表示当使用高QP值对Avatar数据150进行编码时,可以传输足够数量的Avatar数据150的比特率。这个低层比特率182同样是特定于对象,例如Avatar数据150中描述的用户,所以可能不同于使用编码器c114为Avatar数据100确定的低层比特率142。

除了每一层的比特率对于特定主体是唯一的之外,层之间的范围或间隔对于每个主体可能是不同的。换句话说,对于Avatar数据100,高层级比特率122和中层比特率132之间的比特率增量可能与高层级比特率162和中层比特率172之间的比特率增量不同。

同样,对于Avatar数据100,中层比特率132和低层比特率142之间的比特率差可能与中层比特率172和低层比特率182之间的比特率差不同。

特定于主体的质量层可以在主体参与在场环境时使用。例如,如果Avatar数据100中的主体和Avatar数据150中的主体参与到一个再现环境中,则它们的关联设备可以发布或以其他方式让人们知道它们特定于对象的质量层,以便在再现会话中活动的其他设备可以为给定用户订阅特定的再现质量层。

例如,一个设备可以确定一个质量层,从该层接收来自一个或多个在场设备的Avatar数据。对于所有设备,特定的层可能是相同的,或者可能不同。即,设备可以为一个用户订阅与高层级比特率相关联的高质量层传输,并且可以为第二个用户订阅与中等层比特率相关联的中等质量层传输。

根据一个或多个实施例,针对不同用户的层选择可以基于多个因素。例如,选择可以基于带宽策略,并指示如何分配带宽、资源可用性、用户选择等。

图2示出基于特定对象的传感器数据建立对象特定数据质量层的技术流程图。

从205开始,获得所述主体的表示数据。

在210,使用与第一量化参数相关联的第一编码器对表示数据进行编码。

在215,确定第一比特率。

在220,表示数据将另外使用具有第二个量化参数的第二编码器进行编码。

在225,确定第二比特率。

在230,基于第一比特率和第二比特率为主体建立数据质量teacher。所以,数据质量层指示与特定质量级别相关联的比特率,并且特定于所述主体。

在235,数据质量层提供给一个或多个远程设备。

根据一个或多个实施例,当接收到针对特定对象的附加数据时,可以修改数据质量层。

图3描述了用于确定一个或多个数据质量层的目标比特率以确保比特率满足一个或多个阈值。

在305,从多个角度捕获一组帧。Avatar数据可用于在场通信会话中,以基于用户的动作、视觉特征、音频特征和/或类似物生成用户的表示。所述注册框架可以包括图像数据、音频数据等。

在310,使用当前编码器进行编码。根据一个实施例,可以用不同的质量水平辅助不同的编码器,并且编码器中的每一个都可以对帧进行编码,以确定各种质量水平的目标比特率。

在320,确定比特率是否满足一个或多个质量度量。根据一个或多个实施例,可以预定义一个或多个度量。

在325,使用当前速率和编码器来建立数据质量层。

如果比特率不满足320的质量指标,则流程图继续到330。在330,当前编码器被数据质量层忽略。

在335,确定是否附加编码域。在一个实施例中,可以对任何给定数量的编码器和/或质量层重复上述310-335的过程。产生的特定于对象的数据质量层将是特定于用户的,并且可能因人而异。

图4描绘了用于为参与在场会话的其他设备订阅数据质量层的特定客户端设备的技术流程图。

从405开始,在这里,虚拟通信会话在一个共享环境中启动。

在410,为通信会话确定带宽策略。根据一个或多个实施例,带宽策略可以是全局带宽策略,也可以是特定于设备的带宽策略等。另外,带宽策略可以自动确定,或者可以至少部分地由用户定义。

在415,为通信会话中的其他参与者获得与数据质量层相关的信息。与数据质量层相关的信息可以由每个参与者获得,例如远程用户或提供表示数据的其他对象,发布其对象特定的数据质量层。或者,网络设备或其他集中管理设备可以从每个设备获取数据质量层信息,并为在场通信会话的参与者提供统一的数据质量或信息。

在420,根据带宽策略为其他参与者选择数据质量层。根据一个或多个实施例,选择可以在每个参与设备执行,或者可以通过中央管理设备或通过连接到在场环境中的参与设备的附加设备来选择。

在435,本地设备订阅来自其他参与者的选定数据质量层。例如,本地设备可以根据选择向在场环境中的另一个设备发送转换请求,特别是质量级别请求。

相关专利:Apple Patent | Object-specific copresence quality tiers

名为“Object-specific copresence quality tiers”的苹果专利申请最初在2024年8月提交,并在日前由美国专利商标局公布。