（

映维网Nweon
2024年09月11日

）XR应用涉及音频和视频等的巨大数据交换，而这个过程需要低延迟和快速。在一项专利申请中，Meta提出了一种根据视场来改进数据流处理的方法。

在一个实施例中，一个或多个服务器可以维护多个用户中的每个用户相对于本地化地图的相对位置。服务器可以从第一设备接收多个用户的第一用户的A/V数据。服务器可以从第二设备接收指示多个用户的第二用户视场的数据。服务器可以向第二设备传输与第一A/V数据对应的渲染数据，而比特率是根据指示视场和/或第二用户相对于本地化地图的相对位置的数据所选择。

为了提供全息通信，各种成像仪和/或麦克风可以捕获用户的A/V数据。成像仪和/或麦克风可以将A/V数据传输到服务器。例如，接收A/V数据的用户设备可以压缩/格式化/编码/处理A/V数据，并可以将其发送给服务器。服务器在接收到A/V数据后，可以将A/V数据传输到另一设备。其他设备可以接收并重建媒体以在头显呈现。

图6示出了用于全息通信的系统架构图。

可以将成像系统608配置为捕获用户端系统602的用户的A/V数据。成像系统608可以包括两个或多个摄像头，摄像头配置为捕获3D视频的立体视频捕获系统。

所述成像系统608可配置为向用户设备610通传输与所述成像系统608的视场相对应的数据。成像系统608可以配置为捕获、检测或以其他方式确定由视频数据表示的用户或对象的高度和宽度。

可以将头显606配置为向用户设备610传输定向数据。头显606可以配置成以RTCP报文的形式向用户设备发送方向数据。与RTCP报文中包含缩放数据一样，头显606可以配置为按需或定时发送带有定向数据的RTCP报文。

图10示出与服务器604通信的终端用户系统602。如图10所示，头显606可以与用户设备610保持无线局域网连接，并且用户设备610可以与服务器604保持蜂窝式连接。

在本例中，可以将头显606配置为向用户设备610通信或传输定向数据。用户设备610可以配置为通过摄像头和麦克风捕获A/V数据和缩放数据，并将A/V数据和缩放数据传输到服务器604。服务器604可以配置为将其他A/V数据传输回用户设备610。

参照图6，可以将服务器604的会话数据接收引擎624配置为接收来自全息通信会话中多个用户端系统602中每一个的各自通信的A/V数据626。可以将会话数据接收引擎624配置为接收缩放数据628和方向数据630。

服务器604可以配置为使用缩放数据628根据缩放数据628生成、确定、导出或以其他方式提供修改过的视频数据，并且可以使用方向数据630选择比特率，以将修改过的A/V数据传输到用户端系统602进行呈现。

服务器604可以包括会话数据处理引擎632，其中包括缩放器634和视场决定器636。作为简要概述，可将缩放器634配置为根据从各自用户端系统602的成像系统608接收到的缩放数据628，调整或以其他方式修改A /V数据视频中所描述的对象或用户的比例、相对大小或比例。

同时，视场确定器636可以配置为根据从各用户端系统602的头显606接收的方向数据630，识别、检测、推导、计算或以其他方式确定各用户的视场。

现在参考图6和图11A和11B，可将缩放器634配置为根据缩放数据628修改在A/V数据的视频数据中描述的对象或用户的比例。具体地说，图11A和图11B示出，在缩放修改之前和之后来自三个不同用户端系统的视频数据帧。

如图11A和图11B所示，视频数据可以来自独立的用户端系统602(1)-602(3)，并且可以包括三个不同用户1102、1104、1106的表示。第一用户1102可以是身高约为3英尺的儿童，第二用户1104可以是身高约为6英尺的成年人，第三用户1106可以是身高约为5英尺的成年人。

如上所述，可以将用户端系统602(1)-602(3)配置为向服务器604提供相应用户1102-1106的缩放数据。

可将缩放器634配置为接收来自用户端系统602(1)-602(3)的视频数据和缩放数据628。在一个实施例中，可将缩放器634配置为根据来自每个用户端系统602的缩放数据628来修改视频数据中所描述的用户或对象的缩放。

缩放器634可以配置为根据来自各自用户端系统602的缩放数据628相对于来自其他用户端系统602的缩放数据628，通过增加和/或减少视频数据中用户或对象的虚拟表示来修改用户或对象的缩放。

在一个实施例中，可将缩放器634配置为根据来自同一用户端系统602的缩放数据628和来自其他用户端系统628的缩放数据628，修改来自第一用户端系统602的视频数据中所描述的对象或用户的缩放。

继续图11A中所示的示例，缩放器634可以配置为根据来自第一用户端系统602的缩放数据628相对于来自另一个用户端系统604的缩放数据626，修改第一用户1102的比例，以减小来自第一用户终端系统602的A/V数据626中的第一用户1102缩放比例。类似地，缩放器634可以配置为根据来自第三用户端系统602的缩放数据628，修改第三用户1106的缩放比例，以增加来自第三客户端系统602（3）的A/V数据626中的第三用户1102缩放比例。

如图11B所示，在缩放器634修改A/V数据626的各自视频数据中所描述的用户的比例之后，相应于各自用户的修改后的视频数据可以具有适当的相对比例。例如，第一用户1102约为第二用户1104的一半高，第二用户1104约为第三用户1108的20%高，第三个用户(1108)比第一个用户(1102)高约65%。

在一个实施例中，根据从用户端系统602接收到的方向数据630，可以将视场确定器636配置为根据由会话管理器引擎618维护的方向数据630和本地化地图620来确定视场。

具体地说，视场确定器636可以配置为根据方向数据630和用户在定位地图中的位置来确定特定用户的视场702

在一个实施例中，视场确定器636可以配置为识别或确定用于应用于方向数据630以确定视场范围。可以将视场决定器636配置为确定对应于各自的用户端系统602的每个用户的视场。

参考图6，服务器604可以包括会话数据传输引擎638。会话数据传输引擎638可以配置为A/V数据选择一个比特率640，以便传输到用户端系统602。

可以将会话数据传输引擎638配置为选择用于压缩/编码/传输/处理A/V数据的比特率640。A/V数据可以是或包括修改后的A/V数据。

会话数据传输引擎638可以配置为根据相对于与接收端用户端系统602相对应的视场分配给与源用户端系统602相对应的用户位置，为与源用户端系统602相关联的给定A/V数据选择比特率640。

在一个实施例中，会话数据传输引擎638可以配置为基于分配给对应于源用户端系统602的用户的位置是否在对应于接收用户端系统602的视场内来选择比特率640。

换句话说，可以将会话数据传输引擎638配置为为来自源用户端系统602的A/V数据选择第一比特率640，其中源用户端系统602的位置在接收用户端系统602的视场内。

另外，可以为来自源用户端系统602的A/V数据选择第二比特率640，其中源用户端系统602的位置在接收用户端系统602的视场之外。

在本例中，第一比特率640可能高于第二比特率640。

在一个实施例中，会话数据传输引擎638可以配置为根据位置与FOV 702的接近程度，为与位置不在视场内的源用户端系统602相关联的A/V数据选择比特率640。例如，可以将会话数据传输引擎638配置为选择与源用户端系统602相关联的A/V数据的比特率640，以随着源用户端系统602对应的位置更接近视场而增加。

图12示出更新用户端系统的会话条件。

在步骤1202，在服务器604生成新会话。

在步骤1204，服务器604收到加入会话的请求。

在步骤1206，服务器604可以确定会话是否正在进行。

在步骤1208，服务器604可以为其他用户端系统602重新配置A/V数据。

在步骤1210，服务器604可以向用户端系统602传输更新。

图13示出更新设备的视场。

在步骤1302，用户设备606打开，亦即当用户设备606与用户端系统602的其他组件或元件建立连接时。

在步骤1304，用户端系统602可以传输加入会话的请求。

在步骤1306，用户端系统602可以确定格式和比特率。

在步骤1308，用户端系统602可以接收索引和标识符。用户端系统602可以从服务器604接收用于用户端系统602的索引和设备标识符。

在步骤1310，用户端系统602可以开始会话。所述用户端系统602可将所述用户端系统602的各自用户的A/V数据传输给所述服务器604，所述服务器604可将其他用户端系统602的其他用户的A/V数据传输回所述用户端系统602。

在步骤1310，用户端系统602可以确定视场是否已经改变。用户端系统602可以基于或根据用户端系统602的传感器数据确定视场是否已经改变。

在步骤1312，用户端系统602可以传输更新的视场。用户端系统602可以将与更新的FOV相对应的数据传输到服务器604。

方法1300可以在步骤1312和1314之间循环，直到相应的用户端系统602终止会话。

图14示出在通信会话中管理对象比特率。

在步骤1402，服务器604生成新会话。

在步骤1404，服务器604收到加入会话的请求。

在步骤1408，服务器604可以更新索引和本地化映射。

在步骤1410，服务器604可以继续会话。

在步骤1412，服务器604可以确定是否已接收到新的视场。

在步骤1414，服务器504可以调整比特率。

在步骤1416，服务器604可以确定是否已接收到终止会话的请求。方法1400可以在步骤1412和1414之间循环，直到接收到来自最终用户系统602的终止会话的请求。

相关专利

：
Meta Patent | Systems and methods of improving data stream processing according to a field-of-view

名为“Systems and methods of improving data stream processing according to a field-of-view”的Meta专利申请最初在2022年12月提交，并在日前由美国专利商标局公布。