/ Nweon / 0浏览

苹果XR专利基于运动速度动态调节Avatar透明度,优化XR社交渲染效能

(映维网Nweon 2025年04月29日)代表用户的计算机化角色通常称为Avatar。Avatar的形式多种多样,包括虚拟的人类、动物和植物。现有的Avatar成系统往往不能准确地代表用户,并需要高性能的图形处理器,难以支持功率有限的移动设备,例如头显设备。

在一份专利申请中,苹果介绍了一种动态透明度方法。例如对于难以准确追踪的肩部和头发区域,可以透明化处理。

图1示出基于Avatar速度动态修改Avatar透明度。用户100A佩戴设备120,设备120捕获传感器数据,从中可以生成用户的虚拟表示。结果,用户的虚拟表示显示在显示器105A。

根据一个实施例,主体的虚拟表示将根据主体的速度或其他运动特征以不同的方式呈现。例如,虚拟表示的一部分的透明度可以根据由虚拟表示表示的主体的速度而改变。

在图1中,用户100A目前处于静止状态。所以,Avatar 110A可以显示用户100A的表示的子集。换句话说,Avatar 110A的一部分根据用户100A的速度变得透明。

在一个实施例中,主体100A的速度可以基于主体设备120内的传感器来确定。例如,设备120可包括图像传感器,计算机视觉技术可从中应用以确定速度。作为另一个示例,设备120可以包括追踪运动的一个或多个传感器,诸如惯性测量单元、加速度计、陀螺仪等。

这样,可以根据所述设备120的速度来确定所述对象100A的速度。

根据一个实施例,动态地使所述用户的虚拟表示或多或少透明的部分可以基于所述虚拟表示的相应部分的数据质量。在所示示例中,用户100A的肩部区域可能更难以在基于捕获数据的Avatar或其他虚拟表示中准确旨在和表示。例如,尽管电子设备120可能具有面向用户面部的摄像头,但可能缺乏有关肩部的数据。

根据一个实施例,这可能导致肩部的表示比主体的其他部分更不准确或更不真实。作为另一示例,包括用户的头发或周围区域同样难以准确地追踪。所以,可以使用根据追踪的速度或用户的其他运动测量的透明处理动态呈现。

用户虚拟表示的呈现可以在基于运动特征的运行期间动态修改。100B展示了用户从左向右移动的版本,并用速度125表示。用户100B正在使用移动设备120B。移动设备120B是拍摄对象移动时移动设备120A的独立视图。

根据一个或多个实施例,移动设备120B可以是头戴式设备或其他可穿戴设备。所述移动设备120B可包括一个或多个传感器,可由此确定所述主体和/或设备的速度。例如,计算机视觉技术可以用来追踪肩膀的速度。

在一个实施例中,将测量设备的速度并将其用作佩戴设备的人的速度的代理。例如,可以基于来自移动设备内的IMU设备的测量来确定速度,或者使用诸如GPS、VIO等其他定位信息来确定速度。

根据一个或多个实施例,可使用平移速度来确定是否修改用户的一部分的透明度水平。因此,可以调整或过滤速度测定,以便可以确定特定方向上的速度,例如从观察者的角度进行左右移动。

所述移动设备120B捕获的速度测量可用于修改所述用户100B的Avatar数据或其他虚拟表示数据的传输,以便在远程设备的显示器105B显示。

另外,由移动设备捕获的速度测量可用于在传输之前修改110B的虚拟表示的透明度特性。在一个或多个实施例中,当用户的速度低于阈值时,与较低质量水平相关联的虚拟表示的区域可以比与较高质量水平相关联的区域更透明地呈现。

根据一个或多个实施例,当静止或以低于阈值的速率移动时,增加与较低质量水平相关的区域的透明度可减少低质量表示的呈现。

当用户移动或以高于阈值的速率移动时,透明度可能会降低,其中低质量区域的细节可能不太明显,但其存在为用户的形状提供了额外的背景。如图105B所示,肩部区域在Avatar 110A中透明,而肩部区域在Avatar 110B中根据速度125可见。

由于显示器105B将Avatar110B呈现给远程设备的用户,所以远程设备的用户查看根据人物角色速度135移动的Avatar110B。

由于110B处于运动状态,所以观察者不太可能认识到表示的特定区域要么以较低的质量呈现,要么基于较低质量的数据生成。

例如与面部相比,肩部区域的质量下降可能在Avatar 110B运动时不太明显。同时,呈现肩部区域为显示器105的观看者提供了附加上下文。因此,在110B移动时呈现肩部区域,可以增强110B的呈现和观察者的用户体验。

如图1所示,发明旨在通过在运动时使特定区域透明来动态地修改区域的透明度。

图2显示了相关的流程图。

从205开始,获得用户的图像。

在210,获得用户的深度信息。

在215,可以从所述深度和图像数据确定用户的3D表示。

在220,几何体的第一部分与第一质量度量相关联。特别地,确定3D几何体的一部分,其透明度水平基于用户的运动特征进行动态修改。

在225,几何体的第二部分确定为具有第二质量度量。在一个实施例中,所述几何形状的第二部分可以包括所述主体的3D几何形状的剩余部分,而不考虑在220确定的第一部分。

作为示例,如图3所示,面部和上半身区域324可识别为第二区域。

转向图4,这里示出用于动态修改虚拟表示的透明度的流程图。

从405开始,接收捕获用户的传感器数据。传感器数据可以例如由用户佩戴设备的一个或多个传感器捕获,或者由捕获用户的传感器数据的单独设备捕获

根据一个或多个实施例,传感器数据可以另外包括与用户运动相关的数据。例如,传感器数据可以包括用户的速度。

在410,根据所述传感器数据确定是否满足透明度规则。根据一个或多个实施例,用户表示的不同部分可以与用于应用透明度的不同度量相关联。根据一个或多个实施例,透明度规则可包括阈值速度。即,确定受试者的至少一部分的速度大于或小于阈值速度。

如果在410确定不满足透明度规则,则流程图继续到415,并且在不进行透明度处理的情况下生成Avatar。

根据一个或多个实施例,虚拟表示数据可以从第一设备发送到呈现Avatar的第二设备。关于是否满足透明度规则的确定可以发生在发送设备。即,捕获传感器数据的设备可以收集和传输诸如几何、运动和纹理等虚拟表示数据。

设备可以使用传感器数据来确定受试者的速度,并且在速度不满足透明度规则的情况下,放弃透明度处理的应用。

在一个实施例中,关于是否满足透明度规则的确定可以发生在接收设备。即,接收虚拟表示数据(如几何、运动和纹理)的设备可以呈现Avatar以进行表示。

返回块410,如果确定满足透明度规则,则流程图400继续到420。在420,对Avatar应用透明处理。应用透明度处理可以通过捕获和发送虚拟表示数据的设备来执行,或者通过基于虚拟表示数据呈现和显示Avatar的接收设备来执行。

根据一个或多个实施例,在发送设备对Avatar应用透明处理可以涉及根据应用透明处理的虚拟表示部分减少传输到接收设备的数据。

换句话说,如果发送方设备知道要对一个或多个帧应用透明处理,则发送方设备可以不发送与所述区域相关的数据,或者可以对数据进行预处理,例如通过对数据进行不同的编码以节省资源和/或带宽。

在一个实施例中,发送方设备调整用于所述区域的alpha值以指示要呈现所述区域的透明度水平。在一个实施例中,在接收设备应用透明处理。接收设备可接收用户的动作指示,并确定所述透明性规则得到满足。

或者,接收设备可以接收表示所述透明性规则得到满足的指示。然后,接收设备可以通过应用透明度处理来呈现Avatar。在一个实施例中,可以根据传感器数据确定透明度参数,例如alpha值。

图5描述了动态修改虚拟表示的一部分的透明度。

从505开始,获得追踪数据。

在510,获得用户的至少一部分的平移速度。

在515,基于用户的平移速度确定第一区域的透明度值。透明度值可以根据满足透明度规则的平移速度来确定。

在520,生成主体的Avatar表示。根据一个或多个实施例,设备可以使用旨在信息并以Avatar的形式生成虚拟表示。

在535,使用在3D环境中的虚拟表示生成合成图像,以便在接收设备呈现。例如,接收设备的图形硬件可以将虚拟表示与本地捕获的透视摄像头内容混合,使得它们出现在单个图像中。

相关专利:Apple Patent | Dynamic transparency of user representations

名为“Dynamic transparency of user representations”的苹果专利申请最初在2024年9月提交,并在日前由美国专利商标局公布。