/ Nweon / 0浏览

苹果AR/VR专利分享:限制应用访问用户隐私信息



映维网Nweon
2024年08月23日

)随着XR技术的兴起,有必要提供管理用户私密信息的技术,以防止应用程序访问潜在的敏感信息。

在名为“Conversation privacy for third party applications”的专利申请中,
苹果
就介绍了一种相关的技术。

在一个实施例中,在第一设备接收在与第二设备的多用户通信会话中启动第一应用程序的请求;在多用户通信会话中呈现第一应用程序的环境;通过多用户通信会话的一个或多个进程接收来自第一用户的数据.;通过所述一个或多个过程向所述第一应用程序提供所述输入数据;通过所述一个或多个过程向所述第二设备提供所述第一通信数据;通过所述一个或多个进程接收来自所述第二设备的第二通信数据;并通过所述一个或多个进程在所述第一应用程序的环境中呈现所述第二通信数据。其中,第一应用程序限制为不能访问所述第一通信数据和第二通信数据。

在一个实施例中,XR通信会话是指XR多用户通信会话,例如有两个或多个设备参与的XR环境。并置的XR通信设备是指共享物理环境和XR通信会话的两个或多个设备,使得并置设备的使用可以体验相同的物理对象和XR对象。远程XR通信设备是指位于与当前本地XR通信设备分离的物理环境中的辅助设备。在一个或多个实施例中,远程XR通信设备可以是XR通信会话的参与者。

图1描述了通过网络105通信连接到附加电子设备110和网络存储115的电子设备100的简化框图。电子设备100可以是多功能设备的一部分,例如头戴式系统。

电子设备100可以包括一个或多个摄像头140或其他传感器145,例如深度传感器,从中可以确定场景的深度。存储器135可以包括一个或多个模块,所述模块包含由处理器125执行以执行功能的计算机可读代码。

存储器可包括可用于为本地XR通信设备提供XR环境的XR模块165。XR计算环境模块170可以生成支持XR环境的环境。XR通信会话可以是支持电子设备100以及其他电子设备110共享体验的计算环境。

存储器135可以包括用于支持电子设备100的基本功能和管理硬件的操作系统模块180。操作系统模块180提供了一个应用程序175可以在其中执行的环境。XR计算环境模块170和XR模块165可以在OS模块180的情景中运行。

图2示出操作环境。在显示相关特征的同时。操作环境240包括第一物理环境,而操作环境250包括第二物理环境。

如图2所示,第一环境240包括利用第一电子设备200的第一用户220,第二环境250包括利用第二电子设备210的第二用户232。

在一个或多个实施例中,第一电子设备200和第二电子设备210通过网络205相互通信。电子设备200和第二电子设备210可以参与公共XR通信会话,而XR环境可以在每个设备以不同的方式呈现。如图所示,电子设备200可以描绘环境240的物理对象。

电子设备200的显示242可以包括与用户232对应的化身226。化身可以描述相应用户232的实时动作,包括移动、更新位置和/或与XR通信会话中的各种物理组件和/或虚拟组件的交互。虚拟化身可以或可以不模仿用户的物理特征,并且可以或可以不模仿用户的面部表情。

返回到环境250,第二电子设备210包括显示器252。XR通信会话的另一个特征是,尽管虚拟对象可以在参与的设备之间共享,但物理世界可能看起来不同。所以,物理椅子234描绘成虚拟椅子236。

在一个实施例中,XR通信会话的用户可能希望与XR通信会话的其他用户共享XR计算环境应用程序的应用程序体验。

例如,一组用户可能希望在XR通信会话中作为共享的XR计算环境应用程序体验一起参与一个XR计算环境应用程序,如游戏、群组绘画应用程序、生产力应用程序等。

在一个实施例中,可以将应用程序配置为在XR计算环境内部或外部运行。例如,应用程序可以确定它在XR计算环境的情景中运行,并以XR计算环境模式运行。

然而,允许XR计算环境应用程序访问来自XR计算环境的数据可能会引起隐私问题。例如,在共享的XR计算环境应用程序体验中,可能不希望允许XR计算环境应用程序访问用户之间的语音数据、角色或其他通信数据。

所以,为了帮助维护隐私,可以限制XR计算环境应用程序可以接收的数据类型。

图3A示出将XR计算环境应用体验引入XR计算环境的XR计算环境 300的接口的线形图。在一个实施例中,XR计算环境 302会将视图显示到共享的XR通信会话中。XR计算环境 302可以包括一个界面,例如菜单、手势、语音命令或其他用户可以用来选择要导入XR计算环境 302的应用程序的界面。

在本例中,XR计算环境 302包含一个用于将应用程序体验带到XR计算环境 302的菜单304。例如,可以对菜单304进行细分,以便对可用的XR计算环境应用程序进行分类。在这个例子中,选择一个游戏类别306,它将显示一个列表308,其中列出了可以引入XR计算环境 302的可用应用程序。

在一个实施例中,XR计算环境可能作为后台应用程序运行。例如,用户可以从一个活动的XR计算环境切换到另一个应用程序来浏览和/或选择一个应用程序以将其带入XR通信会话。

图3B是示出用于根据本公开的各方面向XR通信会话350带来应用体验的另一接口的线图。在本例中,用于共享内容的接口在XR计算环境情景之外执行。

例如,用户可能正在浏览设备的应用或内容,并访问将应用程序体验带入XR计算环境的界面,比方说使用按钮、长按、选择内容项等。

在本例中,用户可以选择应用程序352并访问与该应用程序352关联的情景菜单354。情景菜单354包含一个菜单项356,以用于将应用程序体验引入XR计算环境。

在一个实施例中,用户可以从XR计算环境内部访问XR计算环境应用程序,而XR计算环境应用程序对XR计算环境的其他用户不可见。在XR计算环境未运行的情况下,可以启动XR计算环境实例,然后将应用程序引入XR计算环境。

在一个实施例中,XR计算环境可能包含应用程序可以利用的功能。例如,第一个用户可能与第二个和第三个用户处于XR通信会话中,第一个用户可能与第二个用户一起使用XR计算环境应用程序启动应用程序体验。XR计算环境应用程序可以通过一个指示来调用或启动,表明XR计算环境应用程序正在XR通信会话的情景中执行。

在一个实施例中,在XR通信会话中的多个用户之间启动XR计算环境应用程序体验会在每个用户的本地设备上启动XR计算环境应用程序实例。例如,XR通信会话可以在参与应用程序体验的每个用户的每个本地设备上调用XR计算环境应用程序。

应用程序可以访问一个或多个API,以允许应用程序利用XR计算环境会话提供的特性。例如,XR计算环境应用程序可以调用XR计算环境提供的API来访问XR计算环境提供的功能。

当XR计算环境应用程序在XR计算环境的情景中执行时,XR计算环境可能会提供数据传输、网络、音频、视频和角色处理功能,XR计算环境应用程序可以使用相关功能。

继续看这个例子,如果应用程序体验的参与者没有XR计算环境应用程序,则XR计算环境应用程序可以利用XR计算环境的网络功能并进行传输,或者致使第二个设备以其他方式获取XR计算环境应用程序的一个版本。

在一个实施例中下,与完整的XR计算环境应用程序相比,XR计算环境应用程序的版本可以提供更少或不同的功能。然后,与第一个用户关联的XR计算环境应用程序实例可以使用XR计算环境提供的联网功能将数据传输到XR计算环境应用程序的其他实例。

来自XR计算环境应用程序的图形数据可以与可视化表示数据一起合并到XR通信会话的视频流中。

用户可以与XR环境中的虚拟化身相关联。在XR环境中,虚拟化身生成,打包成视频流,并分发给XR通信会话的其他参与者。

当XR计算环境应用程序在XR计算环境实例的情景中运行时,XR计算环境应用程序提供的图形可能通过API传递给XR计算环境实例,并作为XR通信会话的视频流的一部分发送。

XR计算环境应用程序的图形环境可能作为XR通信会话的图形环境的一部分显示。在其他情况下,在应用程序体验期间,XR计算环境实例的图形环境可能被XR计算环境应用程序的图形环境所取代。

图4示出应用体验400。在这个示例应用程序体验400中,XR计算环境应用程序402的图形环境取代了XR计算环境实例的图形环境。

在一个实施例中,可以将XR计算环境应用程序生成的图形数据发送到XR计算环境实例,并与视觉表示数据一起集成到XR通信会话的视频流中。

根据发明,代表第一用户404和第二用户406的化身继续由XR计算环境实例绘制到XR计算环境应用程序402的图形环境中。例如,当两个用户参与一个XR计算环境体验时,XR计算环境应用程序可以提供位置信息,以便在哪里显示代表这两个用户的两个化身。

化身的动画、效果等可以由XR计算环境实例在XR计算环境应用程序402的图形环境中以类似于在XR通信图形环境中呈现的方式呈现。例如,XR计算环境可以访问本地用户的化身信息,并且XR计算环境可以在与XR计算环境应用程序提供的位置信息相对应的位置呈现代表本地用户的化身。

类似地,本地XR计算环境可以从第二个XR计算环境应用程序接收化身信息。化身信息可以包含用于呈现和/或使表示第二用户的第二化身动画化的信息。XR计算环境应用程序可以在与XR计算环境应用程序提供的位置信息相对应的位置呈现第二化身。

当接收到视频流时,传入的视频流由本地XR计算环境实例处理,XR计算环境实例可以直接呈现用于XR计算环境应用程序的图形数据,或者从接收到的视频流中提取用于XR计算环境应用程序的图形数据并传递给XR计算环境应用程序进行处理和呈现。

由于XR计算环境应用程序只能访问由XR计算环境应用程序生成或使用的图形数据,所以XR计算环境应用程序不能访问用户的可视化表示。

在一个实施例中,XR计算环境应用程序能够控制可视化表示数据的各个方面。例如,XR计算环境应用程序可以请求XR计算环境实例不显示用户的图形化表示。在这种情况下,用户的化身和/或其他图形表示可以隐藏。

作为另一个例子,XR计算环境应用程序可以为XR计算环境实例的图形表示提供位置信息和/或大小信息。这有助于XR计算环境应用程序指示在XR计算环境应用程序环境中的位置,以帮助优化应用程序体验。

在一个实施例中,XR计算环境应用程序可以为每个参与者提供位置信息。例如,XR计算环境应用程序可能能够通过XR计算环境实例访问关于用户的非个人身份信息,例如用户标识符。然后可以为每个用户标识符分别提供用于用户图形表示的位置和/或尺寸信息。这种非个人身份信息可能在应用程序体验的实例之间更改或随机化。

在一个实施例中,XR计算环境应用程序可能在XR计算环境应用程序中包含登录或帐户功能。在这种情况下,参与者可以登录或创建帐户,XR计算环境应用程序可以将XR计算环境实例提供的非个人身份信息与帐户或登录相关联。

在一个实施例中,与用户相关或代表用户的音频内容可以由XR计算环境实例为XR计算环境应用程序处理。例如,由XR计算环境应用程序生成的音频数据,如音乐、声音效果、交互声音等可以由本地XR计算环境应用程序传递给特定设备的XR计算环境实例。

在一个实施例中,XR计算环境应用程序同时可以将有关音频数据的元数据传递给XR计算环境实例,以帮助控制音频数据的回放。然后,XR计算环境实例可以将音频数据的表示或指示发送到参与应用程序体验的XR通信会话的其他设备,以便由其他设备复制。

在应用程序体验的参与者之间,语音音频数据可以由XR计算环境实例处理。例如,在XR通信会话期间,从XR通信会话的参与者接收语音音频数据以生成音频流,并由适当的设备播放。在应用程序体验期间,XR计算环境实例继续处理语音音频数据。例如,XR计算环境应用程序生成的音频数据可以通过API发送到XR计算环境实例并集成到音频流中。

图5示出多用户通信会话500中进行协作的技术的流程图。

在502,接收到在与第二设备的多用户通信会话中启动第一应用程序的请求。例如,多个用户可能在一个XR通信会话中协作,第一个用户可能使用XR计算环境应用程序启动一个应用程序体验。

在504,在多用户通信会话中呈现了第一个应用程序的环境。例如,XR计算环境应用程序可以在XR通信会话中呈现。

在506,多用户通信会话的一个或多个进程接收数据,所述数据包括输入数据和第一通信数据。例如,第一个用户可以向XR计算环境应用程序提供控制输入以及语音信息。这个输入可以由XR计算环境实例接收。

在508,一个或多个进程向第一个应用程序提供输入数据。例如,控制输入可以由XR计算环境实例提供给XR计算环境应用程序。

在510,一个或多个进程向第二设备提供第一通信数据。例如,XR计算环境实例可以将接收到的语音输入数据传输到XR通信会话中参与应用程序体验的另一个设备。所述语音输入数据可由所述第一设备接收,例如由所述第一设备的麦克风接收。语音输入可以由XR计算环境实例处理并提供给XR通信会话,而不提供给XR计算环境应用程序。

在512,一个或多个进程从第二设备接收第二通信数据。例如,XR计算环境实例可以从参与XR通信会话中的应用程序体验的另一个设备接收语音数据。

在514,一个或多个进程在第一应用程序的环境中呈现第二通信数据,其中限制第一应用程序访问第一通信数据和第二通信数据。例如,XR计算环境实例将接收到的语音数据呈现给第一个用户,而不向XR计算环境应用程序提供接收到的语音数据。所接收的语音数据可以例如由第一设备的一个或多个扬声器呈现。


相关专利


Apple Patent | Conversation privacy for third party applications

名为“Conversation privacy for third party applications”的苹果专利申请最初在2023年11月提及,并在日前由美国专利商标局公布。