（

映维网Nweon
2025年02月21日

）XR可以支持一系列的传统外设，例如触控笔。但对于触控笔的行为，用户通常会从可用工具菜单中选择不同的工具，而这可能是一个笨拙而繁琐的过程。

在一份专利申请中，
苹果
就介绍了一种动态选择操作模式的方法。其中，系统能够基于用户姿势和握持方式动态地改变物理对象的操作方式。

在一个实施例中，例如，计算系统可根据与物理对象本身相关的追踪数据以及计算系统获得的其他输入来确定物理对象的姿势和握持。这样，用户可以无缝地改变物理对象的操作方式，无需担心中断工作流程。

如图1所示，在一个实施例中，用户149右手152握持控制器130，左手握持呈现XR体验得电子设备120。

在其他实施例中，用户149可以佩戴诸如近眼系统的电子设备120。所以，电子设备120包括一个或多个显示器，并用于显示XR内容。

图2示出处理装置110。在一个实施例中，一个或多个通信总线204包括互连和控制系统组件之间通信的电路。操作系统230包括用于处理相关任务的过程。

在一个实施例中，映射器和定位器引擎244配置为映射物理环境105并追踪至少电子设备120或用户149相对于物理环境105的位置/位置。数据发送器246配置为将数据传输到至少电子设备120和任选的一个或多个其他设备。

在一个实施例中，隐私架构508配置为摄取数据并基于一个或多个隐私过滤器过滤用户信息和/或识别数据中的信息。对象追踪引擎510配置为基于追踪数据确定/生成用于追踪物理对象的对象追踪向量511，并随时间更新姿态表征向量515对象追踪向量511。

眼动追踪
引擎512配置为根据输入数据确定/生成如图5B所示的眼动追踪向量513（，并随时间更新眼动追踪向量513。身体/头部姿态追踪引擎514配置为基于输入数据确定/生成姿态表征向量515，并随时间更新姿态表征向量515。

在一个实施例中，操作模态管理器540配置为基于物理对象的特征向量543来选择物理对象的操作模态，其中特征向量543是用户输入向量（例如眼睛追踪向量513和姿势特征向量515的组合）和追踪数据（例如对象追踪向量511）的函数。

特征引擎542配置为基于用户输入向量和追踪数据来确定/生成物理对象的特征向量543，并配置为随时间更新姿态表征向量515。

在一个实施例中，操作模式选择器544配置为基于表征向量543为物理对象选择当前操作模式。例如，操作模式可以包括听写模式、数字辅助模式、导航模式、操作模式、标记模式、擦除模式、指向模式模式等。

内容管理器530配置为管理和更新XR环境128的布局、设置或结构等。内容更新程序536则配置为根据电子设备120或物理环境105内的物理对象的平移或旋转运动、用户输入和/或类似随时间修改XR环境128。

反馈引擎538被配置为生成与XR环境128相关联的感官反馈。渲染引擎550配置为渲染XR环境128。姿态确定器552配置为确定电子设备120和/或用户149相对于XR内容的当前camera姿态。

图7示出动态选择物理对象的操作方式。

如上所述，为了改变触控笔的行为，用户通常会从可用工具菜单中选择不同的工具，而这可能是一个笨拙而繁琐的过程。

对于苹果提出的发明技术，系统将能够基于姿势和握持方式动态地改变物理对象的操作方式。例如，计算系统可根据与物理对象本身相关的追踪数据以及计算系统获得的其他输入来确定物理对象的姿势和握持。这样，用户可以无缝地改变物理对象的操作方式，无需担心中断工作流程。

在710，获取用户输入矢量，用户输入矢量包括与多个不同输入方式之一相关联的至少一个用户输入指示值。例如，通过计算系统的一个或多个输入设备的用户输入向量。一个或多个输入设备可以包括眼动追踪引擎、手指/手/四肢追踪引擎、头部/身体姿势追踪引擎、一个或多个麦克风、面向外部的图像传感器等。

在720，获取与物理对象相关联的追踪数据。一个或多个输入设备包括一个或多个朝外图像传感器。追踪数据对应于物理对象的各种集成传感器收集的数据，例如与物理对象相关的平移值，与物理对象相关的旋转值，与物理对象相关的速度值，与物理对象相关的角速度值，与物理对象相关的加速度值，与所述物理对象相关联的角加速度值、与所述物理对象接触物理表面的硬度相关联的第一压力值、与所述物理对象被用户抓住的硬度相关联的第二压力值等。

在730，基于用户输入向量和追踪数据为物理对象生成第一表征向量，包括姿态值和用户握持值。其中，姿态值表征物理对象与计算系统的用户之间的空间关系，用户握持值表征用户握住物理对象的方式。

在740，基于所述第一表征向量选择第一操作方式作为所述物理对象的当前操作方式。

图6A示出一个场景，其中用户正在手持触控笔和电子设备。

参考图6B，相关值对应于“听写”，电子设备120选择听写模式作为控制器130的当前操作方式，并显示通知624，指示“听写模式激活”。这样，当控制器130的当前操作方式对应于听写模式时，用户149能够口述要在XR环境128中显示的导语、注释、内容等。

另一示例，参照图6C，相关值对应于“书写”，电子设备120选择标记模式作为控制器130的当前操作方式，并显示通知634，指示“标记模式激活”。

参照图6F，相关值对应于“反向书写”，电子设备120选择擦除模式作为控制器130的当前操作方式，并显示通知664，指示“擦除模式激活”。

参照图6I，相关值对应于“瞄准”，电子设备120选择指向模式作为物理对象695的当前操作方式，并显示通知694，指示“指向模式激活”。这样，当物理对象695的当前操作模式对应于指向模式时，用户149能够将物理对象695作为XR环境128中的激光笔类型设备使用。

如742所示，第一操作模式对应于下列方式之一：听写模式、数字辅助模式、导航模式、操作模式、标记模式、擦除模式、指向模式等等。

在一个实施例中，在选择第一操作方式作为物理对象的当前输出方式后，方法700包括通过显示设备呈现包括一个或多个虚拟对象的扩展现实环境。

在一个实施例中，XR环境包括一个或多个与姿势值和用户握持值中的至少一个相关联的视觉指示器。在一个实施例中，XR环境包括一个或多个与当前操作模式相关的可视化指示器。

在选择第一操作方式作为物理对象的当前输出方式后，方法700包括：通过所述显示设备显示用户界面；并检测指向所述用户界面内内容的物理对象的修改输入；针对检测所述修改输入，根据所述修改输入和第一操作方式对所述用户界面内的内容进行修改。

在一个实施例中，方法700包括：检测与所述物理对象相关联的用户输入向量之一或追踪数据的变化；基于所述用户输入向量之一或与所述物理对象相关联的追踪数据的变化确定用于所述物理对象的第二表征向量；并基于第二表征向量，选择第二操作方式作为物理对象的当前操作方式。第二操作方式不同于第一操作方式。

相关专利

：
Apple Patent | Method and device for dynamically selecting an operation modality for an object

名为“Method and device for dynamically selecting an operation modality for an object”的苹果专利申请最初在2022年7月提交，并在日前由美国专利商标局公布。