（

映维网Nweon
2024年10月30日

）iPhone用户可能不会对小组件感到陌生。对于Apple
Vision
Pro，
苹果
同样提供给了基于空间计算的小组件。在一份专利申请中，这家公司介绍了头显设备如何显示情景化的小组件。

根据语义值，电子设备可以获得与物理对象相关联的小组件。例如，当语义值为“冰箱”时，电子设备获得杂货列表小组件，因为冰箱的内容有助于通知应该向杂货列表小组件添加什么杂货。

在一个实施例中，小组件包含状态指示器。例如，状态指示器指示烘箱内部的当前温度，通过电子设备的显示屏可以看到烘箱。

在一个实施例中，小组件包括允许修改电子设备的操作特性的控制功能。例如，当语义值为“螺丝头”时，小组件包括手电筒功能，当选择所述功能时，打开集成在电子设备中的手电筒。通过手电筒提供照明，电子设备可以帮助用户在相对黑暗的物理环境中将螺丝刀定位到螺丝头。

所述电子设备根据相对于所述物理对象的对象接近标准显示所述小组件。例如，当物理对象处于与显示相关联的当前可视区域中时，电子设备显示小组件。作为另一个示例，当物理对象在当前可见区域之外但小于当前可见区域的阈值距离时，电子设备显示小组件。另一个例子是，对象接近标准对应于将小组件显示为显示屏锁定、身体锁定或世界锁定之一。

显示屏锁定对象（又称为“头部锁定对象”）锁定到显示屏的特定位置。为了响应电子设备的姿态变化，电子设备在显示屏的特定位置保持显示锁定对象的显示。与世界锁定对象相比，显示锁定对象的位置和与电子设备相关的当前物理环境无关。

身体对象锁定到用户身体的一部分。例如，计时器小组件锁定在距离用户躯干一米的位置，并且位于躯干中心左侧45度的位置。最初，用户佩戴的头戴式显示器显示定时器小组件，使其看起来离躯干一米远，位于躯干中心左侧45度。继续这个例子，当躯干静止时，用户的头部和头显向左转，检测到向左旋转（例如通过IMU），头显相应地将计时器组件向右移动，以保持计时器在躯干中心左侧45度的位置。

世界锁定对象锁定在一个体三位区域或特定物理环境的特定点。相应地，当与显示相关联的可视区域包括体积区域或特定点时，显示世界锁定对象。为了响应电子设备的旋转，世界锁定对象移动到显示器的不同位置或停止显示。另一个例子是，当电子设备向世界锁定对象移动时，世界锁定对象看起来更大。

图2示出显示情景化小组件的系统210。系统210包括图像传感器212。图像传感器212基于来自物理环境的环境光202输出图像数据214。系统210包括对象标识符220。基于图像数据214，对象标识符220在语义上标识与显示器260相关联的可见区域内的一个或多个物理对象。

例如，对象标识符220针对图像数据214执行语义分割，以便识别在图像数据214中表示的特定物理对象。根据所述标识，所述对象标识符220确定分别与所述一个或多个物理对象相关联的一个或多个语义值224。

对象标识符220基于一个或多个对应的参与分数的函数输出一个或多个语义值224。可以基于来自眼动仪234的
眼动追踪
数据，参与得分生成器222确定与物理烤箱相关的第一参与得分0.8，因为用户正盯着物理烤箱，并确定与物理门把手相关的第二参与得分0.0，因为用户没有盯着物理门把手。

继续这个示例，对象标识符220向小组件选择器240提供与物理烤箱相关联的第一个语义值“烤箱”，因为第一个参与得分0.8超过了阈值0.5。另一方面，对象标识符220放弃向小组件选择器240提供“门把手”的第二个语义值，因为第二个参与得分0.0不超过0.5的阈值。

选择性地向小组件选择器240提供语义值可以节省与小组件选择器240选择和检索相应小组件相关的内存和处理资源利用。

在一个实施例中，小组件选择器240选择一个或多个小组件246，并根据所述一个或多个语义值224获得所述一个或多个小组件246。小组件选择器240向显示驱动程序250提供一个或多个小组件246。显示驱动程序250驱动显示260以基于对象接近标准252的函数显示一个或多个小组件246。

在一个实施例中，小组件选择器240根据基于文本的匹配选择特定的小组件。例如，小组件选择器240标识与小组件名称相关联的特定小组件，其中小组件名称至少匹配语义值的一部分。作为一个示例，所述小组件选择器240获得“烤箱”的语义值，所述小组件选择器240选择名为“烤箱定时器”的小组件，因为“烤箱定时器”的小组件名称包含“烤箱”的语义值。

在一个实施例中，小组件选择器240基于与特定小组件关联的元数据标识特定小组件。例如，小组件选择器240获得“冰箱”的语义值。继续这个示例，小组件选择器240选择杂货列表小组件，因为杂货列表小组件与元数据相关联，表明杂货列表小组件适合与食品容器一起使用，例如冰箱、厨房储藏室、水果碗等。

在一个实施例中，小组件选择器240基于语义值和小组件标准244选择特定小组件。例如，小组件标准244可以是用户配置文件、当前或历史用户活动等。作为一个示例，用户配置文件表明用户的爱好包括烹饪，所以系统210使小组件选择器240偏置以获得烹饪小组件。作为另一个示例，用户配置文件可以指示与设备交互的历史，例如用户以前是否使用过远程可控电子设备（例如恒温器、电视、烤箱等），是否由用户设置等等。

在一个实施例中，小组件选择器240从小组件数据存储242获取一个或多个小组件246。系统210通过网络206获取一个或多个小组件246，并将一个或多个小组件246存储在小组件数据存储242中。

例如，营养应用程序可以向用户提供一个小组件，并允许用户根据语义值224记录咖啡因的消耗。然而，相同的营养应用程序可以向用户提供另一个小组件，并允许用户查看响应语义值224（包括“苹果”）的营养信息，或者允许用户手动输入响应语义值224（包括“未知食物”）的营养信息。

在一个实施例中，系统210包括确定情景数据227的情景引擎226，并将情景数据227提供给小组件选择器240。在一个实施例中，上下文引擎226通过相对于图像数据214执行计算机视觉来确定情景数据227。情景数据227可以指示一个或多个情景值。例如，情景数据227指示场景类型，例如室内与室外。另一个例子，场景类型表示房间类型，如厨房、车库、办公室等。

作为一个示例，当语义值224包括“煎锅”，并且情景数据227指示厨房时，小组件选择器240选择计时器小组件。作为另一个示例，当语义值224包括“煎锅”，并且情景数据227指示炊具零售商商店时，小组件选择器240选择网页浏览器应用程序，包括具有其他商店煎锅价格搜索结果的网页。

图3A-3P示出显示情景化小组件的示例。如图3A所示，用户50的左手握住电子设备310。所述物理环境300包括第一墙301和第二墙302。所述物理环境300包括针对所述第一墙301的物理计数器303和针对所述第一墙301的物理冰箱304。另外，物理环境300包括放置在物理柜台303之上的物理煎锅306和放置在物理柜台303之上的物理烤箱308。

所述电子设备310包括与所述物理环境300的第一可视区域314相关联的显示器312（例如，图2中的显示器260）。

电子设备310对应于包括显示物理环境300的表示的集成显示器的头戴式设备。电子设备310包括图像传感器。例如，所述图像传感器获取表征所述物理环境300的图像数据，所述电子设备310将所述图像数据与计算机生成内容合成，以生成用于在所述显示器312显示的显示数据。显示数据可以通过XR环境来表征。

如图3B所示，电子设备310通过对象标识符220在语义上识别物理冰箱304、物理煎锅306和物理烤箱308。例如，对象标识符220相对于表示物理冰箱304、物理煎锅306和物理烤箱308的图像数据执行语义分割。

如图3C所示，小组件选择器240根据对象标识符220中的语义值（“冰箱”316c、“煎锅”318c、“烤箱”320c），选择并获取相应的小组件。例如，小组件选择器240从小组件数据存储242获得基于“冰箱”第一语义值316c的杂货清单小组件322、基于“煎锅”第二语义值318c的计时器小组件324和基于“烤箱”第三语义值320c的烤箱状态小组件326。

在一个实施例中，小组件选择器240利用与小组件关联的元数据来选择小组件。作为一个示例，小组件选择器240获取与杂货清单小组件322关联的元数据，其中元数据表明杂货清单小组件322适用于厨房中常见的物理容器，例如冰箱、厨房食品柜等。

作为另一个示例，所述小组件选择器240获取与所述计时器小组件324关联的元数据，其中所述元数据指示所述计时器小组件324适用于炊具对象或烤具对象，例如煎锅。

在一个实施例中，小组件选择器240基于语义值和小组件标准244的组合选择特定小组件。例如，小组件标准244可以是用户配置文件、当前或历史用户活动等。作为一个示例，用户配置文件表明用户的爱好包括烹饪，因此小组件选择器240选择计时器小组件324，以便在用户烹饪时显示计时器信息。

如图3D所示，电子设备310在显示器312显示世界锁定的杂货清单部件330和头部锁定的烤箱状态组件334。身体锁定的计时器小组件332最初不显示，因为头显的特定姿势变化可能触发身体锁定的计时器小组件332的显示。

世界锁定的杂货清单部件330锁定在物理冰箱304。世界锁定的杂货列表小组件330包括杂货项目列表和用于修改和共享杂货项目列表的各种功能。

显示驱动程序250基于来自位置传感器236的姿态数据函数驱动锁定到物理冰箱304的世界锁定杂货清单小组件330的显示。例如，基于指示电子设备310向第二墙302轻微向左旋转的IMU和/或图像数据，显示驱动器250相应地在显示器312上向右移动世界锁定的杂货清单小组件330，使得世界锁定的杂货清单小组件330相对于物理冰箱304显得静止。

如图3D所示，世界锁定的杂货清单部件330锁定在与物理冰箱304的左上角的第一距离。物理冰箱304的左上角由第一个标线340表示。另外，第一距离由第一距离行342表示。显示驱动程序250保持世界锁定杂货清单小组件330的显示为锁定在距离物理冰箱304左上角的第一距离处，以便满足相对于物理冰箱304的对象接近标准252。

图3E-3G演示了基于一系列用户输入与包含一个或多个功能的小组件进行交互的示例。

如图3E所示，电子设备310接收第一用户输入348，用户输入348选择世界锁定杂货列表小组件330中的添加项目功能。为了响应接收图3E中的第一用户输入348，所述电子设备310将所述世界锁定杂货列表部件330更改为包含用于向所述杂货列表添加物品的子菜单，如图3F所示。

在一个实施例中，基于确定第一用户输入348指向世界锁定杂货列表小组件330，电子设备310更新一个或多个参与分数。例如，所述电子设备310降低了与所述物理烘箱308相关联的参与得分，因为所述第一用户输入348导向至相对远离所述物理烘箱308的环境的一部分。

在一个实施例中，为了确定与物理烘箱308相关联的参与得分低于阈值，电子设备310停止显示头部锁定的烘箱状态组件334。例如，为了检测指向世界锁定的杂货清单小组件330的输入的阈值数量或检测与世界锁定的杂货清单小组件330的接触超过阈值时间，电子设备310停止显示头锁定的烤箱状态小组件334。

如图3F所示，所述电子设备310接收第二用户输入350，所述第二用户输入350选择添加鸡蛋功能，所述添加鸡蛋功能触发所述电子设备310将“鸡蛋”添加到所述杂货清单中，如图3G所示。

图3H-3P演示了显示身体锁定定时器小组件332。如图3H所示，显示器362与第二可见区域364相关联。第二可视区域364包括物理冰箱304、物理煎锅306和物理烤箱308。另外，示出位于用户50右肩上方的第二标线366，以指示锁定身体的计时器小组件332锁定到用户50的右肩。

如图3H中的移动线370所示，头显360向第一墙壁301移动，并向物理煎锅306右、向下旋转。相应地，显示器362从与第二可见区域364相关联变为与第三可见区域372相关联，如图3I所示。与第二可见区域364相反，第三可见区域372不包括物理冰箱304或物理烤箱308。另外，第三可见区域372的特征是朝向物理煎锅306向下倾斜。所以如图3J所示，显示器362包括在物理煎锅306的炊具表面烹饪的鸡蛋，但不包括物理冰箱304或物理烤箱308。

为了响应于识别物理煎锅306的炊具表面，头显360在显示器362显示与身体锁定定时器小组件332相关联的小组件指示器。如图3J所示，所述小组件指示器包括小组件名称指示器373a和小组件箭头指示器373b。所述小组件箭头指示器373b的方向向所述用户50指示，头显360向所述用户50右肩方向的位置变化触发所述锁定身体的定时器小组件332的显示。

另外，显示器362包括头部锁定的烘箱状态小组件334，因为第三可视区域372满足相对于物理烘箱308的接近阈。例如，第三可视区域372在物理环境300内小于距离物理烘箱308的阈值距离。

如图3K所示，如第一旋转指示器374所示，头显360朝着用户50的右肩旋转，例如朝着第二标线366。集成在头显360中的位置传感器236检测旋转运动。为了响应图3K中的头显旋转，头显360朝向远离第一墙壁301，如图3L所示。相应地，所述显示器362从与第三可见区域372相关联变为与第四可见区域376相关联。

基于头显360向用户50右肩的旋转，显示器362不再包括物理煎锅306，如图3M所示。然而，显示器362继续包括头部锁定烤箱状态小组件334。另外，显示器362包括基于头显360朝向用户50的右肩旋转的身体锁定定时器小组件332。

所以，当物理煎锅306的炊具表面在显示器的可见区域内时，头显朝向用户50的身体的特定部分的移动触发锁定身体的计时器小组件332的显示。身体锁定的计时器小组件332包括剩余时间的指示，并包括用于与主体锁定的计时器小组件332交互的一个或多个功能。

通过不持续显示身体锁定的计时器小组件332，头显360避免了显示过多的可能使显示器362混乱的小组件。同时，为响应检测头显360的特定运动而显示锁定身体的计时器小组件332，使得用户50能够无缝地控制锁定身体的计时器小组件332的显示。例如，用户50不需要按下头显360的物理按钮或进行眼动追踪或四肢追踪即可触发锁定身体的计时器小组件332的显示，从而改善用户体验。

如图3N所示，如第二旋转指示器378所示，头显360从用户50的右肩向第一墙壁301旋转。相应地，显示器362从与第四可见区域376相关联变为与第五可见区域380相关联。第五可见区域380包括物理煎锅306。

基于用户50右肩的旋转，头显360停止显示锁定身体的计时器部件332，如图3P所示。然而，显示器362继续包括头部锁定的烤箱状态小组件334和小组件指示器。

图4示出显示情景化小组件的方法400。

在402，获取与第一物理对象相关联的第一语义值。

在404，第一个物理对象位于与显示相关联的第一个可见区域内。

在406，基于第一个语义值获取与第一个物理对象相关联的第一个小组件。

在408，获得第一个小组件进一步基于小组件标准的函数。

在410，获得第一小组件是响应于确定参与得分满足参与阈值。

在411，获得第一小组件的权限级别。小组件选择器使用来自权限引擎的权限级别以选择所述第一小组件。例如，成人的权限级别高于儿童，因此小组件选择器为成人选择游戏小组件，并为儿童选择教育小组件。

在412，相对于所述第一物理对象的对象接近标准在显示器上显示所述第一小组件。

在414，根据对象接近标准显示第一个小组件包括将第一个小组件显示为世界锁定、身体锁定或显示锁定。

在416，启用与第一个小组件的交互。

在418，功能对应于控制功能，并且执行相应的操作对应于改变与电子设备相关的操作特征。

在420，根据相对于第二物理对象的对象接近标准显示第二小组件。

在422，在显示第二小组件的同时，根据显示优先级值停止显示第一小组件。

在一个实施例中，显示优先级值基于第一和第二语义值的组合。例如，第二个语义值是“烤箱”，它可能与优先级信息（例如烤箱的温度）相关联，而第一个语义值是“乒乓桌”。所以，电子设备停止显示与乒乓桌相关联的小组件，并保持与烘箱相关联的小组件的显示，以便继续向用户提供优先级信息。

在一个实施例中，显示优先级值基于与第一物理对象相关联的第一位置和与第二物理对象相关联的第二位置。例如，第一位置比第二位置更靠近场景背景，所以方法400包括停止显示第一小组件。

相关专利

：
Apple Patent | Displaying a contextualized widget

名为“Displaying a contextualized widget”的苹果专利申请最初在2022年1月提交，并在日前由美国专利商标局公布。