（

映维网Nweon
2024年08月12日

）手势操作是Apple
Vision
Pro的关键。对于这一点，除了头显端的追踪外，你同时可以利用腕带设备来进行手势追踪。现有的腕带手势追踪系统主要使用光学方法，例如RGB摄像头、热摄像头和测距仪等等，但所述方法对遮挡敏感，而且基于腕带摄像头的方法具有固有的隐私影响。

所以在名为“Continuous hand pose tracking with wrist-worn antenna impedance characteristic sensing”的专利申请中，
苹果
就提出了一种腕带天线阻抗特性传感的连续手势追踪方法。

发明利用了“加载模式”电场传感，其中辐射元件与人体电容耦合的人体足够接近。辐射元件接近人体组织意味着使用者成为辐射元素接地平面的一部分。在高操作频率和相应的小波长下，耦合的人体组织（如手腕）变得小于虚拟无限接地平面。

在工作频率下，手势的变化会改变天线的有限接地平面，手势的任何变化都表现为天线产生波长的变化。手势的区分定义为在预定频率下的天线复杂阻抗变化，这是由于手势引起的耦合虚拟接地平面变化引起的自共振位移。取决于天线拓扑，这种耦合效应可以变化和增强。

简单来说，实时天线复杂阻抗特性可用于预测不同的手部姿势。传感器数据由机器学习后端解释，后端输出一个完整的3D手。即便手被织物遮挡，系统都可以进行连续追踪。在一个实施例中，可以追踪两个自由度手腕角度和微手势。手势追踪系统可以扩展到包括两个或更多和/或在不同自谐振频率下工作的不同类型的天线。

所以，可以使用至少一个腕带设备的处理器，基于至少耦合到设备的一个天线的动态有限电气接地平面确定阻抗特性变化，并根据确定的阻抗特性变化来预测用户的手势。

确定阻抗特性变化包括：测量至少一个天线的返回损失幅度和复阻抗幅度以及相移，并作为频率函数；然后确定测量返回损失幅度的阻抗特性变化以及复阻抗幅度和相移。计算返回损失幅度和复阻抗幅度和相移的第一导数；确定损失幅度较低值的指数；计算返回损失幅度和相移的平均值；计算返回损失幅度和相移的最小值和最大值；计算返回损失幅度和相移的标准偏差；并将返回损失幅度、最小值、最大值和标准偏差的第一导数、低值指数聚合为输入特征向量；并向机器学习模型提供输入特征向量。

图1A是具有天线阻抗特性传感的连续手势追踪的示例性腕带手势追踪设备100。设备100包括天线101A、101B、矢量网络分析仪（VNAS）102A、102B、处理器103、电源104（如电池）、通信端口105（如USB端口）和附件设备106（如弹性带、尼龙搭扣等）。

图1B是手势追踪处理管道的框图。管道包括一个或多个天线101A…101n，一个或多个VNA和一个或更多处理器103。处理器103运行实现功能提取器107和一个或多个机器学习模型108的软件。训练数据109用于训练机器学习模型108以预测各种手势。

在处理器103运行的软件通过串行总线与VNA 102a、102b通信。为了初始化自身，每个VNA 102a、102b编程为在21个步骤中测量返回损失幅度（±20 MHz，以1.38 GHz为中心）。检测到天线共振频率（返回损失幅度的最低值），每个VNA根据最低值（通常相位移较小）重新对焦以最大化灵敏度。

在一个实施例中，VNA 102a、102b配置为在时分复用模式下连续感知该频率范围（以避免干扰另一个），使得一次仅传输和测量一个VNA。每个VNA测量返回损失幅度（21个数据点）和相移（21个信息点）。由于本示例中有两个VNA，所以单个完整的数据帧包含84个总数据点。当然，捕获完整的数据点帧大约需要410ms，使得帧速率为2.4Hz。

对于4组值（两个返回损失幅度阵列和两个相移阵列）中的每一组，特征提取器107计算第一个导数（20个特征×4）、峰值指数（1个特征×3）、平均、最小、最大和标准偏差（4个值×4）。

计算产生了100个可用于输入机器学习模型108（例如神经网络）的附加特征。在一个实施例中，使用每个VNA的21个幅度值和21个相移值，计算每个频率的阻抗，产生84个附加特征（21个实和21个虚分量×2 VNA）。对于附加特征，计算了第一个导数（20个特征×4）、均值和标准偏差（2个特征×3）。这导致了另外172个特征，总共356个（84+100+172）特征可作为机器学习模型108的输入。

图2A-2C示出了用于测量天线101a、101b的射频返回损失的腕带设备。当用户的手改变几何形状时，由用户组织变化形成的扩展天线接地平面因此改变了天线101a、101b的自共振，从而改变了在预定频率下观察到的天线101a和101b的阻抗特性。

每个图示的手势下方是天线101a和101b的S11参数幅度（dB）和相位（度）的曲线图。可以看到，三个示例性手势引起明显的相位位移，并移动幅度的峰值频率。

图3A-3D说明了四个天线拓扑的测量和模拟结果。所有四个天线拓扑在与用户臂平面内产生各向异性辐射模式，其包围用户手势操作的体积。

团队通过这四种天线拓扑进行了真实世界的实验，以观察三个示例性的手势如何改变天线的自共振，从而改变其复杂的特性阻抗，如图4A-4H所示。

苹果指出，基于真实世界的实验，所有四种天线设计都能够准确预测手部姿势。

图5A-5F示出了根据实例测量和模拟放置在手腕前部位置的第一三叶天线和放置在手腕其他五个位置之一的第二三叶天线的结果。

图6A-6C示出在三个示例性手势的前部位置模拟三叶天线的电场分布。

图7A和7B示出了当一个天线放置在手腕的前部位置并且另一个天线放置在手腕的左后位置时，在共振频率下模拟的电场强度分布。

图10是根据具体情况使用腕部佩戴天线复杂阻抗特性传感的连续手势追踪过程的流程图。

过程（1000）包括：使用腕带设备，基于与设备耦合的至少一个天线的动态有限电气接地平面确定阻抗特性变化（1001）；

基于确定的阻抗特性变化，预测佩戴设备的用户的手势（1002）；

基于预定的手姿势执行动作（1003）。

相关专利

：
Apple Patent | Continuous hand pose tracking with wrist-worn antenna impedance characteristic sensing

名为“Continuous hand pose tracking with wrist-worn antenna impedance characteristic sensing”的苹果专利申请最初在2022年9月提交，并在日前由美国专利商标局公布。