对于基本的Vision Pro交互,如浏览应用和滚动网页,头盔的眼球触摸输入系统妙不可言。但是,如果你想要在虚拟内容中更多地“动手”,头盔的完整手势跟踪系统则令人不满意。
与Quest 3相比,Vision Pro的完整手势跟踪明显存在更多延迟。这意味着当你移动手时,头盔需要更长的时间来注册手势。特别是在直接抓取虚拟对象的交互内容中,这会导致对象看起来落后于手势。
在即将推出的VisionOS 2中,将有改进手势跟踪的变化。苹果在本周的WWDC 2024的开发者会议中详细介绍了这些改变。
首先,头盔现在以90Hz的速率报告估计的手势位置,而不是之前的30Hz。这意味着系统可以在三分之一的时间内反映手势位置的变化,也可以通过更频繁的更新使手势的移动更加平滑。这仅适用于整体延迟管道的一小部分(我们先前估计为总共127.7毫秒),但在最理想的情况下,它可以将手势跟踪的延迟降低多达22毫秒。
以下是实际效果展示:
这是一项改进,但即使在慢动作中,你仍然可以轻松观察到茶壶相对于手势的延迟。
为了更流畅的体验,VisionOS 2还提供了开发者启用手势预测的选择,该功能提供用户未来手势位置的预测。虽然这并不真正减少延迟,但在许多情况下可以减少感知延迟。类似的预测技术在各种XR跟踪系统中很常见;令人惊讶的是,Vision Pro之前并没有使用这种技术,或者至少没有对开发者开放。
以下是预测功能的实际效果展示:
现在我们可以看到虚拟茶壶更加与用户的手势保持对齐。当然,对于更快的动作,这个效果可能不会那么好。
我们将期待很快使用VisionOS 2来测试Vision Pro的手势跟踪延迟!