在AR/VR技术领域，一些最基本的问题尚未完全解决，如如何使文本输入变得快速、舒适和熟悉。Facebook的Reality Labs（FRL）今天公布了关于手部追踪的新研究成果，旨在为AR/VR用户带来触摸输入，而无需实体键盘。

VR键盘尚未取得重大进展，图片提供：Virtual Desktop
Quest已经具备基本的手部追踪功能，使您可以浏览系统界面、浏览网页和玩诸如《巫师圆舞曲：扩展版》（2019）这样的支持游戏，而无需使用触摸控制器，而是让您伸出自己的手来施展法术和操作物体。
尽管这些用例可能非常有趣和有用，但我们对手部追踪及其在虚拟现实中的潜在用途仍然处于非常初级的阶段。将手指作为虚拟键盘上的光照指针使用，揭示了自然VR输入方法中仍然存在很大差距的程度。在这方面，Facebook的研究人员一直试图将手部追踪应用于更有用的场景，并且他们最近的研究旨在解决迄今为止VR/AR头显用户最令人沮丧的问题：文本输入。
Facebook今天透露，其FRL研究人员使用运动模型来预测人们在平面表面上输入时的意图。该公司表示，他们的技术可以分离出个别手指及其移动轨迹，这种信息在智能手机和平板电脑等触摸屏设备上是根本不存在的。

“这种新方法使用基于标记的手部追踪系统的手部动作作为输入，并将动作直接解码为他们打算输入的文本，”FRL表示。“虽然这项研究仍处于早期阶段，但此次探索展示了手部追踪在提高生产力方面的潜力，例如在任何表面上快速键入。”
克服的最大障碍之一是“不规则”的输入模式。在没有触觉反馈的情况下，研究人员寻求了人工智能中其他预测领域的帮助，以解决猜测手指下一步可能去哪的问题。FRL表示，他们的研究人员借鉴了自动语音识别中的统计解码技术，本质上是用手部动作来替代音素以预测按键的位置，简而言之。

“结合语言模型，尽管手部动作模糊不清，但连接手部动作，可以预测人们打算输入的内容。使用这种新方法，输入速度平均为每分钟73个单词，错误率为2.4%，仅使用手部、平面表面和其他任何设备（如键盘）与实体键盘上的同一打字者相比，达到了相似的速度和准确度，”研究人员表示。
关于使用手进行输入的研究是使用高精度的外部手部追踪系统进行的。很可能研究人员想要证明仅凭手部动作就能可靠预测打字意图的想法，在尝试适应Quest和Quest 2等较不精准的手部追踪数据之前。虽然如此，Quest上的手部追踪仍然是一个持续研究的领域，并且有望随着时间的推移得到改进。下面是Facebook如何处理通过多个摄像头视图跟踪单只手并无缝切换之间的见解：

凭借对手部追踪的洞察力，Facebook无疑正为下一代AR头显做准备，即那种可以始终佩戴在汽车、工作场所、家庭中，并只在充电时取下的独立AR头显。将Quest 2作为AR交互的测试平台听起来是一个合乎逻辑的步骤，虽然公司没有明确说明，但我们希望能在这款功能更强大的独立VR头显上看到更多酷炫的手部追踪技术的实验性应用。