来自Facebook Reality Labs研究人员的原型演示了一种新颖的无控制器手部追踪文本输入方法。该系统将手和手指视为一种预测键盘，使用捏合手势选择字母组。

文本输入对于许多生产力任务至关重要，但在AR和VR头显中仍然是一个挑战。是的，你可以坐在键盘前，但是戴着VR头显你看不到键盘本身。对于一些非常熟练的打字员来说，这不是问题，但对大多数人来说，打字变得尤其具有挑战性。即使对于熟练的打字员（或对于AR头显可以看到键盘的情况），需要坐在键盘前让你被束缚在桌子前，大大降低了你本可以通过一个完全追踪的头显而获得的自由。

语音输入是一种选择，但由于一些原因存在问题。首先，它缺乏谨慎和隐私性——站在你附近的任何人不仅能听到你说话，还能听到你输入内容的全部。另一个问题是，口述与打字是一种不同的思维方式，并不适用于许多常见的写作任务。

在Facebook Spaces中的虚拟键盘

虚拟键盘是另一种选择——你用手指戳击浮动的键盘，但对于严肃的写作任务来说太慢而且缺乏物理反馈。

Facebook Reality Labs的研究人员为AR和VR头显设计了一种手部追踪文本输入原型，它抛弃了我们所熟悉的键盘。

不是触摸键盘上的键，而是将键分组映射到每个手指上。不是选择特定字母，而是用对应的手指捏合包含所需键的彩色组。随着输入的进行，系统会根据上下文尝试预测你想要的单词，类似于移动滑动键盘。研究人员称该系统为PinchType。

PinchType解决了典型虚拟键盘和语音输入的许多问题。它安静、私密，并且看起来比在浮动虚拟键盘上爬打快得多。它还提供反馈，因为你能感觉到手指碰在一起时的触感。

研究人员分享了一些对系统进行测试得出的初步结果：
在一项涉及14名参与者的初步研究中，我们调查了PinchType在初次使用时的速度和准确性，以及与浮空键盘相比的物理舒适度。在输入了40个短语后，大多数人报告称PinchType比浮空键盘更舒适。大多数参与者的平均输入速度为12.54字/分钟，或者在纠正错误所花费的时间之外为20.07字/分钟。与其他拇指到手指虚拟文本输入方法相比，这个速度是有利的。

但也有一些不足之处。这个系统依赖准确的手部追踪，而其中最具挑战性的一个方面——从头戴摄像头的角度来看，手指常常被手背遮挡。在下面的图片中，从这个视角来看，用户是使用小指还是无名指进行敲击是模棱两可的。

很可能PinchType原型是使用高端手部追踪技术开发的，其中包括外部摄像头（以消除精度不高的情况）。我们还需要等待该系统的详细信息被发布，以了解研究人员是否认为这些遮挡情况对于内置手部追踪系统是否构成问题。

PinchType原型是Facebook Reality Labs的研究人员Jacqui Fashimpaur、Kenrick Kin和Matt Longest的工作。这项工作是作为《Text Entry for Virtual and Augmented Reality Using Comfortable Thumb to Fingertip Pinches》的一部分，在以人机交互为重点的CHI 2020会议上发表的。