索尼互动娱乐（SIE）的研究人员最近展示了一款原型动作控制器，该控制器借助机器学习和电容式传感器展示了全手跟踪的实验技术。

基于视觉的手部跟踪系统（如Leap Motion）在你没有握住动作控制器时很适合跟踪手部，因为动作控制器通常可能遮挡手指的移动，从而破坏了虚拟现实中手部真实1比1呈现的幻觉。
为了使VR动作控制器更具手部存在感，SIE的研究者有了构建原型控制器的打算。该控制器集成了一系列电容近距离传感器，类似于Valve的Index控制器（又名“Knuckles”）和Oculus Touch中的那些传感器。
图片由SIE提供
原型控制器内置了62个电极，Arimatsu和Mori使用这些电极记录了来自不同手部大小和姿势的训练数据集。与Index控制器类似，索尼的原型控制器采用了开放式手掌设计，并使用手腕带。
论文中指出：“我们引入了2.5D表示，将卷积神经网络方法应用于曲面电容图像，并使用基于计算机视觉领域最新成果的两种网络架构对我们的数据集进行了评估。我们还使用原型开发了实时交互应用程序，并展示了在VR应用中使用手指进行直观交互的可能性。”
上面的视频展示了一些令人印象深刻的结果，但是Arimatsu和Mori坦言，他们目前的设计还存在一些缺点，特别是对于各种手部大小的支持不足。
“如果我们将我们的方法交付给全球用户，这可能会成为一个问题。目前我们的训练方法无法实际进行个别用户的微调训练，因为我们需要光学跟踪系统来记录训练数据集。为了更好地适应各种手部大小，需要研究一种增加或合成电容图像的方法。”
图片由SIE提供
当前的算法无法估计用户手部的形状，例如手指的厚度，这可能导致实际手势和虚拟手势之间存在差距，尤其是进行钳夹动作时。当然，用户可以在拾取较小的虚拟物品时进行自调整，尽管这对于Knuckles和最初的Oculus Touch控制器来说也是如此，这两款控制器的电容传感器都相对较少。
无论如何，如果索尼继续朝着商业化前进，无论是通过索尼建造的PC解决方案还是为PS5设计的控制器，都将是令人感到兴奋的。我们还在等待下一代PSVR的公告，我们真心希望它至少能放弃陈旧的PS Move和PS Camera光学组合。