为了让增强现实（AR）和虚拟现实（VR）等沉浸式技术发挥作用，它们需要不仅了解我们的世界，也了解我们自己。但实际上，我们对自己的认知还相当不足；在我们追求在增强和虚拟现实中迷失自己的过程中，我们也在更多地了解我们自己。

上个月我们写了一篇关于迪士尼研究项目的文章，该项目使用虚拟现实来研究人类知觉。任务很简单——接住一个球，但是大脑和身体协调完成一个简单任务背后的现实常常会让我们的直觉感到困惑。
现在Function与眼动追踪专家Tobii合作，为一位专业钢琴演奏家配备了眼动追踪眼镜，观察发生了什么（请参见本文的视频标题）。钢琴家Daniel Beliavsky开始演奏一些复杂的曲子，结果非常有趣，也揭示了我们对自己认知的尚需了解之处。
在该视频中，从Beliavsky的视角来看，一个黄点显示出他的目光所注视的位置。他的目光并不会经常盯着自己的手，以确保每个音符都准确地按在键上，而是会快速移动，常常先导引双手到达键盘上的下一个位置，然后通过他的外周视觉再返回到双手之间的位置，从而同时获得有关双手的信息。

这个视频不仅突显了眼动追踪在沉浸式技术输入中的潜在用途，也展示了使用原始数据来理解人的意图所面临的挑战。虽然我们可以利用眼动追踪输入进行诸如焦点渲染之类的被动操作，但将其用于交互性功能却是一个更加复杂的问题。
仅仅根据Beliavsky的眼动数据，可能可以预测他接下来可能的动作，但由于在这种情况下大脑、手和眼睛之间的相互作用的复杂性，这样做可能会极其困难。

如果计算机必须猜测在Beliavsky注视双手之间时最重要的事情是什么，它可能会猜测是双手之间的键。但实际上，Beliavsky通过结合肌肉记忆和外围视觉线索来使他的表演成功，而有时候他的眼睛所直接注视的点并不重要。在这种情况下，原始数据背叛了用户的意图。对于生物特征识别技术在简单的被动输入和数据收集之外的实用性来说，意图表现出了一个重要的挑战。
我们对人类知觉的了解越多，虚拟和增强现实世界将能够更深度地沉浸我们。有一天，完全模拟人类知觉的输入和输出可能是可行的，但在今天，我们只是刚刚开始这个旅程。