目前虚拟现实技术的最大局限之一是无法传达出真实和完整的触感。到目前为止,从现代消费者虚拟现实系统(如HTC Vive)中,你能感受到的最多只是通过控制器传来的震动。根据我们在2016年SIGGRAPH(国际计算机图形学与互动技术会议)上看到的情况,似乎合乎逻辑的下一步发展就是在虚拟现实中产生更多种类、更多位置的震动,并将其与适当的视觉和声音同步融合起来。
本周来自世界各地的开发者、研究人员和公司在SIGGRAPH上展示了各种实验性触觉技术,从新颖的硬件到增强的叙事体验,只需在背部装上几个振动装置。
共感套装(Synesthesia Suit)
我尝试的其中一个是由日本庆应义塾大学的研究人员开发的共感套装(Synesthesia Suit)。你可能已经对它有所了解,因为它最早是在2015年的PlayStation VR上Rez Infinite的演示中首次亮相。现在他们再次展示这套装,并开发了额外的虚拟现实体验。
我先是使用PSVR和套装玩了Rez Infinite。的确,套装似乎增加了更多的沉浸感,但最终并没有让游戏感觉更加真实。然后我尝试了另一种与HTC Vive配合使用的套装(为了展示而未命名的演示)的另一个体验,我真的对其中一些感觉的真实度感到印象深刻。
这套装与我之前尝试的套装在不同的位置放置了振动器,甚至还有两个在我的头上!据参与开发这套装的副教授南泽洸太说,这些振动器实际上是基于音圈的致动器,可以产生各种不同的振动。
演示让我经历了几个抽象场景,伴随着同样奇怪的合成声音,它们会根据你的行动或发生在你身上的事情做出反应。我身上会被激光击中,幻影生物穿过我,到处都是漂浮的能量球和其他随机的事物。这一次非常明显,几乎可以说是非常清晰地感觉到套装上的振动装置比你想象的更具复杂的反馈能力,从柔和的能量冲击到锐利的激光穿刺。但这里还有另一个技巧。
配置屏幕显示不同的触觉效果
技巧在于正确强度的振动与适当的视觉和声音的同步,这将是所有这些项目的关键教训。没有这些元素,套装的触感只会感觉像套装的振动,而不是实际上触摸到你的东西。这可能是因为当大脑看到某些事情发生在身体上时,它期望感受到一种特定类型的反馈,同样地,当它期望有视觉上的匹配时,它能更好地理解正在感受到什么。音频也可以在这些期望中起到一定的作用。
因此,如果缺少这些组成部分,触感可能会显得虚假。这可能是Rez Infinite未能展示套装的全部潜力的原因,因为在我尝试的演示中,游戏至少在虚拟现实中没有任何视觉上与我的身体接触,所以我的大脑对振动的代表物没有任何上下文。
同样,对于另一个套装的未命名演示,有各种各样的东西触摸和击中我,这让我感到更真实;但很多时候,它实际上并不是非常有效,因为我看到的东西与振动并不完全同步。这主要是因为这个套装实际上并没有进行任何人体追踪,只是根据Vive上头部和手部的位置来猜测我的身体位置。在将来,这可能会改变,随着人体追踪技术变得更好和更广泛。不过,当它工作时,它几乎令人印象深刻。在某个时刻,我真的感觉到激光击中了我的头,这是一件好事,至少目前是这样。
然而,事实上,这还需改进,因为我看到的与振动的同步并不完全一致。这主要是因为这套装实际上并没有进行任何身体追踪,只是根据Vive上头部和手部的位置来猜测我的身体位置。当然,随着身体追踪技术的改进和更广泛的应用,这可能会发生变化。尽管如此,当它起作用时,它几乎令人印象深刻。在某个时刻,它真的让我觉得激光击中了我的头部,这是件好事,至少目前是这样。
然而,这确实是高逼真度的理念,包括完美同步的触觉、视觉和音频,并不是真正新颖的。实际上,这是一个相当简单和合乎逻辑的想法,早就得到了验证。但随着消费者虚拟现实技术的兴起和“存在感”的新水平,这个话题对于研究人员和企业来说比以往任何时候都更加相关。无论如何,许多人都在尝试以自己的方式追求虚拟现实的圣杯,而触觉是实现这一目标的重要组成部分。
Oculus HapticWave
SIGGRAPH上其他研究人员的工作加强了这一总体概念的匹配反馈。特别是Oculus Research的“HapticWave”项目,这是一个带有振动金属板的虚拟现实多感官实验。用户将手放在金属板上,戴上Oculus Rift头盔,在桌子上控制一个弹跳的球体或移动的火花。用户可以感受到方向性震动,其准确度较高,模拟了桌子上发生的情况,并通过Rift的耳机实现定位音频。
当我尝试时,实际上需要相当长的时间来适应他们为高效展示设置的固定校准,事实上我不得不尝试多次,但当它在短暂的几个瞬间起作用时,物体确实感觉更具实体感而不是虚拟的。因此,它支持了触觉、视觉和音频的匹配理念确实是非常有价值的,而独立使用时价值不大。
另外,我们也不能忘记Oculus作为最大的消费级虚拟现实参与者之一,与HapticWave有所合作,一些人对于他们与如此笨重和‘无用’的金属板有何作为产生了质疑。答案基本上是SIGGRAPH上大多数研究人员会说的:这是为了进一步理解领域而进行的研究,不一定会转化为消费者产品。
在这种情况下,研究人员主要进行了关于触觉的人类感知、限制和有效基准等方面的研究。HapticWave技术在这方面部分起到了工具的作用,并将随着研究的深入而不断进步。同时,还有一个要记住的是,创建了HapticWave的Oculus Research是Oculus的一个分部,专注于长期可能有益的技术 – 5到10年内的时期,因此他们在HapticWave方面的工作可能只是为了奠定基础的一个环节。
HALUX
SIGGRAPH还举办了一些其他较小的实验。其中一个是由电气通信大学的加地本实验室的研究人员开发的利用检测投影光来控制许多小型振动单元的无线系统,称为“HALUX”。我戴着HTC Vive头盔,穿着嵌有HALUX的臂套,并站在一个投影仪前。当我的虚拟手臂与某物接触时,会投射出特定的光图案。
现在,这个演示也存在同步问题,但就如预期的那样,在错觉被打破之前的分秒钟内,确实感觉到有东西碰到了我的胳膊。它之所以奏效,是因为视觉和触觉的时机是正确的,而之所以不奏效,是因为它们的同步出现了问题,或者因为我对在虚拟现实中看到的矩形物体意味着我的胳膊而感到困扰。
FinGAR
同一加地本实验室的研究人员还展示了“FinGAR”,它在手指末端连接了振动和电刺激单元。不同的是,这次没有使用虚拟现实,这使我很难看出该系统的潜力。
触觉感官比仅通过机械振动提供的更为复杂;在尝试演示时,我心里总是有一个想法,如果是在虚拟现实中,它可能会达到一个全新的逼真水平。因此,即使一种反馈类型非常准确和复杂,也需要考虑…在没有其他感官提供足够上下文来判断你所感受到的是真实物体而不仅仅是可穿戴设备的刺激的情况下,这种感受可能无法传达出一种可信度。
阅读FinGar研究论文
可以说,在SIGGRAPH上有很多不令人印象深刻的力觉实验,因为它们存在同步、校准或其他问题而受到了困扰。看起来我们在实现真正令人信服的VR触觉感受方面仍有漫长的道路要走。虽然还有其他方法可以实现某些类型的力觉,但振动是最受欢迎的方式,而SIGGRAPH上的一些实验表明,与当前常见的技术相比有可能取得重大改进。
0