/ Roadtovr / 0浏览

脑控虚拟现实体验:挑战与潜力

我参加了2016年5月的体验技术会议,听到了几家商业现成脑控接口制造商的发言,他们表示他们的系统无法与虚拟现实头盔原生兼容,因为头盔带有遮挡关键部位的带子。像Mindmaze VR这样的公司正在为高端医疗应用构建集成的脑电图(EEG)硬件,或许我们在2017年会看到更多脑电图硬件的整合。

Qneuro是一家教育公司,他们在体验技术会议上展示了一些利用实验室环境中的脑电图作为输入的早期虚拟现实原型。Qneuro的创始人Dhiraj Jeyanandarajan是一位临床神经学家和神经生理学家,他通过实时电生理信号进行大脑或脊髓手术时的修正。他也是一位父亲,对他的两个孩子可用的教育游戏感到沮丧,因此他创办了Qneuro,旨在创建融合实时脑电图反馈的教育游戏。
Qneuro一直在Unity中构建3D环境,并在iPad上发布,但他们正在等待更完整的硬件解决方案才能发布他们的虚拟现实版本。我在XTech会议上有机会与Jeyanandarajan交流,了解他们在实验室环境中利用实时脑电图反馈来改善教育游戏中的学习过程。

Jeyanandarajan表示,他们正在利用认知负荷理论来提高学习效率。他们使用脑电图数据来检测用户的思维强度,然后动态地减少视觉和听觉复杂性等干扰因素,或增加提示的频率。以下是他们在博客中如何利用认知负荷理论的更多信息:
通过我们自己实验和主要研究收集的实时研究数据,我们的研究设施和团队继续研究认知负荷理论的关键概念,如学习效率、认知负荷、多模态、图式、自动化、注意力分散效应、指导性指令以及从初学者到专家的指导设计修改。

脑控接口(BCI)在提供虚拟现实环境中的实时交互方面究竟有多有效仍然是个悬而未决的问题。OpenBCI的联合创始人Conor Russomanno在5月份告诉我,来自脑控接口的脑电图数据真正的力量不在于实时交互,而是在于更强大且更容易检测到的肌电图(EMG)信号用于实时交互:
Russomanno: 我认为对于从低成本、干型、便携式脑电图头戴设备获取的数据,要务实和现实是非常重要的。很多人对于脑控机器人和思维控制的无人机非常兴奋。在很多情况下,这不是技术的实际应用。我不是说它不酷,但重要的是要理解这项技术对人类未来非常有价值,但我们需要区分哪些是实际可行的,哪些只是为了炒作和激发产品兴奋而已。

在脑电图方面,有大量宝贵的与环境背景结合的长期脑部数据,我们不是将眼光局限于实时交互的EEG或脑机接口方面,而是将这些数据与眼动追踪、心率、心率变异性、呼吸等其他生物测量信息相结合,然后将其与我们与技术的交互方式、你点击屏幕的位置、使用的应用程序等结合起来。
所有这些的结合创造了一个丰富的数据集,包括你的大脑和与之交互的内容。我认为这就是EEG和BCI的未来方向,至少对于非侵入式的系统来说。脑机接口(BCI)。
话虽如此,当涉及到肌肉数据、面部和下巴以及眼部紧缩时,我认为像开放式BCI这样的系统在帮助需要新的交互系统的人们(如患有肌萎缩侧索硬化症(ALS)和四肢瘫痪者)方面实际上会非常实用。
毫无意义地直接跳过所有这些肌肉数据,转而使用脑部数据,而我们却有这样一个非常容易控制的丰富数据集来进行实时交互。最近我一直在强调,BCI很棒,非常令人兴奋,但让我们将其用于正确的事物上。对于其他事物,让我们使用已经存在的数据集,如肌电图(EMG)数据。
VR之音:那么BCI数据应该用来做什么合适的事情呢?
Russomanno: 就像我提到的,我认为要看一下在你做不同事情时你的大脑对什么感兴趣。目前有很多医疗应用,如ADHD训练、ADHD的神经反馈训练、抑郁症、焦虑症,以及一些新型的互动方式,例如被困的人可以通过BCI控制器使用几个二进制输入。从很多方面来说,我认为神经科学手段远不止BCI。肌电图、肌肉控制以及其他所有这些数据集也应该包含在这个革命中,因为我们目前甚至还没有充分利用这些技术。
短期来看,我们仍然无法确定脑电图(EEG)数据能在实时游戏的背景下提供多么有效的数据。数据的质量和逼真度取决于有多少EEG传感器接触点能够直接连接到你头皮上的皮肤。可用的传感器越多,数据质量就越好,但可能使用起来更不方便。由于与VR带相同的最关键接触点重合,因此使用EEG输入作为VR体验的输入可能需要像Mindmaze这样的定制整合头盔。
去年,神经游戏会议改名为体验技术会议和博览会,也许是为了减弱对游戏中实时互动的强调,更加关注其他医疗或教育应用。在体验技术会议上,有很多公司正在使用机器学习技术来放大来自BCI设备的嘈杂且复杂的EEG信号。这些人工智能技术也可以用于检测注意力水平以及不同的情绪状态。
从长远来看,虚拟现实很可能会将越来越多的生物特征数据作为反馈集成到虚拟现实体验中。《The Intercept》最近写到了虚拟现实如何用于收集最详细和最亲密的数字监控,因此使用生物特征数据与虚拟现实体验存在许多未解决的隐私影响。虚拟现实社区和隐私倡导者需要推动公司改进其服务条款和隐私政策,明确收集和存储的数据类型以及如何使用和不使用这些数据。
目前,使用EEG或EMG数据来控制虚拟现实体验仍然存在很多挑战,但也有很多潜力,包括个性化教育应用、医疗应用、基于你的情绪反应的个性化叙述,以及帮助加深冥想实践的生物反馈体验。

0

  1. This post has no comment yet

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注