/ Voiceofvr / 0浏览

神经科学与虚拟现实:GDC 2018的生物传感器驱动虚拟现实开发座谈会

The Voices of VR Podcast

Introduction

大家好,我是Ken Bai,欢迎来到《虚拟现实之声》播客。此次节目是我关于虚拟现实未来神经科学系列的延续,这一集将呈现我在2018年主持的一个小组讨论。加拿大高级研究院(CIFAR)一直在探索如何将虚拟现实等沉浸式技术应用于特定的神经科学研究。他们希望开启神经科学研究人员与游戏开发者之间的对话,旨在向游戏开发者群体分享一些关于感知和游戏设计过程中可能有用的神经科学概念,同时也促进游戏开发者创造不同的沉浸式体验,帮助进行更具体的神经科学研究。

这场讨论会是由加拿大高级研究院赞助的,会议于2018年3月22日在加州旧金山的游戏开发者大会上举行,参与学者有Craig Chapman和Alana Fish,他们还邀请了Jake Stauch,他是NeuroPlus的创始人和首席执行官。他正尝试将生物传感器驱动的不同生物数据融入游戏玩法和医疗应用中。

这段音频质量不是很好,我直接从声卡录制时出现了剪辑失真。我也从观众那录了一段,质量稍微好一些,听起来相对容易。不过音质还是有点混响,所以不是最佳的录音,但是我认为这段对话在历史上有一定的重要性,我想把它分享出来,因为神经科学家与游戏开发者之间的对话将在未来的很多年中继续发生。因此,今天的《虚拟现实之声》播客也将覆盖这一内容。

小组讨论介绍

这场小组讨论的主题是《虚拟现实的未来、神经科学与生物传感器驱动的发展》,由CIFAR主办。让我们直接进入主题。

早上好,大家!让我们开始吧!今天早上看到这么多人在这里真是太好了。如果你来是为了了解虚拟现实、神经科学和生物传感器驱动的发展,你来对地方了。我是Rebecca Finley,来自CIFAR,我们很高兴能支持今天的这一环节。

这是我们第一次出席GDC,我也第一次来GDC,真是非凡的经历。我非常开心!如果你还不太了解CIFAR,我们是一个全球性研究机构,位于加拿大,汇聚了世界顶尖的研究人员,包括一些早期职业的优秀人才和资深研究人员,致力于推进全球重要领域的研究与创新,包括人工智能、量子计算、可持续社会及人类健康。

今天的面板将展示CIFAR的全球学者Alana Fish和Craig Chapman,他们是脑、心灵和意识现实项目的一部分。该项目旨在理解人类意识和认知背后的科学。今天他们还将与Jake和Kent Bide一同参与讨论。尽管你们都知道,他们都是游戏开发和虚拟现实领域的专家和企业家,我们希望这将是一场引人深思且富有启发的对话。感谢大家的参与,我将把时间交给Kent。

讨论开始

谢谢你,Rebecca。那么,虚拟现实代表了一种新的交流媒介,让我们可以以全新的方式投入到体验中。我认为其中部分原因在于,你能够获取到所有这些生物数据,而这些数据将如何融入到体验中,以及我们将用这种数据创造什么样的游戏设计,今天我们将探索这些生物数据的类型。

简短的介绍之后,我们将开始各自进行简短的陈述,然后进行一些有主持人的讨论,询问关于可能性、已知与未知的各种问题。我将让每个人先简短介绍一下自己,然后进入演讲环节。

嘉宾自我介绍

好的,我们从Craig开始。

我是Craig Chapman,来自阿尔伯塔大学,我将自己归类为运动神经科学家。

我是Alana Fish,我的背景是计算机科学,我使用机器学习来理解我们的大脑如何处理语言。我目前在维多利亚大学,但我今年要转到阿尔伯塔大学。

我是Jake Stauch,NeuroPlus的创始人和首席执行官。我们开发了一款脑控视频游戏来帮助改善认知表现。

演讲环节

让我们开始演讲,然后再进行讨论。

非常感谢!也谢谢CIFAR组织这一环节。我非常高兴能在这里。让我带你回到2007年冷冷的1月早晨,那天我醒来,发现自己无法动我的右臂。如果这是一个神经科学会议,那我就会讲述这是由于某种罕见的神经病而推动我职业生涯。然而,我在这里是一个游戏开发者大会,而我无法动右臂的原因正是因为在我醒来前24小时,我正在玩我刚买的任天堂Wii,试图打一百个本垒打。

接下来,十年后,我想给你介绍Sam。她是我实验室的本科生,自我称之为非玩家。我曾看到她玩《火箭联盟》,可是当我们把Sam放进HTC Vive的《长弓模拟器》里,她完全被吸引住了。她不想离开这个沉浸环境。那么,为什么这些游戏如此吸引呢?我认为,首先并不是因为它们的视觉效果,而是因为直观的运动控制。

我们可以用两颗星星来代表关于大脑如何处理信息的一些理论。我认为直观运动控制正是令人愉悦的关键。也就是说,准备按一个按钮时,你的大脑程序化按下这个按钮,并不期望你会摆动手臂。同样地,当你去推动左边的摇杆时,你的大脑也没预期会转动你的头。而在我们讨论的这两款游戏中,这种控制方式变得更加直观。

数据采集及分析

接下来,我想分享一种我们在实验室收集的眼动与动作跟踪的数据。我希望我们能为这类数据赋予更多的意义,帮助我们理解大脑中正在进行的活动。这将有助于我们自动对数据进行有意义的分类,进而在新的领域中,尤其是那些涉及到深度学习和机器学习的领域里,创建新的游戏体验。

我们不仅希望能够收集眼动和运动数据维度,同时也希望能够同步收集神经数据。首次展示的这是一个同时记录的眼动、运动和EEG数据的人在进行任务时产生的图示。我和Alana的合作就是希望能在数据生成上进行更好的探索。

结束语及总结

所有这些工作表明,科学家们正在致力于收集、分析并最重要的是诠释复杂的生物数据。我们希望在创造新游戏时也能够具备更高的灵活性,最终使这对游戏开发者和科学家之间的合作(对双方都)产生互惠的价值。然后,我们欢迎问题。

谢谢大家的参与,今天的讨论到此结束。