The Voices of VR Podcast
欢迎
我的名字是 Ken Bai，欢迎来到《Voices of VR》播客。
未来的神经科学与虚拟现实
接下来我将探讨的系列是神经科学与虚拟现实的未来。我认为这是VR领域中最有趣的部分之一，因为有许多不同的神经科学研究者正在尝试将VR整合到他们的神经科学研究过程中。VR不仅可以从神经科学家那里获取大量有关感知本质的信息，我们还有能力使用VR创建全新的洞见，来深入了解心智本身——通过非常具体地控制某人所经历的事件，并能够解构大脑不同部分的激活情况，这通常与眼动追踪和脑电图（EEG）数据相关，而这一切可以与我们的运动数据相结合。通常做到这一点是非常困难的，但在VR中，我们可以拥有这种神奇的三重奏。
我将进行大约13次不同的访谈，探讨神经科学和VR的未来，来自经验丰富的创作者、硬件设计师，他们在尝试将不同方面的硬件与EEG结合，从Mind Maze到Neurable，还有不同的神经科学家，加拿大高级研究院实际上让我在2018年参加游戏开发者大会，并帮助主持了一场关于神经科学家与更广泛的游戏开发社区讨论的会议，这也是我将在这个系列中包含的内容。此外，还有今年5月在纽约市举行的加拿大高级研究院赞助的关于神经科学与VR未来的研讨会，这次会议聚集了30名来自行业的专家和神经科学家，共同探讨VR如何开始应用于他们的研究。这是将行业中的不同人和神经科学领域的人汇聚在一起，开始进行一些对比讨论。
因此，我认为这是非常吸引人的，这种跨学科的合作趋势正在发生，神经科学家、游戏设计师、建筑师和其他不同的学科正在通过虚拟现实这种媒介以不同的方式相互合作。我很期待深入了解一些领先的神经科学研究人员在做什么，以及这些创作者是如何实际将神经科学和生物反馈整合到他们所创造的体验中。
开场访谈
这次我首先访谈的是 Craig Chapman，他是阿尔伯塔大学的神经科学家。他正在尝试将来自VR的运动追踪数据和眼动追踪数据结合使用，从而自动标记和标记EEG数据，利用这些不同的机器学习算法，使用来自VR的运动和所观察到的行为来自动推断这些行为，并能够将其标记与EEG中的数据相关联。
今天的《Voices of VR》播客将涵盖这一切。与Craig的访谈发生在2019年5月23日于纽约市的加拿大高级研究院神经科学与VR未来研讨会。
Craig的介绍
我的名字是 Craig Chapman，我是阿尔伯塔大学的神经科学家。关于我在虚拟现实方面的工作，我正在帮助人们理解，当我们使用虚拟现实设备时，我们可以获得一种测量工具。它们是真正敏感的运动追踪器，用于跟踪你的头部和手部，最新一代的设备还包括眼动追踪。我认为这些信号不仅可以让我们为游戏用户或其他用户创造更沉浸的体验，还有潜在的应用，比如在临床人群中测量运动。
VR与传统设备的比较
我们在阿尔伯塔省的加拿大高级研究院举办这场神经科学与VR的研讨会。昨天你在会上做了一场关于你实验室的演讲，你提到以前需要花费10万美元的设备，现在你可以用一台2000美元的Vive Pro加上眼动追踪技术来完成。
所以你能谈谈你现在能够用这些技术实现的内容吗？
是的，传统上使用的系统是各种专业的动作捕捉系统，获取一个能够全面追踪身体运动的系统通常需要花费数万美元，而眼动追踪设备的头戴式系统也要数万美元。然而，现在Vive Pro和其他类似设备能够以相同的时间频率获取头部和手的六自由度数据（位置和旋转）。我们现在正在测试这一技术在空间上的表现。
我们可以获得的信息包括你的手如何在空间中移动，您每时每刻在看什么，以及您的头部的旋转情况。虽然这些设备并不能给你所有信息，也并没有呈现出所有的关节，但在VR领域中有一些有趣的创新可能使我们能够不仅捕捉手和头部，还可以实现全身运动追踪，这对解锁VR数据的丰富性至关重要。
三重奏模型
你提到的三重奏具体是什么？
我认为我还没有提到的一个重要模态是神经记录。目前我们使用的是脑电图（EEG）。在我的实验室中，三重奏的组合是同时记录运动追踪、眼动追踪和EEG。目前在我的实验室中，我们没有能力在VR中实现这一点。但我为成为这个小组的一员而感到兴奋，因为我确实认为下一代的VR头显将会包括神经记录，目前有一些原型设备已经问世。如果我们能在进行沉浸式体验的同时记录神经数据，那对我们作为科学家以及身临其境的体验社区来说将解锁什么潜能！
提问与推测
有哪些问题是你在试图解决的？你能从这些数据中推测出什么？
这是一个好问题。我们首要的做法是利用我们在机器学习方面看到的进展，帮助理解EEG数据。当然，机器学习需要一个大的数据集，并且需要标记那些数据。过去EEG数据的一个问题是很难知道该如何给数据分配标签。而我们现在的做法是利用眼动和手部行为来推导出标签。
例如，如果一个标签是“我正在伸手去拿一个物体”，那么这是一个我们可以从眼动和手部行为中自动提取的标签，然后将其分配到EEG数据中。我们正在进行一个过程，将自动提取多个标签，并用它们给EEG数据打上标签，然后建立机器学习模型，来预测一个人即将做什么。
如果我们证明这行得通，还有很多问题可以问，包括如何派生出各种不同类型的标签，并帮助预测用户将要体验什么或下一步要做什么。
信息的整合
这听起来像是您正在进行两个层次的标签化，您从运动捕捉数据中获取所有空间数据，人们的运动数据，这些数据可以实时看到或可以回放查看，可能很难看清所有数字所代表的行为，但当您看到这其中的专业描述时，身体所做的事情变得相当清晰。那么您能够通过AI从中提取出这种空间运动数据与标签之间的关系，然后将这些标签分配到神经数据中。
准确来说，这确实是一个两步过程，而我们希望创新的地方在于自动化第一步。在眼动追踪历史中，分析眼动数据的唯一方法就是逐帧检查每个帧，看看每帧中人是不是在看咖啡杯，或者是否在看叉子。这是极其繁琐的工作。尤其当您开始转向这沉浸式的三维追踪时，您基本上需要能够自动提取这些标签。
意图与自由意志的探讨
您是否在研究意图行动或自由意志等不同的文本，试图确定人们在进行这些任务时发生的事件链？在他们的身体以及EEG数据中，是否能够获得一种系统的映射？您需要理清哪些问题？
这是个很好的问题，目前我们正与相对规定的任务展开工作。给定特定的任务序列会让我们更容易提取出标签。如果我们了解你会移动到A而不是B，那我们仅需关注A的运动。
但是我确实有其他工作显示，如果我们记录人在进行决定时的运动行为和未进行决定时的运动行为（比如被告知要去哪里与自主决定要去哪里），那在运动行为上确实会有所表现，显然在他们的大脑中也会表现出某种特征。
所以当我们证明这项技术是有效的后，我们将希望取消一些任务的限制，查看在允许自由探索环境的情况下，这种预测建模会保持多大程度。
有趣的实验与意图绑定
您在演示中提到的一个神经科学概念是意图绑定，您能否谈谈这方面的内容？
意图绑定是这样的一个现象：当我感觉自己引起一件事件，譬如我按下开关或按钮使灯亮起时。如果我按下按钮，灯亮了，并且我感觉自己造成了这个结果，当你问我这两个事件的时间差时（按钮按下和灯亮起），我会觉得这两个事件的发生时间更近。但是如果你让我的感觉改变，觉得我并不是造成这个结果，比如按钮还是按着，但灯突然亮起，尽管这两个事件的时间差是相同的，我仍然会觉得这两件事情相隔更远。
所以，当我觉得自己在进行意图行动时，这两件事情在时间上就更容易绑定到一起。正如Anil昨天在VR中做出的那个有趣的实验，它可能不是意图去动，而是移动本身的效应。Anil展示了，当你看到手在VR中的表现时（它与您的虚拟手或真实手在同一位置），你会看到这只手移动、按下按钮并且从视角上看这可能是你的手，这样两者就能更加紧密地绑定在一起。
此外，关键在于人们实际上并没有移动。没有移动相关的因素，单纯的视觉和音频体验就足以让这个事件被吸引到一起。我认为他课堂还加入了触觉反馈。你并没有动你的手，但手指感受到触觉反馈，感觉自己按下了按钮。你看到虚拟手在移动，尽管实际并未移动，但当按钮被按下时，无论你是否真正按下按钮，这种触感存在。“意图绑定”的效果能否发生仍是重点。
共鸣与未来的展望
关于交互体验未来的希望、VR对人类的潜在影响，你认为匿名的交互能带来什么？
我对VR潜力的兴奋之处不仅在于它作为娱乐设备的用途，我认为那是一种伟大的应用。但作为研究和临床工具的潜力才是我最兴奋的地方。想象一下，当你走进医生办公室需要进行感觉运动诊断时，他们会进行一些快速的测试，比如：用眼睛跟随这个光点，检查你的反射，看看如何伸展手臂。这些测试有效，但也相对受限。
想象一下，现在我可以给你戴上耳机，给你控制器，让你体验一个独特的五分钟沉浸式体验。这样我就能收集到大量关于你怎样移动、你关注的东西的数据，未来甚至可能会看到你的大脑在响应这些活动。
总结与感谢
作为临床工具，VR将成为极其丰富且详细的测量你感官运动功能或损伤的设备。
还有其他想对沉浸式社区说的吗？
没有了，谢谢你采访我，与你在这几个会议上重叠真是太好了！
非常感谢你，Craig。
以上就是Craig Chapman，他是阿尔伯塔大学的神经科学家。关于这次访谈，我有几个要点：首先，Craig的整个口号就是“运动即思考”。可以通过观察某人的运动来了解他们在想什么。我认为这强调了体现认知的概念，他在这里讨论的是，我们的大脑已经进化为一个移动的机器，试图告诉我们的身体如何运动，但这并不是线性的系统，而是一个庞大的递归与并行的过程。
他提到了10赫兹的感官采样节律，不断地从外界获得信息，并在大约2到4赫兹的频率下共享和重新包装这些信息。Craig对运动的思考方式，使我们能够看出运动和认知之间的深层联系。他谈到在VR环境中整合这些信息，识别出神经信号，并通过机器学习理解大脑所发生的活动。
今天的访谈让我深入思考了在神经科学与虚拟现实的交汇点上的未来发展，以及我们如何可以利用这些技术来深化对运动和思考之间关系的理解。
感谢您收听《Voices of VR》播客。我将继续深入探讨神经科学在VR中的应用。如果你喜欢这个系列，请考虑支持我们的Patreon，感谢所有Patreon的支持者们，您是使这个播客保持免费和可用的重要组成部分。如果您希望支持我的工作以及让这种类型的报道能够让更多人学习，欢迎访问 patreon.com/voicesofvr。
再次感谢您的收听！