Voices of VR播客 我叫Aldis Sippelins。我目前正在完成认知神经科学学位。我过去四年一直在研究大脑训练。但现在它已经破碎了，不起作用。我相信它所缺少的是VR，一种在VR中所得到的存在感和沉浸感。它让你与日常生活中使用的相同认知技能互动，而这种与现实世界的关联是目前大脑训练所缺乏的。很好。那么你将神经科学的哪些见解应用于认知训练？所以我们一直在研究各种形式的脑力训练游戏。我们正在进行一项大型研究，开发了一个在安卓上的脑力训练游戏。这款游戏还可以，人们会使用它，但它并没有带来真实世界的好处。它不能让你在真实世界中的技能变得更好。这是因为看小屏幕并按按钮只能达到有限效果。是的。那么VR有什么样的体验能使它比其他方式更具沉浸感呢？现在我们有一个可玩的演示版本，让你置身于一个摧毁敌人的宇宙飞船中，你的船上的每一种武器都对应不同的认知技能。通过将这些认知需求整合到游戏中，它使游戏更具吸引力，并将玩家置于这种专注状态中。专注是一个流行的词语，但科学已经证明它能促进大脑可塑性。是的。那么让我们谈谈VR体验中发生的一些机制，以及你试图训练的哪些技能。对，对。我们将认知需求从脑力训练游戏中提取出来，但我们不单独将它们作为独立的小游戏进行玩耍，而是将它们整合到一个整体的游戏结构中。我们将有一个引人入胜的故事，一个邪恶的虚拟现实旁白机器人，还有解锁的武器、环境和社交媒体集成，这样你就可以与朋友们比较你的大脑，看看他们不擅长什么。对，我猜这真是有趣之处，就像我们有一个工作记忆，通常你只能记住七个信息块之类的。但令我兴奋的是，VR可能帮助我们扩展我们的大脑容量或工作记忆。所以，你对这个项目的最终目标有什么看法，可能会有什么可能？通过训练并进行重复操作，人类能够扩展他们的思维能力。最终目标是在认知方面带来明显的显著成效。这必须首先经过研究证明其效果，而我们正积极计划研究合作，围绕一个开放的数据库进行研究，我们将免费向研究实验室提供该软件，以换取他们的匿名数据。我们将上传这些数据，这样任何人、任何研究者或任何人都可以访问、分析和发布我们的数据。我们做到了实践出真知。所以，如果它有效，这些论文就会发表。如果不行，那也会发表。我明白。那么，就你个人玩这个游戏的经验来说，你有什么样的变化感受？也许你可以这样说，之前我能做到这个，然后玩了这个游戏之后，现在我能做到这个。不完全是这样。作为一名科学家，我不会对任何事情进行夸大宣传。我在之前和之后没有感觉到不同，但整个脑力训练的前提是，如果你经常这样做，并且它成为你生活的一部分，希望它能改善你的日常认知，这需要研究实验室来证明它是否有效，我相信它有效。那么你如何进行测量呢？传统的测量方法是对人们进行一系列认知能力的测试，比如记忆、注意力和多任务处理。然后让他们在一段时间内玩这个游戏，也许几天到几周，然后再次测试他们的改善幅度。这个术语叫做迁移。如果你一遍又一遍地做同样的事情，你会变得更好，但那只是练习，那是训练。你真正想要的是在其他方面有所提高，所以你希望游戏可以转化为现实生活中的好处，迁移是认知训练的终极目标，但很少有人做到了，我相信之所以没做到，是因为迄今为止只是在浏览器窗口或智能手机上玩脑力小游戏，在VR中，这是完全不同的体验。那么有与之相关的数字吗？或者，你如何开始量化这些不同的任务？所以我们量化的方式是我们有一个强大的机器学习后端，我们的创始人之一拥有计算神经科学博士学位，专攻机器学习。机器学习让你能够组织大量的玩家数据，并让机器学习智能性人发现其自身的结构和联系。我们没有预先的假设，如果我们认为这是一个记忆游戏或注意力游戏，数据将告诉我们它衡量的是什么。通过这种机器学习后端，我们可以知道什么与什么有关联。当你在一个方面提高时，如果这导致其他方面的提高，那就是我们知道迁移是否发生。你们有不同的难度级别，你们谈论波，你如何描述每个波的难度？困难是我们正在做的几个不同的事情之一。传统的自适应难度假设每个人都认为相同的事情很难，但这不是真的。所以我们不只是在每个小游戏中有一个传统的难度级别调整，我们的每个小游戏都有几个可调节的难度参数。比如，我们有一个导弹游戏，我们可以改变你需要跟踪的导弹数量，它们发射的速度，它们发射的范围。每个参数都涉及不同的认知技能。因此，机器学习将告诉我们这些不同的东西正在测量什么，也能个性化地了解每个玩家擅长和不擅长的领域。所以，增加导弹的数量对某个人来说可能很难，但让它们飞得更快对他们来说可能很容易。因此，我们将能够利用机器学习来调整这些参数，以便迫使人们在他们不擅长的事情上变得更好。你说有一种交互式的机器学习，这在某种程度上可以根据个体的需要进行个性化。试图找到他们的限制或阈值，在他们开始崩溃之前慢慢调整游戏。那么这些信息放在哪里呢？它是交互式和动态的吗？对，完全正确。它是非常交互的。我们会知道你在什么方面擅长和不擅长，人们往往只想做自己擅长的事情。如果面对一项你擅长和不擅长的选择，你会选择你擅长的。所以机器学习的整个目的是让它发生得无声无息，以至于你根本不会注意到。这种机器学习被拟人化，这个机器人旁白将引导你完成整个体验。整个游戏的前提是这个旁白希望让你变聪明。当你玩游戏的时候，你会给她数据，这会提高她让你变聪明的能力。所以，我知道有一些不同的神经科学原理，比如神经可塑性，我听说VR可以改变你的大脑。我很好奇，从你的角度来看，你如何描述VR能够改变我们的大脑，比如改变大脑的连结，或者神经可塑性原理在使用VR时的作用。所以，我想，神经科学领域的每个人都同意大脑可以改变，它一直在变化，它会根据经验而变化。神经科学术语中有个说法是“同步成火而连线”。所以，如果你一遍又一遍地做同样的任务，这些神经元会一起活动，你就建立了这些网络。现在，我不会过度炒作。在研究实验室与我们合作进行脑成像研究之前，我们无法开始发言。在此期间，这只是一个有趣的游戏，我坚信它会让你变聪明。好的。是的，我只是想起了James Blaha的“生动视景”，曾被称为“乌托邦”。他能够通过玩一个三维游戏，虽然无法立体视觉，但他第一次能够看到三维视觉，这是他在使用神经可塑性原理的过程中不断进步的。所以，从理论上讲，能否通过仅使用VR输入（例如HMD）来改变我们大脑的连结方式？哦，当然。那些经历真的在塑造大脑方面展示了VR的力量。任何经历都会改变你的大脑。你越沉浸，你的大脑受到的感官刺激越多，它就会越多地发生变化。有了完全沉浸的音频，有了完全沉浸的视觉感受，甚至是工作时的动作感知，我们对为Vive开发非常兴奋。一旦你能看到自己的手，你就会有一种额外的存在感。能够自然而直观地与物体进行交互，最小化从游戏到现实生活的跳跃。我认为这种经历将带来明显的改善。是的。我认为你们将把它归类为一款严肃的游戏。或者你是否认为这是一款严肃的游戏，你又如何描述你正在开发的项目？我们真的不希望这被看作是一款脑力训练游戏。我们的整个目标是制作一款非常有趣的游戏，以至于像我这样的游戏发烧友会在不知不觉中玩，而不知道它正在让他们变聪明，这只是一个附带的好处。那么，你觉得你的游戏有趣吗？你是否真的能沉浸其中并参与进去？或者你觉得还有很多其他东西可以使它在进行中变得具有持久性和吸引力，就像一个沉迷的游戏发烧友一样？我们有一个非常早期的可玩演示版本，因为挑战性使它非常有趣。这是我在游戏中真的很喜欢的事情，我想要被挑战，并且我想要在某件事上有一种掌握感。想到我们将来要添加的所有酷炫事物，我的脑海中充满了想象。我迫不及待想要解锁成就，解锁环境，个性化游戏。我们希望能实现合作游戏。比如，我想与朋友们比较我的多任务能力，向他们展示他们有多笨。想象空间是无限的。所以当你谈到比较的时候，你把它放在一些东西上，你知道你在哪个位置。那么在量化方面，它看起来是一个从0到100的抽象条，你在比较吗？或者你如何开始将这些不同的任务放在一些不同的数字上？我们的做法是我们有一个起始基地，我们称之为你的Nexus。在你的Nexus上是我们称为你的认知云的三维可视化，它是由所有这些不同的游戏参数决定的认知技能。因此，机器学习智能塑造了认知云，这决定了云中每个不同节点的结构，每颗星星的亮度和连接的程度。整个目的是当你玩完游戏，回到你的Nexus时，你可以看到你的认知云中会有一个全新的部分被点亮。当我们添加新的游戏、新的小游戏和新的武器时，云的新部分将会被点亮。机器学习将告诉我们，哦，你添加了一些全新的东西，正在测试不同的东西。或者如果我们添加了一些，但你已经有一个在衡量它的东西，我们就不会再添加它，我们会取代它。你们正在主要开发Gear VR平台还是移动设备和Dk2、所有不同类型的头盔都会开发吗？你们考虑的是什么样的平台？我们目前正在开发Gear VR，因为我认为现在是最合适的时机，它将是首个上市的平台。我认为这将是很多人第一次体验VR，我希望它能成为人们第一次体验真正舒适的VR。我们非常期待开发更多像Oculus Rift和Vive这样的平台。我们已经在规划利用Vive的动作控制开发大脑训练游戏。有关这方面的一些令人兴奋的内容即将发布。哇，听起来真令人激动。对我来说，这是虚拟现实中最令人兴奋的部分之一，因为我可以通过提高自己来成为一个更好、更聪明、或者更擅长玩游戏的人，同时还能获得乐趣，在结束时能够在现实世界中做到以前无法做到的事情。所以，是的，我被困在了“之前和之后”的问题上。我想知道我能做些什么，如果在每个人身上都完全不同，是否有文献中的例子可以说明，像在玩大脑训练游戏之后，他们能做到这个或那个，或者他们根本就没有表现出任何改变，因为就像你说的，他们无法证明迁移效果。是的，因为现在的大脑训练效果并不好，所以没有类似的例子。每个人所看到的差异都不同。机器学习的整个目的是适应每个玩家。所以，如果你像我一样，记忆力很差，经常走上楼忘记自己为什么要上楼，忘记放钥匙和手机的地方，那么你可能会发现，记忆这些事情变得更容易了。对于其他一些人，他们可能在处理多任务或同时做多件事方面更不费力，比如走路时谈话，或者煮饭时听音乐。那么你对虚拟现实最期待的是什么呢？老实说，我最期待的是使用Vive进行运动感应和玩耍。我们有一个非常酷的游戏创意即将推出，基本上是一个带有认知需求的水果忍者游戏，我们将使用3D打印给Vive动作控制器制作一个武士剑形的支架。更多的内容即将推出，但这是我当前在VR领域最兴奋的事情。是的，就像你说的，在神经科学和虚拟现实之间的交集可能非常密切，可以在虚拟现实HMD内进行神经科学研究。你是否认为可以进行各种实验，如你所说的，在虚拟现实环境中调整不同的认知需求负载，然后观察人们的行为，调整不同的变量？是的，确实如此。我在伊利诺伊大学运营了一个虚拟现实研究实验室一年多了，我们正在进行的就是这样的研究。我们正在将通常在纸上或屏幕上进行的传统心理学记忆和注意力测试转化为3D虚拟现实任务，这使得它们更加生态有效，因为我们的生活是立体的，因此在2D屏幕上进行测试并不合理。那么你发现这些研究在沉浸式环境中更有力量和效果吗？还是你发现有些研究的结果与之前的研究相矛盾？目前还没有人进行过这样的研究。我的实验室正在积极追求直接比较传统的2D测试和训练与这些新的虚拟现实体验。这项研究的第一步是验证虚拟现实作为一个平台，并进行直接的比较。这是我们希望在未来展示的内容。我明白了。最后，你认为虚拟现实的最终潜力是什么以及它能够实现什么？我想我们都希望得到同样的东西，我们都希望有一个类似于《黑客帝国》、OASIS或虚拟空间的存在。我认为这是它的发展方向，也是我最期待的。我认为在导航这种复杂的虚拟现实环境中，你需要相当聪明才能做到。所以，希望我们可以帮助你实现这一目标。非常棒，非常感谢。谢谢你的倾听。如果你想支持”Voices of VR”播客，请考虑成为patreon.com/voicesofvr的赞助人。