The Voices of VR Podcast
主持人介绍
我的名字是 Kent Bye，欢迎收听《The Voices of VR Podcast》。
采访介绍
在今天的节目中，我们将讨论 Advanced Brain Monitoring，这是一家成立了约 17 年的公司，创造了一种可以与虚拟现实头戴显示器结合使用的 EEG 传感器。我有机会与公司的首席执行官兼联合创始人 Chris Burka 交谈，我们讨论了他们能够确定的一些 EEG 指标，从嗜睡到引导流动状态、认知工作负荷、专注、压力、情绪和同理心，以及神经退行性疾病的不同生物标志物。
他们正在将 EEG 传感器与 VR 头戴显示器结合，看看他们是否能够潜在地维持患有神经退行性疾病患者的记忆，甚至可能改善记忆。
同时，我们还将讨论一些在医疗背景与消费者级背景中使用 EEG 数据时面临的伦理和隐私问题。
广告赞助商
今天的节目由 VR LA 赞助。VR LA 是世界上最大的沉浸式技术博览会，展出超过 100 个 VR 和 AR 体验。他们将举办大量小组讨论和研讨会，让您向行业领导者学习关于娱乐和叙事的未来。我自己非常喜欢看到最新的运动平台和在其他地方看不到的体验。通行证从 30 美元起，但我实际上建议您购买专业通行证，以便可以看到更多的演示。VR LA 将于 4 月 14 日和 15 日举行，访问 virtualrealityla.com 并使用促销代码 vrla_voicesofvr 获得 15% 的折扣。
采访背景
这次与 Chris 的采访发生在 2017 年 3 月 15 日的体验科技大会上，地点在美国加州旧金山。
Chris Burka 自我介绍
我是 Kris Burka，Advanced Brain Monitoring 的首席执行官和联合创始人。我们实际上已经营业 17 年了。我们开发移动、易于使用、可扩展的传感系统，专注于大脑，但我们也监测心脏、皮肤电导、呼吸和肌肉活动。任何可以非侵入性测量的东西，我们都有所开发。
我们系统的独特之处在于它们非常舒适，易于使用，并且易于与其他系统（如 VR、AR 或眼动追踪）整合，因为我们的整个 EEG 系统非常柔软和舒适。
我们已经做了很多整合项目，希望在 VR 和 AR 中做更多的项目。我们是一家医疗设备公司，因此我们所有的产品都经过 FDA 的临床应用批准。但我们同样也用这些系统做很多新奇的、好玩的应用。
VR 和 PTSD 治疗
到目前为止，我们在 VR 中做过两件事：一种是用于 PTSD 的暴露疗法。我们尝试将暴露疗法与所有这些多传感器系统结合，使军人首先训练识别当他们经历潜在的压力相关的战斗场景时的生理变化。
第二件事是针对认知障碍患者，他们可能正在经历记忆丧失，可能在阿尔茨海默病或其他痴呆症的进展路径上。我们发现，如果将他们带到非常新奇的异国环境中，会增强他们的记忆。因此，这为 VR 的实施提供了天然的机会。
记忆与VR的结合
我们识别出的一些大脑指标会随着认知障碍的加重而变化。目标是利用这些异国旅行地点，然后在 VR 情境中嵌入小的记忆测试，希望刺激人们在新奇或刺激位置中经历的相同路径。为了做到这一点，我们结合了神经指标，以便看我们是改善了认知状态和记忆，还是仅仅保持不变。
我们有许多合作者正在使用我们的系统，他们在进行游戏应用或军事训练，使用 EEG 来实现不同类型的认知算法或训练算法，以查看接受培训者是否准备好接收信息，然后在与 VR 场景的闭环中使用这些信息，以减慢、加快或使体验更有趣。我认为这是另一个值得关注的集成应用领域。
关于神经退行性疾病的看法
与 Walter Greenleaf 交谈时，他提到我们正面临一个老龄化人口即将到来的危机，以及许多这些大脑退行性疾病，包括阿尔茨海默病和痴呆症。因此，我从你的记忆经验中听到的内容，是否在试图找到某种方法来利用 VR 刺激大脑？如果大脑的部分神经连接丧失，你是否能通过神经可塑性的原理找到替代路径？
是的，没错。科学文献中已经有相当好的基础，这个概念是新奇和异国环境会刺激与记忆系统密切相关的路径。带人去旅行或提供新奇的水果和蔬菜，或者他们从未体验过的引人入胜的事情，会增强他们当天的所有记忆。所以，这对于 VR 是理想的，因为我们不能每天带人去旅行，但我们可以为他们提供小型探险。
再讲一下，值得一提的是，我们有客观的大脑指标来查看这是否改善了他们的记忆，以及是否改善了与更好记忆关联的大脑状态。这是一种客观的，也是一种体验的方法。
与制药行业的合作
在过去的五年中，我们与制药行业合作，绘制出这些不同神经退行性疾病的脑生物标志物，以便在药物推出市场时使用。但获得有效药物的过程非常漫长。因此，在做出所有这些诊断指标后，我们现在非常关注可用技术的种类。
我们拥有电耳药物，也就是刺激疗法；我们有认知训练环境；还有整合在一起或单独使用的游戏娱乐信息技术。这些都可能为我们至少提供一个机会去保持一个人，尽管不是改善他们的记忆，但至少在等待药物与其他设备及其他替代疗法的过程中，保持他们几年的现状。
音乐和记忆的结合
我看到过一些视频，显示患有神经退行性疾病的人在听音乐时会起来唱歌，能够触及他们记忆的另一个维度。根据我个人的经验，通过 Google Earth VR 回到我之前生活过的地方，看到那里的建筑，也唤起了我的记忆。所以我看到地点和记忆之间确实有这种联系。我很好奇这是否是异国地点理论的一部分，如果能够让他们去往他们从未去过的新地方，或者是他们的故乡等熟悉的地方，有可能唤起他们的不同记忆吗？
绝对是的，因为这些老记忆会在更长的时间内保留。因此，使用某种 Google Earth 的想法，将你带回到仍然在你大脑中保留得不错的时光，可能会刺激那条电路。我们还在考虑，在 VR 中放置物体，你可以在 VR 环境中放置熟悉的人，并通过大脑活动检测是否能识别你，或者我的大脑是否在说我不再认识你，通过不同的人和对话再次刺激仍然存在的记忆，并帮助建立新记忆。可能性很多。
EEG的度量指标
关于 EEG，你有很多基于 EEG 的指标，可以从中提取许多不同的内容。也许你可以介绍一下那些可以实际检测的东西。因为你知道，当这两项技术在某一点上可能会融合时，我很好奇你如何通过这种非侵入性的 EEG 方法提取这些输入，以便可以为实时生物反馈 VR 体验提供输入。
当然。我们首先解决的指标是嗜睡。你可能会感到惊讶，尽管大脑在你越来越嗜睡并入睡时发生了可预测的变化，但我们花了几年的时间和许多人来开发一种适用于大多数人的嗜睡算法。
部分原因是我们希望不仅仅是检测到睡眠开始的几分钟或几秒钟，而是希望能在你开始出现行为减退（如反应时间迟缓或点头打瞌睡）之前的 30 分钟内做出预测。所以，我们开发的算法能实时检测嗜睡，然后我们可以查看一段时间并为大多数人提前 30 分钟做出预测，有时是 15 分钟。
接着，我们还做了睡眠分期算法，以便映射睡眠结构，如第一阶段、第二阶段、深度睡眠和梦想睡眠。这些算法已经非常完善且文献上有很强的支持。
认知工作负荷与情绪测量
接下来我们解决的是认知工作负载，我们使用工作记忆负担作为替代。因为认知负荷不幸的是对每个人来说有 100 种不同的定义，每个人的解释都不相同。
因此，我们建立的这一指标是根据增加的工作记忆负担来构建的。通常情况下，大多数人能记住的大约是 9 位数字，例如手机号。至于某些对象、地点或事物，则可以记住更多的内容，但保持工作记忆的能力是智力、绩效和生产力的关键部分。
我们建立了一种实时测量的算法。你可以用它评估一个网站，或向某人提供信息，或进行培训，你不希望他们的工作负担过高，但也不希望他们的工作负担太低，因此，要维持工作记忆负担的最佳区间。如果只是一部电影，想看看他们是否被娱乐和激励，我们可以用我们的参与度指标来衡量，但工作负荷无关紧要。但对于你想要诱导流状态或希望沉浸在其中的情况，你需要一定程度的认知负荷，需要参与，还需要激活他们的认知倾向。
情绪指标和同理心度量
此外，我们还推出了一种情绪指标，用于积极和消极情绪。这实际上更具挑战性，主要是因为不同的人在大脑中以不同的方式体验不同的情绪。这可能是最简单的说法。因此，我们目前市场上有的积极与消极情感的指标需要 20 个 EEG 传感器，而其他指标只需要 5、3 或 2 个。
我们还有一个同理心指标，虽然不是我们开发的，而是已经在文献中确认过，可以在运动感觉皮层上进行测量。我们已经实施了它。它实时运行，基于已有文献，已经证明非常稳健且有用；当你的镜像神经元被激活并且你在模仿他人时，就会激活这个系统，我们可以测量这个。而这一机制在许多自闭症儿童或某些人群中较少见。同样，我们也使用 EEG、心率和心率变异性来检验压力和激励。这些都是已经建立的指标。
除此之外，我们还有一个如前所述的用于阿尔茨海默病、轻度认知障碍、额颞痴呆、路易体痴呆、帕金森病伴或不伴痴呆的生物标志物组合。我们一直在努力分层这些痴呆症，大部分资金来自制药公司。最近，我们还获得了一份 NIH 的重大资助，继续这方面的工作，因此，我们可以再次查看不同的干预措施，看我们是否能将人们从痴呆指标转移到一个更正常的状态。
大数据与机器学习
让我感到惊奇的是，非侵入性 EEG 的应用范围相当广泛，所有这些不同的算法。我认为，随着你添加人工智能并能够做更多复杂的事情，你们是否计划收集大量数据，利用机器学习来创建新算法？
是的。我们的数据库中大约有 10,000 个白天的 EEG 研究，恐怕更接近 50,000 个睡眠研究。我们每天都在增加。而且所有这些算法都是某种机器学习的实现，所以它们要么是判别函数、支持向量机、神经网络等。我们也做过一些 Markov 建模，其中我们希望保留时间。
在许多情况下，你只是将一切都放入一个大的桶中，利用 EEG 找出那些变量，以便最好地区分，例如阿尔茨海默病。但在某些情况下（如帕金森病和路易体疾病），你将他们标记为认知波动，在这些波动中，他们会调整进入和退出，唯一测量这一点的方法就是使用 EEG，从而保留时间。因此，我们关注的重复模式是他们如何调整进入和退出，并使用 Markov 模型来跟踪这一点，保留时间片段，然后放入大桶中。我们也稍微尝试了一下非线性指标 Granger 因果关系和熵。目前为止，在其他人那里，非线性指标没有像其他人那样成功，但这是一个可以记住的方向；现在我们可以从大量人群中获取高质量数据，当然也正在扩展数据库，因此，我们越能获取更多的数据，就能构建出更好的算法。
关于消费者VR的推进与伦理问题
我想问一个问题，关于我看到的消费者 VR 的走向。你知道，我们有这些基于表现的营销公司，如 Facebook 和 Google，正在获取大量数据并进行大量 AI 方面的工作，但我认为最终会出现 EEG 和 VR 的融合，而且你们可以做出相当强大的应用。我认为，关于隐私和个人可识别信息的伦理方面的问题，还是需要关注。如果消费者追求路线，我们开始将 EEG 集成到这些消费者设备中，那么关于这些数据的处理标准是什么？是否应该不记录？如果你需要训练 AI，确实需要数据，但有各种非常私密、可识别的个人信息，潜在地也可能存在这些数字可以追踪的 EEG 签名，或是你可以看到的生物标志物，也同样很私密，因此我们可能面临这样一种情况，即 Facebook 或 Google 能够在你自己之前就知道你有某种医疗状况。那么，伦理影响是什么？对于你们公司在这个医疗背景下来看，当你们潜在地进入更广泛的消费级市场时，如何在这些问题上进行导航？我认为所有相关参与者和利益相关者并没有完全考虑这些问题。
在医疗领域，对于我们而言，将数据放入数据库总是以“去识别”的方式进行，也就是说你被赋予一个编号，所以你现在在众多数字中变成了一个数字，任何人都无法将该编号与您的身份联系起来。我们进行的所有研究都在机构审查委员会的监管下，因此你会签署一份同意书，里面有一些你同意过的事情，比如数据的提供以及我们会保护你的隐私。如果我们发布数据，没有人能够将这些数据追溯到个人。一旦我们需要进行医疗报告，就会重新链接，因此我们将患者的姓名、社会安全号码等存储在单独的受保护文件中，然后再将其链接回来，以便返还给医疗专业人员，因为他们需要这些用于计费。但对于我提到的大多数数据库，我们并不知道这些人是谁，他们只成为了数字。
但当你进入消费者领域时，是的，许多人愿意与收集数据库的人分享自己的脑部或传感器数据，或者参与公民科技项目，但我并不认为他们彻底考虑过你讨论的那些问题。如果有人以你的数据为基础并声称你会得阿尔茨海默病，你希望别人知道吗？你自己想知道吗？这和基因检测面临的情况相似，基因检测可能比这个领域早些面临这样的问题，因为它更精确，因为某些基因信息对你将要发生的事情具有高度预测性。你希望谁拥有这些信息？所以我绝对不会在没有医疗保护和医疗隐私情况下发送我的血液进行基因检测，因为我不希望雇主或保险公司知道。
因此，这些都是需要讨论的一些重大问题，我认为人们并没有考虑得特别周全。我觉得我大概是处于前线，尽量为这些事发声。
人工智能的影响
另一个你提到的问题是，我去年与 OpenBCI 的 Connor Russomano 进行的交谈，他提到，实际上，有了合适的人工智能算法，您可以获取到那些去匿名的、分开的数据。如果您独立记录新的 EEG 数据，就可能会产生独特的数字标识符，您将可以访问这些信息，如果您攻击数据库或将其混合，并且有相关性，这可能就像一个钥匙，解开了该去匿名的过程。因此，所有这些都需要仔细考虑并深入思考。就像我们与 Google 一样，我们已经向 Google 和 Facebook 提供了多少信息，这实际上是另一层信息，您在考虑参与某个项目或自愿将数据上传到数据库时，必须谨慎考虑。
我们也非常关注这些，因为我们生活在 HIPAA 指导方针之下，因此，我们有义务保护患者隐私。而且，进行 FDA 研究时，会有另一层审查。我们正在努力遵循更高的标准。与此同时，我看到周围数据飞速流动。再次强调一下，这是需要在公共论坛上讨论的事情，以便人们清楚这些信号的潜力。
虚拟现实与神经技术的终极潜力
最后，你认为虚拟现实和这些神经技术的终极潜力是什么？这可能会实现什么？
我认为，首先是人类表现提升。在 PTSD 的情况下，训练人们控制生理状态是第一步，改变他们的症状。因此，暴露疗法已经使用多年，精神科医生基本上是带着病人想象他们回到阿富汗或当时的触发事件，但现在你可以实际将其呈现给他们，并同时测量他们的生理状态。
我们发现，如果首先给人们一些关于他们生理状态的反馈，像是心脏加速或电皮肤反应上升，或者大脑进入高度焦虑状态，仅仅了解这些会激发他们的潜在控制感。这些治疗方法是非常强大且有潜力的，你将在这两者相链接的过程中看到它们的好处。
我们还与运动员、射手、高尔夫球员和弓箭手进行了高峰表现训练。虽然我们并没有在虚拟现实中做到这一点，但这可以很容易地在虚拟现实中实现。帮助他们在射击或拉弓之前进入正确的心理生理状态，所有这些都可以在虚拟世界中完成。
流动状态与学习的结合
你能否引发流状态，或者你是在追求什么？
是的，我们正是如此。我们接触了许多专家，拥有专家射手、奥林匹亚级弓箭手和一些 PGA 高尔夫球手，他们允许我们同时监控他们的脑电波活动，然后我们开发了一个设备来帮助中级运动员进入相当于专家的生理特征，结果发现它提高了某些运动项目的表现。这是一个简单的例子，但通过整合虚拟或增强现实与脑电指标、心率和心率变异性，这些都是非常有用的工具，因为这可以显示你的压力和焦虑水平。例如，如果你希望自己能成为更好的演讲者，你可以首先训练自己控制焦虑反应。所以，可能的应用非常多。
结束语
非常感谢您，非常愉快。
以上是 Chris Birca，她是 Advanced Brain Monitoring 的首席执行官兼联合创始人。我从这次采访中得到的一些关键点是，首先，您可以从 EEG 数据中提取许多非常有趣的信息。通常情况下，EEG 数据相当嘈杂，因此他们开发了许多不同的基于机器学习的算法，以清理和获取更好的信号，并确定我认为非常有趣的许多不同指标。我们在播客中讨论的指标包括嗜睡、认知工作负荷、最终诱导流状态、参与度、压力和唤起、情绪和同理心。此外，还有用于不同类型认知障碍的生物标志物。他们能够检测到阿尔茨海默病、轻度认知障碍、额颞性痴呆、路易体痴呆以及帕金森病的早期迹象。
到目前为止，Advanced Brain Monitoring 的大部分工作都是在医疗应用的背景下进行的。因此，他们拥有机构审查委员会、同意书和由 HIPAA 保护的隐私协议。我认为，在我们开始研究将 EEG 传感器数据集成到 VR 头盔中的潜力时，这些伦理影响尤为明显。
目前，存在许多进入障碍，使人们很难创建 DIY 系统。我刚刚从 USC ICT 的一个项目中采访过，关注如何使用开放 BCI 和一些 3D 打印部件做出低成本 EEG 解决方案。稍后我将播出该采访。但如果没有 EEG 传感器与头盔的定制整合，缺少内容也就无法避免。很明显，早期应用将绝对集中在医疗领域，用于神经康复、PTSD 的暴露疗法，以及潜在的痴呆症研究。
对我来说，值得关注的是，你甚至可以开始使用 VR 带领那些患有神经退行性疾病的人去新奇和异国的地方。如果你还能让他们吃到奇特的水果和新奇的食物，您可以开始在日常中重建更强的记忆，并可能通过这样做，让他们首先维持病情，但最终甚至可能改善病情。这里还有很多研究要做，但如果真的能重塑大脑，如果只是一个大脑连接的问题，是否能找到新的路径利用 Google Earth VR 或 360 视频接触到那些旧记忆，那么我认为这里有许多令人兴奋的可能性。
我认为另一项技术的大应用将是认知增强，因此进行训练应用或学习，能够监测某人的认知工作负荷，从而揭示他们是否真正理解，或者是否困惑，并能够将信息反馈回培训系统，以便根据他们的表现定制培训应用。
我与 GDC 的一些其他受访者进行过采访，他们被我称为意识黑客，试图利用 EEG 技术进行更好的冥想，或者监测他们的生理状态，以进入最佳状态进行最好的学习。Chris 提到，如果训练人们能控制自己的生理，那么这就是改变症状的第一步。在暴露疗法和 PTSD 的背景下，他们将这些军人放入压力情况，并实时反馈身体发生了什么，以便他们能够开始察觉，并能够尝试调整。
我最近还与 Skip Rizzo 进行了采访，他一直在使用虚拟现实进行 PTSD 暴露疗法方面开展非常前沿的工作。他强调了一点，让士兵能够讲述他们的创伤故事，并真正情感上参与到重新诠释他们经历的过程是多么重要，因此还有很多维度超越我认为仅仅控制生理症状，而实际上达到情感宣泄也是很重要的，这与我和 Skip Rizzo 的采访建立了很大关联。
最后，我发现以认知工作负荷为背景，尤其是在诱发不同流状态的背景下进行分析特别有趣，尤其是你不希望工作负荷过高，也不希望工作负荷过低。这暗示着，在虚拟现实环境中，为了创造沉浸感和存在感，你必须与场景保持某种程度的互动。你必须在大脑中接应场景，而不能仅仅是完全被动的体验，若要在其中，你必须面临某种挑战，或与场景有所互动。因此，我想提出一种神经科学方法来看待大脑中正在发生的事情，确实有一个认知工作负荷的最佳点，它既不太难，也不太简单，正是就是在那个适当的位置，能够让你进入流状态。
所以，我认为他们能够分析这些精英运动员的生理特征，然后观察业余者的表现，并能够帮助他们达到类似的生理状态，从而取得更好的表现。我怀疑，对于认知提升、训练或者不同的医疗和治疗应用，大概还有很多类似的不同生理特征。今天我就谈到这里，感谢您收听《The Voices of VR Podcast》。如果您喜欢这个播客，请传播这个消息，告诉您的朋友，并成为我们的捐助者。每月几美元会有很大帮助。访问 patreon.com/voicesofvr，谢谢您的收听。