The Voices of VR Podcast

主持人介绍

我的名字是Kent Bye，欢迎收听《Voices of VR》播客。

活动回顾

最近我参加了体验技术会议，以前叫做神经游戏大会，他们正在研究各种EEG和生物识别数据，以及怎样将其应用到不同类型的沉浸式体验中。现在我觉得他们开始摆脱这些实时交互，更多地关注于这些生物识别数据能告诉我们关于整体健康和幸福感的信息，同时也涉及到认知增强和教育。不过，这也被用于市场调研，分析情感反应或者人们关注的点。

嘉宾介绍

在今天的节目中，我与来自Imotions的生物识别专家进行了交谈。Imotions是一个平台即服务的公司，能够进行各种研究，收集不同的生物识别数据流并开始整合这些数据。虽然他们并不是一家虚拟现实公司，但他们是这一领域领先的生物识别数据专家之一。在接下来的几年里，我们将开始看到越来越多的生物识别数据与虚拟现实体验相结合，因此我想与John Burkhart对话，他是一位来自学术界的行为神经科学家，最近转向商业领域。我想和他聊聊各种生物识别数据流以及它们能告诉我们什么，同时还要关注未来开始将这些生物识别数据流整合时所面临的伦理和隐私问题，这可能不仅能预测人的行为，还可能能够塑造和控制它。

赞助商广告

但在此之前，让我先插一句。今天的节目由VR LA赞助。VR LA是全球最大的沉浸式技术展，拥有超过100种VR和AR体验。他们将举办大量的讨论会和工作坊，让您可以向行业领袖学习娱乐和叙事的未来。我个人非常喜欢看到最新的运动平台和独特体验，您在其他地方是无法看到的。门票起价为30美元，但我更推荐您购买专业票，这样您可以观看更多的演示。VR LA将于4月14日至15日举行，您可以前往virtualrealityla.com，通过使用promo code “vrla_voicesofvr”享受15%的折扣。

访谈背景

与John的这次访谈发生在3月14日至15日的体验技术大会上，在加利福尼亚州旧金山举行。那么我们赶紧开始吧。

访谈内容

John Burkhart：嗨，我是John Burkhart。我常常自称是一名“复原的神经科学教授”。我在大学任教15年，主要研究帕金森病和星形胶质细胞网络，六个月前加入了Imotions，致力于将严谨的行为方法应用于商业领域，因为我认为这方面的应用远远不够。

Imotions的目标是将严谨的生物识别研究应用到任何有需要的环境，并帮助促进数据的良好收集及方法学的应用。生物识别数据无疑是我们公司的核心。公司最初是建立在眼动追踪技术上，观察视觉注意力在静态或一段时间内是如何分布的，什么能吸引和保持注意力。同时，我们现在也添加了面部表情分析来研究情感反应，以及皮肤电反应来观察生理唤醒水平。同时，我们还大量应用脑电图（EEG），以衡量注意力聚焦、趋近-回避反应、认知负担等。越来越多的人对肌电图（EMG）和心电图（ECG）产生兴趣，以查看压力反应，例如肌肉收缩或心脏变异性。

我们希望了解所有这些不同的数据流是如何相互作用的，从而从这些数据流的整合中提取信息，而不仅仅是单独的数据。

数据流的多样性与应用

Kent Bye：听起来您能够收集到非常广泛的身体数据，我认为在虚拟现实的长期轨迹中，我们最终会将这些输入用于虚拟体验，并可能实现实时反馈，以观察身体发生了什么并真实地改变环境或叙述的分支。但让我们先回来看看Imotions目前能解决哪些类型的问题。

John：是的，我们已经听到了各种各样的问题，从如何做好研究以发布数据到如何了解建筑的情感反应。实际上，这完全取决于提问者的想象力和设置规范方法的能力。在商业客户中，非常流行的问题是用户体验（UX）。例如，我们如何观察人们如何与网站互动？什么吸引了视觉注意力？他们完成任务需要多长时间？他们是否在屏幕上看对地方？

此外，市场调研也涉及到产品广告中的情感共鸣，例如哪些元素引发更强的负面反应，如果我们加入恐惧元素，那是否会将他们驱走，或者是否可以通过恐惧条件来引导他们找到解决方案？学术方面，我们有很多人关注心理学领域的前临床研究及某些疗法。目前自闭症研究正在成为一个重要话题，研究那些在自闭症谱系上的人是如何处理面部情感的，以及他们如何能够模仿这些面部情感或恰当地选择正确的反应。

数据流的细致分析

Kent Bye：您提到了一系列不同的数据流，能否逐一介绍您所收集的不同输入数据，以及它们能反映出什么样的情感状态？

John：当然可以。我们公司的名字含有“Imotions”，我们的起点是眼动追踪，这是最古老的生物识别数据流之一，已经追溯到几十年前。眼动追踪技术的演进非常迷人。当我十年前在奥斯陆大学时，使用的眼动仪占据了整个桌面，成本5万美元，只能告诉您目光所在的屏幕象限。而现在，您可以用Tobii的一个系统，花4000美元，将其磁吸到显示器前，并且可以在屏幕上定位到半度的角度。

眼动追踪能告诉您视觉注意力。例如，您在看什么？您观察的顺序是怎样的？您是否停留在某个点？从一个事物到另一个事物的路径又是怎样的？各种显著性在此内。而且，这两种主要的方式有固定眼动追踪，适合于观测者在计算机终端前，或架设三脚架来观察电视。还有便携式眼动追踪，用于佩戴眼动追踪眼镜，配合网络摄像头，记录您看到的世界，以及视觉注意力更新图。

这在观察周围环境的响应上非常强大。如果在这个阳台上，突然后面传来噪音，而我正带着这副移动眼动追踪眼镜，那么我就能看到我的搜索模式、转过来的速度以及我专注的事物。如果是像枪声或车祸那样不同的声音，对我的搜索模式是否有影响？这就是关于视觉关注的研究。

面部表情的分析与生理响应

Kent Bye：面部表情分析也在逐渐流行，那是因为能够告诉我们人们对事物的反应。它是比较简单的实现方法，您只需一个摄像头即可。能否请您详细谈谈面部表情分析的实现，以及它所能揭示的内容？

John：当然。面部表情分析变得非常流行，主要有两个原因：第一，它能提供大量信息，告诉人们如何对呈现的东西做出回应；第二，它的实现相对简单。面部动作编码系统（FACS）由Paul Ekman创建，用于描述面部特定动作。面部表情分析的结果能够提取出七种基本情绪：愤怒、惊讶、恐惧、快乐、悲伤、轻蔑和厌恶。这些情绪是根据不同面部动作的组合和相互作用得出的。

我必须强调的是，面部表情不是情绪本身，而是情绪的代理。面部表情的社交成分是极大的影响因素。比如，如果您让某人在个体环境下观看视频，可能会看不到明显的情感变化。但是在社交场合下，他们可能会表现出更强烈的表情，即便他们内心实际上没有太多的感受。这是因为社交期望和压力迫使他们展现情感。

生理反应的多维度理解

接下来是皮肤电反应，它反映了皮肤的电阻变化。生理唤醒的增加或者减少会导致汗液的变化，汗液中含有离子，因此皮肤的电导率会随着生理唤醒程度的不同而变化。我们可以将这一数据与面部表情分析进行叠加，判断人们是否真的感受到了某种情感。生理电反应的图像与情感信号的结合，能帮助我们更好地理解一个人是否在真实地展现情绪。

脑电图和其他电生理数据的分析

我们还使用EEG，它是一个历史悠久的技术，甚至可以追溯到五十年代，虽然后来越来越多的医学研究更倾向于使用fMRI，但在商业和心理学实验中，EEG逐渐受到青睐。这种工具较为简单，不需要太高的处理能力，能够提出受测者对某个刺激的厌恶或重复反应。它在认知负担和注意力方面也能提供重要的信息。

另外，ECG和EMG是另外两种电生理数据，分别用于观察心脏和肌肉的反应。这些方法告诉我们不同的状态，例如面部和身体的压力反应。通过对这些不同数据流的整合，我们可以获取生理信息，进而更深入地理解身体的反应和健康状态。

未来展望与伦理考量

Kent Bye：在未来，您认为整合生物识别数据与虚拟现实能带来什么潜在价值和影响？

John： 我认为反馈将是其中一个关键，虚拟现实目前主要基于视觉和听觉成分。目标当然是创造出真正的沉浸感，获得全面的感官替代或感官模拟。为了实现这一点，我们需要非常准确的生理数据，去探索如何保持安全的生理反应。同时，不同生物识别数据流的结合将推动虚拟现实的发展，帮助人们通过生理反馈进行情感调节。

结束语

谢谢您收听《Voices of VR》播客。希望您喜欢这期节目。如果您喜欢我们的节目，请告诉您的朋友，传播信息，并成为我们的Patreon支持者。每月只需几美元就能带来巨大改变。请前往patreon.com/voicesofvr，谢谢您的收听。