# The Voices of VR Podcast

## Kent Bye
您好，我的名字是Kent Bye，欢迎收听《The Voices of VR》播客。现在是历史上一个引人入胜和令人兴奋的时刻，虚拟现实技术正在崭露头角。这将意味着我们在神经科学方面可以进行各种新的研究，真正试图挖掘现实的深层维度，意识的本质。我们正在开放新机会，以一种我们以前无法做到的方式提出问题。所以，我有机会与Danielle Perczyk进行对话。她是一位认知科学家，同时也是名为Oscillations公司的联合创始人和科学总监。这个公司致力于观察表演艺术家如何在空间中移动他们的身体，同时研究人们的注意力分配、如何引导注意力，以及不同的神经科学理论如何应用于体验设计。因此，我与Danielle讨论了她正在进行的一些研究，并在采访的后半部分深入探讨了意识的本质。

意识是科学中最大的问题之一，因此我认为我们每个人对此都有自己的看法。在这个VRTO会议的开头，我做了一个主题演讲，旨在阐明体验设计的哲学基础，利用Richard Timmons的工作，西方思想的发展，这种思想将西方思想的历史和演变视为一种辩证法，柏拉图代表了允许理想形式与现实互动的数学方法，而你可以看到，柏拉图确实在数学传统中占有重要地位。而亚里士多德的传统则是你在实证科学中所看到的，关注的是“什么是有用的？“”什么是实际的？“这在这种具体的现实中是可用的，而不是某种孤立又更多哲学性的超越领域。

就意识而言，我想这可能是完全从我们的神经生理学中涌现出来的，亚里士多德的观点是所有的意识都是一种幻觉。或者我们可能正在处于科学范式的新边缘，基于一些来自量子力学的最新研究，可能将我们引导向一个具有普遍意识概念的世界。今天的《The Voices of VR》播客将涵盖这些内容。

这个与Danielle的采访是在2018年6月17日周日进行的，地点是加拿大多伦多的VRTO大会。那么，让我们开始吧。

## Danielle Perczyk
我叫Danielle Perczyk，我是一名认知科学家，也是名为Oscillations的公司的联合创始人和科学总监。我们为沉浸式技术创作表演艺术，并对我们创作的内容以及其他沉浸式内容进行研究，以便更好地理解如何引导注意力和增强参与感。

## Kent Bye
是的，虚拟现实技术似乎将对神经科学有很大的推动作用，尤其是当你开始将其与脑机接口和EEG一起结合时。也许你可以从你的角度谈谈，将神经科学与虚拟现实技术结合起来有何吸引力？作为研究人员，这使你能够做些什么？

## Danielle Perczyk
是的，在虚拟现实中，我们尝试同时引导注意力并赋予用户一种主动性，有时这可能是矛盾的。如何让人感到他们自发地想要转身并探索，而不是过于明显的提示？如果你使用EEG或其他设备来捕捉用户的细微生理信号，你可以给予他们一种主动感，让他们感到与体验更加紧密联系，这样你的引导注意力的提示会显得更加自然。

你还可以做一些微妙的事情，使用视听同步，这在你没有连接BCI时也会对大脑产生强烈的影响，并可以引导注意力。如果你有一个微小的偶发性，例如当某人在看某个地方时，与你的视觉输入同步的听觉输入便被增强，而且这种增强是依赖于他们正在看什么的，但也与他们的注意力程度（通过EEG测量）相关，这会让体验变得更强大和紧密。

## Kent Bye
在你在VRTO的演讲中，你提到了心智的多模态特性，并展示了Gherkin效应，即你的身体基本上像GPU一样摄取所有并行数据，无论是你的感官信息，在某个时候，你的大脑会将其融合在一起，并且视觉信息与听觉信息之间可能会有脱节。这就是McGurkin效应，它说明了根据你是听到还是看到某个信息，你能够处理和偏见于如何接受这个信息。但是，这种多模态的信息处理意味着当我们看到你所称之为的同步时，如果你有一个空间环境，然后来自某个区域的音频被增强，随后与之相对应的视觉输入被显现，那我想这是你所定义的视觉输入与声音设计的同步。当人们在看到这些东西匹配时，他们的注意力被引导到这些标志共享的现象时，从神经科学的角度，你观察到哪些信号？

## Danielle Perczyk
你会看到增强的脑反应。从fMRI的大胆信号中你可以看到，如同增强的ERP。当某些事情偏差几毫秒时，如果有延迟，你看到某些东西，然後再听到某些东西，或者反过来，甚至会让人不舒服。人们主观地报告说，事情的感觉有些不对劲。当提到说话时，你确实看到一种巨大的影响，因为我们的大脑非常敏感于人类的社交信号。美学方面，审美上人们更倾向于喜欢那些更同步的东西。

## Kent Bye
所以在Oscillations这家公司，你们在神经科学研究方面做了一些非常有趣的事情，同时也与艺术家合作。也许你可以给我描述一下，如何与这些艺术家合作，进行这种你所说的“具身艺术”的神经科学研究？

## Danielle Perczyk
这是一个相当大的问题，我可以用几种不同的方式来回答。我先给你简短的回答。运动艺术家，例如舞者和运动员，训练自己用身体自发地引导注意力。他们有一种内在的运动意识，他们知道如何吸引人们的注意。正因为如此，他们非常适合在虚拟现实中研究注意力和参与感。但我对运动艺术家的兴趣远远不止于此。我研究人类交流的演化，其中一个我们用来交流的策略显然是语言，另一个是手势，有些人认为手势是语言的一部分。我们在现代信息时代看到的情况以及社交媒体平台的出现，使得人们能够发布和分享他们的技能，我们在实时中观察到不同运动风格的演变。人们正在交换他们的运动技能，创新新的运动，推动人类身体的极限。这为我们提供了一个窗口，观察人类交流演化的一个方面，这为我们提供了一个令人难以置信的科学机会。如果我们能将这些人聚在一起，观察自发地出现的事物，我们会是否能够分类人类运动的基本单元？我们是否能够基本地形成一种运动的语法，就像是普遍语法？我们在语言中讨论过这个问题，这是有争议的，但这绝对是我们努力探索的开放问题。

## Kent Bye
在2008年，我开始学习呼啦圈，因此我参与了呼啦圈舞蹈社区，在那里有一个完整的社区的人们在创新不同的动作和风格。然后，会有这些不同的呼啦圈舞蹈聚会，人们互相教授不同的技巧。这里确实有一种推动不同风格边缘的过程。我想我听到你说的就是，今天这种情况仍在继续，所有这些不同的舞蹈社区的人们正在不断推动人类身体在不同风格和舞蹈动作方面的极限。而作为一名研究人员，你的确在研究通过某种更深层的情感内容进行沟通。

## Danielle Perczyk
我真的很喜欢你提到的呼啦圈。物体操控是一个当前的伞类，我们正在与一些进行物体操控的人合作。你提到了情感联结，这是一个非常有趣的概念。我实际上向我们的一些艺术家提出过这个问题，问他们在进入自己的身体或者在积极交流和即兴演出时会有什么体验。如果他们在进行相似风格的表演或不同风格的表演时，有些人报告称他们完全沉浸在纯粹的体验的情感之中，而其他人则表示他们的体验极其认知，他们非常有意图，对于他们要做的每一个细微的事情都是经过精心策划的，并不是情绪，对他们而言，他们每一个细微的动作都是经过规划的。我认为，人们在高水平上所接触的方式是多样的，具有极端身体意识和才华的人，他们总有不同的方式进入状态。最终，我认为他们所有人都能够接触到一种我们可能称之为的低状态，在这种状态下他们失去了时间，更多的是潜意识驱动着他们的能力，这些东西经过了过度学习，不必过多思考，但我往往回避使用“情感”这个词，因为我不确定我们使用它的方式是否相同。

## Kent Bye
我想有某种象征性的沟通，可能是身体运动的一部分，试图表达某种情感。而这种具身的沟通接收者会唤起某种情感。我认为音乐以某种神秘的方式唤起情感。我认为你提到过大量的关于手势的研究，手势试图以某种方式传递某种意义或象征。那么人类身体运动的分类法是什么？你如何开始将其细分为更正式的、客观的、可以被打破的模式，试图了解是否存在普遍的手势语言或文化差异？

## Danielle Perczyk
我非常喜欢这个问题，但这有点超出了我的专业领域。手势领域的研究人员能更好地回答这个问题，但我可以说，关于人们聚在一起创造语言，比如手语，似乎确实存在某些限制，我们可能可以将其标记为基本单元。除此之外，其余的内容往往是任意的。人们使用功能性且能够被他们的交流伙伴理解的手势。如果你让孩子接触这些手势，他们会使其更加结构化，这并不需要以任何特定方式发生。当你让孩子接触更加结构化版本的手势，他们会使其更加结构化。我现在描述的正是对尼加拉瓜手语演变的一个良好记录，科学家们对此进行了40年的研究，但这也在某种程度上是我们期望在口语语言演变中发生的微观模型，且这非常有争议，是不是存在某种普遍的要素，或者这些都是一种动态系统，产生得多是任意的。

## Kent Bye
你提到的另一点非常有趣的是仪式的角色，以及仪式如何将人们聚集在一起，他们共享经历、音乐和节奏，这创造了一种同步感。当这种同步感发生时，他们的大脑中实际上发生了一些事情，使他们变得对社交偏见、种族偏见、性别偏见等的判断减少？也许他们的大脑判断部分稍微关闭一点，因此他们更加沉浸在音乐的节奏中。作为结果，他们在某种程度上感到心灵的统一。也许你能谈谈仪式的神经科学以及你对这方面的研究。

## Danielle Perczyk
我们所称之为仪式的东西有许多不同的层面，首先是感知层面，人们可能因为外观相似而聚在一起，这可能是因为他们实际的外貌特征，或者是像身体涂料或服装那样任意的东西。同步地移动，按节奏地移动似乎是仪式的另一个层面，它强烈地促进社交纽带。我们甚至在14个月大的婴儿身上都看到了这种现象。甚至更小的婴儿，当他们与成年人或其他代理人同步移动时，他们更有可能表现出利他行为，帮助那些成年人，这似乎是一种，不知是否算作天生的，但可以说至少从很小的年龄就存在。

在更高的层面上，某个特定文化群体可能会认可的故事、神话和信仰，也能在某种程度上创造出一种群体内的联系，这些都可以整合成一个单一的社会仪式。就这方面的神经科学而言，我更熟悉的是感知的方面，人们的同步运动使我们与同一神经波长相互接触。我会怀疑，当人们以相同的方式解读故事时，fMRI研究表明，他们的大脑活动是相似的。因此，不同层面的社会仪式似乎都有助于引起个体之间相似的脑活动，让他们的共同观念架构。

## Kent Bye
在你们的演示开始时，你提到目前神经科学中发生的范式转变，尤其是在最近的研究和突破方面，似乎有证据表明在相同神经波长下的交流会发生。我意思是，人们在隐喻上谈论“我们是否处于同一波长上？”，但在这里我们实际上是在说，你的大脑与其他人的大脑实际上在相似的频率下震动。因此，从单独研究个体转向研究人们在群体情境中的相互关系。那么，请给我更多的背景，什么在同一神经波长下？

## Danielle Perczyk
如果你使用EEG测量人们的脑电波，他们可以是相位同步的，也可以是相位不同的。当人们的脑电波处于同步状态时，他们更有可能理解彼此。当他们的脑电波不同步时，他们就无法理解彼此。实际上，他们在实时交流中的同步，像是某种心跳般的同步？是的，没错。这正是它的含义。我们认为研究语言和语言神经科学的人在谈论时，我们的大脑本身就有这些规律。当你听到某人说话时，这种语言的节奏无论使用哪种语言，恰好匹配了这些内源性脑波的节奏。当这种输入的语言信号撞击大脑时，它会重置这些内源性节奏的相位，并认为是引发了最终解码语言信号的一系列反应。

## Kent Bye
而且在Oscillations中你们进行不同实验时使用虚拟现实，试图像热图一样检测出人们正在关注的内容，并能够跟踪并显示人们在观看体验时其他人在哪里关注，或许在某种程度上试图做出非同步的描绘，展示其他人关注的内容、正在与之共鸣或在某种频率。你们试图展示什么？结果又是什么？

## Danielle Perczyk
我们仍在积极进行这个项目，并规划各种体验的不同迭代。我们正在将人们的神经活动、注意力和目光引入虚拟现实体验。这个是实时生物反馈，关于他们自己的生物指标数据的反馈吗？还是针对其他人的？两者均有。我们从个人的生物反馈开始，并改变内容，但我们的假设是，我们将能够启用一种新的社交互动类型。虚拟现实社区中的一个大主题是，戴上耳机时这是一个非常孤立的体验，而我们知道社交体验才是关键。因此，我们正在努力弄清楚如何使虚拟现实变得更具社交性。Oscillations认为，也许我们可以创造出一种新的社交互动类型。也许其他心灵的意识通过我们可以以任意方式编程的内容修改的意识来体现。但正如我在演讲中提到的，也许你会在360度的环境中看到某个地方更亮，而这种亮度反映出其他用户在参与这个特定部分或时刻的体验。如果你在积极观看某个沉浸式内容，并收到关于其他人体验的反馈，这会如何影响你的反应？这是一个开放性的问题，但我强烈地认为，意识到其他人如何与内容接触会对体验产生某种影响，我们不知道这种影响是什么，但应该很有趣。

## Kent Bye
在你演示的几次中，你提到神经科学理论将预测这一点。因此，你正在采取数据驱动的假设导向的方法，在虚拟现实中进行这些小实验。那么，这些假设是什么？你们通常如何将神经科学转化为体验设计或对人类意识及其神经生理的性质的见解？

## Danielle Perczyk
我们正在运用来自神经科学的心智理解，包括神经科学证据和理论，实际设计我们的内容，因为我们希望其尽可能引人入胜，同时因为我们希望能够测试某些信息，随后我们在后端运行实验，看看我们的假设在哪里是正确的，或者在哪里是错误的。具体而言，我们考虑测试的一个基于神经科学理论的想法是大脑作为一个预测机器。我们知道大脑不断地计算误导信息，并同化世界模型，即在任何给定时刻的最佳猜测，预测导致因果关系的情况和事件。大脑使用的一个线索是时间同步。而在我们的体验中，我们通常会建立时间依赖性，通常会与音乐和运动、视听同步相结合。如果我们以非常精确的方式做到这点，尤其当有一定程度的复杂性时，例如复合节奏和紧密的时间链接动作，我们将能够使大脑误以为听觉输入和视觉输入之间存在某种因果关系。本质上，这是大脑的最佳猜测，因为它整合了信息，而这些信息是同步的。

例如，如果你看到一个舞者，并且舞者突出某些音乐元素，当你专注于那些部分时，它们的音量会变得更大，结果你的大脑会认为这个舞者正在创造那部分音乐。

## Kent Bye
这让我想到了视觉叙事，试图通过不同的视觉技巧创造叙事张力，以及音乐创造的不和谐与和谐的结合，试图创造出一种叙事弧的体验。你似乎想通过神经科学理论来调节不同方面的同步性，如果你确实想创造那种高潮和谐，也许在那和谐之前有某种不和谐，通过随着时间推移的节奏而形成的叙事张力。这个叙事张力来自于一种体验性的部分，你实际上能够将特定的音频与视频等连接在一起。因此，你似乎在某种程度上可能证实了一些叙事设计的基础，能够操作这些经验的经验性质，或许创造出一种情感的感觉。这听起来真的很酷，我以前没有想过这个。

## Danielle Perczyk
对，从时间同步或音乐节奏的特征出发，能够带来一种张力和释放，通过整个体验来做到这一点，能够做到的是非常酷的。我们实际上试图避免叙事叙述，因为在VR中我们仍然不知如何一致地引导注意力，但听起来你在说的是，我们可以利用低水平的原理，利用我们对张力、和谐与不和谐的理解，来模拟叙事弧，而无需实质上拥有情节。如果这是你所要表达的，我认为这非常聪明。

## Kent Bye
这是我们在当下创造的，我们试图对音乐的几何形式进行研究，试图看出音乐的基本结构，将12个音符放在五度圈中，绘制出音乐的线条。你开始看到音乐的空间表现。通过研究这一点，以及炼金术和不同的对立点等各种不同的深奥传统，你接收到一致的思维线索，即所有故事的内在本质，是从一个对立点向另一个对立点的转变。连接那些对立的过程，最终带来和谐。因此，实际上和谐的东西并不多，因为西方音乐结构的特点，但创造出许多不和谐的方法。因此，通过这些不同调性之间的变化，可以获得不同类型体验的调味。这种不同的音调风味和不同和声的结合，创造了大脑的知觉，但个体部分以某种方式难以通过简化的视角进行描述。

我认为这个机会与虚拟现实技术的结合，运用音乐的这些隐喻作为类比推理，设计一种空间和视觉叙事，形成一种全感官的体验，不仅仅是视觉和听觉，最终还包括触觉、嗅觉和味觉。

## Danielle Perczyk
我认为音乐理论将为我们所做的工作及对思维的许多深刻洞见提供更多洞察，这在我列出的事项中已经延续了好几年，但我一直没有时间深入研究。但我认为你绝对是对的。正在研究音乐认知的科学家们确实发现了人脑和音乐之间有着极具吸引力的关系，许多神秘的事情仍然值得我们去弄清楚。

## Kent Bye
我不知道，关于故事的神经科学你有看过吗？在某人听故事时他们大脑中的发生了什么呢？为什么叙事会如此引人注目？

## Danielle Perczyk
有一个框架，我认为是通过一位文学教授普及的。他写了一本名为《叙事动物》的书，做出了很有说服力的论点，即人类与其他动物的区别在于我们能够把环境中的噪音组织成故事，而这不仅帮助我们理解，也帮助我们记住某些事情。在大脑中这什么样子，我还真不太确定，可能有相关的工作。在我知道的范围内，正如我之前所提到的，当人们以类似的方式诠释故事时，他们的大脑整体活动是相似的。这便回到了我之前说的，不是单独研究个体大脑，而是同时观察多个人的大脑，至少问他们是相似或不同的，程度如何。

## Kent Bye
我们在VRTO，我昨天做了一个演讲，讲述了体验设计的哲学基础以及关于虚拟现实的一些更深奥的阐述，看看我们如何能够从更亚里士多德的角度和实证现实，以及从柏拉图的传统，也许是一些更深奥的、后期柏拉图的传统中思考我们体验的质量，而不是度量体验的量化方面。所以我知道你对意识的本质某种程度上是有研究的。你是否认为自己是意识研究者，或者你认为意识是什么，意识的本质又是什么？

## Danielle Perczyk
哇，这真是一个有趣的问题！我应该说几件事。首先，当我听到亚里士多德和柏拉图时，我并不确定自己是否与你的理解相符。我知道你提到一本关于西方思想史的书，对吗？

## Kent Bye
《西方思想的激情》？

## Danielle Perczyk
是的，这是我的阅读清单上的书。当我想到柏拉图时，我会想起自然主义和某些事物在出生之前已被编程的联系，通常是在讨论心理学。然后亚里士多德的观点正好相反，认为我们是白板，世界的经历重新连接了我们的认知和神经系统，并形成我们在成年人所观察到的结构。从这两点来看，我想到的是自然主义和经验主义。

## Kent Bye
抱歉，经验主义是你的观点。我不太熟悉你所说的内容。我认为柏拉图所倡导的一个重要思想是有某种非空间、非时间且非局部的理想形式领域。柏拉图的洞穴寓言表明，当我们看到现实时，我们所见的只是现实的阴影。实际上，真正的现实就像一种神秘的全息现实，最终简化到最小程度时，这在某种意义上是一种幻想。

我认为这涉及到佛教。柏拉图的理想形式领域已主要通过数学传统得以保留。因此，在数学哲学中，有两个基本的哲学观，即数学现实主义与数学虚构主义。现实主义大致上在问，数学对象是被发现还是被发明？因此，数学现实主义者或柏拉图主义者会认为，我正在发现那些本来就在那里。而亚里士多德则有四种因果关系，其中之一是形式因果，这在一定程度上保留了与现实接触的这种可能性。

关于非可证伪性的问题，那些从数学虚构主义者的观点出发，认为给予任何不能直接观察或可证伪的东西任何本体论现实的可能性都要经过严谨的考验。我认为这一点表明，无论是观测数学的事实与在情感下体验，还是那种直观的逆转。你看到这种拉扯在文化、科学和当前的观点中随处可见。

## Danielle Perczyk
我认为关注讨论如何标记的技术是有趣的。人们如何定义他们的理解以及他们是如何进行对照的？在某种程度上，我认为正如你提到的意识，即我们总是会有那样的共鸣。我们回到根本的问题，你的理论对于它在内心的应用，仅仅是能否完善而且给出充分的解释。

## Kent Bye
你在谈论创造性别平等、人与人之间的行动等，这种探讨为何及如何我们的意识实际上存在，是否是从量子物理理论生成的，还是内在唯心论，都是潜在差异。我们没有确立对于深层的或某种意识形态层面的理解。

## Danielle Perczyk
我不清楚量子理论的所有信息，但我认为人们担心意识的性质本身就具有复杂性，特别是采用量子机制的观点。有关意识、思想、情感之间的超越，还是或多或少拥有它们的层面。

## Kent Bye
我很有兴趣了解。

## Danielle Perczyk
当然，这对我而言，这是对人类理解方面的期待，也比以往深入得多。

## Kent Bye
我很感兴趣。

## Danielle Perczyk
我们有太多东西需要再谈谈，也许在未来，我们可以再深入探讨。

## Kent Bye
这真是一次很棒的讨论，感谢你今天的时间。

## Danielle Perczyk
谢谢你，Kent。这很棒。

## Kent Bye
感谢您收听《The Voices of VR》播客。如果您有兴趣收听更多的内容，请前往voicesofvr.com查看。