The Voices of VR Podcast
Introduction
你好，我是Kent Bye，欢迎收听《VR之声》播客。在继续我们关于未来神经科学在VR中应用系列的同时，今天的节目特邀Laurel Trainor，她是麦克马斯特大学的教授，专注于听觉和音乐以及人际互动。此外，她还是麦克马斯特音乐与大脑研究所的主任。在她的研究院中，有一个完整的音乐厅，可以进行各种研究，比如观察音乐家的身体晃动，以及这种晃动如何相互影响、影响观众以及各种同步性和群体动态的不同方面。这些都是非常迷人的内容，涵盖了音乐、身体动作以及我们如何与彼此同步的交集。这就是今天《VR之声》播客的内容。
我与Laurel的采访是在2019年5月23日星期四，于加拿大神经科学研究所举办的“未来神经科学”研讨会中进行的，地点在纽约市。
Laurel Trainor的介绍
我是Laurel Trainor，麦克马斯特大学的教授。我非常关注听觉和音乐，这对儿童和成人以及人际互动意味着什么。我还负责麦克马斯特音乐与大脑研究所，这是一个非常独特的场所，拥有一个可容纳100人的完整音乐厅。在这里，我们有各种设备，用于监测音乐家之间的互动、观众之间的互动，以及观众与音乐家的互动，并探索观众如何更好地沉浸在表演中以及更好地掌握表演中的内容。我们是基本科学家，但我们也非常关注健康以及日常生活中人们的应用。
神经科学与VR的未来
我们现在在加拿大神经科学研究所正在讨论VR中的未来神经科学。你提到过使用运动控制器来观察身体的晃动，你能否谈一谈身体运动、身体晃动和头部移动，以及你是如何提取人们身体移动的意义和他们如何互动与沟通的？
是的，许多非语言线索和身体运动非常重要，尤其是对我们如何互动的影响。因此，我们一直在使用音乐作为理解这些非语言机制的模型。例如，我们对一组音乐家（例如弦乐四重奏）进行了运动捕捉，并观察他们的身体晃动。这些都是音乐家在演奏乐器时不需要做出的动作，但他们都会做。比如说，他们有时甚至不知道自己在做什么。这就有点像我们说话时的手势。实际上，如果你阻止人们在说话时移动手部，他们的表达会变得更加困难，这正是我们所称的具身认知的一个例子。我们感知世界的方式，我们思考的方式都在使用运动系统、运动计划和大脑的运动前区来完成这些。所以当你在感知或思考时，运动系统会涉及其中。我们认为，音乐家的身体晃动实际上反映了他们在规划运动和音乐概念（即他们如何分段接下来的音乐）的思维过程。
身体晃动与非语言交流
我们对四位不同的音乐家的身体晃动进行了观察，而我们更感兴趣的是这种移动是否会影响其他音乐家的下一步动作。我们正在观察预测。我们可以根据一个音乐家的移动来预测另一个音乐家的移动。当然，这种双向关系可以在所有音乐家之间进行分析。当我们进行这项研究时，我们可以辨别谁是领导者，谁是跟随者。事实上，如果我们指定不同的人作为领导者，他们对其他人的影响通常更大。而被指定为跟随者的人对影响的程度相对较小。有趣的是，如果音乐家们甚至看不到彼此，我们仍然可以根据他们的身体运动来进行预测。视觉是相关的，但并不是全部。我们认为，我们测量的音乐家之间的沟通实际上是反映了他们的思维过程。
一个音乐家所产生的声音给另一个音乐家提供了关于下一步该做什么的线索，另一个音乐家会受到影响并可能调整自己在下一段音乐中的演奏。因此，音乐家之间存在一种复杂的动态关系，他们相互影响、倾听、规划下一步等等。如果他们不这样做，就几乎不可能一起演奏，因为音乐会加速或减速，我们会分段，增强或减弱音量，做出各种微妙的变化。如果我们能用这一模型观察其他许多情境中的非语言互动，那就是一个巨大的收获。
Speed Dating和非语言群体的影响
例如，我们已经应用过这种模型于快速约会。通过观察两个互相影响的人的移动，可以预测他们在约会结束时是否会希望再次见面。未来，我们希望将此应用于非语言群体，比如能否带给与失智症患者、非语言自闭症儿童的交流更多的洞察。我认为这是探索人际互动的强大新方式。
观众的反应与同步性
在麦克马斯特大学的实验室中，我们还在观众身上进行研究。例如，我们对观众进行了运动捕捉，观察他们对舞台上音乐家的反应，以及他们彼此之间的互动。通过运动捕捉和脑电图（EEG）措施，我们可以显示某一位观众与另一位观众之间的连接。我们发现了一些有趣的事情，例如，当人们参加现场音乐会时，他们与其他观众的同步性更高。因此，他们的大脑在同一时间做出相应的反应。这种社交沟通让他们在进行评分时感觉彼此更为连接。我认为这能解释为何我们更倾向于参加音乐会，而不仅仅是呆在家里听音乐，这与我们的运动系统以及我们彼此传递的非语言线索息息相关，这实际上将我们与他人紧密联系在一起，给予我们归属感和共同体验的感觉。
同步性的重要性
你提到的同步性及其在群体动态中的重要性，我想给你更多的背景，关于神经科学领域对同步性研究的了解，以及它在群体动态中产生的影响。同步性非常有趣，音乐无疑是让人们以同步方式运动的绝佳方式，因为音乐中节拍的规则性是可预测的。听音乐时，你很容易跟其他人同步。许多研究已经表明，当人们在一起以同步的方式移动时，他们彼此的喜欢程度会提高，会觉得彼此更可信。在进行合作游戏时，他们也更愿意合作。人们甚至可能未意识到自己与他人同步移动，但在这样的经历之后，他们的感觉、同理心及人际关系都会显著变化。
婴儿与同步性的研究
在我的实验室中，我们研究了14个月大的婴儿。那个年龄段，他们的运动系统尚未完全成熟，因此通常无法精准地协调自己的动作与音乐同步。但是，他们通常是被抱着、摇晃着伴随音乐的。所以我们对他们进行了音乐节拍的摇晃，同时让他们面对实验者，实验者在一些情况下会与他们同步摇晃，而在另外一些情况下则是以不同的节奏摇晃。然后立刻我们给他们一个帮助实验者的机会。例如，当实验者一边挂衣物一边掉落衣夹并表示自己无法触及时，我们会看看婴儿是否愿意捡起衣夹并交还给她。在一系列研究中，我们发现，婴儿在经历3分钟的同步摇晃后，更有可能帮助同样参与摇晃的实验者，而在不同时则相对较少。因此，帮助行为主要集中在与他们同步的人身上。
沉浸式技术与神经科学的未来
我想了解一下沉浸式技术的广泛应用，比如运动追踪或脑电图（EEG）如何在虚拟现实和增强现实中发挥作用。你如何看待这些沉浸式技术将如何影响神经科学的未来？这是个很大的问题，虚拟现实和沉浸式技术在神经科学和健康应用方面有很多潜在的应用。在我们的LiveLab中，我们有一个极好的音响系统，拥有28个麦克风和76个扬声器，我们可以在其中重建几乎任何虚拟环境的音响环境。这个房间的声学非常出色，背景噪声低于10分贝。但我们可以改变背景噪声，添加所需的混响特性，以三维方式在空间内放置虚拟声音，这样就能实现声音在空间中的移动。在这个环境中，我们正在探索这对观众体验音乐以及其他类型表演的影响。
因此，观众沉浸在其中的感觉，而不仅仅是声音来自某个地方且他们是被动观察者的状态。我们还为观众提供了实时参与音乐表演的机会。通过手机应用或平板电脑，他们可以实时作出回应，影响音乐家的表演，例如，在一个案例中，参与者可以投票选择想要谁在爵士乐队中进行下一次独奏，或如何结束音乐作品，参与者有一些选择。我们还让观众用运动捕捉装置来产生声音。因此，依赖于观众的动作，实际上会为正在进行的音乐表演添加到声音景观中，或者让观众通过在手机上轻触或移动手机来创建声音。这样，观众实际上成为了表演的一部分。
技术对人们的影响
我们对这个创意过程非常感兴趣，如何让那些不是优秀音乐家或没有花费大量时间练习成为音乐技术专家的人也能与其他人以创造性和充实的方式体验音乐。这是利用这些技术促进人们福祉、满足的一种案例。此外，还有许多其他应用。例如，对于那些非语言的患者，如患有失智症的患者，有没有方法可以让他们体验一些能够唤起记忆的东西？我们知道音乐在这方面是很强大的。如果为某人播放他们青少年或二十多岁时经历过的音乐，通常会唤起记忆并使他们更具交流能力。
发展障碍的共同点
我们与自闭症儿童一起工作，或者将他们放在一个非威胁性环境中学习社交互动。我们正在与发展协调障碍儿童合作，这些儿童可能相对笨拙，甚至有些在走路、接球方面有困难。在虚拟现实中，我们可以在一个安全的环境中进行训练。目前，当他们进行运动训练时，往往没有乐趣，参与度也不高。如果你是在运动队中最后一个被挑选的人，你可能不会想要去练习接球。然而，如果我们能够利用虚拟现实为他们创造有趣的环境来学习运动技能，那将对这个群体来说是一个巨大的进步。
关于工作中的开放问题
至于我现在正在进行的一个主要工作涉及到时间和节奏。我渐渐地认为大脑实际上是一个不断预测未来的器官，然后将实际发生的事情与预测进行比较。预测错误时会产生错误信号，这是大脑学习的一大方式。因为当你在预测中犯错时，你对世界的理解、模型并不是完全正确的，从而使你能够建立一个更好的模型以避免再次犯错。因此，如果预测真的很重要，那么节奏和时间就自然而然变得非常重要。音乐中的节拍，简单的节拍，每对连续的音符之间有一致的时间间隔，因此你可以高精度地预测下一节拍的发生时间。我们在音乐中的确是在不断地这样做。
文化与节奏的多样性
你提到的东西让我想到了西方和非西方音乐之间的差异，例如4/4的节拍是非常单调的、单一的一致，但在多节拍的文化中可能会存在更不规则的时间签名。我不知道你是否研究过这方面的文化差异对不同节奏的影响。
非常有趣的观点，不同文化确实使用非常不同的节奏。我的同事Aaron Hannon对这方面做了很多研究。事实证实，婴儿在早期发展中实际上可以处理简单和复杂的节奏，在他们接触西方音乐后，他们可能失去处理复杂节奏的能力。当他们接触到简单节奏时，这种能力在他们出生的一年内就会丧失，因此在很小的年龄就会显现。就像他们对语言声音的敏感性一样，他们也在潜移默化中被环境中音乐结构所影响。如果我们希望孩子们能够开放地听取和理解其他文化的音乐，我们实际上应该关注他们出生后的第一年，因为这是感知收窄显现的时刻。
虚拟现实的潜力
最后，我想知道你对虚拟现实的最终潜力有什么看法？它可能带来什么？我认为它能够开辟全新思维的方式，可能会对我们产生一种类似于过去印刷术发展的效果。正如人们能够阅读书籍、传递知识所打开的世界一样，VR有潜力使我们重新思考自身作为人类的意义、作为人的意识及元意识。
结束语
非常感谢您，Laurel Trainor，她是麦克马斯特大学音乐与大脑研究所的教授，专注于听觉和音乐及其对人际互动的影响。今天的访谈让我得到了许多启示，首先是一个非常令人振奋的发现，即同步性在神经科学中的重要性，以及它对我们去音乐会、与其他人一起流动的影响。她通过对音乐家及其身体晃动的研究，展示了非语言交流的微妙之处，同时也通过与观众不同交互模式的探讨，揭示了人际沟通的丰富性。
再次感谢你收听《VR之声》播客。如果你喜欢这个播客，请传播这一消息，与朋友分享，并考虑成为Patreon的成员。这个播客是由听众支持的，我依赖于你的捐款来继续为大家提供这样的内容。如果你愿意支持这个播客，只需每月捐赠5美元，就能助力它在社区中继续免费的传播。请今天就在patreon.com/voicesofvr上捐款，感谢收听！