The Voices of VR Podcast

Introduction

我的名字是Kent Bye，欢迎收听《VR之声》播客。虚拟现实将促进各类新的跨学科合作。在2017年的IEEE VR会议上，有一个关于虚拟社交互动的讨论小组，计算机科学家、社会科学家和神经科学家们共同探讨虚拟现实技术如何进行新的实证研究。我有机会采访了这个小组的组织者，Shwini Pan博士，她是伦敦大学金史密斯学院虚拟现实的助理教授。她谈到了社会科学中不同领域如何利用虚拟现实进行新的实证研究。这就是我们今天在《VR之声》播客中要讨论的内容。这次与Sweeney的采访发生在2017年3月20日，地点在加州洛杉矶的IEEE VR会议上。

Shwini Pan的介绍

我叫Juniper，很多朋友和研究人员称我为Sylvia。我是伦敦金史密斯学院计算机系的虚拟现实讲师，过去12年来一直从事虚拟现实工作。我开始来到英国，在UCL获得了虚拟现实硕士学位，然后在同一领域攻读博士学位。随后进行道德与虚拟现实的博士后研究，后来转向社会神经科学，研究模仿和虚拟现实，直到我在金史密斯学院获得讲师职位。

IEEE VR讨论小组

在IEEE VR会议上有一个关于社交互动的小组讨论。你能谈谈你在这里讨论和展示的内容吗？

对我来说，这个小组确实总结了我过去12年的研究。基本上，我组织了这个小组。总共有六位成员，其中一半是心理学家，另一半是计算机科学家，包括我在内的计算机科学家。乔纳森·格雷什教授（USC）也参与其中。将这两个领域的人聚在一起是一种令人兴奋的机会，因为我认为虚拟现实最近成为了一个非常激动人心的研究领域，尽管在研究历史上已经存在了20到30年，但最近，VR技术真的是成熟了，足以让我们实现真实而富有表现力的虚拟角色，这些角色在社交互动中应用得到了很好的效果。最近，我们能在虚拟现实中提供真正有用的社交互动体验，适用于培训、教育、治疗以及社会科学研究。我认为在社会科学家与虚拟现实研究者之间，有很多激动人心的事情即将发生。

计算机科学与心理学的视角

我很好奇你们在计算机科学和心理学这两个视角下，正在积极研究哪些未解问题。

我认为计算机科学家面临的一个问题是，我们希望在培训和教育中使用虚拟现实。因此，我们想要建模具有表现力的虚拟角色，以使其对用户作出真实的反应，但我们实际上并不完全了解真实生活中的社交互动是如何运作的。如我在小组开始时所说，很多互动其实是潜意识的。我在与你交谈时并没有计划我的行为。而在进行面谈时，面对面的交流非常重要，因为我可以看到你对我所说的理解程度。这不是我们进行音频采访时所能实现的。然而，心理学家也并不是很清楚社交互动实际上是如何发生的。在这种互动结束后，我们会对这个人有某种印象，但我们无法作出准确说明。即使心理学家也无法完整解释，但他们有某种理论，也有丰富的经验来进行解释，而这对计算机科学家是非常宝贵的，没错。

社交模拟与非语言沟通

我在社交互动的情感维度方面也非常感兴趣，因为你在具身体验中能够完全展现肢体语言，最终加上面部表情和眼动追踪，我认为这将开始向彼此传达更高层次的情感信息。然而，我看到不同的社交存在理论模型有一个整体方面，关于你与角色之间情感连接的程度。你如何思考或创建情感框架，尤其是在这些社交互动中？

我尽量避免讨论情感，因为它们太高层次、太复杂。而且，顺便提一句，在这个房间里有我的博士生导师，肌肉学教授，您肯定应该采访她。我之所以避免情感，是因为我在社会神经科学方面的经验是，最好研究较基础的低级脑反应，而不是一些有许多不同因素影响的情感，比如你的个性、经历、是否疲倦、是否饥饿，所有这些因素都可能对你的情感反应产生影响。因此我们最好退回一步，只是看看你拥有的更基本的本能反应。这是我的看法。我不是情感方面的专家，有些人可能会不同意我的看法，那也没关系。但我确实认为它是整体性思考的一部分，如果你在关注存在感，或社会存在感，或者是某种标准社交互动的目标，你所关注的研究功能是什么？

研究类型与目标

所以我做的研究有两种类型：一种是使用虚拟现实研究社交互动，这实际上是我与神经科学家或社会神经科学家的合作，用虚拟角色帮助他们解决研究问题。研究理论基本上来自他们。另一种是我尝试在培训、教育和治疗中使用虚拟现实。为此，我需要确保创造一个能真正产生存在感或社会存在感的情境。

未来研究方向与合作

对你来说，目前推动你研究的最大未解问题是什么？

如何让计算机科学家和心理学家合作，这其实是一个，因为文化差异导致很难合作。例如，我感受到这两个领域都有大量的专业知识，但人们的语言不相同。因为我尝试从事这两个领域的工作，我发现这非常具有挑战性。有时我想创建真正真实和情感化的社交互动，但当我开始进行编程时，我发现我几乎像切换到机器思维的开关，表达的情感便消失了，所以这非常困难。

或许，未来的一个有趣方向是，学生们能够从早期阶段就选择两者的课程，以便他们能在这两个领域内获得专业知识，而不是像我这样苦于无法理解心理学框架。

虚拟人类的表演与控制

当你与虚拟人类互动时，我很好奇你是否有像“现场木偶操作者”那样由实际人类控制虚拟人类，还是你只是通过编程来控制这些人类。因为我注意到，在观看一些这些虚拟人类的视频时，它们感觉相当机械，似乎并不生动。

通常我们制作的虚拟角色分为两种，角色或代理，但我们通常使用中间的方式。其中一个我使用的范例叫“巫师效果”。我录制一个VR动画，结合一些句子。当我按下按钮时，虚拟角色会说出与其肢体动作同步的内容，因为我们在说话时会大量使用身体。如果没有同步，它就无法发挥作用。这是一个层面，然后我们通常让实验者按下按钮来触发这些互动。但同时，还有另一个层面，这个层面是基于代理部分的虚拟角色。因此，他们可以触发不同的句子，也可以看着参与者。你知道，这是由我们算法驱动的，他们可以看着你，目光的百分比可以有所不同。因为在我们交谈时，我们并不总是100%盯着对方，看着彼此。这可能在某种程度上取决于你从参与者那里获取的测量标准。因此，设计研究时，确定每种方法希望使用多大比例就是另一种挑战。

心理学家与计算机科学家的合作

今天在小组讨论中，你提到了来自神经科学和计算机科学背景的人。我很好奇有没有看到这些合作非常顺利的例子，以及他们各自在什么方面可能有盲点。

我认为他们确实希望合作，因为他们看到了现实的情况。社交科学家，可能在大约三年前就是如此。在那之前，当我去问心理学家是否想使用虚拟现实时，他们几乎没有兴趣。但现在他们真正看到了使用虚拟现实的优势，并意识到自己真的可以负担得起这个系统。他们愿意尝试，愿意花2000英镑，即使结果不理想也没关系，以前必须花20万，但这改变了他们愿意使用虚拟现实的态度。而且，在生态有效性和实验控制方面也有很大好处。

作为计算机科学家，我还看到，大家几乎解决了虚拟现实在计算机图形、渲染、延迟、帧速、照明和现实感等方面的基本问题。我们在很大程度上也能够与系统进行自然互动。并不是100%完美，但我们已经迈出了小小的一步。许多人意识到，接下来我们希望能够与环境中的另一个人进行互动，无论是代理或虚拟角色。但当他们开始去做的时候，他们意识到什么都行不通。他们发现自己有许多未知的问题，结果无论怎么实施，这些角色看起来总是像僵尸。这时候他们转向了社会心理学家。这一领域确实存在问题。首先，人们经常使用不同的术语，但所描述的概念却完全不同。

心理学与VR的未来

我很好奇，既然你提到一些心理学家开始利用虚拟现实技术，能否分享一些早期的例子和他们在研究中使用这项技术的实例？

模仿和脸红是我的工作中提到的例子，但这些并不来自心理学家。为了完成这项工作，我阅读了很多心理学论文。一些心理学家正在尝试研究目光。他们让人们在fMRI扫描仪中，观察虚拟角色看着他们或没有看着他们的瞬间以扫描他们的大脑。还有一些心理学家在研究种族偏见，他们已经进行了一些使用虚拟现实的研究，因为在虚拟现实中你可以成为别人，可能会经历你在生活中无法体验的事情。

虚拟现实的最终潜力

最后，你对虚拟现实的最终潜力有什么看法，它可能实现什么？

对我而言，虚拟现实是实现不可能的事情。虽然有很多关于娱乐领域的讨论，但这不是我的兴趣所在。我真正关心的是将虚拟现实应用于培训和治疗，以帮助那些本来只是待在家里，无法走出家门，无法过上正常生活的人。我们可以利用虚拟现实帮助他们克服心理问题，来享受生活，和其他人一样。这是我的希望。

另外，很多人也在用360度视频，通过VR创建共情体验。比如，我做过一些工作，创建了一个虚拟环境，展示自闭症患者的视觉体验。因为当我们进入一个房间时，我们会立即注意到房间里的那些人，这几乎是我们大脑自动进行的活动。然而，自闭症患者进入这个房间，可能会被地毯和壁纸所压倒，对他们来说，这些比房间里的人有趣的多。他们在我们眼中行为可能显得奇怪，但实际上，他们可能有着丰富的体验。因此，我认为理解他们如何体验世界是很重要的，这样我们才能接受他们不是奇怪的人，而只是拥有另一种个性。为了理解他们的个性，我们需要体验他们的感受，因为用语言描述这很困难。

结束语

非常感谢你，感谢收听《VR之声》播客。如果你喜欢这个播客，请考虑支持我们的Patreon。这是一个由听众支持的播客，因此我依赖于你的捐款来继续为你带来这样的报道。你可以在patreon.com/voicesofvr上进行捐赠。谢谢你的收听。