# The Voices of VR Podcast

## Hello

**Ken Bai:** 我的名字是 Ken Bai，欢迎来到《Voices of VR》播客。在今天的节目中，我将与来自皇家莎士比亚公司的几位创作者以及 Marshmallow Laser Feast 的创作者一起，深入探讨《梦》的体验。他们与菲尔哈莫尼亚管弦乐团以及曼彻斯特电影节合作，结合了所有这些沉浸式技术，看看如何将它们与现场表演和戏剧结合在一起，这是一个名为“未来观众”的更大倡议的一部分。他们一直在进行这些不同技术的研究和开发，然后疫情袭来，他们不得不进行一系列数字转型。因此，他们创造了一个我会说是实验性的东西，他们正尝试原型制作什么是将体验带给他们的目标，也就是使用现场表演和动捕技术将100,000人转化为一个故事，自成一体的故事，其中包含观众参与的元素，观众可以做不同的事情来影响他们自己对叙事的体验。我有机会与 Pippa Hill 交谈，她是皇家莎士比亚公司的文学部负责人，以及 Robin McNicholas，他是 Marshmallow Laser Feast 的导演之一，参与了这个项目。我们讨论了这个项目的演变，以及他们在如何将所有沉浸式技术与戏剧等其他表演艺术实践结合在一起时所得到的一些经验教训。

也是为了反思，发生了这些不同的短暂表演和体验，很多人能够体验到这一点，我认为在现场动捕和表演方面有一些有趣的创新，同时在分发方面也有新的视角，以便达到他们所追求的规模。为了达到那个水平，有哪些不同的权衡呢？今天的《Voices of VR》播客将覆盖所有这些内容以及更多内容。所以与 Pippa 和 Robin 的这次采访发生在2021年3月17日的星期三。那么现在，就让我们深入探讨吧。

## 采访嘉宾介绍

**Pippa Hill:** 我的名字是 Pippa Hill，我在皇家莎士比亚公司担任文学部负责人。我对虚拟现实和沉浸式媒体相对较新，但我并不陌生于讲故事。我是公司的高级戏剧顾问。

**Robin McNicholas:** 我的名字是 Robin，我是 Marshmallow Laser Feast 的导演，也有幸参与了《梦》这个项目的制作。

## 项目背景

**Ken Bai:** 那么，也许你能提供更多关于你们的背景和你们进入这个《梦》项目的旅程的背景。

**Robin:** 嗯，我的背景是，我和我们的整个团队对 XR 领域或混合现实已经感兴趣好多年，实际上，这也是我们建立联系并开始的方式。我们发现自己处于这些位置得益于像 Sundance New Frontier、Tribeca Storyscapes 和 IDFA 的 Doc Lab 等组织。多年以来，《梦》这个项目的进展是，随着友谊的增强，我们说：“嘿，我们应该合作。”多亏 Sarah Ellis，她是皇家莎士比亚公司的数字负责人，她想，“你知道吗？让我们提交一个研发计划，创建一个由来自各种背景的技术和创意从业者组成的大型联盟，共同探索未来的观众。”

**Robin:** 在这个项目中，我们实际上进行了两年的深入研究工作，而《梦》实际上是这一研究的示范项目，尽管它只是其中的一小部分，但却是研发中重要的一部分。从我在皇家莎士比亚公司的角度来看，我负责所有的新实验性工作。我们有一个相当大的实验室，叫做“另一个地方”，在任何一段时间都有30到40个新项目在运行。所以这是实验性、激进的调查工作，是我在公司的主要关注点。这个项目在2019年来到了我的门口，当时 Sarah Ellis 邀请我与 MLF 和 Filomena 及曼彻斯特国际电影节就讲故事进行咨询。她带我去了 Sundance 的 New Frontiers，让我带着 VR 头显泡在游泳池里，并让我迅速进入这个激动人心的新领域。我对在这个空间中，尤其是木偶戏的可能性感到非常兴奋。我花了很多时间进行实验性木偶戏工作坊，展示不同形式的舞台讲故事的方式。我意识到，在这个空间中，你可以操控真实的、反应灵敏的虚拟人物与一支现场表演的公司一起工作。我们在2016年已经为《10 Pest》做过一些现场动捕，所以我们知道这是我们真正兴奋的事情。我从 Sundance 进行深入探索后，立即开始参与这个项目。

## 在疫情中的转变

**Ken Bai:** 只是为了补充，进入游泳池的深入探索是一个字面上的池子，而不是隐喻。我很高兴听到这些节日，我自2016年以来也一直在参加，第一个看到的 Marshmallow Laser Feast 的作品实际上也是在2016年的 Sundance。所以我知道在这段时间里肯定有很多不同的创新。而我认为有趣的是，这个项目将所有这些技术结合在一起，但在能够接触到10,000人的庞大规模时，同时又很多我在这些节日上看到的先锋实验，比如说 Tripeka 的《Draw Me Close》，那是个一对一的体验，在那里几乎存在一种逆向关系。你可以拥有一对一的体验，以获得最大的叙事权能和体现感，但当你开始在规模上做事情时，情况就不一样了。所以我们稍后再深入探讨这个问题。但我想追溯一下未来观众的演变，因为我实际上在2019年 South by Southwest 见到了 Sarah Ellis。我和她进行了一次未发布的采访，内容是关于这一切的起始。现在回顾，我觉得很有趣。但是我听说在这个项目中，确实发生了一些转变，因为最初关注的是场地特定的特质，但随着疫情的出现，一切都必须转向在线，这最终变成了《梦在线》，这是从3月12日至20日的演出。也许你可以谈谈你们最初的设想，以及你们不得不完全虚拟和在线进行的那一时刻。

**Robin:** 嗯，我们在这个项目中实际上已经做好了相当充分的准备，很快就进入了一个 LBE（位置基础娱乐），它仍然从《仲夏夜之梦》中汲取灵感，但实际上是在一个废弃的购物中心或商场内，非常注重触觉。我们计划占据三层楼，非常大胆地投入到基于屏幕的触觉技术中。但在核心上，我们已经在使用 Unreal Engine 进行开发，我们意识到在开发和项目预演阶段，我们有一些非常激动人心的东西，我们意识到可以将其移植，并可以有效地授权一个活的故事世界。当现场表演结束时，它有可能继续存在。发生的事情是，COVID来袭，冲击了这个 LBE 项目，我们都必须接受我们非常热爱的事情是不会发生的。所以在这里经历了一些悲痛的过程，但我认为在联盟内有很多激情和兴趣，我们想要继续下去，已经有一些遗留下来的元素。例如，去年3月13日，即去年的星期五13号，恰好是所有事情在封锁之前最后一天开放，也恰好是菲尔哈莫尼亚管弦乐团录制我们在数字转型中使用的拉威尔乐曲的那天。有些东西依然存在。哇，这一年可真不容易。在接下来的六个月里，整个联盟在 Zoom 中生存和呼吸这个项目。我们创造了一场通过 Zoom 进行的表演。这真是非同寻常。我从未经历过这样的事情，但直到今年1月，我们中的一些人才能够在一个房间里聚在一起，我们进行了严格的 COVID 测试和社交距离。但在全球大流行和英国封锁中制作这部戏剧，我认为对叙事产生了影响，影响巨大，实际上对故事的发展以及叙述的发展产生了影响。

## 最终产品描述

**Ken Bai:** 好吧，能否请你们用自己的话来描述一下《梦》最终的作品是什么样子的？如果人们可能还没有机会看到。

**Pippa:** 关键之一是数字转型的目标是创建一种可以展示我们作为联盟开发的一些研发成果的体验，目标是接触到100,000人，并让这些访客获得有意义的体验。结果，它最终成为了在线制作，向所有人免费开放，但也有选购票的选项。演出持续了10场，持续了8天，从3月12日到20日。看到这些结果真的很令人着迷。我们正处于演出期间，我们已经发现，观众的类型是很广泛的，这是我们非常期待的，既有数字原住民，也有数字素养较低的传统访客，他们也在参与其中。包容性实际上是至关重要的。达到这样的观众体量至关重要，这无疑影响了设计过程。这也带来了很大的挑战。你知道，如何撰写一个故事，在吸引千禧一代以及莎士比亚爱好者的同时，真是一个好问题。

**Ken Bai:** 嗯，是的。Pippa，也许在我观看《梦》之后，我又回去看了《仲夏夜之梦》，只是为了更好地了解这个故事世界，因为我具有工程背景而不是人文学科背景，所以有很多本质的东西我并不知道。我试图去看看你们是如何做出这样桥梁的，但似乎你们是将《仲夏夜之梦》的故事世界及一些角色，特别是那些可能占据很小部分的精灵，放大成一个角色，并给予他们一个完整的虚拟化身。Pippa，也许你可以从你自己的角度谈谈这个过程，因为当你查看所有莎士比亚文本的语料库时，审视《仲夏夜之梦》这一故事部分，然后开始将它扩展为这个整体沉浸式体验的过程。

**Pippa:** 嗯，我认为我们面临的挑战是，我们被要求制作一部受《仲夏夜之梦》启发的作品。我们特别被要求不去舞台上演《仲夏夜之梦》，我认为这是一个非常激动人心的挑战。因为，当然，这是一个了不起的剧本，但它所独特的是有如此多不同的故事剪辑，并且将其巧妙而出色地编织在一起。角色之间的关系极富普遍性，你可以完全与他们产生联系，而精灵又奇怪但同时也像人类一样在于他们相互之间以及与周围凡人的反应。因此，我们真正采取了一种环境方法，不是出于全球变暖的考虑，而是我们想要从诗句中生长出一片森林，这便是我们的出发点。我们从剧本中提取出一些非常微小的叙事线索，一些在原剧本中几乎没有主导地位的小角色。而 Puck 是如此出色的主持人，极具魅力，顽皮且画家。因此这是起点。Robin 和我都非常兴奋，想要展示在一个不真实的森林中，什么是真正美丽和神奇的现实森林。因此有一个关于 Puck 和他们会见的精灵，以及一场风暴的叙事，还有一种合伙召唤行动的感觉。故事弧相当微妙。但通过这个过程，我们编织了一个真正的森林在虚拟世界中。在 Unreal 中，我们呈现了一段旅程，带领观众进入树冠，深入根部和菌丝体网络，真是不可思议。大自然创造的东西，而我们通常没有机会去观察。我们非常希望探索剧中的神奇元素，以及剧中的一些意象，展示英国森林中令人叹为观止的美与神秘。

## 世界构建过程

**Ken Bai:** Robin，我很想从你那里了解更多关于如何构建这个世界的过程，因为我可以看到，经历的进化过程从“穿过动物的视角”、“拥抱树木”到“我们生活在空气的海洋”，甚至“美梦”的各个方面，最初将会是什么样的触觉和感官体验，最终可能需要转向此最终体验中可能没有太多这些东西。不过，确实是 Marshmallow Laser Feast 美学，捕捉到地球的各个层面，这让我认为这是这个作品中最引人注目的方面之一，能够将我们带到身体上作为人类无法真实接触的地方，借助虚拟表述做到这一点。所以我很好奇，在这个构建世界的过程中，你们是如何将本应是戏剧制作的那些，带入到这些不同的虚拟表述中的局域？各种各样的创新也开始如火如荼地发生。

**Robin:** 我想这是有道理的。我们的早期工作探索，甚至参与了一个名为《奇幻真菌》的纪录片的动画。我们想要探讨感官感知，通过技术，比如 Unreal Engine，实际上，我们可以将人们带入很多传统舞台表演可能难以做到的地方。尽管我想象在舞台上有相当刺激的方式可以应对这种东西，但我们正在利用 Unreal Engine 可以为我们提供的功能。例如，你可以创建违背物理法则的角色，创造出动感十足的角色。对于我们来说，让表演公司使用这些角色并在森林的不同角落中存在是非常重要的，这是过去在现场环境中很难实现的事情。通过这个过程，我们发现了一些非常新的东西，它引入了一些新的对话，实际上是最近因为类似实时动捕作为一种新的输入而显露出来的。在过去，实时动捕是一个相当繁琐的过程，需要进行多次拍摄和大量后期制作清理，而在《梦》中，我们使用的是实时动捕，这意味着我们不仅能即兴创作，还能进行探索，有更多的创意，较少是机械化的绘图，而是参与到导演和动作指导的创造过程中。最终，在实时中培养出新想法，我必须说，这是这个项目中最令人兴奋和开眼界的一个方面。

**Robin:** 我想了解到这些虚拟存在的可能性，未来观众可以具身这些虚拟存在。其中涌现出许多新的问题和叙事结构。我认为，看到一些演出后，脑袋稍微休息一下，深感这些发现是重要的事情，这里有着某种非凡正在到来，它和虚拟生物、远程共在交织在一起。希望在文化空间重新开放之后，沉浸式触觉体验能够突破与传统剧院紧密相连的地域限制。

## 动捕和木偶戏

**Ken Bai:** 我想深入探讨一下动捕和木偶戏的方面，之后也想深入讨论一下我的经验以及在此过程中出现的一些代理人问题，这是我认为在探索不同层面时的非常有趣之处。《梦》体验让我看到更有趣的是，首先这就是现场直播，并且有一个实时镜头。在这一点上，我其实不太确定这是现场直播还是事先录制的。这是我在观看这些表演时经常思考的一个深刻问题，因为有些元素可能被隐藏了。这确实很难确认究竟是什么让它是现场表演。而与此同时，在接下来的过程中，你们就转入了这个阶段，详细介绍了角色是如何被操作的，因为在我第一次观看时，我并没有考虑到“其实这正是在幕后的某个人。”因为我不知道什么是事先录制，什么是现场直播，同时你们进行了一种合成模拟以及这些现场分解性能的结合。所以我很想知道这个木偶表演和完整录音、与这些演员的合作以及他们学习如何与这些虚拟化身互动的演进过程，这一切是如何融合在一起的。我觉得这是这个作品最有趣的创新之一，我可以看到将在这一方面继续实验。那么这一切是在疫情之前始终存在的吗？在进入这样一种现场表演的背景时，你们现在的半途过程中对这一切的最大突破性见解是什么？

**Pippa:** 我认为我们很强烈地感受到，在这种沉浸式体验的开头，有必要使观众保持注意。在虚拟现实中，这称为入门，在戏剧中我想是你进入建筑时会得到的，工作人员会给你介绍酒吧在哪里，在哪里能拿到节目，欢迎你，感觉被照顾和轻缓地带入叙事的第一部分。很早之前，Robin说：“如果我们在演出开始时有一位演员并非角色状态的演员来迎接观众并带领他们去旅程，那将是多么美妙。”我认为一个非常聪明的主意。我们在之前的演出中有过类似的构想，但当时更多是烟雾和镜子，而是试图哄骗观众进入一个真正的商店，突然间这个真正的商店变成了完全不同的东西，而这个更加诚实的方式对我们来说非常重要。我认为这对于角色扮演的真实性也十分关键，最初的临场表现也非常关键。实际上，每晚都是现场直播的，我们认为在演出前的准备工作，特别是舞台、电视采访的情况，对于大多数观众来说都是一个熟悉的格式，大多数人看过这些场景，所以我们感觉其重要性也很大。而展示剧院的诚实意味着以这种方式为观众提供事实，这当然是莎士比亚戏剧中常见的“剧中剧”之一。莎士比亚的剧中剧是展现真实的诚实，而这又为其余的叙事提供了背景。因此，我们深受其鼓舞，并认为这一点对我们很重要。

## 演员与木偶的结合

**Ken Bai:** 我不知道你是否想要展开演技部分，因为对于我来说，在我所看版本中，关于 cobweb 演员是如何进行这个角色的木偶表演的事情是一个重要的组成部分。因此，关于将运动捕捉数据转换为这些虚拟体现，木偶剧也许是表演的一种不同形式，这些是明显不同于传统表演的，但你们又将这些东西融合在一起。我很想知道当这些技术的结合实际引入演员如何表演时，是否总是存在于最初的构思中，以及随着你们进入一种现场表现的背景，你们现在对这些现场工作在这种上下文中的主要突破性见解是怎样的？

**Robin:** 我觉得这个过程惊人的一点在于，我非常习惯与演员一起工作，探索角色和木偶，但这次的体验是，角色的发展与排练是同时进行的。以 Cobweb 为例，最初的版本中有一个木偶表演中的非常反直觉的部分。因此一些演员是全身体现着他们的化身，但 Maggie 是在操控一只眼睛。所以当她双手合拢时，睫毛会打开，当她向前或后退走时，瞳孔会打开。但最初的跟踪版本有些不同，跟踪更复杂。她与技术团队一起工作，开发了她能够更自然地进行木偶操作的跟踪类型，能够自如地进行表演，而不会因在单腿上站立或其他事情而分心。我认为这非常令人着迷，因为那意味着我们正在真正地同时发展技术和表现，以及角色的发展。这真是非同寻常和令人兴奋的。

**Robin:** 我想补充一点，实际上在这个项目中就像许多项目一样，所有的事情都是在最后时刻整合在一起的。以例如 Moth 的角色为例，我们为 Moth 想出了精细的计划，以使它成为一个由大量小蛾子构成的动感实体，表现为大蛾子的瞬间。我们不得不向 Durace 安心，这就是要做到这一点，同时我们的首席开发者 Will Young 正在用群体算法做出非凡的工作，以确保 Durace，实际上能够控制这些算法。所以这并不是提前设定好的，能够让表演者控制这个过程。与此同时，我们还有交互音频，用一种叫做 Gesturment 的工具将演员的运动映射到音乐中，这也是另一个方面。Of course，群体算法、Durace 的表演和音乐都是必须整合在一起的。我们对其最终所呈现的状态感到非常高兴，但更重要的是意识到，这只是一个开始。这将给演员提供更先进的动态系统，让其传达他们所表现角色的情感。

## 叙事与代理人的交织

**Ken Bai:** 我想深入探讨代理人问题，因为我觉得这是在互动叙事与沉浸式世界之间融合时最大的哲学挑战。我将其视为固定叙事的作者权力与具身代理权之间的对立。以电影为例，剧本和演员有着最大的控制权，可以构建和释放叙事紧张。而在另一端是生成性叙事，个人表述的自由发挥能力开始面向开放世界视频游戏。为了达到一定的可交互性，如何选择的平衡与切换很难处理。虽然令我看到《梦》的目标是接触到100,000人，但你不能有100,000名厨师进入厨房——即让每个人都能对叙事方向拥有重大决定权。因此，找到其他方式让每位观众感受到他们的参与是一个挑战。我认为在代理人和叙事设计之间存在着紧张感，这两个方面表面上看似相互排斥。我非常好奇你们对这一问题的探索，或者回首一下你们最初在 LBE 项目时是如何处理这个问题的，最终如何演变成为《梦》。

**Pippa:** 我认为你说得对，我们在创造代理权方面确实面临挑战。我们的方式是聚集用户数据，因此我们实际上有一个热图，用户与萤火虫进行互动，萤火虫在某种程度上是照明部门、服装与编舞的结合，允许主要角色 Puck 在森林中导航。实际上，我们的热图呈现了选票最多的位置，会在该点设置一只英雄萤火虫，吸引 Puck 的行动。实际上，Nick Cave 的声音出现在森林这一部分音效中。

**Robin:** 没错，经过这些过程我们将很接近全面屏的非侵入式图形用户界面，但这真是痛心且无可奈何的，不仅在时间上受到影响，也在于设计过程上必须明确这些时刻，以便增强观众的互动体验。你要记住，我们的观众从4岁到104岁，达到这样的人数目标真的很艰巨。我们必须考虑包容性。因此，设计过程在很大程度上影响了我们的程序，实际上对我来说是十分重要的。我对这一领域的热情驱使着我——我们了解，这种双向的大众互动是可以实现的，但这确实是一个挑战。为了实现更大的开放世界，带有人工智能帮助这一过程就像你提到的，完全是另一个维度。我希望这个项目能给其他制作人和联盟中的团队带来启示，意识到还有许多地方可以探索。

**Pippa:** 我想也许我们可以进一步发展这个想法，因为我们对面对的畅想是多种多样的。叙事方面——例如，选择不同的叙事轨迹，这确实是一个值得讨论的方向。

**Ken Bai:** 很有趣的是，通过探索叙事，你们发现的方式可能会加重已经在预定叙事之上的，有某种元素变得更加明确，尤其是您将观众引导选择特定路径。实际上，给予他们不同选择的元素会让叙事的前景更为明朗。

**Pippa:** 是的，毫无疑问，可通过对更多互动的影响给予更多随意性。我们确实跌入了更大的噪音，但形成了我们对整体狭义的体验的感受。

## 反馈与总结

**Ken Bai:** 那么谈到你们所收到的反馈，因为我知道你们正在进行调查，这部作品的反馈和数据情况如何呢？

**Pippa:** 我们的社区、XR 场景内的朋友们的反响非常积极。我松了一口气，为我们所创建的东西感到自豪。我们决心分享我们的知识，同时也很重要去分享我们所面临的障碍和挑战。但总体而言，反响是积极的、来自于各种不同的观众。

**Robin:** 例如，来自传统剧院观众的反馈让我原本很担心，因为技术和技术的使用会成为制作者与观众之间的一种障碍。利用这种技术并不打算替代现场的剧场体验。我迫不及待想要再次进入剧院和其他文化空间。更重要的是，尽管有这些不一样的事情，传统的剧场领域也充满着好奇心，对于我们开发的工具包在现场制作中可能带来的东西，产生了非常大的好奇心。

## 未来的展望

**Ken Bai:** 最后我想听听对于未来的展望，您认为这一类型的沉浸式戏剧与沉浸式技术的融合的最终潜力是什么？

**Robin:** 我对这一切完全没有任何想法，正是这一点令人兴奋。看看我们在过去一年半中做的事情，我认为没有任何东西是失败的。我们尝试的所有事情都是有效的。就我的湄来说，某种程度上没有什么在剪辑机上消失。我们未来还有很多能够开发实施的东西。

**Pippa:** 我们还知道，由于其特殊的创造性，这个故事世界在为现场制作所做的努力中，有很多机会向前推进。我们希望在未来，依赖于所有正在进行的虚拟演出和节目表，关于这种整合性的一切都可以发生。

—-

**Ken Bai:** 感谢你们的时间，很高兴和你们聊天。