声音的播客
Hello
我的名字是 Kent Bai，欢迎收听《声之VR播客》。这是一个探讨沉浸式叙事结构和形式以及空间计算未来的播客。您可以通过 patreon.com/voicesofvr 支持我们的播客。
继续我的威尼斯沉浸式2025年报道
今天的节目是关于《阴影》（La Hombre）的。这是一个作为威尼斯沉浸式比赛的一部分的舞蹈作品。这是一个装置艺术，您身处一个巨大的空间里，实际上是在一个我们以前从未到过的地方，但他们获得了在这个空间表演的许可。这个空间大约能够容纳50到75人，而原版则能容纳约200人。它是一种混合现实和现场表演的结合，现场有舞者在舞台上表演，观众则佩戴着虚拟现实头显，头显上覆盖着这种混合现实的元素。原来的表现形式是通过更多的投影映射来呈现，并在此基础上还有其他的虚拟现实组件。不过，您基本上可以在原版中观看体验而无需佩戴任何虚拟设备。但在这个版本中，他们在 VR 头显的语境下替换了原本存在的投影映射。因此，这个作品基于汉斯·克里斯蒂安·安徒生的故事《影子》，并基本上通过这种框架来展现叙事。虽然我并不熟悉这个叙事，并不一定能够跟随故事，但我只是欣赏舞蹈的美学随着表演展开。
探索的上下文领域
这里探讨的上下文领域是，尽管是舞蹈表演，但通过混合现实创造了在特定社区内的感觉。因此，它在某种程度上具有变革性，让您在观看舞者在屋顶上跳舞时感觉自己仿佛身在城市之中。这也是一个关于从无形隐秘的阴影领域被具现化并赋予生命的故事，这个具现化的角色变成了敌人，奴役了那些主人，并最终从攻击中杀死了他们。因此，整体的重力中心是大地元素，在于这种具现化的空间感以及在那里发生的更具戏剧化的舞蹈表演。但是观众佩戴着这些混合现实头显，模拟起源于原始体验中的投影映射。此外，还有现场音乐与来自头显的沉浸音频融合在一起，可能会有一些声音穿过并让您听到更多的空间音效，也有电子音乐设置了每个人的节奏，但现场的音乐家也在演奏。因此，这被描述为一场雄心勃勃的沉浸式舞蹈音乐和混合现实表演。
中心重力的四个元素
第二个重力中心是火元素，体现了现场演出活动的存在感，既有舞蹈表演，也有现场音乐表演。听觉中有录制的音频和音乐，但这里有一个动态的实时曲目，每次都不同。观众并没有真正的叙事代理权，我们大多是坐在这里静止不动，而这个版本的前一个版本实际上允许您在空间中更多地移动，获得多种视角。在原版中，您可以更自由地移动，但由于空间的局限性和安全问题，没有人真正移动，他们都坐着，从单一的角度观看。
水元素是指音乐的时机。现场演奏的音乐在预录音乐的基础上进行。事实上，录音的 Kronos（时间）和现场的 Kairos（实时性）是相对应的。但同时，在表演的上下文中也需要发生同步，这与虚拟介导空间中的信号一致。关于表演的时机存在很多因素。您基本上有这些舞者在进行动作，然后在虚拟介导中，您可以看到他们之间的双重舞蹈，这也是相当有趣的，观察他们的时机如何交错和模糊。最后，第四个重力中心是空气元素，关乎心理和社交存在。这是一个共同定位的社交体验，但您并没有与其他人进行互动，而且并没有真实的互动特征，其他人并不算太显著。您可以通过混合现实的设备看到其他人，但他们实际上没有参与或者做太多有趣的事情来增强社交体验。所以更多的是您作为一个团体共同在观察。
尽管这受到了汉斯·克里斯蒂安·安徒生故事的启发，但在这方面的表现则较为诗意，即通过这些舞蹈动作的象征性运动传达故事的含义。就像我之前提到的，我并不能真的跟踪故事的细节，更多的是关于他们在这一段时间内所做的不同身体动作之间的感觉。
总结与主题
最后，角色中探索的主题和原型我引用他们的描述，称“一个科学家使一个阴影活过来，它变得独立并成功地伪装成一个人类。”阴影将其主人压制，最终杀死他。读到这里时，我就想“哇，这有点像某种形式的AI故事。”是的，从技术发展的角度来看，这确实是一个特别有时效性的故事，关于我们创造出的各种技术是否会控制我们，或者类似于玛丽·雪莱的《弗兰肯斯坦》。
嘉宾访谈
今天我们将讨论许多内容，导演是 Bianca Li，我很遗憾未能与她交谈。我希望能做到，但在现场未能进行交谈。不过，我与她的丈夫、制作人以及她公司的总裁 Etienne Lee 进行了一次交谈，讨论了她的创作过程。
这次与 Etienne 的对话发生在 2025年9月2日星期二，地点是意大利威尼斯的威尼斯沉浸式艺术展。接下来让我们深入探讨。
Etienne Li 的介绍
大家好，我是 Etienne Li，我和 Bianca Li 一起工作。我们共同经营 Bianca Li 公司，这基本上是一家舞蹈公司，同时也制作虚拟现实的节目。在这里的活动中，我们正在进行《阴影》的国际首演，这是一场混合现实的现场表演，结合了现场表演与虚拟现实，许多人可以同时欣赏。
背景与旅程
我的背景是我和 Bianca 在学生时代相识。她是纽约玛莎·格雷厄姆学校的编舞学生，而我则是哥伦比亚大学的数学博士生。我们相识后，她在纽约开始了表演，基本上是在下东区的地下演出，比如 Pyramid Club 类似的场所。从一开始我就协助她做布景、服装、灯光等幕后工作。在纽约待了六年后，我们回到了欧洲，她开始在马德里进行表演，当时更多的是 Flamenco 和饶舌乐队的融合。我们还与摩洛哥音乐家合作，带他们去林肯中心户外节演出。
虚拟现实的初步探索
也许可以更详细地介绍一下虚拟现实如何开始进入您和 Bianca 的视野，以便您们开始进行这些混合现实表演？我想大约是2013年，当谷歌发布其纸板头显时，您可以将 iPhone 放入其中，获得 VR 体验。她看到了第一个体验，例如过山车，并从编舞家的视角发现这很有趣。因此，她的第一个制作是2015年制作的短片，那时我们在开放空间中进行表演，实际上是舞者尽量与摄影机近距离互动。彼时是一个360度相机配置，我们尽量自己摸索，之后的后期制作非常有趣，因为我们需要将所有不同的图像拼接在一起，学习到360度影片可以做什么。
待短片完成后，它是由一法语电视台 Arte 发布的，提供了一个平台用于360度内容的展示。它的确上线了几年，但 Bianca 发现与舞者近距离接触是不够的。她希望观众能够真正置身于体验中。因此她开始构思《巴黎舞会》，这是一个观众可以作为虚拟角色进入世界，与舞者共舞的体验。
我们在2017年开始制作《巴黎舞会》，并于2018年参加威尼斯电影节进行观察，看看谁在实施类似的事情。我们发现只有少数作品可供一定数量的观众欣赏。然后我们联系了不同的工作室，决定与 Backlight Studio 合作，他们希望允许最多10到12名观众进行实时运动捕捉和头像制作。之后，疫情导致制作变慢，但最终我们在2021年的威尼斯沉浸式节上首演。这实际上是唯一一场线下活动，因为当时一切都在网上进行。我们在威尼斯主岛的 Conservatorium Barcelo Benedetti 表演，观众到来体验，大家认为这是以前不存在的事。服装由香奈儿设计，并且香奈儿参与了制作的融资。观众共12名，3名舞者扮演故事中的主要角色，演出时长为40分钟，经历了三个非常不同的场景：舞厅、花园聚会和巴黎的夜总会。
关于《阴影》的创作过程
这个项目是由 Edith Kanade de Chisi 发起的，他是我们之前合作过的音乐作曲家，她与巴黎的IRCAM（当代音乐与研究所）合作。她邀请 Bianca 参加一个会议，讨论是否可以将汉斯·克里斯蒂安·安徒生的《阴影》进行音乐改编。经过讨论，Bianca 认为可以很好地搭配这个故事，因为故事讲述了一个阴影从人类身上独立出来，并最终压倒并杀死人的故事。因此，她决定使用虚拟现实，利用混合现实的工具来创建与表演者的独立阴影，并让现场表演者和虚拟阴影在同一空间中共同行动。
制作过程持续约六个月，以检查各种可能性，并在2023年末和2024年初阶段进行了约一年时间的制作，在创建图形、动画及与舞者进行动作捕捉方面工作。舞者会在我们的排练空间进行排练，然后进入我们的动作捕捉室进行捕捉，将结果交给动画师和图形设计师，整合进 Unity 制作项目。在选择使用的头显型号时，我们非常晚才做出决定，因为我们期待一家法国制造商 Lynx 提供头显，但最终未能如愿，因此必须切换到其他型号。我们选择了 Pico 头显，以其能够支持大规模观众的能力成为首选。2025年5月在巴黎首演时，观众人数为200人，200部头显同时进行表演，结果非常令人满意、流畅且技术无缝对接。
关于威尼斯展览与巴黎首演的区别
在2025年的威尼斯沉浸式活动中，您可以看到一种规模较小的版本，约50、60或70人同时观看。但您可以描述一下这里与巴黎首演之间的一些区别吗？因为我了解到在巴黎首演时有投影映射，观众移动更多，但在这里……在威尼斯的展示中，我们在一个较小的空间内，特别是非常高的墙壁，因此我们在四面墙上进行了大规模的投影，使用高性能的视频投影仪。Bianca 的想法是，如果观众不想佩戴头显，也可以看到整个表演，此外还有一位打击乐手和10名舞者，视频投影、灯光和沉浸式声音交织在一起。因此，即使不戴VR也能呈现整个表演。
当我们被选入威尼斯比赛时，我们寻求场地，但节日提出给我们现在所在的场地，显然更小更复杂，尤其是几乎没有空间进行视频投影，视频投影的成本非常高。因此，我们决定将视频投影整合至头显之中。我们认为，威尼斯的观众更倾向于佩戴头显，这也是他们来的目的，因此选择使用VR头显观看表演更为纯粹。我们在这里的体验规模较小，因此这使之更加困难，且我们不得不降低舞台。在巴黎，观众可以自由走动，但在这里，如果允许观众站立，将可能会遮挡舞者的表演。因此，我们要做出很多妥协以确保威尼斯的演出可以进行，但这些妥协也带来了优势。因为观众是坐着的，我们不必担心他们在移动中互相碰撞，从而便于我们使用更多的黑暗效果。
因为空间较小，观众总是更接近表演者，不同的视觉体验会带来更好的画面质量，尤其是在虚拟现实中，观察者可在更近的距离看到表演者，因此视觉效果更佳，对比度更强，黑暗感更为明显。所以，我认为在巴黎的较大版本和威尼斯的较小版本都有其独特的优势，都可以根据不同类型的场地进行改编。我很高兴能够向全球的场馆或剧院推荐这两种不同版本的表演。我们计划再制作两个版本，一个是针对广场的，一个是为坐在传统剧院的观众制作，其中观众的座位就像普通剧院一样，观看统一的舞台表演。
关于虚拟与真实的结合
对话中也提到，Jordana Lee 曾提到在巴黎的展览中有投影映射，尤其是在佩戴VR头显时，她说这弥补了一些缺口，因为那里有虚拟元素，以及与舞者的真实表演交织在一起。观众时常会看到像是虚拟表演和真实表演之间微妙的时序差异，直到某种程度的协调。您能否谈谈关于虚拟元素与真实元素在这一过程中是如何交织的？
Bianca 的概念是，真实的舞者和虚拟舞者是一起跳舞的。因此，他们需要编排一个尽可能匹配的舞蹈。可以想象，舞蹈者无法看到虚拟事物，无法佩戴头显在高架上表演，安全要求使他们必须认真关注所发生的一切。但由于他们创作了舞蹈编排，因此知道虚拟舞者正在进行的动作。我们花了很多时间进行排练，期间对虚拟舞者进行墙面投影，所以舞者可以看到正在发生的内容并练习与其相匹配的舞蹈。
然而，这种匹配并不是要做到完美。我们认为当代舞蹈的意义在于每个个体都有自己的独立性、风格和动作。而阴影的概念恰恰是，伴随着人类，阴影有时反映并完全符合人类的动作，但随着独立性加强，阴影也会开始发出的微小不同。例如，有一个部分我们称为“2D与3D”，在这里，阴影以白色3D角色从墙上延伸出来，动作虽然与舞者相似，但最终又回到墙上，并不同于舞者的实际动作。在动作与虚拟现实中的舞蹈安排以及实时舞蹈之间微妙地不协调，这样的效果真的很有趣，而您可以看到舞者与虚拟舞者之间的对比和对话互动。
虚拟元素的整体设计
关于整个虚拟设计，您可以看到城市天际线以及其它不可能在现实中实现的壮观场景。几乎像是沉浸式艺术装置或巨型物体在空间中移动。您愿意多谈一下整个作品《阴影》中的虚拟元素吗？
Bianca 发现通过受限现实没有限制空间，她热衷于探索空间维度以及角色的维度。您注意到有小角色和大的角色，也有巨人参与表演。我认为在这个过程中，空间维度的变化对她来说真的很重要。尽管我们是在一个 10 米乘 24 米的场地内，但观众可以看到的空间更高、更宽、更长。当您处在城市时，可以看到很远的背景，这是一些非常抽象的场景，没有城市的气息，而是只有无限的空间。同时，这也是让观众更加沉浸感，并且我认为最有趣的部分是真实与虚拟之间的界线变得模糊。例如在开头，您会看到猫穿梭在观众中行走。当然，在现实中不可能让真正的猫这样做。随着演出的推进，很多事情会发生，与观众无缝连接。
在最后一幕中，观众最初会非常明确什么是虚拟，什么是真实。随着表演的深入，我认为许多观众其实在思考某些元素是否是真的，或许是虚拟的。因此，我们通过引入更多的真实元素使观众相信某些事物是虚拟的，而实际上两者之间的界限开始模糊化。除了视觉效果外，表演的音乐也形成了一种独特的交融。
音乐的交融
您提到的音乐，似乎有完整丰富的音效环绕，现场打击乐手的音乐直接融入，并且时常有虚拟角色的伴奏穿插其间。尤其是这些音效层次的交织让我感到惊艳。您能否分享更多关于音乐创作及如何确保其一致性和灵活性？
音乐是经过精心编排的，因此它是必须在相同节奏上演奏的，时间上要求非常严格。录制的音乐部分和电子部分组合，声音效果通过头显或音响系统传递。音响系统非常复杂，使用60多种不同声音源和扬声器，从不同空间发出声音，给人一种深度环绕的沉浸感。现场打击乐手在演奏自己的部分时，有乐谱在手，因此他能够准确把握节奏，随着电子音乐的录制进行演奏，而舞者则根据音乐去掌握表演。
音乐是整场表演的引导元素，因此尽管现场音乐每天略有不同，但核心节奏依旧跟随计划。我们有两位不同的打击乐手，因为他们的演奏风格和气氛不同，会影响演奏，形成不同的表演。每次演出都会带来不一样的表现，而观众也可以不同侧面靠近表演者观看。
结语与未来展望
随着整体体验完毕，我很好奇观众是否能够通过舞蹈和音乐去体会故事的核心情感。根据我的感受，Bianca 的观点是舞蹈作为一种通用的语言，能够自由流动，不需要翻译。这帮助我们的舞蹈作品能够在全世界表演并成功传达情感。关于未来，Bianca 指出，她希望创建一个虚拟文化中心，使全球的表演艺术家可以在这里交流并共同体验。我认为这样的努力只会进一步拓展艺术与观众的界限。
再次感谢您今天来到节目中与我们分享《阴影》的创作以及您在结合表演艺术与混合现实方面所做的努力，这为我们打开了一个崭新的视野。期待未来更多的内容，让我们一起期待更多即将来到的项目和演出！