/ Voiceofvr / 0浏览

创新的虚拟现实歌剧《尘埃中》结合了生成性人工智能提示、数字吟唱和个性分支。

VR音乐播客

Kent Bye

大家好,我是Kent Bye,欢迎来到VR音乐播客。这个播客关注沉浸式叙事的结构以及空间计算的未来。如果你想支持这个播客,可以访问patreon.com/voiceofvr。

在我在阿姆斯特丹的IFA实验室之行结束时,我有机会提前观看一部名为《From Dust》的VR歌剧。这部作品将在鹿特丹沉浸科技周首映,您需要一个7米乘7米的空间。开头有一些提示,用于进行心理评估您的五大人格特质,在后台还有一些隐形的分支。您还在整个作品中做出了一些选择。不过总体来说,75%的人会听到相同的音乐,但还有很多其他视觉元素被加入,其中有一些生成AI提示,要求您思考自己的过去、现在和未来。这些内容无缝地编织进作品中,营造出一种朦胧的梦幻感。作品有点云表示,而音乐团体Sojalla有6位成员,他们的3D头像是CGI制作的,面部是视频,跟踪您在空间中的移动。因此,作品确实很出色地让您感受到被演唱的感觉。

我认为这部作品的情感核心是Michelle Vanderah的高水平作曲以及Sujala的精彩音乐表演。这是一段强大而感人的沉浸式旅程,能够无缝地将我的提示整合到个性化体验中。如果你有机会,绝对推荐去看看。我觉得这部作品开始指向一些沉浸式音乐体验未来的发展方向。今天的播客将涵盖所有这些内容。因此,我与Michel Vander Haan的访谈发生在2024年11月27日的星期三。接下来,让我们深入了解这段对话。

Michel Vander Haan

大家好,我是Michel Vander Haan,来自荷兰的作曲家和导演。我主要在剧院和歌剧舞台,以及音乐会厅工作,同时也制作一些数字作品。现在我正在创作我的第二部VR作品《From Dust》。

背景与旅程

是的,我开始的时候是一名录音工程师,当时拥有自己的录音公司,录制大量当代音乐。我非常喜欢录音的技术方面以及音乐的要素。我做了几年自己的公司,但有些渴望让我想要创作。那个时候我已经在作曲,所以我决定停下公司,去海牙的皇家音乐学院学习作曲。被录取后,我在那里学习了作曲。在学习期间,我发现自己也有很多视觉创意,希望用舞台、电影和灯光扩展我的音乐词汇。因此,我决定在2002年休学一年,去纽约的电影学院学习,同时在林肯中心学习舞台导演。这样,我就可以扩展我的工具箱,以便能讲述我想讲的故事。

关于VR的探索

听起来你来自音乐和作曲的重心开始,逐渐扩展到视觉思维领域,进入电影相关的领域。那虚拟现实是如何进入你视野的,成为你想探索的一个新的领域的?你有过这方面的经历吗?而且你在舞台上的经历是否影响了你的沉浸式叙事?可以具体談注明一下VR是如何进入你视野的,以及你在创作早期作品时的想法吗?

在我的歌剧和音乐剧中,我也使用了很多技术,比如电影投影。在2013年,我做了一部带有3D电影投影的歌剧,这种物理空间与3D电影结合在一起,歌手们便与3D世界中的3D歌手进行混合。这让我意识到,在音乐会厅或歌剧院中,与几百甚至上千的人共同体验某个活动是多么神奇,但有些故事是我无法在舞台上讲述的,非常个人化的故事。我认为这就是我开始对VR感兴趣的原因,因为我喜欢观众是作品中的主角,唯一的主角,您可以真正围绕观众打造故事。因此,我开始创作我的第一部VR作品《8》,这是一次15分钟的旅程,您将跟随一位女性从80岁回到30岁,再回到8岁。我们与设计师Tern Mosk合作,因此还使用了一个物理布景,创建了一个非常触感的体验。在那里有一个膨胀的走廊,您可以触摸,这在VR中是镜像的,您可以通过它引发歌剧中的事件。但这个故事对每个人来说都是一样的。我是说,您在作品中是主角,但我想要更多。因此,几年前我开始思考如何在VR中真正创建一部个性化的歌剧。随着AI的发展,这一切突然变得可能。所以我最终得到了《From Dust》。

第一个项目的背景

我有机会观看您之前作品《8》的预告片,并注意到它是由荷兰节、北京音乐节等机构委托的。也许您可以对第一个项目的资助者提供更多背景信息。

我想在做《8》时,国际音乐界的人们曾经知道我,因为我的歌剧,大家都很想看看我在VR中会做什么。我们非常幸运,有一群优秀的资金支持者和委托方,像荷兰节、城市节、谷歌艺术学院和北京音乐节等,我一时想不起所有的名字,还有Kunstfest Spiele,以及Exon Proffants等组织。这是一个很棒的展示者和委托者名单。有趣的是,我们还得以展出这个作品,周游世界。我们几乎是在全球旅行。而我发现,做好VR的费用非常高。您需要很多开发人员和大量的工作时间,这所需的工作量至少与制作一部舞台作品相当。我认为从提出构想到完成,《From Dust》的制作时间也超出了一年。我想知道,《From Dust》项目是否也有一些资助者或委托方?因为正如你所说,制作这样的项目确实需要不少资金。你认为《8》的成功是否为你带来了更多支持,帮助你投入到《From Dust》的创作中?

是的,主要的委托来自鹿特丹德尔林音乐厅,他们是一个很棒的音乐厅,每年都与沉浸科技周合作,他们希望每年展出一部新的沉浸式作品。今年,他们委托我制作了一部作品。因此,大部分资金来自他们,还有荷兰电影基金和创意艺术基金,也给予了相当可观的补贴,以及一些小型补贴。所以总的来说,其中大部分是荷兰本地的资金,还有一些国际展览方的兴趣,也会稍微给予支持,但这主要是在这里的资助。

体验与反馈

我很高兴能在我的IFA Doc Lab之行结束时尝试《From Dust》。我所在的房间巨大,体验时长大约20至25分钟。坐下来后我回答了一些提示问题,然后进入了一个通过无伴奏合唱团向我唱歌的宏大旅程。不同歌手的重现以及那些复杂的制作都令人深感印象深刻。不过,我很想知道,你从这部作品的起点开始,听起来音乐几乎是固定的,作品的构成变化不大,或者说如果有我并没有注意到。那么,你是怎样看待音乐作为这部作品的基础并规划这段旅程的?同时,在之前的VR项目《8》的基础上,你的视觉创意是否反馈到了创作过程,能否谈谈你如何开始《From Dust》的创作?

我们从想法出发,我构思了粒子云以及一切从云中显现的元素。您触碰云时,它变形成一位女性的形状,而从这位女性的身上,分裂出各种另一个自我。然后,它们会带您进入一个魔法般的世界。我很早就开始为这个作品编写剧本,这是一个非常直觉的过程。我设想了观众会经历的五个场景。与此同时,我在并行地作曲。所以音乐在这部作品中确实是核心,但这个框架当然会因为每位观众的个人化输入而略有不同,而我希望确保,每个人都能找到自己在这部歌剧中的路。而实际上,有些音乐部分你可能没有听到,因为有些选项让您可以选择不同类型的音乐。因此,有一些平行的可能性存在。大家出发是一样的,结局也是一样的,中间部分则是分支再汇合的。

互动音频设计

作品的音频部分,我真的想很好的运用360度的空间,不仅是歌手的位置信息,我希望观众能够感知到他们的位置,即使出现在你身后或旁边,你都可以找得到他们的声音。而这些声音与他们的角色也有紧密的联系。我也玩了很多音响效果,所以在空间中的音响效果也很有趣,有时你在一个巨大的玻璃穹顶下,听起来与紧凑的走廊或开放空间是截然不同的。因此,空间的音效也在最终的音频混音中扮演了重要的角色。以及Schealla这个德国音乐团体,我大约十年前在YouTube上发现他们,有一段他们在教堂里演唱Purcell作品的精彩录音,他们已经一起唱了25年,是彼此最好的朋友,就像一个整体一样。它们的声音融合得无法与任何合唱团相比,完美契合了这部作品中一个角色的分裂和重聚概念。这就是我们开始合作的原因。而他们都是非常友好且思想开放的人,当然,在动作捕捉的时候被要求穿上动作捕捉套装对着虚拟观众演唱的冒险体验对他们来说很奇怪。

观众互动设计

在动作捕捉过程中,我以观众的身份出现在他们面前,以便他们可以专注于在声音和眼神交流方面的事情。这是一种很奇特的体验,当一个人靠近你,目不转睛地对着你,您也能体验到当6个人围绕在你身边并如此直视你时,身为观众的感受。这种连接力真的很强。

不得不说,这一部分确实是一部作品的强大部分。他们能够与你进行眼神接触,跟踪你的移动,让你有种被对方直接吸引的感觉。虽说我知道这背后是算法驱动,但这依然让我感觉仿佛被演唱或这首歌是专门为我演绎的。

是的,并不是所有时候都是这样,但在某些时刻,他们确实会追踪你的位置,直视你并与您对话。这确实是一次强大的体验。这种感觉与普通观众单纯听歌是截然不同的,显然这些都是数字重现和虚拟角色,实际上并不是真正对着我唱,但它依然给了我这种感觉,很显然,音频与这些视觉元素结合带来了很大的强度。

歌词和音乐

歌曲是用一种我不太了解的语言来唱的,这是什么语言呢?

他们用英语演唱,但有很多层次,歌词有时非常难以理解,我的意思是,他们的诗歌相对抽象,所以我认为你逐字理解并不是那么重要。为了下周的首映,我们会在观众入场前提供歌词供他们阅读,这样他们便能对自己要听到的内容有更清晰的概念。

是的,我想起来了,确实是英文的。就我个人而言,当我沉浸在这样的作品中时,我更注重音乐本身,就像我平常听音乐一样,往往要过很久才能关注歌词。所以我并不是一种能迅速解读歌词意思的人,而是专注在音乐的音色以及他们所看到的内容上。同时,你也问了我这些提示,反映出归属感、避开事物和未来愿景等。整个故事中各个部分是结合着共鸣与不和谐的对比,在积极与消极中形成对比。

作品构建过程

因此,也许你能具体谈一下你在构建这个作品时的过程,以及是如何通过音乐和视觉来创造不同的变化与对比的?

我们在观众的入场环节会要求他们描绘他们的现在、过去和未来的视觉描述。尽管我们稍微以不同的方式来构造这些内容,但这些是主要的情感流。在整个情节的发展中,您会根据滑块的位置出现在不同的时刻。您的入场方式将决定您最终是处于一个非常愉悦的流行舞蹈场景,还是更禅意的音乐,随着选择的不同,画面也会呈现出不同的丝滑质感。然后,当您已经经历了一段商务旅程后,您会见到你现在的自己,那是你已经告别或不想被提醒的部分,或者是您会孩子气的觉得它不必要。其实这部分在某种程度上会像燃烧,整个世界在你的手中崩溃,而粒子云负责燃烧你的过去。从灰烬中,你的未来将再一次萌发。

这种情节的弧线在作品中是存在的但并不显眼。并不是以过于明确的方式宣示,但我认为从直觉上会感受到。这就是我们利用图像提示的方式,音乐一直引导着情感的弧线。我确切知道我想如何开始,也知道我想以什么方式结束。对于一切崩溃的场景,我也有了一些构思。因此我最初先定好了这三种标示音,然后开始架构它们之间的连接。

而我接下来提到的,关于“我遗漏了一些东西”的部分,其实在于创作这类作品的过程,个体在体验作品时会与您不同,您所经历的特定体验是独一无二的,而其余人也许会看到一些相似的起点和终点。但可能过程与选择之间具有不同的变异性。而在架构作品时,您提到从提示中,您在评估五大性格特征,或许会从那不同的分支探索情感,而最终又带领回到固定的阶段,同时为他们提供不同的音符运动或不同的音乐部分。

那么,您能告诉我,在作品中,无论答案如何,哪些是每个人都会看到的基本部分? 您觉得有多少百分比的体验是每个人的基础骨架,而有多少是完全独特于个体的体验?我认为,从音乐的角度来说,75%对每个人是相同的。场景、转化、变化的层级等,核心是每个人都会看到独特的东西,基于他们的提示,它会对观众产生不同程度的影响。这样的层次下,我觉得在这部作品中可能有9或12条不同的线路,你会看到不同的情景,您实际上会有全然不同的视角。在很多地方,您还可以通过不同的倾斜进行探索。你在这些个性的滑块上有所定位,走廊的隐藏处你可以穿越。某种程度上,我认为,一旦你把自己在这个滑块中定位后,就会有方式转向对面的表面,正如生活中的真实一样,我们总有可能去改变自己,某种程度上改动自己的性格特质。

调试与体验

当我体验某些经历时,确实有这些不同的分支与选择为我定制。而其中一些是很明显的,比如有一刻我可以选择穿过一扇门或另一扇门,但你谈到的那些是作品的隐性结构,这是我比较难察觉的。当我走出体验时,有时我在想,如果人们没有采取那些行动,结果会如何?它们如何推展故事,并触发后续情节?

我们会给予观众一些时间完成任务,并且音乐会在某些时刻循环,直到他们走进电梯或穿过传送门,达到某个程度。与此同时,会有提示出现在你面前,提示你“请进入电梯”或“请穿过传送门”,这是一种微妙的引导,我的妈妈,如果是她,她基本上不会知道该做什么。这就是我们在测试中发现的。在alpha测试中,我们真的需要,因为并不是每个人都知道什么是传送门。我是说,您可能经历过2000个VR体验,所以您知道如何行动,但很多人从未见过VR,或者可能5年前经历过一次,而现在想参与我的歌剧,所以他们会见证自己生活中第一次的VR体验。对我来说,有责任确保这些人能够顺利度过。

首映计划

下周这个作品将在鹿特丹的科技周首映,你能给我提供更详细的背景吗,涉及到参与该项目的人和工作吗?

我们有一个约10人的核心团队,Rodelands Mank是首席开发人员,还有一个负责动作捕捉的团队,一支负责音乐的队伍,以及Malun Carmichael做的剧作家,因为当然这对于整个故事的核心概念是非常重要的。如果您访问我的网站,可以找到完整的团队名单。但显然,这是一个团队的努力。我永远做不到这一点,我需要所有开发人员的支持。我从这个项目中学到了很多,也在技术层面获得了很多经验。这真是一段双向的旅程。

下周在鹿特丹德尔林音乐厅的沉浸科技周会首映,我想这些票已经售罄,但还有些其他日時可供预定。此项展览将持续至12月15日,之后我们计划在亚洲、荷兰其他地区、希望能去英国、美国、德国和法国等地巡演,为喜欢的观众提供机会。

空间设计与体验

我在阿姆斯特丹看到的体验空间可能大约是你们使用的6米乘6米空间的5到10倍。我很好奇,你们是如何确定这项作品的空间规模的?

我们需要一个空间,如果我们想在同一时间运行两次安装,则需要7米乘14米的空间,即两个7米乘7米以及可在外部走廊安排的初步入场区域。除此之外,我们只需带几台计算机、耳机和路由器即可,所以这个设置相对紧凑,且易于移动。通过量产,我认为这是在这些不同类型的安装中越发重要的一点,因为访客每小时的最小流量会影响实际操作及资金支持这些项目的可行性。在卡内基雅典娜以往使用的项目中,他们寻求外部资金以让内容可行,因为每小时的流量实在太低。我跟Mary和来自5个画廊的shard聊过,他们能够提供2人每小时到14人每小时的量体,这样才能通过一些技术调优来实现人流的更多。你们的作品似乎能容纳每小时大约2到3人甚至可能4人,你能谈一下预计会有多少人能在每小时容纳的流量和预展的其他大考量吗?

这是我职业生涯中最不商业化的项目,尤其是因为这需要你2或3个引导者来操作。我也看过Carne和Reyna的作品,都是团队以及一辆装有全功能设备的车来辅助。但我们没有这么多的技术需求。不过,通常我们会带着我们的团队和2个人来进行设置,并培训当地的引导者和技术人员以对其进行负责,再回来进行拆解。但我们会尽量设计成当地能够自行操作的方式,尤其是在海外巡展时。然而,依赖门票又让我们陷入了一定困境,几乎不可能通过门票收回引导者的费用。实际上,这是一种艺术资助作品。它是个真实的节日展览,也是一部博物馆作品,而不是一部商业作品,这样它难以得到可持续发展。虽然我可以增加访客数量,但我也希望确保引导者的费用得到合理补偿。

未来的展望

然而,对我来说,这并不是目标,而是讲述一个我想以其他方式讲述的故事,我非常感谢得到这一委托并且得以制作这个片段。我希望未来技术能够进步,还使我们可以在笔记本电脑上运行,以使这一切变得更具成本效益。对此我一直在思考规模化这些项目的问题。这也是我准备下一个项目的原因,名为Hair,它是一部互动数字剧,计划明年在Apple Vision Pro和PCVR上推出。它是一个我们将我之前的数字作品移植的平台,通过它,家中的观众可以体验这些作品。这是因为有许多人由于各种原因(例如财务、神经多样性,或者很远去到剧院的距离过大)不能直接去剧院,因此这为我以新方式展示工作,能将观众带入客厅中,尤其令我感到兴奋。

我想所有的前期作品《8》和《From Dust》都作为平台中的一部分,尽管在《From Dust》中有许多交互元素让观众参与并提出提示,但我想我可能要创建一个这次旅程的原型版本,而不是针对具体个人的版本,是吗?

确切经过,是的。我认为我们仍然可以在心理滑块上做一些入门工作,但检测AI方面,我想我们不能在SteamVR上使用这些技术。因此,对不起,实际上是无法在PC VR中制作版本。此外,它在视觉效果上已经逼近现实的极限。所以在这一平台推出时,我们会吸收一些其他作品,然后《From Dust》会在后期推出。

AI管线设计

让我们聊一点关于在这部作品中的AI管线设计。由于入场时我回答了一系列问题,通过这些问题创建了我的心理画像,五大个性特征帮助导向接下来的分支。同时在提问中包含了一些提示。就进入AI管道之前,我想了解在这方面是否有任何项目激励了你去吸取观众的输入并在体验中使用这些数据?

没有,我知道它们存在,但我没有见过。当我开始考虑它时,我不知道入门环节的复杂性会这么高,没想到选项变得如此繁多。我是说,挑战在于如何有效地利用文本提示生成图像,这很简单。我们想要的是将它们转变为3D环境。所以在这方面我们提前进行了研发,以便能做到这一点!我们甚至希望能够在本地完成,不想依赖互联网远程执行。

哦,明白了。你提到了在2023年威尼斯多媒体艺术展上看到的《Toplomancer》,在那里人们会坐在终端面前,回答一系列问题,从而探索他们的过去、现在和未来,这与您在此作品中应用的方式有一些相似之处,参与者所得到的内容与建立在过去、现在和未来的图像直接相关。在我的经历中,我直接回答了所有问题,之后又和另一个沉浸式创作者Craig Contero聊到时,他说他在回答问题时想入非非,谈论着龙和更为丰富的幻想场景。而我也觉得在你的作品中,我也部分遵循了这一点,正如你所提到的那样,“你在问我我认为我在何处能够带来归属感”,我回答了说是圣家堂,这虽我只去过一次,但这个印象是深刻的,同时在回忆过去我在但丁地狱这样的意象。所以我认为,参与这些生成AI作品时,我常常会思考,在提示下,我希望在某个作品中看到哪些描绘。既然这是一种反映想象力的方式,便让整个过程变得魔幻,而不是乏味或平庸。

创意转化与渲染

因此,我想您可以谈谈如何接收这些输入,并将其转化为体验的过程,以及这过程中您希望实现什么,如何连接我的想象和故事之间的叙述?

实际上,自从beta 测试以后,我们调整了提示的问题,以鼓励人们更好地发挥想象力,而不是思考现实的地点。您刚刚提到,尝试创造个更加个人化和引人入胜的空间。若alpha测试人员提到的是山脉或森林,您可能得到的是一种相对模糊而普通的森林。所以人们越精确且更多地从想象中入手,这些提示会变得越吸引人,这恰好是你所做的。因此,正是出于这样的原因,我们会更鼓励人们跳出常规,尝试进行更大的思考。我们是以拥有本地大型语言模型为基础,使用Flux技术创造不同层次的图像。您所说的深度图,此外,我们进行了一些背景塑造,并分层堆叠这些图像,我能以某种方式通过盒子看到它们。我不知道用英语该怎么表达这种形式,您在打开的纸盒里创造世界,然后在其上面挖洞。但是这个过程超越了单纯的图像,再创造出一个立体的效果。我们还使用了一些其他技术来创建3D模型。实际上,我之前就已经确定要走向某种不会过于实际的视觉效果,因为无论我给予什么提示,其实都不太可能呈现出我想象中的样子。因此我希望在此基础上稍微后退一步。因此,展示这些图像的粒子也都是流动、变幻的,仿佛在梦的状态下显现出来。

之后,我们建立了一块本地网络,向其他设备共享这些图像。实际上,由于我们使用的笔记本电脑速度过慢,频繁崩溃,这周我们升级了入门设备。

整体体验的梦幻感

那么,您在整个作品中所设计的空间是一种梦幻感,或是过渡的空间,因为建筑并不总是清晰可见。在互动元素方面,时常可以触碰到某些带有粒子效果的柱子,此外你设计还有很多引导观众的方式,让其中一位歌手引导你如何跟随他们,这样你在穿越过程中也在模仿他们的动作。不过在某些时刻,你将进入一种几何圆顶的未来场景,可能还有电梯的体验。你能聊一下在设计这些不同空间的时候,是如何构建这种梦幻感以及以上下文相连的呢?

我们与我们的3D开发负责人Stan van der Venn合作。我们所寻找的是一种精致的现实感,略显崩坏,明白吗?因此,我一直想要有坚硬的表面,而在边缘却让它逐渐崩坏成尘埃。但整个视觉得以流动和分解,以前所未有的状态存在。我觉得这个世界显然是由粒子和灰尘构成,具有不断构建和崩溃的概念。在视觉元素的选择上,我也想象了一个巨型的翻滚塔,让观众进入。总的来说,最终的空间略带赛博朋克的感觉,部分空间是那种非常坚固的混凝土金属感,同时又被在初次入场时生成的粒子元素所柔化。

我找到了这两种视觉效果的替代版本,那么实际上在空间形成中有种美丽的直观连接,发现如此细致的3D效果能够在往复空间间浑然一体,有种不断摇摆的相互作用。对于角色的设计也是如此,我希望他们在面部有种特定的实现,因为他们是视频内容的表现,而他们的肉身又是被赋予变化的。每次他们在活动时,都有粒子在分散流动。对我而言,整体的体验在空间中就是与表演之间的瞬时互动。

呈现方式与互动

在歌手们的表演中,有个瞬间包含与内容相关的佐料,当我回答的是我对未来的展望时,我的选择刚好对此映射了一种更加超现实或社群意向的想法,那一刻我确实被这一内容吸引。最终,整个未来设想如同某种赛博朋克的形象,出现在了圆顶下,与虚幻之音相伴的巨大人脸徘徊,”是的,那就是我的未来。”所以这一表现确实为我构建了这样的过渡,有一种过去与未来的灵境交融感,而观众将自己自身作为中间,而不单单是欣赏。

对我来说,这确实是作品的核心,我希望每位观众与表演者之间能感受到真实的连接。我们在对这些女人的表现方式上费劲了不少心思,这也是我们加强了对立体动态录音和3D模型的使用。最后我选择将3D模型与视频结合,即使它不是一个完美的连接,但能够视线交会并且同步嘴型,从而使眼神的互动能够实现。当你在表演之中,展示出他们全程的视线与动静,当然也注意到它们的变化。如果你在视觉里看到的眼睛流露出情感,当然会令你不自觉地沉浸其中。

重心与标题

所以这部作品的名字是《From Dust》,你能为我们解释一下这个标题的意义吗?它在你的作品中承载了哪些主题?

我之前已经提到一点,“From Dust”这个理念稍微有些模糊,但我们都知道来自于《圣经》。同时,它也暗示了这位女性及其分裂出的另一个自我的内在基因与构建,这整个世界的诞生。而同时,这也是数字像素构建的,我们的数字生活同样是数字的,隐藏在这些屏幕后面的完全不是现实的生活,而这些元素恰好为我讲述了一个非常人性化故事的构件,而这个故事正叙述着东西的分解与结合。

经历与反向捕捉

还有一部分我想提到的是,在开始时的连接相机,您对观众进行了一些体积捕捉,我觉得这是作品中一种真诚的体验和迎接的方式。我冒出了一些愚蠢的表现,可能有点过火或不够真诚。请您给我们阐述这种与自己体积捕捉相结合的经历。

在最后的场景中,所有的歌手都聚集在一起,身处于一个反射的世界里,所有的一切都被复制。所有的声音在悄然相互呼应,然而某一点上,他们一起走向镜子,举起双手。接着,我们会切换到一幅你自身走向镜面的图像,举起手。当你触碰到自己的手后,你会升起,穿越尘埃,逐渐朝未来的形象飘浮而去。我必须说,促使观众变得自觉是非常艰难的。而你在此情境下听到的反应或许会有所变化,但当任何一名观众将自己放在那个对应位置时所发生的转化过程,实际上是非常美妙的。因此,创作们也在考虑其中如何引导观众走向那么的真实时刻。

情感连接与未来展望

我觉得这是一个具有挑战性的部分,因为我希望在这中间体现情感上的真实性,因此我认为这就是我所想要达成的方向。有些项目的确会让我达到某个既定的引导方式,但其实它更需要深度的情感连接,尤其是连接那些过去自我的表达,以及如何与未来的自我进行在不同背景下的交接。放在这个案件下,也会了解到另一种沉浸式体验的力量。

随着这部作品逐渐推出,未来会展出更多的互动音乐体验,这将为我们带来怎样的可能性?

我所期待的是,作为创造者,我可以在VR中讲述那些我无法在歌剧舞台上叙述的不同类型的故事,因为观众是其中的主角,并且是叙事的关键,这让我非常感动。未来我并不只想制作VR歌剧,但在歌剧舞台上恰好是我不能完成的故事,我期待进一步探索。

这让我想问再后续一个问题,因为我看到许多沉浸式故事。有一些人来自电影背景可能是先从剧本开始搭建,建筑师我知道是先从空间背景构建开始做起,而作为作曲家的你是可以从情感流的强烈表现开始出发,并结合空间寒风环境将这些情感迁移至一个空间上下文。你在转换情感旅程时,有没有感受到这种情感波动是怎样贯穿的,而在情感节奏等语言的表述上,你是如何考虑这些元素的?

我当然是一名作曲家,但自22年以来我一直在执导自己的作品,所以我的确在这一部分有双重影响,工作各自默契相融。我认为我的导演像是具有视觉部分,因此在核心概念以及视觉责任上我有直观的感觉。作曲部分则希望在情感结构中传递。我发现有时候某些东西我需要通过音乐准确地表达,而有些事情则需要通过视觉展现。并且拥有双重角色确实让我能在瞬间,随着第一视角的变化来选择如何切换在这两者上。

在创作音乐时,你会考虑到情感与你想引导给的感受吗?或是如何听到这些内容的?这是直觉吗?

是的,当然,我知道我为谁写作和场景所发生的内容,这确实在我心中有很清晰的思路。并且当某些音乐实际上引导到另一个方向时,我会需要根据效果调整视觉部分,或反之亦然,总的来说它们确实相互影响。

最后的呼吁与分享

所以,您是否将这些艺术作品进行语言的命名,描述不同的运动和章节?或者说在这一切当中是个直观过程?你又是如何理解这些情境令其贯穿的?

我认为作品确实有框架,通常我知道每个部分需要25分钟,并预估每个场景的时长与内容,但是在这框架内我确实能够自由地从多个方面根据我的感觉而引导,以此顺畅地找到我想要的。

当然,在VR中,想象没有边界,您能够如梦似幻,去体验飞天的感觉。实际上,任何您梦寐以求的场景都能实现。我想这正是我所无法在歌剧舞台上做到的,给观众带来飞翔的体验。

结尾与致谢

最后还有什么想对更广泛的沉浸式社区说的吗?

首先,感谢邀请我参加这个播客!宜修是与我合作的第一位,从此次测试中感谢你!要了解我更多内容,可以访问我的网站thundera.net,我在社交平台如Blue Sky和Instagram上也有分享,但不再使用IX。我们将于鹿特丹沉浸科技周进行首映,然后再作巡演计划。到时我会在我的网站上更新日期。

从所展出的作品来看,不仅有着强烈的情感核心,是扎根的作品,其作曲与Sujala的音乐表演也极为精湛。整个作品将是一整段沉浸式的旅程,探索不同角度和想像力的层面,带来极为全面的探险体验。对于每个参与者而言,这均具有动人的意义。希望这个作品能带给观众无与伦比的艺术探索之旅,让更多人体验VR作曲和沉浸式精华之间的相互作用,未来将有更多的可能性。再次感谢Michel与我一同分享这样对话也能够深入探讨这些方面。

感谢大家收听今天的VR音乐播客。如果你喜欢这个播客,请传播这个消息,告诉你的朋友,并考虑成为我们的Patreon会员。这也是播客的一部分,我确实依赖于像您一样的捐助人,以便我的报道能够持续进行,您可以访问patreon.com/voicesofvr今天就成为会员,谢谢大家的收听。