The Voices of VR Podcast

介绍

大家好，我是Ken Bai，欢迎收听《VR之声》播客。今天继续为大家带来我在西南偏南（South by Southwest）展会中看到的一些XR体验的系列节目的内容。今天的节目的嘉宾是Composition的Vincent Morissette。我在今年的西南偏南展上看到的Composition是我最喜欢的体验之一，因为它提供了一种沉浸式且具有代理性的体验，始终让我感到惊讶，并且能够在这个桌子上移动这些物理积木乐趣十足，那种映射投影带来了出现的音乐作品和其他令人愉悦的视觉美学，真的很神奇。

这个体验可以是一个人也可以是多人，具有许多方式来展现出你无法在线上体验的特点。它确实需要有这种带投影的物理安装和其他一切。这真的是那种只有亲身到场才能获得真正体验的事情，我觉得这也是让它独一无二的原因，因为它展示了虚拟现实中你能做到的和如果缺乏物理性或缺乏实时社交动态而遗漏的东西之间的不同。我们还会探讨这个项目是如何从蒙特利尔的PHI中心的驻留计划中发展而来的。Vincent在过去20年中进行了许多不同的互动和沉浸体验的背景，之前我也已经就他在Infodoc Lab的15周年纪念活动中所做的一些不同作品进行了采访。如果你也想收听这个节目，我会在展示说明中提供链接。但总的来说，他确实在实验和探索未来的沉浸式和互动体验的前沿。因此，今天的《VR之声》播客就将为你带来这样的内容。

访谈开始

以下是我于2022年3月15日星期二与Vincent的采访。现在就让我们开始吧。

我是Vincent Morissette，来自蒙特利尔。我是ATWA工作室的导演和创始人。这是一项互动项目，我已经做了20年了。有一些是在头显下完成的。我现在在奥斯汀的西南偏南展会上，正在展示一个叫做Composition的作品。这个作品可以这样说：你会坐在一张有积木的桌子前面。每个面上都有小脸的积木，邀请你将它们移动、堆叠并创作一个组成作品。根据你在桌子上如何排布这些积木，音乐结构会演变、改变，视觉效果也是如此。

这是对光与影的重新表现，融入一些抽象与具象的元素。你不需要具备音乐技能，它总是听起来很棒。它不是作为一个音乐工具或接口来呈现的，而是更像是一种与电影的互动，你就像上天一样用手去转变它。你可以单独完成，或者与熟人或完全陌生的人一起完成，这种情况在节期间发生过很多次。

背景与旅程

能否给我们提供一些关于你的背景和你创作这种互动与基于音乐的作品的旅程的更多信息？

我把自己定义为一个导演。我一直对将电影语法与互动视频游戏机制结合起来很感兴趣。这两者之间的交汇点让我入迷。我曾为I Kidfire做过互动音乐视频，并与加拿大国家电影局（National Film Board of Canada）合作过许多互动项目。我一直被互动在情感层面带来的东西吸引，改变或转化你所看到的东西的事物，开放出一种不同的情感窗口。但与经典视频游戏的不同之处在于我从不追求那种表演或目标。它往往是印象主义和诗意的旅程，我对平台和媒介是无所谓的。正如我所说，书籍、视频捕捉等等。在过去，我们还开发了很多利用计算机视觉的项目，使用身体作为与作品互动的一种方式，而不是手中拿着某种接口或摇杆或鼠标。我一直在寻找新的互动方式，并试图让接口消失，我认为与内容的互动未来会是无缝的。我想这就是XR的最终承诺，忘记科技，沉浸在一瞬间。

Composition在一定程度上也是这样的，对物理性的享受，堆叠积木、随意扔来扔去，产生一种非常反应性、复杂且丰富的结果。我在Composition中有过了一次非常棒的体验，我非常喜欢。事实上，它是我推荐给很多人的体验，因为它短小精悍，仅6分钟，但非常吸引人且互动。在我与互动音乐作品互动时，我也不希望它混乱到没有任何代理性，完全是预编程的东西，只是听起来像噪音，但它总是听起来很好。但它总有一些时刻让我违背了我的期望，因为你知道它开始时是一种音序器，但它会跳转到一个块上，进行360度径向扫描来查看其他块与其的关系。

所以它在左右方向之间跳跃，再往往是个体极坐标，然后在旋转的情况下，又像是不同坐标系统之间的转换。有时像乒乓球，有时又从一个系统跳转到另一个，以一种非常催眠的方式。正如你所说，对于我们来说，重要的是你不需要任何音乐背景，实际上这赋予了人们权力。这种进化在他们在桌子前到达的时候是自然发生的，没有任何前奏。然后他们放下一个块，自然的接近方式就是作为经典音序器来互动。到了一定点，你会放弃，放开手，四处投掷积木，尝试可以做些什么，而这时你会感到这种生态系统持续反应并生成一些美妙的事物。

项目的起源

这个项目是怎样开始的？是一个想法？是一份提案？是对在PHI中心获得奖学金的反应？能否描述一下这个项目的来源？

一开始，我们在PHI中心有一项自由的创作安排。这一直是我们共同工作的想法。所以我们得到了他们的支持，我在想他们的DNA是什么。PHI作为一个实体，是一个物理场所，但在传播XR体验方面一直走在前沿。这是我能将物理性和共同体验的桥梁搭建起来的基础。我建立在音乐、互动性、手工和视觉表达等词汇的基础之上，并将其带入新的领地。因此，创建一种没有头显的XR体验的想法对我来说是令人着迷的。其实，互动桌的想法很早就确立了。

在很长一段时间里，这个项目只是叫做“桌子”。桌子就像摄像机或剧院，我在思考：“我们该如何利用这个桌子？”于是我们玩弄物体、小机器人、自己的手。通过反复试验，作为一次艺术驻留，我们有幸去探索和找到解决方案。拼图的碎片逐渐结合在一起，这是与Edouard的合作，他编码并开发了一个疯狂的计算机视觉系统，以及Caroline，她负责设计项目的视觉神话学，还有Wilhooper，他第一次参与互动音乐创作。我们进行了很多非常抽象的探讨，比如：“我们该怎么办？这一切是如何运作的？”随后，我们逐渐建立起了自己的语汇：“好吧，如果我们把物体放在那里，设置一个时间线并调整节拍，那是很酷的，但还不够。”如果节拍有些脱节，你会感到不安。因此所有这些小事都必须量化，以确保它听起来总是很好。我们设计它以产生一种精确感，即使你移动几毫米也会产生影响，并改变音色。假设你将积木堆叠在一起，音色会改变，例如产生另一种打击乐音系列。如果将积木聚在一起，又会产生另一种重音效果。这个项目并没有清晰的愿景，而更多的是一种直觉或感觉，关于如何体验这些内容，然后它渐渐形成了基于前提的限制与可能性。

融合线性与交互

这似乎是一个很好的作品，可以在博物馆中展出，因为它快速、简短且简单，但也非常令人满意。我常常谈到预测编码理论，这在神经科学中是一个概念，基本上是在说你的大脑是一个预测机器，你试图理解并建模你在场景中的期望。这个体验正好打到这样一个甜点，不会简单到成为工具，也不会混乱到失去秩序，而是在那个中间的区域：提供足够的了解一些秩序，但同时又足够不可预测和新颖，以保持其兴趣和吸引力。因此，你不断在思考如何利用你的代理性创造出一些新的东西，这会解锁那些令人惊讶的东西，而这些东西未必清楚是与刚刚做的事情有关，或是预先编程的内容。确实如此，模糊地带很有趣，因为它创造出的是魔法。我觉得你很好地总结了那种张力。

在我大多数互动项目中，我们想要实现的就是，真正感受到你是自由的，你自己的个性能够在体验中反映出来，同时，作为创作者，我想引导他们到某种情感上。而目前我们呈现的是6分钟的体验，但我们有25分钟的内容。因此，根据情况来讲，你听到的是其中的一部分，但实际上如果有不同的时间体验，它会展现出不同的音调章节。如果我来讲是使用头显，不过你也可以有一个设置，让两个或更多人操作积木，而其他人则只是观看。因为在某一个时刻，我经常会去看人们如何将积木扔来扔去，然后又有1或2分钟的时间不去触碰任何东西，完全沉浸在这一刻，只会感叹：“哇，我做了什么？真是太棒了！”然后他们开始再次乱动积木，想要在这种美丽中继续沉浸下去。

体验的独特性

正如你所说，25分钟的内容和6分钟的体验，这意味着要经历所有内容，你需要至少多体验四次。但即便如此，你还需要解锁一些内容，因为那些内容在很大程度上是由用户的某些行动来决定的，比如堆叠或其他动作。如何通过做某些事情来体验所有25分钟的内容？

你需要在一个非常安静的时刻过来，然后我们会把它切换到无限模式。因为它没有解锁机制，而是有着线性的场景主线，然后你逐渐展开音色和节拍的故事。但是你并不是在解锁或分支。所以在6分钟的时间里，作为访客并没有真正的方法来涵盖所有内容。更像是富有随机性的。因为在这个特定的环境下，很多作品都在同一地点，我们不希望音响相互干扰。

个体差异与体验探索

所以如果你在25分钟和无限模式下，将会是一个相对线性的展开，同时也存在用户能够控制的机会，去调节哪些方面的内容被揭示出来？

是的，确实如此。在这个过程中，个体之间是非常不同的。当我去的时候，我从不觉得无聊，因为非常独特美丽，看到每个人参与的方式总是不同。一些人非常分析，能够做出长长的直线堆叠积木；而有些人则非常混乱。有些个体最初也许会如此，但随后会放弃并创造出混沌的体验。因此，当你做这个项目几次后，这种熟悉感会出现，但同时又有一种广阔的质量在其中。你会真的理解，如果我仅仅在桌子上放两个积木，你理解这是一种非常极简结构，然后逐步添加，最后创造出一种交响乐。

我在体验时确实做过那样的事情，我让它们排成一条直线，然后音序器的线将其贯穿。然后有一个上下文切换，它会聚焦在一个块上，然后围绕其旋转一圈。因此，几乎改变了你操作的规则，一旦你理解了规则，它又改变了规则。感觉好像不是只固定在一个维度，而是在两个维度之间游走。我想跟进的问题是，当你把积木放下时，你是否在使用垂直轴上的音调？由于最初在水平轴上具有某种节奏方面，那么如果将东西上下放置在y轴上，这会产生什么？在这个背景下，块的位置是否有任何信息？这更多是一个维度还是另一个维度？

这有点两者都有，这是我们驻留过程中有趣的地方。我们理解，提供太多控制或选项会让人们处于“我面前有一个声音软件”的心态中，就像在早期2000年，由Bjork使用的reactable一样，你通过控制物体变成DJ。我并不希望人们的心态是，“好吧，我来改变音调。”声音取决于你放置的位置，堆叠积木的方式，或者它们是单独的还是组合在一起的，但这也有一个不是单一化的方面，贯穿所有内容。因此，比如敲击一个积木时，会产生一个打击乐音，如果稍微移动下中心会有所不同，但这又是一个良好的音序的一部分使得旋律持续不变。

这真的是在寻找好的平衡，而视章节而定，一些规则会稍微改变，这样才能继续保持趣味性和惊喜感。我们去掉了许多本可以尝试的功能，把智力上的音调复杂性降低。我觉得一开始我们对可以做到的事情非常兴奋，但当我们把它应用到用户体验上时，我意识到我们需要制作一些东西，让它更少理性和更情感化。

体验的总结

我想这真的不是一件容易的事情，因为要使它变成一个工具非常简单，人们会想，“哦，我转动这个旋钮，或者将这个块移动到这个方向，它将产生这样的效果。”但是进入一种略显神秘的空间，我发现自己试图理解正在发生的算法，我能做什么，如何能控制它，如何表达我的代理性？但当我或许琢磨出答案时，它又切换了，因此让我感到“算了，我就随意处理”，以一种更混沌或随机的方式来结束，反而没有那么多思考或刻意的动作，只是将块扔来扔去，因为我想听到不同的变化。因此，在这种情况下，因不理解我在做什么或为什么要做，而我的表达和代理性变得更混乱，但让我进入那种更具诗意的思维，能够接受正在发生的一切，感到自己参与其中，而不需过多思考，就沉浸其中。

从这个角度来看，我感受到了非常强烈的沉浸感和乐趣，但也留给我一种我所做的事情的诗意神秘感。通过与你的对话，我意识到，我并没有发现，比如聚集东西与将它们放得分散。或许我尝试堆叠，但当时无法听出任何声音。因此，这个过程像是在进行小实验，试着看看会发生什么，探索如何与其互动，而并不明确规则是什么，同时又要留出足够的空间，让人去自己发现和实验。但最终感觉仍然有些不理解正在发生的事情，留下了些神秘感，同时感到这是一场有趣的体验。

总结与展望

因此，对我而言，这种有趣的平衡意味着我参加过很多沉浸式体验，而我不常从体验中走出时充满这样的感觉。我真的很开心。这是我们第二次展示这些项目。在PHI中心的驻留后我们展出过，而这是我第一次在公共场合看到人们，能够与他们交流和理解他们的感觉是多么珍贵。人们确实感受到一种惊叹，同时也在问，“你是如何做到这个的？你为什么要这样做？”而这种探索并不是隐晦或高深的，我认为这是一个非常亲切的项目，它可以超越语言，孩子们也能真正享受这个项目，所以我认为它是易于接受的。但是同时，它又有魔力和神秘感。

对我来说，这个项目也是一个很好的概念验证，能够在物理交互中进行扩展，并想象，现在我们在一个桌子上放着积木，如果要在一个更大的画布、一个场馆中，取代积木的是人类，那么访客们就会变成音乐的作曲者，触发每个人的声音，从而形成一种全新的现场音乐仪式，展现你如何与音乐互动，以及你与他人的关系。这是一个美丽的破冰器。我有点害羞，但有这样的前提可以把不认识的人联系在一起，真的是一种美妙的体验。我期待在更大型的规模上进行实验。

我会有些惊讶于这个作品是多么线性，而音乐家们能创造一个弧线或体验，同时又能保持用户的自由参与。这当然是有趣的。我在南西南偏南大会期间推荐Composition给来这里的人，因为这是一个只能在物理现实中感受的作品。虽然在虚拟现实中有一些方面能够做到，但有两个主要的问题首先是实际抓住积木的触觉体验，真正感觉到积木并以某种方式放置它们。即使你使用触觉手套，我想也许还是感觉稍显笨拙，不能与实际抓取积木的经验相提并论。

同时，光的质感和映射投影的质量也是难以在沉浸体验中重现的。首先，桌子足够大，以至于我的视野几乎完全被我所看到的内容占据，没有任何遮挡。但在对比虚拟光与实际光时，我能明显感知二者之间的差异。我知道我处于VR经验中，看到的光被再现，而不是实际在看到的光的反射。这种不同我可能说不清楚所有物理原理，但确实看起来有所区别，不会出现像素化，显得更加生动、明亮，或者说是某种特殊的光的质量。因此，这两者结合在一起让这个体验变得更加直观沉浸。

而且，我也喜欢看到其他人，看见你的手和周围人的手。我们还在桌子上玩弄手臂的投影轮廓，成为视觉词汇的一部分，变成了手的编排。我认为在这个互动画面中，手在桌子上也是这种编排的一部分，另外伴随的动画即便我们将其描述为线性作品，但依然保留了丰富性。我确实认为，这是最初的过程，可能Residency的第一个原创种子就在于如何以一种方式思考体验使其能够在头戴式设备中存在，去增强它，让你有互动、反应性和魔力，同时又充分利用真实世界的物理性质，从而达到最好两种世界的甜蜜点。

因此，我会对这种模糊界限的定义感兴趣。不知道是否用混合现实或AR这样的说法来形容比较合适？

未来的展望

对于Composition来说，下一步是什么？这是一种 Meeting People，以及让项目旅行的机会。显然，我们希望Composition能够被更多人看到。正如你所指出的，这是一种物理安装，因此我们正在寻找不同的场合。我认为这可以在那些愿意接纳更广泛观众的场馆或博物馆中生存，但就像主题本身，我认为这是一个可以在不同打印概念中展出的作品，比如科学博物馆、艺术博物馆，这样的范围比较广。

再次回到场馆这一想法。我在继续思考和探索这个项目如何适应，人们行为动态的探索也与具有不同控制的群体有些不同。比如昨天我们想去餐馆，而我们人很多，想知道去哪里和吃什么，这让我意识到，哦，人类真难以处理一群人。然而，既然这个项目可以很好地呈现出声音，无论做什么，我总有良好的感觉认为不管有什么错误，我们都能抽出去。但对我来说，看到如何作为指挥家添加一些细微的变化，能够引导观众进行某种行为动作，我想这是很有趣的。

当然，会有一些叛逆者，在这个过程中我们也深知。但一起探索一群人如何彼此互动、作曲，并且产生直接反馈，这种体验在后疫情时代也显得尤为新颖。在本周，我遇到的许多人都表示：“这是我好久以来看到的第一场现场演出。”因此，他们的反应均是：“哇，真好。”接下来的1或2年将是重新发现集体体验的乐趣的过程，我对此感到非常期待。

XR的潜力

那么你认为虚拟现实和这些类型的交互体验、互动故事的最终潜力是什么？他们将去使什么？

我认为，最终目的是要有一种方式不断完善，使其更接近自然的行为。我觉得头显能使其像自然环境那样互动，模仿出一些东西。这一方面现在看起来是找到了。而对我来说，我现在想要关注的是剩余的交互性内容。比如说，人体、手势、我们的行为方式也会影响我们所面临的环境或情境。因此，我认为在这方面仍有很多实验和开发项目的空间，可以使互动变得越来越精细、自然和直观，而不是仅仅是触发接口。像是用遥控器、手或者以某种笨拙的方式。我觉得这正是令我激动的地方，就是不断让它变得更加自然。

最后的寄语

还有其他什幺想说的吗？是向更广泛的沉浸式社区？

我尝试思考，但是这是一个很令人兴奋的时期，我觉得我们应该继续保持好奇心，扩展自己的宇宙，创造与其他社区和媒介的桥梁，去做一些有趣的合作。我认为社区会受益于渗透到其他媒介中，从而成为与内容互动的一种方式。

结束语

非常感谢你，Vincent，感谢你加入我的播客。我真的很享受Composition的体验。

是的，这就是一种作品，正如你所说，它带回了物理性和共同实验的概念，让人们能够在同一地方共同探索。我真的很感激有这个机会，能够在西南偏南会议期间和你一起深入探讨这些内容。感谢你。

感谢你的收听，我们今天的节目到此结束。如果你喜欢这个播客，请告诉朋友并考虑成为Patreon的会员。这是一个支持播客的列表，我需要像你这样的人的捐赠，以继续进行这种报道。你可以今天就在patreon.com/voicevr成为会员并捐赠。再次感谢你的收听。