The Voices of VR Podcast

介绍

你好，我的名字是Kent Bye，欢迎来到“声音的VR播客”。这是一个关注沉浸式叙事的结构与形式以及空间计算未来的播客。你可以在patreon.com/voicesofvr支持这个播客。

节目的内容

这是我对2024西南偏南不同沉浸式体验系列的最后一集。这集节目将讨论获大奖的作品《金钥匙》，作者是Matthew Niederheiser和Mark DeCosta。他们之前展示过的作品《Toblomancer》我在第1293集中曾经报道过。他们运用了许多来自大型语言模型和生成性AI的技术。

《Toblomancer》在今年的西南偏南展出时，进行了一个简化的界面和自助服务模式，基本上是让你坐在一台旧1980年代的计算机前，回答关于你过去、现在和未来的一系列问题，然后为你创造一个非常独特的虚拟现实体验。它将你的输入转换成音频叙述，并结合不同视觉效果，所以这就是一个为一个人量身定制的体验。展示了生成性AI和大型语言模型的最前沿技术。

访谈内容

这次与Matthew和Mark的访谈发生在2024年3月20日星期三。接下来让我们深入对话。

我叫Matthew Niederheiser，很高兴再次与你交流，Kent。我是一名艺术家，专注于体验和沉浸式媒介，过去十年来一直在这个领域创作。最近，我关注的是结合人工智能和新机器学习工具的项目。我还是位于纽约的Onassis Onyx的技术总监，这是一个XR工作室和制作空间，我还和John Fitzgerald共同创办了一个叫Sensorium的经验工作室，通过它我们做了许多XR项目，并持续进行着工作。

而我叫Mark DeCosta，很高兴再次和你在一起，Kent。我是一名艺术家和人类学家，我的艺术实践对新兴技术、档案以及人类体验之间的关系非常感兴趣。在过去的一年中，Matthew和我合作了许多项目，交汇于生成性AI和广义上的沉浸式或XR媒体的交叉点。我是从人类学的背景进入这个领域的，几年前获得了博士学位。因此，我总是非常感兴趣于思考和将这些新技术放在更广泛的社会和文化背景中进行理解。

各自的背景和旅程

我在八十年代开始拆解计算机，以逃避西弗吉尼亚农场的单调生活，并在90年代中期戴上了我的第一副VR头盔。然而，在大学时我转向人类学，也就是讲故事和新闻工作，并在中国工作了大约10年，期间我依然在做计算摄影和早期数字摄影。当我在中国生活后回到纽约，加入了New Inc时，才重新接触到沉浸式媒体，尤其是在当时与其他优秀创作者的庞大团队一起工作。我迅速获得了关于如何构建自定义360相机的丰富知识，因此我很快对基于相机的XR制作产生了高度兴趣，如何进行360立体摄影、摄影测量、体积模型等。当时，我的主要关注点是与John Fitzgerald一起的Centurion项目，我们创建了社交VR项目，让人们之间可以互动。我们制作了Rachel Rawson的作品《天空是一个缺口》，并与Gabor Aurora合作制作了一部四人VR互动纪录片《Zikr》等等。

当疫情发生时，我们刚开始构建Onassis Onyx，这是纽约一个非常不错的艺术家空间。这时候我正好又遇到了Mark，并立即开始了关于我们对人工智能的共同兴趣的对话。我们对当时出现的各种工具充满了期待，尽管它们仍然处于初期阶段。我们开始产生了许多关于利用生成机器学习工具创建互动体验的想法。尤其是在Chat GPT早期发布和其他神经网络基础的机器学习模型的支持下，我们的思路不断拓宽。《金钥匙》是过去18个月里Mark和我进行的第四个项目。

《金钥匙》项目的构思

《金钥匙》的想法其实是在威尼斯创建《Toblomancer》时产生的。当时我们正在设定《Toblomancer》的首次展出，这对我来说非常重要，我在思考我们花了很多精力去制作的VR体验，却只能在一周内被150到200人观赏。我在心中想着，怎么样才能让这一切变得开放，允许更多人同时互动，因此我们逐渐形成了一个可以让人们交互进出的“永无止境的故事”的概念。

当然，我自己会把《金钥匙》的主题与我们之前在威尼斯和日内瓦的体验相联系。我们在这次展览中为观众设置了两个终端，要求他们在60秒内回答问题，并将他们的答案融入到持续发展的故事中。我们希望人们能更深度地思考自己想如何参与这个故事。我们也鼓励人们输入多个不同的想法或连续的概念，并观看故事的发展。这是一个极具人性化的过程，有些观众与之产生了深刻的共鸣，而其他人则可能没耐心，只认为它是一个视频。但无论如何，这都是一个充满乐趣的体验，观众在其中真切地看到了自己输入的内容是如何变成故事的一部分。

技术架构和生成模型的思考

在技术层面上，《金钥匙》和《Toblomancer》的后端系统非常相似。我们之前展示《金钥匙》时所使用的十台强大计算机为我们提供了支持，让我们首次能够同时服务多个体验。过去我们在语音合成服务上遇到不少麻烦，例如，云服务不稳定等，因此我们很高兴能够将所有这些服务都迁移到本地服务器上。我们在南方西南展会期间体验了非常平稳的运行，没遇到任何技术问题，这是Aaron Santiago的贡献。我们也在考虑如何能在未来建立更多的本地服务，以此进一步提高体验的稳定性。

总结

最终，我想说，《金钥匙》和《Toblomancer》都指向了一种未来，随着自然语言的使用而能够创造出更丰富的故事体验。在这个快速发展的时代，我们必须关注这些技术对文化生产产生的深远影响。我对我们未来的项目非常期待，也相信这将是我们艺术创作和文化发展的一个重要时刻。

非常感谢Matthew和Mark今天的分享！很高兴能探讨他们的创作过程和旅程，也期待在未来的项目上看到他们如何利用XR和AI的交集推动创新。

感谢各位收听《声音的VR播客》，如果你喜欢这个播客，请告诉朋友们，并考虑成为Patreon的会员。感谢你的支持！