The Voices of VR Podcast

欢迎

我的名字是 Kent Bye，欢迎收听《Voices of VR》播客。这是一个探讨空间计算未来的播客。您可以通过 patreon.com/wistofr 支持这个播客。

本集简介

这是关于 XR 与人工智能交汇点的第 15 集（共 17 集）。今天的节目是与 Sensorium 的联合创始人以及 Onyx 的技术总监，Matthew Niederhauser 和 John Fitzgerald 的对话。期间的 Tribeca，我曾在 Onyx Studios 参观，他们展示了不同项目的展览。虽然 Matthew 和 John 没有什么公开展示，但他们在进行 AI 的工作。Matthew 参与了多个 AI 管道的工作，探索如何调整他们所创造作品的不同外观和感觉。

Matthew Niederhauser 还进行了多个关于生成式 AI 的实验和原型，探索语言在具有诗意品质时如何被解读或误解，以及其他不同艺术装置。他在这里提到了一个项目，名为 Tupelo Mancer，将于 2023 威尼斯沉浸式展会上首映。实际上，我会在这个周日坐飞机前往威尼斯，看到所有不同的沉浸式体验，包括这个生成式 AI 项目，它基于一系列不同的提示动态创建出一个完全沉浸式的体验，非常特定于您输入的提示和记忆。因此，它实际上像是一幅沙画，每一个体验都是新的、不同的。

我非常好奇在威尼斯看到这个项目的效果。那么，今天的这一集就到此为止。Matthew 和 John 的访谈发生在 2023 年 6 月 10 日，地点是在纽约市的 Onyx Studios 展览。

访谈开始

“我是一名技术负责人，我叫 Matthew Niederhauser，是 Sensorium 的联合创始人，Sensorium 是一家体验工作室。我也是 Onyx 的技术总监，Onyx 是一个 XR 加速器、生产和展览空间，位于纽约，专注于 XR 的广泛定义。”

“我是 John Fitzgerald，和 Matthew 一起是 Sensorium 的联合创始人。我也是 Onyx Studio 的技术负责人，Onyx Studio 位于纽约的奥林匹克塔。”

个人经历分享

Matthew 继续说道：“我个人一直在拆解计算机，对数字影像感兴趣已有很多年。这条路让我最终走入了照片新闻领域，尝试在沉浸式媒介中讲述故事。我们从 360 摄影测量，体积图像开始，通过我们的工作室——Sensorium，享受着这过程，参与了 Sundance 和 Tribeca 等活动。此时，我们尝试使用前沿的硬件和软件创造新的体验，其类型可以从几乎雕塑般的装置、交互式的头戴设备项目，到完整的舞台表演。”

“我以前是纪录片导演，然后开始参与实验性电影制作，也做了许多沉浸式投影映射的装置。在这段时间，Matthew 和我开始探讨更大规模的纪录片项目，同时也开始涉及 360 视频、体积摄影测量，建立我们自己的摄像系统和管道，并试验现成的技术。”

AI 与沉浸式媒介的探索

John 提到他对 DALL·E 和 Midjourney 这些图像生成器的兴趣，以及与 Matthew 的项目合作。从餐桌上的一次聊天开始，Pierre 记录了他的孩子用手机拍摄的日常场景，他刚刚搬到纽约。他们进一步探索稳定扩散（Stable Diffusion）和称为 Warp Fusion 的流程，从而使得生成的图像在已捕捉的图像上叠加更复杂的图层。

“我们实际上对此充满好奇，尤其是对于‘记忆’的阐释——你如何定位你关于世界和其他人所发生的事情的记忆。”

Matthew 补充说：“我一直期待着和计算机流利地进行交流。我的第一次真正接触到这类技术是在高中，我用 Lisp 语言编程，尝试构建神经网络（neural networks）。”

关于 XR 和生成式 AI 的潜能

随着项目的推进，他们讨论着生成式 AI 将如何影响沉浸式叙事未来，如何帮助人们建立更强的集体意识和同理心。John 也提到关于自己与著名导演 Godfrey Reggio 进行合作，探索如何通过生成新的合成模型来重塑以前的影片档案。”

Matthew 认为生成式 AI 的潜力在于它为沉浸式叙事带来的新机会，能够让用户在沉浸体验中拥有更强的参与感。“未来的沉浸式叙事将是一种奇妙的平衡，融合戏剧、视频游戏和电影，与他人互动的全新方式。”

最后，他们讨论了机器学习与生成式 AI 技术将如何不断进化，推动沉浸式计算的可能性，尽管面临许多伦理挑战和数据隐私问题。他们对未来怀有希望，并期待能够继续创造出更好的工具和故事。

结束语

Kent 在最后总结说：“非常感谢您们今天的参与，这些想法和讨论给我们提供了很多反思的空间。期待在未来看到更多你们的作品！”

“谢谢你的邀请。”