/ Voiceofvr / 0浏览

在WebXR中将生成式人工智能集成到实时剧场表演中的OnBoardXR中

Voices of VR 播客

大家好,我的名字是 Kent Bye,欢迎来到 Voices of VR 播客。这是一个关注空间计算未来的节目。您可以通过 Patreon 支持我们的播客,网址是 patreon.com/vistavr。这是第 13 集,共 17 集,探讨 XR 和人工智能之间的交集。今天的节目嘉宾是 Brendan Bradley,他是一位演员和讲故事者,一直在探索实时动画系统和社交 VR,并在虚拟现实的环境中进行戏剧制作。他有一个名为 Onboard XR 的系列节目,是在 Mozilla Hubs 的背景下完成的,利用开放网络和 WebXR 技术,因此他们能够整合各种新兴和前沿的技术。在他们的首次 Onboard XR 中,他们甚至使用了 AI 生成的剧本。在他们最新的制作中,他们进行了一场完整的音乐表演,通过观众的输入来提出提示,然后根据这些提示生成了许多不同的 AI 图像。从那里,Brendan Bradley 评论这些图像对艺术表现的不同方面产生的贬值。这是对人工智能和生成 AI 的一种批判性看法。同时我们还讨论了生成 AI 的突现社会行为,以及如何开始关注人们的意图,并在这种团体提示体验中创造独特的社会动态,聚焦于单一的意图。这就是今天 Voices of VR 播客节目的内容。

与 Brendan 的对话

这次与 Brendan 的访谈发生在 2023 年 6 月 2 日,于加州圣克拉拉的增强现实世界博览会。好了,我们开始吧。

我是 Brendan Bradley,一名自称的演员和不拘一格的讲故事者。我在 2017 年左右进入 VR,起初很糟糕,开发了一些 Unity 程序并将其部署在 Lenovo Mirage Solo。实际上,今天早些时候在一个小组讨论中,我听到了 2017 年被称为“VR for PR”的内容,那是我最初的一些工作和入门方式。但我越来越深入实时动画系统、实时社交 VR,并基本上将现场戏剧放入虚拟现实中,为多用户体验服务,无论是现场、混合、在场所还是完全虚拟,从我的客厅进行。

关于背景和 Onboard XR 的起源

大概可以给我一些关于你个人背景和你进入这个领域历程的更多上下文吗?

当然,我首先是一名演员,但作为一名老千禧一代,我总是涉猎各种新技术。我不会把自己视为程序员或编码员,但我基本上可以完成一切糟糕的版本。因此,我会先制作出一个不好的初稿,然后找到好的协作伙伴、团队成员和合作机会,来稳定、优化并使我的创作变得更加强大。

所以我曾经在用 Unity 对《麦克白》进行改编,进行实时动作捕捉的演员,同时进行实时电影追踪。而在疫情关闭的时候,我恰好在编辑这些内容,想利用我的 3D 建模知识和编程知识来为那些被困在家里的戏剧制作人带来实时戏剧。然后我推出了一个免费的剧院,当时我发现了这个平台 Mozilla Hubs,这实际上是一个非常吸引人的方式,可以为任何希望基本上使用我模板的创作者提供免费的访问和服务器空间,并为几百位没有舞台的艺术家和机构提供了一个虚拟场所。

艺术家和创作者的集体体验

那么,最初的问题是我们该如何使用这个东西?因此,和 David Cocksfield、Kevin Labeson、Alex Coulomb 以及 Roman Militich 一起,我们在 Mozilla Hubs 中放置了一部名为《Jettison》的独幕剧,基本上通过 Google Chrome 的开发者控制台注入 JavaScript,以实时生成不好的戏剧排队效果在网络设备之间发生。我们希望进一步推进邀请基本上任何创意社区中的人,在基于网络的虚拟现实中舞台展示他们的首个 VR 作品。因此我们创建了 Onboard XR,基本上是一个智库,每个季度展示一次独幕剧,尽可能每年至少两到三次。

我们在 5 月刚刚结束了一场,任何艺术家都可以免费参与,基本上非同步孵化一个月。我们帮助他们稳定一部 3 到 5 分钟的作品,然后在一个晚上为所有短片组织一本选集,观众可以前来观看。他们可以选择自愿参与,或者选择非常参与、被动或有时隐形。我们还会将它通过 YouTube 进行直播,定向那些完全不想互动的人,然后所有的钱都归艺术家,以便为他们的首个 VR 作品提供一些补贴。

WebXR 平台的必要性和便利性

我知道您个人也参与了 Onboard XR 的多部制作,而最引人注意的是您进行的许多音乐制作。我想这在音乐和同步方面面临一些挑战,您能聊聊在音乐的社交共享动态中遇到的一些核心挑战,以及您是如何绕过这些延迟和确保一切时间一致的不同问题吗?

当然,音频延迟是任何在这类媒体中工作的人的噩梦。但是,我认为在这类媒体中尤其如此。由于疫情,我的工作里明显缺乏良好的音频制作能力,几乎没有能力让我们同步演出。我记得在同一个场所演出其他表演者时,我们会听到彼此的回声,这有时是因为 WiFi 的上下信号。因此,我认为音乐可以极大地提升叙事,无论视觉、媒介,还是观众体验,所以作为一个讲故事者,音乐在我心中很重要,因它在某种程度上能让观众放松,觉得他们在安全的环境中,即使一切都在崩溃。

所以,我们真正关注的是同步尽可能多的音源,我通常和现场音乐家及伴奏音乐一同演出。我在唱歌,然后试图通过音频接口将观众的反馈录回,这样我就可以在实时中听到并回应他们。我们在外部音频接口上做所有这些,然后尝试通过单个化身或单个音频输入将其传送出去。这是我们迄今为止分享多种音频源以同步的最佳方法。

适应直播和虚拟体验的挑战

在一次表演中,您在圣路易斯的一家剧院进行现场表演,现场观众在观看您,但还有四名观众在进行 VR 体验。他们体验了完全不同的内容。您能说说这种混合表演的融合,以及与观众之间的交互有哪些不同吗?

当然。让我感知到这一切的最大一点是,在早期的现场沉浸剧场和虚拟现实的浪潮中,我感受到了一种反弹,无论是来自场地合作伙伴还是剧院房地产模式。我们像是在试图进入剧院,但同时也在试图夺取传统现场表演的商业模式。我认为这些表演非常引人注目且重要,因为这是对现场剧院传统的一种二次层次的补充。我认为,尤其是对于沉浸式体验而言,观众仍然享受那种再次放松的体验。无论是影院、戏剧还是音乐,观众们依旧会享受这种仪式和传统,而我热衷于这种仪式和传统。我希望参与者能够感受到那种活力和现场感,但也希望有全新的虚拟观众。他们可以在现场与我共用耳机成为内容,有可能真正进行互动,成为故事和叙事的一部分,而对很多人来说,他们不想这样积极参与。

关于创造性互动的未来

我感到越来越多的是,有一小部分观众确实想要真正融入叙事体验,我认为我们应该为他们创造空间。我也认为,完全不具交互性的全球观众或不感到被邀请或包容的观众,也是我们仍可将这些体验提供给他们的。某种程度上,我希望我正在与它共同工作的巡演将邀请场地合作伙伴和房地产伙伴理解,票务模式依然有效,依然可以举办现场活动,并且我们可以在此基础上增加一个额外的层次,从而有效利用这些技术的优势。

关于未来的展望

所以,关于 Onboard XR,接下来你们有什么计划?

Onboard XR 将在秋季季节开展固定活动,我们对此非常承诺,因此我们始终会接受申请。现在,洛杉矶的编剧罢工正在进行,我正在参加抗议,但 SAG 罢工也可能会在 7 月 1 日开始,所以我会暂时失业。因此,我认为,转回 VR 工作是一个很好的机会。2017 年我在编剧罢工期间移居洛杉矶,那时数字媒体、新媒体和流媒体视频,成为了电视和电影编剧采纳这种新媒介并开始实验叙事的一个令人兴奋的途径。我认为,在这个不确定的时期,邀请他们也许是不错的机会,利用 VR 和 XR 开始实习和迭代他们的下个项目,我将非常欢迎任何在这里收听的人参与。

结束语

最后,你认为虚拟现实和沉浸式叙事的最终潜力和实现是什么?

首先,虚拟现实使我们能够互联,它允许我们使用数字技术,尽管在过去的 5 到 10 年中使我们分散,但实际上可以让我们重新连接。我认为,它所带来的亲密感是无与伦比的,甚至于我们传统的场地剧院或电影中,因为我们已经决定了如何感受。我们想在黑暗中坐着,不想被打扰,而这一点确实邀请人们重新考虑他们在空间内的体现感和自主性。所有这些都是非常令人兴奋的,真地和我们的叙述传统以及彼此重新连接。自私一点说,我能和你交谈,能和许多令人难以置信的人交流,这对我而言是非常重要的。在线下见到你并讨论我的作品,简直是难以置信的。

所以我认为,拥有这样的潜力,或许像早期 YouTube 一样,能让我坐在洛杉矶的一个酒吧里,和 50 位 YouTuber 见面,互相交流设备、想法和剧本,这种社区的亲密感和支持正是我们真正将触及到的地方。我们的创作、艺术性、尊严和诚信的维护,正是有了这样的支持和帮助,我们的创造力才能焕发光芒。如果我们能相互支持,彼此照料,我相信我们能够保持健康,也希望我们能够接受这一邀请。