VR领域播客——Voices of VR Podcast
你好，我叫Kent Pye，欢迎来到Voices of VR播客。这个播客关注未来空间计算中沉浸式叙事的结构和形式，您可以通过patreon.com/voicesofvr支持这个播客。
这是第八集，在2023年IFA Doc Lab上，我们将讨论不同数字叙事的沉浸式非虚构作品。今天的节目将讨论由John Fitzgerald创作的《The Vivid Unknown》。这是一部三频道视频艺术装置，基本上是一个基于1982年Godfrey Reggio纪录片《Koyaanisqatsi》的AI电影，该片“催眠般地探讨了自然、人类和技术之间日益增加的紧张关系”。
这是一部非常观察性的电影，没有旁白，只是将人性与自然以及两者之间的关系对比展示。这部影片展示了人类对自然的影响，配乐则由Philip Glass创作。John Fitzgerald得到了Godfrey Reggio的许可，以基于《Koyaanisqatsi》中展示的不同图像训练一个AI模型。接着，他创造了这部有着12小时影像的三频道装置。观众可以走上前来，移动环绕，这样该装置能够追踪不同观众在空间中的位置，并在某种背景算法中进行平均。观众的整体移动和互动方式也会改变作品的显示节奏。因此，这个装置有着另一种集体能动性的维度，但其核心仍是展示这些《Koyaanisqatsi》的稳定扩散式转化影像。这就是我们今天Voices of VR播客要呈现的内容。
与John Fitzgerald的对话
这次与Sean的采访发生在2023年11月14日，地点是阿姆斯特丹的IFA Doc Lab。让我们深入探讨吧。
嗨，我是John Fitzgerald，我是一名艺术家和电影制作人，主要从事沉浸式和互动内容的创作。可以多给我们介绍一下你的背景和你进入这个领域的旅程吗？
当然，我在大学学习电影制作，并立即对纪录片形式产生了兴趣。同时，我也在使用After Effects，做一些2.5D合成和图像创作。我花了好几年时间在玻利维亚的不同电影社区旅行工作，之后又去了巴西，然后回到纽约。我想大约是在2014年，我与另一位艺术家和电影制作人Matthew Niederhauser共同创办了Sensorium。我们在纽约的公司已经运营了大约10年。我们的模式很独特，与很多其他公司急于进入VR市场的做法不同，我们的团队特别小，没有其他开支，我们可以在商业工作与创意项目之间找到平衡。我们以商业工作支付自己的工资，然后进行一些关于VR、360视频和AR的实验项目，创造了多部作品，曾在Sundance、ITFA、Tribeca和SIGGRAPH等活动中展出。
确实，去年的这个时候我们曾在IFA Doc Lab上谈到过这方面，你那时与Sensorium在这里展示动作捕捉工作室。我后来还去了纽约的Onyx Studios，看到了不同项目的年度夏季展览。我们有机会坐下来讨论你们各自正在进行的未来工作，因为在过去的一年里人工智能、机器学习以及不同生成性AI工具的迅猛发展。因此，当时有很多项目在展示。我和你、Matthew一起坐下，Matthew在谈论《Tobel Mancer》，而你则在讨论现在在IFA Doc Lab展出的项目。
关于《The Vivid Unknown》的创作
是的，我是在今年IDFA展出名为《The Vivid Unknown》的项目，这部作品是我与电影制作人Godfrey Reggio共同创作的。它基于他在1982年发布的电影《Koyaanisqatsi》。关于我在使用人工智能创作方面的个人旅程，有几年前我第一次开始尝试GANs和风格GANs，通过机器学习过程生成图像。那时，有大量的工具通过Ernie和Dali在线可用，我尝试过这些，但我更感兴趣的是如何在更开放的源码软件中控制参数，并尝试稳定扩散。我想，20多年前，作为大学生时我看了这部电影《Koyaanisqatsi》，可能看过几十次。这部影片对我影响很大，它一方面表现了工业化对地球的影响，另一方面又用一种很独特的方式展示了人性与自然之间的关系。
电影风格与技术实现
电影有一种诗意，既有Philip Glass的音乐，也有对人类与自然关系的冥想，更多地反映了技术对自然的影响。如何描述这种电影风格？是个观察性纪录片吗？
其实用不同的词来描述并没有太多的统一，一些人称之为诗意电影或实验电影。Godfrey实际上对此有所保留，他认为这不是实验，而是体验。因此，他一直在用“体验”这个词来形容这种影片风格。在其发布之前，几乎没有先例可循。而且他与非常出色的摄影师Ron Fricke紧密合作，他会拆解相机，学习如何构建慢动作和快动作的拍摄技术。这个影片的特征是使用了很多变化速度的镜头。Ron后来还导演了其他一些同样没有字词的影片，如《Baraka》和《Samsara》。而这种以持续时间为主的手法，成为了许多广告公司在电影发布后使用的风格。Godfrey对此总是很幽默，他说，“我们最初在描绘野兽时，这头野兽转过身来用我们对它的描述来促进自身的传播。”
与Godfrey Reggio的合作
在我第一次见到Godfrey时，我迫不及待地问他是否想一起制作什么。他开始可能会说他忙于其他的事情，但他邀请我到他的工作室，展现了对我与Sensorium的工作的兴趣。他并不想深入了解VR头盔或AR界面的技术。他甚至说：“我永远不想在头盔里创作任何东西，我甚至不想戴上它。”但他鼓励我深入思考他的电影是什么，如果我们能够找到合作的地方。基本上，他在制作电影时有几个要求，他总是提前发布所有影片并放弃所有发放权，以便对电影保持完全的创造控制。他说：“我不能使用任何《Koyaanisqatsi》的影像。”但我与他的律师进行了沟通，寻找如何利用这些影像来训练一个AI模型的办法。
最终我们得到许可，我现在想着如何将Dreambooth和稳定扩散结合起来。我开始与我在纽约的朋友Dan Moore讨论。他是一个非常有才能的创意技术专家，之前我知道他一直在尝试GAN风格的艺术。Dan和我一同探索了Godfrey的档案，一些他在《Koyaanisqatsi》期间拍摄的图像和电影本身影像，最终这些都成为了我们用来构建《The Vivid Unknown》的核心模型。
项目的构建与互动性
我们生成了大约12小时的内容，故事弧跟随《Koyaanisqatsi》的影片展开。但Dan和我实验了一种能够对空间中观众做出反应的互动引擎。我们想要创造一种集体观看体验，这让我想起当初观看《Koyaanisqatsi》的感觉，感到这是超越现实的一种体验。当我在IDFA展出的时候，它是一种大规模的展示形式，我们使用了三台在120度之间的投影仪，因为这是我们在这里的空间限制之一。
Dan构建了一个复杂的系统，这个系统利用传感器的机器学习库，能够追踪进入空间的观众的骨骼定位。每当进来一位观众，系统就会标识他们的身份，并开始追踪他们的参与度、在空间中的移动、与其他观众的接近度以及他们注视屏幕的方向。再通过这些数据来判断系统是否是向前推进、后退或保持稳定，这一切的状态会影响《Koyaanisqatsi》影像的播放速度，随着越来越多的人进来，影像开始以加倍的速度播放，并逐渐加快，直到达到一个折点。
我希望这不是一个让你感觉像是进入游乐场的体验，我希望这种方式能够更多地与电影的目的相一致。《Koyaanisqatsi》的影像非常美丽，而我们的尝试是希望能呈现出一种替代的影片形式。我们希望它在某种程度上引发观众的沉思，虽然我确实想让它在技术上显得有些不安，因为它并不完全受控。
结尾与未来的展望
关于这个项目的未来，我们希望在纽约的Onyx工作室展示它，并将其与不同的创作者共享。在AR和VR的探索及未来的创新中，我希望持续观察观众如何与项目互动的方式，并在未来进行更多沉浸式体验的研究与开发。
感谢您收听Voices of VR播客。如果您喜欢这期节目的话，请将其分享给您的朋友，并考虑成为我们的Patreon会员。感谢您的支持，让我们能够继续提供这样精彩的内容。