The Voices of VR Podcast

欢迎

我的名字是 Kent Bye，欢迎收听 Voices of VR 播客。这个播客关注空间计算和沉浸式叙事的未来。您可以在 patreon.com/voicesofvr 支持这个播客。

今天的主题

今天的体验是名为《The Dark》的《Whipped Cream》项目。这是一个沉浸式互动音乐视频。今年在 South by Southwest 有很多不同类型的音乐视频体验。我和 Blake Kim 以及 Dana 讨论了 South by Southwest 本身是技术、电影、媒体与叙事以及沉浸式叙事和音乐交汇的一个平台。因此，今年的选择中有许多专注于音乐的作品。

这个作品是一个基于 Unreal Engine 的沉浸式音乐视频，它有很多从 Departure Lounge 捕获的体积化扫描，这里是位于加拿大温哥华的一个工作室。您可以在这个作品中走动，导航并拥有某种代理权，同时故事也随着 Whipped Cream（又名 Caroline Cecil）创作的歌曲展开，歌曲还与 Josiah 和 Crimson Child 合作。

我有机会与这个项目的多个制作人、艺术总监和导演进行对话，了解他们捕捉这些表演的过程，并将这些表演放入到 Unreal Engine 的互动游戏环境中，试图了解这种新类型的互动音乐视频的维度，以及如何平衡位置和代理权，如何在与直接注意力相结合时，提供 Whipped Cream 的音乐视频《The Dark》的专属音频体验。

采访

我的采访对象是 Brenda 及其团队。采访发生在2023年3月14日，星期二。

Brenda 的介绍

我叫 Brenda Medina，我在位于温哥华的 Departure Lounge 工作。我是一名虚拟制作人，也负责这个沉浸式音乐视频的制作。

Hua 的介绍

你好，我是 Hua，在 Departure Lounge 担任艺术总监，我参与了前期和后期制作。

Will 的介绍

你好，我叫 Will Selvis，我是一名沉浸式导演，同时也是独立电影制作人和 Render Media 的创始人。我很荣幸能够与 Departure Lounge 和 Monstercat 合作，执导《The Dark》。

背景和旅程

每个人都可以分享一下自己的背景以及如何进入这个行业。

我的背景是产品设计，早期我对数字设计的发展非常感兴趣。在广告和短纪录片方面有很多创作经验，也参与了产品开发。我刚刚完成了数字媒体的硕士学位，与我的艺术总监一起，我们创造了各种数字产品，还与 Departure Lounge 合作进行体积化捕捉，将传统格式如戏剧和电影带入到新的沉浸式体验中，这是我们关系的开始。我在电影制作中积累的经验帮助我管理舞台、管理人才，并参与使用游戏引擎的创意流程。

我有广告和设计的背景，最初专注于设计和战略，后来作为 UI UX 设计师工作。我实际上和 Brenda 一起参加了同一个硕士项目，学到了很多关于 3D 和 Unreal Engine 的知识。之前我在广告行业也是一名动态图形设计师，因此我对摄影和拍摄的理解转化为使用 Unreal Engine 作为电影视觉工具。

我的背景是设计技术专家，最开始接受传统艺术方面的培训，比如绘画，然后在大约 12 年前过渡到增强现实和三维，之后在计算机科学领域也有过一些经历，最终转到 OCAD 大学，那里有一个与 CDM 非常相似的数字未来项目。我开始在创业和社会事业的背景下与 XR 领域合作，最后在疫情期间全职从事这方面的工作。

关于体积化捕捉工作室

也许我们可以从体积化捕捉工作室开始，因为这似乎是捕捉表演的核心。能否为我们简要介绍一下温哥华的新体积化捕捉工作室？

我们提供的是一个 18 英尺的体积化捕捉舞台，有 106 台体积摄像机，能够从各个角度捕获表演者。因此，我们进行的是 360 度的拍摄方式，然后处理所有这些数据，以获得一个资产，生成一个全三维的全息图，目前这是在任何 VR 格式中可以拥有的最高分辨率的真实人物表示。这是我们用于在 Unreal 中创建环境、动画和编辑的基础。

数据处理与优化

我知道体积化捕捉通常会产生大量数据，那么是否会在之后进行一些优化的处理？在合成过程中，您如何处理这些通过数十台摄像机捕捉的数据？

在处理数据时，我们确实会进行很多优化。比如，在捕捉 1 分钟的文件时，可能需要 1TB 的数据。因此，我们设有非常合理的服务器设置，可以加快处理速度。我们称这些资产为 OBJ 和 MP4，它们会成为可以引入游戏引擎系统的网格。之后，我们在引擎内调整光照、位置及其他参数，再进行最终制作。同时，我们也在不断探索如何进一步优化这些资产的网格、纹理和细节，尝试在 Unity 或 Unreal 中呈现它们。

导演的双重角色

说到导演，我们通常认为导演是在拍摄现场指导演员，但在这种沉浸式虚拟空间中，导演还有另一个维度，那就是创建能够引导注意力的对象，您可以谈谈捕捉过程的导演和其他方面的导演之间的这种双重角色吗？

当然，关于这一点其实有很多可说的。最重要的是能够在实时渲染中工作。从特效的制作角度来看，这种实时的特权是相对少见的。我在拍摄前的三到五天得到了机会，因此我几乎没有时间去预览效果。在拍摄日使用 AI 生成的图像来告诉演员环境的样子是非常有帮助的，同时演员们对技术也相当熟悉，知道哪些布料不能穿，头发应该如何处理等，这些经验都是非常需要的。

AI 生成的视觉参考

你提到了一些 AI 生成的工具，比如 DALL E 或者 Stable Diffusion，您指的是通过给出提示来生成您想要的图像，然后用作视觉指引吗？

是的，Caroline 已经有了一个情绪板，我以此为基础，进一步形成了其他 AI 生成的图像。我使用 Miro 和 Figma 等工具创建了一个更大的思维导图，展示这个项目可能呈现的各种样子。然后在接下来的几个月里，随着合作的不断推进，帮助我们发展这个想法。

与 Monstercat 和 Whipped Cream 的合作

我想了解一下与 Monstercat 和 Whipped Cream 的合作是如何产生的？

这个项目是一种有趣的自然演变，与 DGBC 了解 Monstercat 音乐标签的人联系，讨论合作的可能性。Gary 对音乐行业中的科技创新非常感兴趣。他们与我们 Departure Lounge 合作后，开始了这个测试项目。我们在温哥华国际电影节中创建了一个互动部分，制作了音乐视频的片花，展示了 Caroline 和我们所有人的合作。

总结与展望

您觉得虚拟现实未来在音乐领域的潜力如何？它能带来怎样的启发？

我认为 VR 不只是在强化我们已经能看到、听到或者感受到的音乐，而是创造一种新的格式。如何互动？你能感受到的音乐脉动完全可以在 VR 体验中得到升华，这确实是一个值得深度探索的领域。

欢迎大家继续关注和讨论虚拟现实和音乐的未来，我期待看到更多创新的作品和项目，也请不要忘记支持我们的播客，谢谢大家的收听！