The Voices of VR Podcast

你好，我的名字是 Ken Fai，欢迎收听《Voices of VR》播客。这是一个关注空间计算未来的播客。您可以在 patreon.com/voicesofvr 支持这个播客。

介绍 Brielle Garcia

继续我的系列讨论关于 Snap Spectacles 的不同新闻和公告，以及 Snap 生态系统。今天的节目嘉宾是 Brielle Garcia，她是一名 AR 镜头开发者，曾在 Instagram、Snap 和 TikTok 等多个平台上工作，也涉猎了很多运动图形方面的内容。她与音乐人 Nick Lesko 进行了许多实验性先锋艺术的合作，同时也在开发她自己的 VTuber 应用程序 Self Reflect，原定在 TwitchCon 发布，但遇到了一些技术问题，所以我不确定它会什么时候真正发布。不过，在接下来的几周内，这个平台将会推出，它将是一个 VTube 平台，使您可以使用网络摄像头和 Snapchat Camera Kit，这基本上是他们集成了多个面部识别和身体追踪功能的工具，使 Snapchat 镜头过滤器可以在独立的第三方应用中使用。这类似于他们的独特配方，使 Snapchat 有如此多的惊人之处，以及将这些算法置入相机套件中，可以在与企业、超级碗、不同体育场等其他上下文中使用。

Snap 生态系统非常友好，支持不同独立开发者，并真正维护和支持他们的生态系统。就像我之前说的，我发现 Snap 社区在 AR 开发方面是最有趣、最具创造力和前沿的。因此，我很高兴不仅能够参加 Snap Partner Summit，还能参加 Lens Fest，和那里的一些开发者交流。

在那里的许多开发者都很忙，准备进入黑客马拉松，所以我在那段时间内成功做了一些不同的采访，但如果他们没有那么忙，我本可以进行更多采访，以便为 Snap Spectacles 构建一些第一个应用程序。这是我们今天在《Voices of VR》播客中要讨论的内容。因此，与 Brielle 的采访发生在 2024 年 9 月 18 日，星期三。那么，我们就开始吧！

与 Brielle 的访谈

嗨，我是 Brielle Garcia，我是一名 AR 设计开发者，我做动画、视觉效果。我在 Snapchat 及其平台和开发工具上做了很多事情。我是他们正在做的事情的大力倡导者。

太棒了，您能否提供更多关于您背景和进入这个领域的旅程的上下文？

当然！我的背景是动画和视觉效果。我花了很多年时间制作运动图形、3D 动画以及为各种视频、电影和音乐视频制作视觉特效。我之所以进入 AR 领域，是因为我开始看到一些在移动设备上实时完成的事情，这在普通后期制作中需要花费几个小时。我在想，为什么我还要花那么多精力在后期制作中进行这些特效，而这些设备和应用已经在实时完成了？这促使我实验这些工具能做些什么。

那时只有 ARKit，而 ARCore 刚刚推出。然后，Snap 联系了我，邀请我体验他们的第一个 Lens Studio 测试版，并问我是否想测试这个新产品。之后就这样开始了。所以我从一开始就一直在使用 Lens Studio，看到它这些年来的成长非常惊人，Snap 从一开始就对 AR 的愿景非常清晰。

关于工作的自我描述

我知道在过去您曾经更多地在构建镜头，还有类似于代理机构的模式，或者构建不同的品牌体验。那您如何自我描述，谈谈过去做过的工作类型，以及您可能未来会转向的领域呢？

是的，我通常做的很多赚钱的项目是构建品牌体验。我与多个不同的代理机构合作，进行电影工作室、唱片公司和其他公司的工作。我跟许多代理机构建立了良好的关系，能为新电影或我所喜欢的事物工作总是让我很高兴。在这个领域玩耍并探索新技术，寻找如何做一些未曾做过的事情，真正增强这个品牌想要做的事情，真的是很有趣，因为当工作室给予我们一些自由时，他们会问，”有什么酷的、新的能力呢？我们该如何让这个脱颖而出？”所以，我尽量跟上最新功能，并思考如何使他们的体验真正独特。

此外，我也在使用 Snap 的 Camera Kit SDK，这使我能够将 Snap 的 AR 运行时嵌入到自己的原生应用程序中，无论是 iOS 还是 Android。我过去曾为不同公司使用这个 SDK 完成过多个项目，但在过去的 18 个月里，我也在进行一个个人项目。因为我的背景是动画，我一直在思考如何通过 AR 提升我的动画作品，反之亦然，如何通过我的动画技能提升 AR。因此，我的终极目标是用 AR 替代我的动作捕捉套装。我想能够实时进行全身、手和面部追踪，让这件事变得像打开相机并记录一样简单。Snap 的身体追踪质量是业内最好的，毫无疑问地超越了苹果的 ARKit，在苹果自己的硬件上表现优异，与它合作真是令人愉快。

我获得的 Snap SDK 访问数据非常出色！所以我一直在为动画师、VTuber 和主播开发工具，以使他们能够以极高的保真度实时驱动角色，只需一个网络摄像头。我希望这个新的应用程序 Self Reflect 在本周为 TwitchCon 发布的公众测试版能实现这一目标。这个应用程序专为 VTuber 设计，让他们能够动画化他们的头像，并用一个设备和一个应用程序替代他们的套装、跟踪器等所有东西。

市场反馈和用户体验

我和 Aiden Wolf 聊过，他说您在 Twitter 上发布了一些片段，并且有一些事情在这款新应用程序中真正走红。听起来您有很多人对这种自我包含的解决方案感兴趣，他们希望能够调节和增强自己的身份，找到新的自我表达方式。所以我很想了解一下早期的反馈如何。感觉您正坐在一个时势的浪潮之上，人们希望参与直播，但又不想受到自己物理肉体身形的限制，而是能够将其增强成各种新的身份和自我表达的形式。

是的，我知道 VTuber 行业很庞大，我最开始并不确定它有多大，但我对其反响感到震撼。我非常兴奋，因为我发布的应用动态片段让人极为期待。我发布了一个简单的演示，大家能够测试追踪效果，反馈称这和他们的套装一样好，甚至比他们当前的设置还要好，他们已经准备好无论如何付费来替换它，听到客户愿意付费的声音总是令人愉快。

所以诀窍就在于，我意识到不需要为每件事重新发明轮子。因为一段时间我专注于为自己开发专业级工具，于是我构建了 Unity 和 Unreal 的整合，这是一项非常庞大的工作，而让人们为了使用你的解决方案改变他们整个设置是一个巨大的要求。因此，我的应用采用了大多数标准的 VTuber 应用程序所使用的标准 VMC 协议。我的目标是以尽可能快的速度将最佳的数据质量传输到他们的计算机上，并与他们已有的设置兼容，替换他们当前使用的东西应该是尽可能无缝的。

与 Snap 生态系统的关系

是的，几段视频已经在网上走红，我发布了一个 Clip，展示 Self Reflect 与四个不同著名的 VTuber 应用程序的工作情况。我的应用程序不需要任何更改，因为我坚持使用标准的 VMC 协议，它可以与大多数这些程序开箱即用地运行。这令人非常兴奋。我也一直想涉足 VTubing，但其中一个障碍在于复杂度和无法获得的高保真度。我一直希望这能像使用相机一样简单，所以我现在可以做到这一点。我上周测试了几个小时，设置后立即就能工作，能玩游戏，拿着手柄，做手势。这确实一切都是我想要的！因此，让人兴奋的是，人们对它做出了正面反应并期待公测。

现在我们在 Snap 的 Lens Fest，而昨天是 Snap Partner Summit。您提到了 Snap Camera Kit，这似乎使很多事情成为可能。他们的定价模型是如何的？这是一个免费且开源的东西吗？您是否需要为此给 Snap 支付费用？能否谈谈您计划如何收费以及 Snap 是否会从中获得收入？

目前，Camera Kit 仍处于测试阶段，他们希望从开发者那里获取反馈，以便找出如何使其成为最好的 SDK，并且了解开发者需要什么、想要构建什么、如何能够实现这些新远景。我仍在制定自己的定价结构，并与 Snap 进行协商，获取他们的建议。但他们目前并不向开发者收费。需要申请 Camera Kit 以获取访问权限，但这是一个相当简单的过程。

未来的展望

至于未来的定价结构，我并不了解。所以一切都要看情况。那么，看起来 Snap 对此的兴趣在于他们希望推动技术前进，与开发者紧密合作，而您与他们的关系也很长。作为我对 XR 行业的关注，我发现 Snap 是在与开发者进行各种合作方面领先的公司之一。

是的，绝对如此。Snap 是一个出色的合作伙伴，支持我尝试过的所有事情，在过去的七年里，他们对我的支持是无微不至的。任何我有的疯狂问题，我都可以通过邮箱联系他们的团队。我和这里很多工程师都是熟悉的朋友，非常高兴能建立这样的关系。我的许多走红的片段本身也帮助宣传了 Snap 平台，他们反过来提供支持。这是一个互利共赢的关系，他们真的是一个出色的合作伙伴。

移动展示及设备

我看到您拿着某种 Switch 或 Steam Deck 设备，以及一些摄像头外设。这是否是一种可以在移动环境中运行的系统？或者能否谈谈您昨天在 Snap Partner Summit 上持有的其他设备？

是的，我那时携带的设备是 ROG Ally，它是一台便携式 PC，运行著名的 VTuber 程序，并与我的手机运行 Self Reflect 配对。因此，我有机会演示这种工作流程的简便程度，展示给人们看，没有校准，没有设置。一旦连接到 PC 并开始串流，即可使用。他们能够根据我将摄像头移动到不同的人来切换视图，能够立即驱动这个高质量的头像。这只是展示了一个典型的 VTuber 设置，但采用了更便携的形式。

所以，是的，这个设置使得能够在特定环境中（例如 VTuber 的角色身份下）进行现场报道，听起来很不错。

AR 镜头生态系统的反思

我想听听您对 AR 镜头生态系统的看法，因为在这个领域有若干大玩家。例如，Meta 最近关闭了他们的 Spark AR，而 Snap 和 TikTok 又如何。您如何看待这些不同平台之间的差异？您是否看到了在获得反馈或资金方面的不同权衡？我很想了解您如何理解这些平台，且 Meta 删除 Spark AR 后是否会有替代方案？

我对 Spark AR 不会流泪。因为它给我带来了很多麻烦，它在行业内比其他参与者明显滞后。每当即将完成项目时，Spark 总是出现在最后关头出现问题，这真让人沮丧。我怀疑 Meta 会用其他东西来替代它。事实上，我惊讶的是，他们没有在关闭前先宣布新产品，但这就是 Meta。有一个庞大的平台，以及很明显对此感到失望的开发者基础，而 Spark 需要改写。

但这不应影响整个 AR 行业，因为 Snap 仍在繁荣发展，TikTok 也有它的 Effect House。我的许多客户已经开始逐步远离 Spark。当他们希望创建跨平台的 AR 效果时，我们总是会遇到“我们可以在 Snapchat 和 TikTok 上做到，但在 Spark 上无法做到，或者受到限制”的问题。我希望看到 Meta 发布一些新的、更符合行业现状和未来的新产品，真正能够让创作者们拥有更多的自由和灵活性，而不是以前 Spark 的风格。

AR 镜头项目的类型

当您考虑自己为 AR 镜头所做的不同类型项目时，您是如何在这些类型之间进行区分的？比如，有时候用户会使用这些镜头来增强自己的身份，进行自我反思，而有时候又是寻找外部环境的体验。您是如何理解这些在这个生态系统中创造的不同体验的？

在不同的镜头和 AR 效果类别中，实际上主要有两个：面部特效和面向世界的特效。我一直在指导客户，在我的经验中，如果你想生成更多用户生成的内容，那么需要一些与他们面部互动的特效，让他们能够被看到，因为人们喜欢被看到并参与其中。尽管我热爱世界追踪，并且可以做出很多优秀的 AR 体验，但较难驱动用户生成的内容，因为很难进入这些环境。因此，我总是向品牌提供指南，聚焦他们的目标是什么？他们想要达成什么目标？您是希望做一个具体需要世界追踪的 AR 体验，还是仅仅希望用户生成背景互动，与您的品牌分享?

这让我想到了品牌在让用户调节和使用他们品牌方面的主权问题。似乎品牌如果启用某些功能并放开这些功能，可能会冒一定的风险。而当这个东西发往公众时，又可能创造某些负面的影响。如何应对这种情况？

我相信品牌对于这些平台的职能以及用户如何使用它们有了更多的了解。我觉得在早期，品牌更倾向于控制，他们仍在具体的广告思维模式中，认为这是用户必须以某种特定方式与之互动，但实际上需要给予用户创造自己想要的灵活性。我更将 AR 效果视为一种创意工具，而不仅仅是广告工具，虽然它们无疑是在促进品牌，正在推广电影或其他内容，但必须给用户一些可玩的东西。我相信过去几年，品牌变得更聪明，他们愿意更多地进行尝试。与我合作过的品牌已经开始变得更加开放，比如让用户驱动流行角色的全身角色。他们获得了很好的反馈，这也为这个领域带来了更多的工作。我认为我们走过了很长一段路，期待看到品牌愿意承担更多风险，粉丝想要与内容互动的愿望。

过去的热门效果

您是否参与过任何风靡一时的滤镜，或者有那些您个人喜欢的特效想在这里提及的吗？

是的，我与 Pretty Big Monster 和 Paramount 合作，为《忍者神龟》构建了镜头。作为 90 年代的孩子，为官方忍者神龟项目工作让我感到无比激动。尤其是在这个项目中，我们能够真正突破 Snap 所带来的面部、手和身体追踪的界限，提供极致体验。因为它具备了所有可以一起运行能力，让人们可以化身这些角色，栩栩如生。看到人们录制的视频里他们跳舞或者跳水并喊出”好棒啊”等口号，真让我振奋不已。

我之前也看到您与音乐家 Nick Lutsko 的一些片段。我想知道您能否谈一谈您与 Nick 的合作，因为看起来您们之间有许多内部玩笑和幽默的合作。这方面的故事肯定很多。

能够与 Nick Lutsko 合作真是一种改变人生的经历。他是一位绝对才华横溢的词曲作者和喜剧演员，我深感荣幸能够参与他的创作。他写的音乐非常独特，离奇、幽默而充满奇思妙想。我们几乎是在 Twitter 上进行即兴创作。他会发布一些荒谬的角色，我就会顺着这条思路配合，比如“哦，当然，在这个宇宙中，有 Gremlins 3 这个项目，而你正在努力完成它，而好莱坞正在对你进行封杀。”这样的互动非常有趣，让我能够带入一些荒谬的幽默，为世界带来某种可笑的轻松感。

如果我只能做 Nick 的一些搞笑创作，那将是我人生的理想。每个我与他合作的项目都让我提升技能，去尝试一些其他品牌可能更为谨慎的东西。我对任何新技术总是充满好奇，”哦，让我们试试这个吧！”他也总是很愿意这样做。而且，我们还有许多非常令人兴奋的项目正在筹备中。

对奇特传统的探索

在您看到的那些片段中，通常会传递出一种非常粗糙、实验性的先锋感，可能是在进行某种摄影测量扫描，但看起来非常奇怪或者不协调。它并不那么精致，但同时又带有这种复古的 vaporwave 审美，拥抱了这种不协调的幽默效果。一方面，推动技术的进步；另一方面，借助这样的方式，让人们质疑现实的可能性。

是的，我们确实受到了 Tim 和 Eric 的影响，他们的超现实主义幽默风格就是其中一部分。這部分的魅力在于，我们可以制作那些看起来比应有的效果更好的内容，同时它又是奇怪的，离奇的。我们永远不能确定这是真实的，还是一场情景剧。如果我能让人们在某一刻质疑现实，那便是这荒谬之物是否可能，例如华纳兄弟将 Desmond 加入 Multiversus 的新系列，尽管它并不真的存在。不过，如果我为此制作了一个做得不错的假预告片，谁又知道呢？新的 Gremlins 动画系列的节目制作人也在关注 Nikoletsuko 和所有的幽默元素。我们似乎都很开心，这倒是让我感到非常高兴。

Snapchat 眼镜的潜力

在思考即将推出的 Snapchat Spectacles 版本 5 时，您是否有开发的想法，或者您对 AR 设备的思考是什么？似乎这将是一个开发者设备，以便进行实验、原型制作。我很好奇您是否有任何计划在这些眼镜中构建或实验，还是更关注特定的想法？

我对新 Spectacles 感到十分兴奋。根据我所需的各方面改进，他们似乎已经做到了。我非常高兴能够创建只能与此形式因子工作体验的内容，因为这些是唯一可以真正无绳、独立工作的 AR 设备，既不需要任何线缆也没有其他附件。我之前就佩戴过上一代眼镜，无论去哪，包括溜冰、购物，在大多数人看来，他们就只是普通的太阳镜。我非常期待能够构建让用户在现实世界中、以往不可能佩戴头盔的场合中的更多体验，特别是在溜冰等环境中。此外，我也对应用物体追踪模型感到兴奋；因为我在夏季的一个活动中做 DJ 时，有一个小型设置是用手机配合控制器，手机虽然工作得还不错，但屏幕太小，我心中一直想，如果我能有一些好的 AR 眼镜，让我所有的信息都在视野中，同时与观众互动，那该多好，而不需要和头盔有那种隔离感。

因此，Spectacles 的手机镜像设置看起来非常有前景，以便能做到这一点。同时，我也期待探索更多的标记追踪，看看如何与现实世界中的物体进行交互，进行增强。

Gaussian Splats 的应用

我知道 Niantic 也宣布了 Scaniverse 和 Gaussian Splats，而您也进行了摄影测量以及更多面向世界的镜头。我很想知道 Gaussian Splats 在您心中的应用前景，即通过轻量化方式捕获实物并融入这些虚拟体验。

实际上，在几个月前我发布了两个实验，因为 Lens Studio 最近支持 Gaussian Splats 的最新版。我测试了它们在佩戴时的效果。我有一个足球头盔的摄影测量扫描，将其重新处理为 Gaussian splat，效果非常出色，保持了大量反射数据，显现出很高的保真度。当我佩戴它时非常棒。而我发现的更吸引人的用例是，实际上我做了一个 Nikoletsuko 的头部扫描，然后裁剪掉他的面部，保留他的头发。于是我现在拥有一个 Gaussian splat 的头发，能够放在用户头上，效果也看起来非常好，因为 Gaussian splats 特别适合流动的扫描，比如植物、头发等。因此，我很期待能更多探索这方面，看看这能带来怎样的体验。

未来的潜力

昨天是 Snap Partner Summit，今天我们在 Lens Fest，此刻不断传出新的公告。我知道您与开发者关系密切，可能会提前接触一些信息，但我很想知道您个人最期待的是什么？有其他公告或整合您希望探索的潜能，继续构建这些处于前沿、为用户提供新机会实验和创造的体验吗？

我主要关注的新 Spectacles。虽然这次我没有提前接触到它们，所以我现在正在吸收这些信息并处理、头脑风暴我可能构建的东西。我专注于我的客户工作以及我的 Camera Kit 应用程序，我的头脑正在围绕着我可能为 Spectacles 制作什么，或今天稍后的黑客马拉松中会做什么而运转。

最终的展望

最后，您认为空间计算的终极潜力会是什么？它可能能够实现什么？

我非常喜欢将空间计算嵌入到我们的世界中，但又不使我们远离人与人之间的联系的概念。我喜欢 VR，我也喜欢我的 VR 头盔，但它确实是个非常隔离的体验。昨天的演示——他们的协同演示，让我们能在一个空间里有 10 个人的位置，能够看到他们看到的事物和他们正在互动的内容，实际上是我体验过的最好的 AR 体验。在那一刻，我根本没有感觉到视场和帧数，更重要的是，我置身于这些事物确实存在的时刻。我感受到我大脑的部分开始更加接受增强现实作为现实的存在，与其他人在空间中共享这一体验真是太酷了。

我有机会尝试这点，这也是我非常欣赏的体验。这种感觉就像部分技术模式、部分社群仪式，但让我印象深刻的是，技术能够开始促进这些涌现的社交动态和仪式。因此，我对开发者未来如何发展这一点感到非常兴奋。

如果您还有其他想要和更广泛的沉浸式社区分享的想法，请说吧！

哦，我只想鼓励每个人尽量去下载 Lens Studio，实验，享受乐趣。现在的工具比以往任何时候都要好，而这个行业仍然是新的，最好的创意仍在等待被发现。所以，尽情享受吧！

非常感谢您，Brielle，感谢您参与我的播客，分享关于与 Snap 和这些镜头以及整个 AR 生态系统合作的旅程。我真的很喜欢观看您发布的各种荒谬实验和先锋作品，也祝您的 VTuber 应用即将在下周发布，其实您手中已经有很多事情要做，非常期待看到您能如何引领这些。

谢谢您！

非常感谢您收听这一集《Voices of VR》播客。这是我对 Snap Spectacles 和 Snap AR 生态系统进行深入探讨系列中的一部分。我在《Voices of VR》播客中所做的内容相对独特，我非常喜欢倾向于口述历史，捕捉那些处于前线人物的故事，还有我的经历，试图提供一个关于发生的事情的整体图景——不仅是关于公司，还有他们能够培养的开发者生态系统。对于我来说，我认为来自独立艺术家、创作者和开发者的信息才是最有价值的，他们正在推动这项技术的边界，倾听他们的梦想和对未来的期望。

我觉得这种方法相较于其他任何人所做的都有所不同，但这也需要时间和精力去到这些地方，进行这些采访，并将其整合成这样的制作。所以，如果您觉得有价值，请考虑成为 Patreon 的会员，每月仅需 5 美元，就能大大帮助我维持这样的报道。如果您能多捐一些，比如每月 10、20 或 50 美元，这也非常有助于我继续提供这些报道。您可以在 patreon.com/voiceofvr 成为会员并进行捐赠。感谢您的收听！