The Voices of VR Podcast
你好，我是Kent Bye，欢迎收听《VR之声》播客。本播客探讨空间计算的未来。你可以通过patreon.com/voicesofvr来支持我们的播客。
今天的节目
在我继续系列节目，研究《Snap Spectacles》的不同公告时，今天的节目与Niantic的访谈将重点介绍他们在Snap合作伙伴峰会上的一些新宣布。首先，他们推出了Biontech的Peridot Beyond，这是一个用于实验佩戴式增强现实设备的应用程序。
他们已经拥有这样一种体验，像是一个虚拟宠物，你可以与之进行不同的互动。他们正在从其他产品如《Pokemon Go》和《Ingress》中抽离出来进行沙盒化测试。Niantic在“现实世界游戏”或以团队为基础的地理移动领土控制游戏《Ingress》方面一直是先锋。此外，还有《Pokemon Go》，这是一款免费的开放世界位置基础增强现实游戏，它鼓励人们走出家门，与不同的地标和地点互动，将物理现实与数字领域的活动结合起来。因此，Niantic在这种形式的游戏方面确实是先锋，极力鼓励人们走出户外。
因此，他们希望与Snap合作，进行一些关于Snap Spectacles的首次实验，这些眼镜确实是为户外增强现实设备而设计的。我是说，它也可以在室内使用，但他们在推动你走进世界方面非常感兴趣。这就像是他们正在开发的沙盒游戏，他们还借助Scaniverse宣布了使用Gaussian splats进行体积捕获的能力，然后将这些捕获带入Lens Studio中用于不同的镜头。
我有机会与Snap公司的Aaron Shafer和Asim Ahmed交流，讨论这些不同的宣布。以上就是今天《VR之声》播客节目的内容。
访谈开始
这场与Erin和Asim的访谈是在2024年9月17日（星期二）进行的。好了，让我们开始吧。
嗨，我是Erin Shaffer，我负责Niantic的美国工作室和出版，以及我们平台的市场推广。这意味着我参与空间计算的方式，包括我们利用AR在现实世界中开发游戏的工作。我还负责将我们所有的工具扩展给其他想要建立增强现实解决方案的企业。
嗨，我叫Asim Ahmed，我在Niantic的产品营销团队工作。我已经在Niantic工作了大约8年，目前参与Peridot项目。今天，我们宣布了Peridot Beyond，我很高兴能分享更多信息。
背景介绍
也许你们可以稍微详细介绍一下你们的背景，你们在各自的工作中所涉及的不同学科，以及你们的Journey是怎样的。
当然。在加入Niantic之前，我在Google和YouTube工作了十多年，主要在娱乐领域，我在Niantic工作了四年。我的孩子们喜欢观看视频，但我为他们在沙发上静静地看屏幕感到难过，他们并不一定在现实世界中与其他孩子或我丈夫互动。
我遇到了我们的CEO John Henke，我知道Niantic是由Google孵化的，对这家在现实世界身临其境的AR娱乐和教育体验的公司充满了兴奋。
是的，我是在大学毕业后直接加入Niantic的，有幸发现这个很棒的机会。我自认为是一个终身玩家，因此找到了一个真正能够发展我热情的机会，同时也踏上了这一新技术的时代。我一直对增强现实特别感兴趣，我们的使命就是希望人们能够在户外更健康地生活，发现世界的美。
宣布内容
我们今天在Snap合作伙伴峰会上发布了第五代Snap Spectacles，并与Niantic进行了很多新整合。你能否给我们简单回顾一下今天Niantic宣布的内容？
当然，我来谈谈第一个，接下来让Asim谈谈另一个。我们今天宣布了两件事。首先，我们将我们的技术带入了一个名为Scaniverse的应用程序，用于扫描对象或地点，并构建这些扫描的Gaussian splats，这些是非常丰富的三维网格。我们允许开发者将其带入Spectacles和Lens Studio。因此，这是我们今天的一个重大宣布，旨在将现实世界和任何来自现实世界的对象带入您的开发体验。
而Asim会谈谈我们今天还宣布了一个精彩的游戏和令人愉快的体验。
是的，今天我们宣布了Peridot Beyond，这是我们Peridot系列的扩展。Peridot最初是我们在2023年推出的手机游戏，围绕这个可爱的小生物，你可以与它共同 outdoor 享受时间。你们可以一起进行每日散步，欣赏户外的美好时光，并且由这只小动物陪伴。
因此，我们将这一体验扩展到了空间计算的新纪元。我们与Snap合作，将这一扩展带到他们的眼镜上，这让我们非常激动！在Peridot Beyond体验中，你可以与小生物充分沉浸于现实世界中。体验非常便捷，走向你的小生物时，你可以实际感受到给它的抚摸；你可以用手抓一个飞盘，抛出飞盘，来回玩接球游戏，还有其他多种活动。我们将会不断在这个体验上进行开发。
Peridot的上线时间
那么Peridot最初什么时候发布的呢？
是的，我们在2023年5月推出了Peridot，但我们已经开发这款游戏有一段时间了。我在2020年加入了该项目。Peridot的想法是为未来打造。为了这一刻，当我们真正拥有可以户外佩戴的眼镜，能够完全沉浸于体验中时，我们希望推动移动技术的边界。因此，我们在2023年推出了Peridot手机版，充分利用我们的光芯片平台的性能。你在街上走时，能真实地感受到生物与现实的互动，因为它会自然导航。这基于实时地图和语义分割，即理解现实世界的能力。例如，如果我在水边，游戏可以准确地识别出那是水，给玩家带来独特的体验。
核心游戏机制
如果你想描述Peridot的核心游戏循环，那么在游戏的背景下，常见的动作和反应是什么？
Peridot是一款移动游戏，我们乐于将其视为现实世界的Tamagotchi再想象。因此，如果你熟悉Tamagotchis，那么这个概念就是把这个生物伴侣带在身边，享受与它的陪伴，你可以与它以各种不同的方式互动。正如我提到的，你可以与它玩接球游戏，欣赏它，让它和你分享生活。此外，在移动游戏中，我们还具有多种游戏循环，可以随着时间的推移孵化出新的生物种群。对于Peridot Beyond的体验，我们将重心放在一种非常简化的宠物模拟体验上，让你真正与生物融入这个世界。随着时间的推移，我们也希望引入多玩家的概念，让很多人都可以看到和互动同一个生物，以及其他多种方法，我们可以利用生成式AI让你的生物更好地理解世界，在日常生活中以自然和愉快的方式与之互动。
Gaussian splats的应用
回到Gaussian splats，这在去年SIGGRAPH上就有宣布，因此它似乎正在迅速改变具有新空间物体渲染方式的世界。这些点云呈现出来的东西有全新的渲染管道。能否描述一下通过Gaussian splat集成所赋能的内容，最终用户能够做到此前无法实现的事情？
我们有一种技术，我们几年前收购了一家名为Scaniverse的公司，可以扫描任何三维物体或地点，并创建其优质三维网格。现在可能的情况是，我们不仅在创建三维网格，还会为您扫描的内容创建Gaussian splat。您可以在Scaniverse中拥有它，您可以随身携带，也可以选择在公共地图上分享。但是我们今天所做的是，实际上让Snap平台上的开发者在Snap中利用它，并将其集成到他们为Spectacles或移动设备构建的Lens体验中。我们认为这将使您可以更丰富、真实、强大地将户外活动或真实世界带入其中。这是一个正在推出的免费应用程序体验，允许使用Lens Studio的开发者无需支付费用即可使用Scaniverse构建这些Gaussian splats，这是我们今天的一个亮点。
实时渲染的问题
在这个过程中，是否需要在后台进行转化？它是将其转换回网格，还是实际上实时渲染为Gaussian splat？因为我知道在开发新的渲染管道方面有新的含义。
这是个好问题。实际上它是在几秒钟内作为Gaussian splat被渲染的。作为Scaniverse的用户，您可以选择与他人分享该splats，也可以选择仅保持私密。开发者则可以通过Spectacles及Lens Studio来利用该splat。但确实，我们的突破在于能够非常迅速地渲染该splats，因此如果您完成扫描，它将在几秒之内变成splats。
增强互动的可能性
你认为这种能力在将已有的物理对象带入虚拟世界并进行玩法、改造或重混方面，将会开启什么新可能性？
我们感觉可以利用这些技术，有各种不同的方式。它实际上允许您将现实世界带入或与他人分享现实世界的方式。您可以设想一种体验，即您和我在两个不同的地方，但我们可以在游戏体验中与之共享一段非常逼真的视角，而不是AI生成的克罗地亚海岸视角，现在您可以获得用实际splat打造的克罗地亚海岸的真实景观。因此这是现实场景与今天的其余时间相结合的魔力。您还可以随着时间的推移观察同一位置，并将该真实视图引入任何体验中。您可以开展一系列活动，从旅游到游戏再到教育体验。我们认为，通过将现实和空间对象、地点以这种splat的形式变得更可触及，能够开启各种创造力。
Snapchat Spectacles 5的体验
从体验角度来看，像Snapchat Spectacles 5这样的设备刚刚宣布，这种开发者工具在某种程度上是，作为我进行演示的过程，我多年来做了很多XR，所以我在尝试思考手机的2D屏幕与完全沉浸、身临其境的体验之间的区别，在一种更无缝结合虚拟与现实的方式中。我想听听你对这两者间比较的新体验方面的看法。对我来说，令人兴奋的是，这些眼镜可以在脸上佩戴，而且是免提的，因此它的惊人之处在于你能真正沉浸于体验中。当您构建一个体验，而您的手部分参与其中时，这处理方式与在手机上使用完全不同。在手机上，您只是从小窗口窥视美丽的世界。而通过眼镜，您可以真正体验那种景象。
因此，当我们考虑如何设计（其实Peridot团队一直是个实验团队），我们真的是想突破边界，考虑所有可能使这一刻更加美好的我们能够做到的方式。我想我们绝对会看到很多美妙的机会，在Peridot和其他许多夜间体验中，我们非常重视这个机会，早期的技术实验机会，以便在这些眼镜逐渐普及到大众市场时，建立那些我们想要看到的愉快体验。事实上，Spectacles的第一个版本或户外眼镜所能解锁的功能令人惊叹。你确实会感觉到你正在抚摸这颗Peridot，给它喂食，和它玩接球游戏，这些在移动设备上无法做到。通过Spectacles，你能够感受到那种触觉反馈与情感反应，让人与数字以及现实连接，真是魔法般的体验。我们对未来将会解锁的东西非常兴奋！
关于Pokemon Go的讨论
在Niantic的背景下还有个《Pokemon Go》项目。是否有讨论过使用该IP来入手？或者为什么决定从Peridot开始，而不是《Pokemon Go》？
今天没有关于《Pokemon Go》的任何消息。我想要强调的是，与Snap的合作，我们非常积极地希望从Peridot开始。正如Asim之前所说，我们真正将Peridot构建为一个以AR为先的体验，确实是媒介与现实世界相结合的沉浸式体验。我们的确想如果我们更早拥有一款免提头戴式设备，我们会直接在这样的设备上发布，而不是手机。可惜的是，当我们的游戏准备好时，硬件市场并没有准备好。因此，我们希望它能首先推出到移动设备上，但我们一直设想它能真正成为一种头戴式体验，所以我们觉得这是第一个应该带到Spectacles的自然选择。
虚拟宠物的潜力
我曾与不同的AI实现者和研究人员（如Michael Mateus和Andrew Stern）讨论过，虚拟宠物被视为一个创新人工智能的游乐场。虽然很多人将虚拟宠物视为玩具，或不太有趣，但这也是创新的核心机制，适用于与这些虚拟生物的不同互动设计。我爱听听你们处理与虚拟宠物的媒介合作的过程，以及你们所能做的事情。
我非常喜欢虚拟宠物的概念，因为每个人都知道宠物是什么，以及如何与宠物互动。因此，当我们探索科技的未来时，拥有虚拟宠物作为舒适区真的很容易。对于我们来说，这样的实验正是利用生成式AI来展现这一切。宠物能够理解世界，总是有一些限度。如果你的生物在思考过程中犯了一些错误，那在宠物的现实中是很正常的。因此，我认为宠物是探索这种新媒介与生成式AI与眼镜、技术结合的绝佳机会。
对我们来说，利用生成式AI并不是仅仅用来生成宠物本身。我认为更令人激动的是Asim所提的：如何让生成的那只神奇宠物朝着互动性和真实感的方向大幅提升。而在人与游戏的互动中，生成式AI在这一用例中的应用才是最有趣的，当然周围的环境也很有趣。
技术架构的变化
我知道我以前与Niantic讨论过Lightship API，你们现有的基础设施是否仍然适用，无论你们所使用的游戏引擎是什么。今天宣布的信息中提及Spectacles是Snap OS。那么你能否阐述一下，这是否仍然是你们现有的游戏引擎架构，是否是Unity，或者你们是否开始构建更多原生集成的创新？
Peridot Beyond体验是用Lens Studio构建的，这是Snap自己的专有平台，我们在那样做时感到兴奋，因为它让我们了解在这一设备上可做的事情。我们在Unity和Web（前身为Lightship）中都有解决方案，因此要想象一下，我们的Niantic空间服务可以在您无论是用Unity还是Web构建的情况下都能正常运行。我们非常高兴能够提供给开发者，因为这些是人们构建游戏和体验的常见方式。但我们想要使人们能够在他们最想要构建的平台上使用我们的工具。
今天，我们与Snap的合作仍处于早期，我们期待以不同的方式与他们合作，将我们的技术与体验引入他们的硬件和软件。
代码基的变化
这是否意味着现在有一个新分支，即移动版的Unity版本，但现在还有Lens Studio？还是所有的东西都建立在一个基础代码上，Lens Studio之上，不管是移动还是Spectacles？
我们的移动游戏是基于我们称之为AR DK的Unity工具集构建的，这对Spectacles是不会改变的。唯一的选择是使用Lens Studio进行构建，因此我们所做的是这样。我们对Snap希望如何发展持开放态度，他们是否希望向其他平台开放。但现在我们在Lens Studio的构建上学习到很多，以帮助我们在未来考虑要带到平台的任何其他内容。
电池寿命的设计
当初我了解到Snapchat Spectacles的一些技术规格时，其中提到的电池续航为45分钟。我第一时间想到的是，这是否够用？这是为特定类型的社交体验而设计的吗？我很好奇你们的测试结果是否觉得45分钟续航足够，还是觉得用着很匆忙？
我认为45分钟是一个很好的开始。随着时间的推移，我们会看到电池寿命不断改善。我们专门针对Peridot Beyond设计的体验，实际上是非常适合会话式的体验，您可以在几分钟内进入体验，和你的小生物互动，并继续你的日常生活。而正如我提到的，随着技术的进步，我们会继续围绕这些设备提供的内容进行设计。对于Peridot Beyond而言，我认为45分钟是一个完美的时间。
Apple Vision Pro的探索
关于Apple Vision Pro，你们有考虑到这个平台吗？或者有什么已宣布的内容？
我认为混合现实是非常令人兴奋的。正如我之前提到的，我们有为Peridot设计的基于混合现实的体验，叫做Hello Dot，这是一个超级棒的机会，让人沉浸在室内与生物进行互动。而作为Peridot系列的一部分，我们与一款名为SunnyTune的天气应用建立了合作，Peridot也在其中客串。不过Apple Vision Pro是一款非常令人兴奋的设备，我们绝对会对此进行研究。
沉浸在现实中的思考
今天的主题中提到，在物理现实中更为沉浸，考虑到特定硬件在社会动态中将如何开启，将带来什么新机遇，你的看法是什么？
我认为我们希望在许多不同类型的硬件上进行实验。正如Asim所说，我们有为Peridot设计的混合现实体验。我们也在考虑构建其他混合现实体验。我们的终极目标，我们的使命，正如Asim所分享的，是让人们在现实世界中共同探索。因此，我们对AR眼镜感到最兴奋，但我们也认为从混合现实体验中可以学到很多东西。我们可以学到许多关于拥有免提的头戴式设备的内容，我相信这为我们提供了探索新社会动态和创造有趣机会的潜力。
总结和期待
最后，每个人都对这些空间计算平台的最终潜力和它们可能开启的未来有怎样的看法？
这可能听起来简单，但是我总是想，是否能够佩戴眼镜，能够在我现在的生活中叠加有趣的信息或娱乐？是否能够做到这么无缝的体验，从而在需要的信息时及时调用，它成为科技进一步增强我的世界的理由。
我真的认为我们离这一点不远了，这对我而言就是另一个理由，促进大家走出去，而不是呆在室内静静地盯着不动的屏幕。因为我可以与我移动的眼镜一起活动，拥有这一令人愉快的体验，科技在某种程度上增强我的世界，确实是需要变革的。
我很享受这种技术跟随我走过生活的过程，能够带来那些需要的愉快时刻。我觉得我们不应该在日常美好的世界上叠加太多东西，但在正确的时刻添加它。
感谢和结束
再次感谢你们加入 todays《VR之声》播客，我们很高兴听到现场所有这些突破的进展。我们在Niantic都觉得，在过去的一年中，硬件和软件都有了许多突破，无论是能够将户外带入的Gaussian splat技术，还是目前的硬件，尤其是Meta的Quest智能眼镜，或当然是今天的Snap Spectacles，我们都很期待。
我想补充的是，我在Niantic已经过了令人惊叹的8年，并见证到了这一技术所能提供的潜力。我认为我们正处于这个技术的一个令人惊叹的拐点。今天是我们看到科技发展的重要里程碑，我认为我们将不久后看到未来的无人不可期。
我是说即将有许多开发者立即接触到这些Spectacles，因此Peridot会不会是第一批发售的产品？将会有人有机会体验这些新设备？
Peridot今天就可用，开发者们也将有能力引入扫描，并将Gaussian splats整合到他们正在构建的体验中！我们为开发者感到兴奋，同时期待消费者在玩这些设备时能够体验到优异的游戏。
实际上，我们对开发者能够获取这一惊人的splat技术，并将扫描整合到他们的体验中感到十分期待！
感谢您收听本期《VR之声》播客！这是我深入分析Snap Spectacles和Snap的AR生态系统的一部分系列节目。我在《VR之声》播客中做的事情相当独特，我真的喜欢倾听这些在前线的人的故事；亦或是我自己的经历，试图给出对公司及其开发者生态系统情况的全面看法。
对我而言，我发现来自独立艺术家、创造者和开发者的信息最有价值，他们在推动这一技术的边缘，倾听他们对未来的梦想和期望。如果您在这些内容中发现了价值，请考虑成为Patreon的会员；只需每月5美元，就能在持续进行这样的报道中提供很大帮助。如果你能够多捐一点，比如10、20或50美元，那将更有助于我继续带来这类报道。您可以在patreon.com/voiceavr上成为会员和捐款！感谢收听。