The Voices of VR Podcast

大家好，我是Kent Pye，欢迎收听《Voices of VR》播客。上周于11月9日、10日和11日举办的增强世界博览会（Augmented World Expo）几乎是近两年来第一次举办的专业XR会议。在10日和11日的展览上，我花了所有时间尽可能去尝试各种不同的演示。在XR行业中，几乎两年没有进行任何线下聚会，期间有很多设备我还没有机会尝试，因为在XR行业缺乏定期聚会的情况下，想要接触到这些不同的体验变得非常困难。所以有很多内容需要赶上。

我注意到，这些我所看到的最引人注目的设备的核心都使用了高通的芯片，或者是XR 1，或者是XR 2。我碰巧遇到了Hugo Swart，他是高通XR项目的副总裁兼总经理。他在2014年和2015年就开始关注这个新兴市场，并开始创建一些可用于独立AR/VR头显的定制芯片。我们聊到：“嘿，我们应该聊聊并进行一次采访。”我说：“好啊，安排一下。”我们为第二天的采访安排好了时间，我很高兴能够这样。回顾XR行业的发展，高通扮演了如此重要的角色。但是作为一名记者，有时很难跟踪他们的动态，因为他们会发布一系列公告，而一年后才真正看到这些公告的结果。

这让我回顾了一下他们在2016年9月1日公布的不同进展。他们首次发布的芯片是属于Snapdragon系列的820，足以用于一些独立设备，并最终在几年后用于Oculus Go。2017年1月3日，他们在CES上发布了835芯片，这也是Quest 1使用的芯片。2018年3月21日，他们在GDC上发布了VR开发者工具包和参考设计，并展示了一整套参考设计。我有机会在2018年3月30日的GDC上看到这些参考设计并和他们进行了采访。然后在2018年2月21日，他们发布了845芯片，但我认为845在许多XR设备上并没有得到广泛应用。2018年5月29日的增强世界博览会上，他们发布了XR 1，这是一款专用芯片；由于Go和Quest使用了Snapdragon 820，这是835的一个分支，XR1在这一路上被跳过，直到2019年12月5日才公布XR 2。

回顾XR行业的演变，出席2021年增强世界博览会的设备几乎全部是XR 1或XR 2，真是一段很有趣的经历。关于高通在这一切的中心作用，我非常欣慰。我有机会与Hugo Swart交流，了解他们未来的方向。

高通Snapdragon Spaces的宣布

在2021年11月9日，增强世界的第一天，高通宣布了Snapdragon Spaces。起初我认为这只是个芯片，但其实这是一个软件层，您可以在头显和增强现实眼镜之间进行分布式计算。我认为这才是真正的开始，会有使用OpenXR扩展的方式来开发特定应用程序，同时利用手机的计算能力来为头显提供支持。因此，这个新的Snapdragon Spaces和他们的Pathfinder项目允许个人开发者参与进来，不仅是OEM品牌正在帮助设计高通的未来，现在个人XR开发者也能有更多发言权。

我们在今天的《Voices of VR》播客中将重点讨论这个话题。这次与Hugo的采访发生在2021年11月11日，周四。那么，让我们开始吧。

嗨，我是Hugo Swart，我负责高通的XR业务。

Hugo的背景

非常好。那么，您能否告诉我一些关于您背景及您进入XR领域的旅程？

当然。是的，我实际上18年前加入了高通，但在过去的10年中，我一直在孵化新业务，涉及到机器人、无人机、智能显示器等，2014年和2015年，我看到了为不依赖手机、PC的VR头显提供支持的机会。那时，我们有第一款芯片，即Snapdragon 820，我们认为这是沉浸体验的最低标准。我们决定创建一个参考设计，通过移动平台的移动芯片进行VR，但以优化体验的形式出现。您知道，在不需要其他产品的情况下。所以我认为这是独立VR头显的诞生。

我们在2016年IFA上发布了我们的第一个参考设计，之后我们看到了一些产品问世，比如Oculus Go，甚至是Google Daydream独立设备。其实在2016年至今，我们已经推出了50多款VR和AR设备。除了我们对芯片和参考设计的投资，更重要的是使客户能够更快地上市。

高通芯片与Oculus产品的演变

我知道XR 2在Quest 2中使用，还有Go和Quest 1。您能否谈谈高通芯片及Oculus（现在的Meta）产品的演变？

当然。前两代仍然是非常移动的芯片，我们对软件进行了优化，针对VR和AR进行了一些修改。但到了2019年我们看到市场在增长，有了更大的潜力时，我们创建了专用的VR和AR芯片。实际上我们创建了两个层次，XR 1被称为高质量级别，XR 2则是优质级别。

回到我们是如何与Meta合作的，第一款Oculus Go使用的是Snapdragon 820，Quest是Snapdragon 835，而Quest 2的芯片则是我们与Meta密切合作定义的要求。您会看到一些特点是智能手机芯片中没有的。因此，通过这种优化，我们看到了Quest和Quest 2之间的巨大的性能提升。图形方面，我们将GPU从835的双倍提升到XR 2，在CPU和AI方面也增加了11倍。显然，AI对于许多需要的感知算法至关重要，包括跟踪、手部跟踪、位置跟踪等，因此需要大量的AI支持。

我们在这个芯片中还有计算机视觉单元，支持7个同时摄像头，用于更先进的设备。XR 2带来了巨大的性能飞跃，现在Meta（前Facebook）正在使用它。今年我们有许多基于XR 2的发布，VIVE Focus 3、iQIYI 3等。iQIYI是中国的一家大型优质视频提供商，属于百度，Pico也使用了XR 2。通过我们的芯片、软件和参考设计，我们可以扩展、支持这一行业中的不同形式和创新。

XR 1与XR 2的发布日期及其差异

我似乎没有意识到XR 1和XR 2实际上是同时发布的。是这样吗？因为我主要听说XR 2。但我在AWE上听说，联想的Think Reality A3使用的是XR 1。我看到留言中有关这方面的讨论。那么，二者确实是同时发布的吗？它们之间有什么区别？另外，关于AR眼镜或者智能眼镜，您是否认为XR 1的应用场景会更多？

确实如此，XR 2更多是为VR量身定制的，因为其性能标准远高于XR 1，您可以想象在每个方面XR 1几乎只有XR 2的一半。因此，您会看到XR 1更多地出现在AR类型的头显中，甚至Snap的Spectacles 4也使用了XR 1。联想A3使用的是XR 1，我们也在与Google Glass的企业版合作。您知道，他们最新版本的是基于XR 1的，也用于VR。VIVE Flow也使用了XR 1，这实际上是一个分层的过程。但是，由于当前AR的需求较低，XR 1的分辨率和计算量并不如VR那般苛刻，因此XR 1更多地应用于AR。

例如，Vuzix的产品线就在使用XR 1。因此，两者都在获得越来越多的认可。但XR 2更多获得关注主要是因为Quest 2及其更高的性能。

关于XR 1和XR 2的更新频率

在我覆盖XR行业的过程中，我主要关注的是创作者。但当我来到像AWE这样的活动时，我发现高通在这方面扮演着极其重要的角色，尤其是在技术基础设施上。然而，我并没有跟踪或覆盖高通的日常公告或动态。因此，请给我说一下，关于XR 1和XR 2，我们是否应该期待XR 3的发布？我知道您肯定不想对此做出宣布，但您还有Snapdragon系列，通常会有更新频率。那么，我们应该在什么时候开始期待下一代沉浸设备会有某种提高呢？我不知道它是否会被称为XR 3，如果会有什么新的命名。不知您能否给我们介绍一下您在这些不同芯片迭代上的节奏？

当然。您需要把XR 1和XR 2视为两个层次，未来我们还会有第二代产品。虽然现在谈及何时推出新芯片还为时尚早，但对于即将发布的设备，仍需要满足XR 1和XR 2的要求，随着整个行业的成熟，比如显示、传感器和内容等方面；我们正在努力匹配新芯片的发布与其他价值链或供应链和生态系统准备就绪的时机。

当然，我们也在着手开发新芯片。不过要探讨的还有，我们正在使用同一芯片并引入新功能的案例。例如，我们在XR2中已经包括的视频通道（video pass-through）和混合现实（mixed reality）功能，实际上只是通过软件进行的优化，降低了我们所称的Fulton到Fulton延迟。也就是说，从光到达头显的时间，再到显示器更新的真实世界图像的时间。我们能够实现低于10毫秒延迟。为了给听众一个参考，我们的测试方式是这样的：我们让两个人佩戴VR头显打乒乓球，他们能够做到。这是我们通过改变整个摄像头管道来实现的；通过同时处理像素和执行操作，使其变得非常高效。

因此，您会看到像LinX展示这种功能，我们与他们密切合作。我可以确认，越来越多的客户会推出这样的功能，我认为您会看到这种改善。同样，仍在使用XR 2，只是我们还未充分利用其全部提供的功能。

关于Snapdragon Spaces的介绍

现在让我来谈谈Snapdragon Spaces。我认为，Snapdragon Spaces真正是将高通的技术和创新提供给开发者的第一步。如果您回顾我们的历史，以及我在整个对话中所提到的内容，这一切都是针对向硬件制造商和OEM提供技术产品。

我们认为，仅仅提供给OEM，将使我们在开发某些功能时获得反馈的速度变慢。特别是在中国，如果每个OEM都需要构建自己的SDK和平台，这将对企业领域造成很大的挑战。因此，特别是在AR领域，我们看到了加速的机会。Snapdragon Spaces是一个开发者平台，创建出一个跨设备的平台，开发者将可以访问我们的工具，使用SDK，遵循OpenXR，所以我们依然兼容Kronos运行时。与此同时，提供开放渠道，促进开放分发。这是我们希望为整个行业带来的贡献，以真正加速AR的发展并便利开发者创建一次内容后，能够跨设备使用。

我们对此项目非常兴奋。

结束语

感谢您在AWE时抽出时间和我坐下来，分享高通的未来发展和您正在从事的各种工作。

当然，感谢你们；我也期待能更频繁见到你。

以上是Hugo Swart，他是高通XR项目的副总裁兼总经理。从这次采访中，我得到了几个关键收获。首先，高通真正处在XR行业的核心和中心，尤其是当你观察所有的VR和AR设备时，除了Tilt 5这样不同的范例。我还有机会深入了解Tilt 5的创新，相信将有更多精彩内容推出，也见到了LYNX r1这款使用独特镜头的混合现实平台，它经过精心调优，能融合不同现实层次的元素。我认为LinX与高通的合作，将极大提升这一技术的优化。

Hugo提到，许多功能内置于硬件芯片中，但有时行业和OEM需要时间来开发出所有配套的软件，以充分发挥芯片的潜力。我感到有些困惑的是，他提到XR 1和XR 2应该被视为两层，而我之前一直认为它们是分别在不同时间推出的进阶版本。通过这次对话我了解到，实际上XR 1是2018年5月29日在增强世界博览会上发布的，而XR 2是在2019年12月5日发布的。然而，Quest 2实际上跳过了XR 1，采用了835处理器。Oculus Go采用的是820芯片，实际上XR 1并没有在VR行业中得到广泛应用，除了我所知的VIVE Flow。

我认为VIVE Flow在某种程度上在表明它使用XR 1而非XR 2时，可能是因为对XR 1的感知拿捏不准确，并且使得人们认为XR 1不如XR 2功能强大。尽管XR 1确实是一款较低功耗、尺寸更小的芯片，适合许多AR使用场景，因此XR 1在这一市场正好能够满足需求。

随著XR行业逐渐向分布式计算迈进，无论是通过Snapdragon Spaces还是云渲染等方式，XR 1与XR 2之间并不能单凭芯片规格来衡量双方的影响，而是要考虑到整体生态系统的动态变化。Hugo所说的多层次视角让我们更好地理解如何利用每个层次自己所擅长的优势来运作。

非常期待看到Pimax Reality 12K头显如何利用这些优势和技术。最近我观看了高通Steve Lucas的演讲，这让我对如何在二维计算和空间计算之间拉近差距有了更深入的理解。未来我希望能实现更高维度的交互，打破局限，让科技在日常生活中更广泛地发挥作用。

再次感谢您的收听。如果您享受本期播客，请告诉您的朋友，并考虑捐赠以支持节目。感谢您的支持，让我们在Patreon上继续带来更多精彩的内容。感谢您的收听！