Voices of VR Podcast 我是Brandon Jones，主要在Chrome团队工作，担任WebGL元素制作人，但最近的一年左右，我一直在合作与Mozilla的Vlad一起进行WebVR的20%项目。我们的目标很简单，就是使VR进入浏览器，希望它可以与尽可能多的头显兼容，同时也希望它能尽快与尽可能多的内容类型兼容。不过，要实现这一点可能会是一个漫长的过程。

噢，原来这是你的20%项目，我之前没有意识到，所以现在它还不是你的全职工作。但你觉得这个项目会发展成能成为你的全职工作吗？我确实这样认为。看看Google的Cardboard团队，他们目前正在招人。他们有相当数量的全职员工在专注于这个领域。大家都认为这是一个值得投入时间的领域。所以，我确实认为这可能会进一步发展。不过，我应该指出这是我的20%项目，而且它确实是。我实际上只花大约20%的时间在这上面。但我同时也在开发WebGL，这两个技术非常互补。Web上的VR，如果没有能够进行高质量和快速的三维渲染，是无法以显著方式存在的。因此，改进WebGL也会使WebVR变得更好。因此，从这个意义上说，我可以认为我全职在那个领域工作。我们现在正在旧金山，GDC正在背景中进行，我们参加了一个WebGL的聚会。在聚会开始时，有一些人代表WebGL标准委员会发言。也许你是其中的一员？你参与了哪些工作？是做些什么样的东西？是的，WebGL是由Kronos Group管理的一个标准。这与OpenGL和OpenCL以及新的Vulkan API由同一组织负责。目前，谷歌、Mozilla甚至是微软和苹果都是WebGL的Kronos工作组的成员。我们都在努力推动这一进程。目前主要的原因是因为它实际上是移动API（3D OpenGL ES和即将发布的WebGL 2.0）的镜像。至于接下来我们将做什么尚未决定。但到目前为止，作为Kronos的一部分，这种合作非常有成效。我应该提到的是，WebVR标准现在还没有一个固定的地方。我们还没有将其推广，并找到适合它的工作组。它并不属于Kronos。我不认为Kronos是一个合适的地方。它可能更适合W3C或者Web（G）。我们还没有决定在哪个地方开发WebVR。我明白了。那么，Kronos组织和W3C之间有什么区别呢？嗯，它们都是标准组织。我认为最主要的区别就是Kronos组织通常更加关注与硬件接口相关的API，而W3C则更多关注网络标准。WebVR可以被视为两者兼有的领域。所以，再次强调，目前还不太清楚它将发展到何种程度。我认为另一种说法是，Kronos与Web有所关联是因为Web接受了3D，而不是因为它们是Web标准组织的一部分。所以在这方面它有些不同。这也是为什么我说WebVR可能更适合其他组织的原因。但我们将拭目以待。明白了。那么，我去年五月参加了SVR大会，当时首次与Vlad讨论了WebVR的情况。WebVR刚刚起步，还没有发布。只是将VR与Web整合在一起。你认为我们在延迟性能方面的状况如何？插入硬件至浏览器中是否具备足够的性能表现，使体验不会产生延迟？这是一个非常好的问题。这可能是我们在VR方面最关注的技术方面。我可以告诉你，以目前我在Chrome团队测得的数据，与Firefox的数据可能会有所不同，我们在测量中得到的延迟时间大约是64毫秒，从运动到光子。这个数据是使用DK1头显测量的。我想使用DK2头显，由于更高的帧速率，这个数字可能会在50多毫秒。事实上，在Chrome中，它的渲染原理需要经过3个长度为3帧的缓冲区。所以，当你在JavaScript中生成帧时，你实际上必须在GPU上循环3个更多的帧，然后才能最终到达屏幕上。这是因为浏览器传统上专注于Web内容，就像你在纽约时报、CNN、亚马逊或谷歌等传统网页上浏览时，延迟并不像网页的平滑度那样重要。你更希望能轻松地在手机上滑动，而不是拖慢。然而，对于VR，延迟是至关重要的。因此，我们将这些API集成到浏览器中时，实际上有些阻力。但这实际上是浏览器开发人员非常鼓励的事情。他们对我们专注于VR感到兴奋，因为这将揭示出性能上的一些问题，这些问题在处理这种类型的内容时表现不佳。我们正在讨论各种方法，以解决这个问题。我在Chrome中发现的最重要的一个方法是，如果你正在使用Oculus Rift SDK，我们实际上使用了”时间扭曲”技术。这样，尽管实际延迟时间为64毫秒，但表面的延迟要好得多。它不是一个完美的解决方案，它并不考虑头部位移，但你戴上头显，转头望向四周，就会感到这是一个非常流畅的响应渲染，而且不会让你短时间内感到恶心。当然，减少实际延迟并不需要依靠这些技巧，而是一个更好的选择，但这是一个不错的临时解决方案，确保没有人在过程中晕吐。那么，问题在于是否需要回过头来审视基本浏览器的架构，从根本上进行重新架构，以使其更高效，从而将延迟降低至20毫秒左右？非常类似，尽管描述它为重新架构可能不太准确。我们绝对不希望说为了使VR运行更快，我们需要丢弃十年的浏览器架构经验。你知道，为了确保标准的Web内容具有尽可能好的性能，有很多工作已经进行了。而且，这是一个不断进行的工作。我是说，谷歌有很多人员，他们每天都在思考如何提高Web的性能。更准确地说，我们将找出浏览器中可以成功绕过的领域，并将其排除在过程之外。因为在VR中，大多数情况下，我认为会有例外情况，但大多数情况下，你将有一个全屏的WebGL画布，它完整地呈现一个场景。你不会与DOM或传统Web结构进行太多的交互。通过这样做，我们可以说，如果我们唯一要做的就是在HMD上显示一个全屏的WebGL画布，也许我们不需要合成器，也许我们不需要这个流程，也许我们可以用这个作为一个标志，直接到达屏幕。所以，这些都是我们目前正在研究的可能性，以改善整体延迟。那么，你怎么看待移动上的体验？因为我知道谷歌有Cardboard和Gear VR，它们似乎是以手机屏幕为基础的。嗯，我认为将手机放入简化的HMD中以进入虚拟现实似乎是一种非常自然的选择。那么，你认为通过将Web内容导向URL，直接开始进行VR体验，这样的组合将会有怎样的效果？这是一个非常好的问题。首先，我要指出的是，像Gear VR这样的平台，虽然我觉得它是一个非常有趣的平台，但目前不是我们的目标。因为首先，它是一个封闭的生态系统。为了进入这个生态系统，我不认为他们会拒绝像Chrome或Firefox这样的产品，我认为他们会对此感到非常兴奋，但我们必须提供一个端到端的VR体验。这就是Gear VR的目标，一旦你放上它，你就不需要离开这个体验，直到你准备好退出VR。这不是我们目前准备做好的事情。我们明确不是在开发适用于VR的浏览器，而是在开发适用于浏览器的VR体验。所以目前，你仍然需要以更传统的方式在它们之间进行导航。对于Cardboard，也就是像我刚才描述的那样，那将意味着将手机从头戴式设备中取出，像正常情况下那样导航网页，然后可能点击某个按钮来显示想要再次进入VR体验。对于Cardboard一侧，是的，它基本上会与Chrome一样工作，我不认为Firefox在这方面研究得太多，但对于Chrome来说，我们正在使用Cardboard的API。因此，正如我所说，我们有专门负责这方面的人员。随着它的改进，我们与Chrome浏览器的整合也会改善。他们提出的使移动VR更好的任何技巧，WebVR大部分都会自动继承。这不总是一个完美的兼容，你知道，现有的VR API在各方面上都非常适用于传统的游戏引擎，比如虚幻和Unity之类的。而浏览器则完全不是。它与浏览器的关系是最远离这个的东西，但还有足够的相似之处，我们通常可以使用相同的框架和方法来处理它们。是的，我听说Cardboard最初也是一个20%项目。也许你可以谈谈它的起源和目前在谷歌发展的情况。是的，Cardboard最初是一个20%项目。这是我的个人观点，所说的并不是谷歌官方的说法，但我觉得它在Google I/O上官方宣布时的反响让一些人感到惊讶。你知道，它是一个如此简单的平台，却非常受欢迎。因为它非常简单，你可以想到最简化的VR解决方案。因此，它对不想花钱购买Oculus Rift和相应系统的人来说非常有吸引力。我认为通过看到该平台的受欢迎程度，这促使它得以发展。但是，它现在肯定不再是那样了。谷歌也曾经发过博文，我们正在努力招聘相关人员，我们正在努力前进。作为一个平台，我们正在认真对待它。具体在未来采取何种形式我不太清楚，但你可以确定地是，它是一个谷歌和安卓生态系统内引起很大兴趣的东西。当它刚出来时，我最初的想法是，这是一种笑话，或者谷歌是在取笑VR社区，有点拿它们开玩笑，但它似乎确实孕育出了至少一个开发者生态系统和很多应用程序。在谷歌和安卓生态系统内，看起来它的发展潜力非常大。是的，我记得在IO大会上官布的时候，之前有人透露谷歌正在开发VR相关的东西。而此时我已经开始研究WebVR，尽管这没有公开发表，但是我知道的。我绝对为此工作的代码而奋斗，所以我对此感到非常兴奋。一天，我的经理叫我到他的办公室，递给我一张小纸板，并说这是我们的VR解决方案。我当时就笑了，觉得这太荒唐了。你知道，拿着这个小纸板，我开始把它拆开和组装起来。我很快就从“哇，这太疯狂了”变成：“哇，这太棒了”。你知道，看到这个小东西如何折叠和组装起来，还有小磁铁触发器等等，非常快速地我意识到人们会喜欢这个。是的，很高兴看到我的直觉是正确的，因为它确实成为人们追捧的东西，并且有了自己的生命。人们确实创造了一些很棒的体验。

嗯，我没有在Google Cardboard领域花太多时间。你见过哪些很好的体验呢？有没有什么你觉得大家应该看看？

我见过的大多数很好的体验往往是迎合平台限制的。你知道，它们通常不会过分追求高级图形。很多时候，只是简单的360度视频。但是在那种情况下，这也可以非常引人入胜。比如，我认为是John VR制作的Paul McCartney音乐会。原始的cardboard演示程序，“Windy day”和”Earth”的演示等等，这些都是非常酷的例子。还有一款我最近看到的应用，可惜我想不起来名字了。它实际上是一款类似2杆射击游戏，但没有实体的杆。它设置在一个小型的缩小版卧室中，你是一个扮演巫师的人，可以在里面把玩具娃娃打爆。它使用了一个有些别扭的方案，你要么不停地射击，要么不停地移动，它会根据你的凝视不断地调整。尽管操作不太方便，但是这是一次非常有趣的体验，因为环境构建得很好，很可爱，并且真正有效地运用了立体效果，而不仅仅是看视频。我对很多不同的应用名称记不住，但是我确实对人们在这种有限环境下的创造力感到非常惊讶。而且，纸板在很多有趣的方面都是受限的。它不仅处理能力有限，因为它是一个手机，而且输入也非常有限，你只能看不同的动作。人们即使在这种局限下也能做出很酷的东西，这真的很激励人。

所以你觉得，如果我们只能通过转动头部实现输入，这就是我们可以做的吗？当我们用我手中的Valve解决方案和控制器等等提升水平时，所有这些会变得更好吗？想到我们即将达到的高度让人兴奋，想象我们将走到哪里去。

是的，我这周来到GDC，关于虚拟现实，已经有很多重大的宣布，还有Unity终于发布了Unity 5。我知道人们一直等待着Unity 5能够导出到WebGL。那么，对于你正在做的事情以及它如何融入WebVR，这有什么影响呢？

我认为最大的影响是它提供了迄今为止不存在的高级工具。你知道，WebGL是一个相当底层的API，虽然我们已经有了许多非常有趣的库，主要的是Three.js，可以很容易地将场景组合起来。但在工具领域，仍然有一些不足，因为在原生环境中，我们已经有了多年演化的工具，用于构建高质量的图形内容、游戏和脚本等等，但这并不是在网络上发展的生态系统。现在，能够点击一个按钮，将原生空间的累积经验带到网络，这将是非常重大的。我是说，这是一个很好的方式来弥补这个差距，并允许人们使用他们已经熟悉的工具创作非常令人难以置信的内容。当然，它不是完美无缺的，它也有一些不足，主要的是下载可能有些庞大，人们已经意识到这一点，并正从不同的方向努力解决这个问题。但是这些导出的质量只会越来越好，随着时间的推移，它们将越来越适合网络。Unity和Unreal是非常出色的平台，有了它们在网络上的支持，只会带来好处。

是的，因为目前当你从Unity导出一个WebGL插件或浏览器插件时，你必须等待Unity的加载屏幕完成所有的下载才能开始使用。那么，你是否预见到最终会有一种更动态，或者至少在第一部分更快，而不需要等待预加载的方式，或者有没有一些解决方案可以解决不必等待预加载的问题？或者有哪些解决方案被提出来解决这个问题？

在那方面有所发展的主要内容是，人们将不得不更多地发展成流媒体的思维方式，这是网络已经培养了很长时间的事情。但游戏领域并不是，尽管在一些专注于移动游戏的游戏中，这是存在的，因为移动和网络之间的技术能力非常吻合。在移动设备上，你有闪存存储，可以把大量资源存入其中，然后在运行时进行读取，这在网络上效果很好。然而这在网络上效果不佳。你看到这种庞大的下载，是因为当你将这些设计为以这种方式加载资源的游戏，出口是无法为你解决这个问题的。因此，它将你的所有资源序列化为一个庞大的数据数组，在你访问那个Unity页面时从一开始就下载下来，然后就像从硬盘读取一样，在运行时读取。但这并不是唯一的加载资源的方式，我也不完全了解Unity在这方面有什么能力。但你知道，当你到达地图上某个位置时，可以去网络，说“好的，我接近这个位置，所以我需要交通灯资源、邮箱资源和小教堂资源”，当你实际浏览环境时，可以实时获取这些资源，我认为这最终将是我们需要走的方向，以便从下载的角度获得表现得非常好的内容。因为你真正想要的是尽快启动网页，尽快进入基本内容，然后让浏览器在后台开始流式传输你想要的资源，而浏览器在这方面非常好。他们花了很多时间培养这个能力。所以我们越能充分利用这一点，比如在Unity和虚幻引擎等方面，我们会越好。

我明白了。关于WebVR，以及你对其发展的看法，你认为虚拟现实的最终潜力是什么，它可能使人们能够做到什么？

嗯，我的回答可能有点乏味，我给很多人的回答都是这样，但我觉得值得重申。我实际上不认为网络在虚拟现实领域是一个AAA级游戏平台或类似的东西。我认为可能会尝试它，并在一定程度上取得一些成功。但我认为总会有一类应用程序，只需要你能发挥出的每一点性能。而网络不是这个平台，我也不认为它需要成为这个平台。我们总是希望使它变得更好，但它永远不会与原生环境相比。但另一方面，原生应用程序不擅长提供快速的零碎体验。想象一下，如果有一个VR版的YouTube，有人给你发了一个链接，说，“嘿，我想给你展示这个惊人的360度立体猫视频”，你点击了链接，它弹出一个界面，说，“好的，现在戴上你的头盔，戴上你的Oculus Rift，享受这只猫的3D立体效果，然后摘下它，继续走你的小快乐之旅”。这就是网络擅长的内容。它能够提供快速的内容，那种没人愿意下载应用程序的内容。但是如果你只需要点击链接，点击播放按钮，你就可以看到它，你肯定会这样做。我认为视频将非常重要。你知道，视频在网络上是非常庞大的，我认为这将继续在VR中存在。我认为类似建筑可视化将非常重要。我父亲正在地产行业工作，我给他展示了Oculus Rift和Cardboard，他嘴里第一句话就是：“我该如何在我的业务中使用这个？”。因为他看到了使用VR为客户提供体验的潜力，甚至只是给他们一个纸盒查看器，然后说，“这是我们市场上的一项房产的预览。如果你喜欢，我们可以进一步参观真正的房子，快速地使用这种方式调整选项”。这种内容可能不适合真实世界，但你可以想象一下，Zillow上的一些房产旁边有一个按钮，上面写着“在VR中体验这个房产”，那将是一个很棒的体验。这已经存在了，有一家叫做Matterport的公司，他们基本上为房地产提供了Google Street View，他们向我展示了他们的查看器的WebVR版本，真的很棒。所以我迫不及待地希望技术能够达到他们真正能把它放在网络上作为产品，而不只是他们在后台做的一些实验。我认为这是网络擅长的东西。所以它不必与原生媲美才能获得成功。

你能想象类似于元宇宙的东西通过浏览器这个媒介传达出来吗？因为这涉及到互联网和VR空间的交叉网络，形成了这样一种连续网络的虚拟空间。它是VR中的虚拟空间。这是web页面。所以有一些重叠，但你是否预见到类似元宇宙的东西可以通过浏览器来执行？

嗯，我对此有复杂的感觉。如果我们最终有类似元宇宙这样的东西，我有点觉得，是的，肯定是通过网络实现的，因为你可以回到读《雪崩行动》或《头号玩家》之类的书，基本上，他们所描述的就是3D的互联网。Vlad曾经说过一句很棒的话，他说：“你知道吗？我们已经有了元宇宙。那就是互联网，只不过是2D的”。我完全同意这一点。所以，如果我们要构建一个类似我们读到的元宇宙的东西，我认为它将在网络上实现。我不认为它会像科幻小说中那样，但我很难想象人们愿意在一个看起来是虚拟的，但与人类规模相当的世界中花费很多时间。我猜。或许这样说有些别扭，但是你想象一下，如果你去亚马逊找商品的时候实际上要沿着实体货架走，没人会这么做，太疯狂了。所以我认为，你会看到这两个世界越来越融合。但是我们会保留它们中最好的部分。我们会充分利用一些实际物理空间非常适合的时机，比如房地产展示、游戏、聊天、看体育赛事等等。然后我们会以某种方式，至于这些互动会是什么样子，我不知道，我想没有人知道。但是以某种方式，我们会把从桌面、移动设备、多年的用户界面经验中获得的全部经验应用到我们的数字世界，那里我们不再被屏幕大小和你想装在口袋里的手机有多大所限制，但是这些经验不会消失，这些互动也不会立刻过时，其中有一些可能会，但不是全部，我们只是拥有一个更大、更广阔的画布来展示它们。所以我认为你会看到这两种类型的互动融合在一起，现在听起来可能别扭，但我相信会找到一种相对自然的方式。我真的不知道最终会是什么样子，但我非常兴奋去发现。非常感谢你，谢谢。