《Voices of VR播客》我叫乔什·卡彭特，我是Mozilla的研究员，我们正在努力将Web引入虚拟现实。我的团队中的角色是交互设计师或用户体验设计师。我们试图弄清楚虚拟现实中的浏览习惯是什么？我们如何使用它？它擅长什么？为什么要将Web与虚拟现实结合？这种组合有什么特别之处？好的，那请告诉我一下你在GDC展览上展示的内容。好的，今年在GDC上，我们与社区合作，收集了一些最酷的WebVR演示作品，这些作品是将Web和WebGL与虚拟现实结合的早期示例。我们将它们打包成一系列演示作品，实际上将它们包装在一个原型浏览界面中。所以当用户体验这些演示作品时，你不需要进入Windows并双击应用程序图标，你只需打开一个浏览器的HUD，然后点击一个链接。这个链接将带你进入一个网站，而这个网站就是一个世界。我们在思考Web能否成为我们长期以来一直期望的元宇宙，并且它将如何工作？当你看不见键盘时，你将如何输入URL？那么请谈一谈有关用户交互的问题，你知道一些原型、实验和通过虚拟现实设计的经验吗？当然。非常有趣的一点是，我们花了很多时间将我们的界面设计成曲面形状。想象一下，一个环绕你的曲面，就像你在一个圆柱体的内部一样，每个点的距离都是相等的，这对于清晰度非常有好处。使用像Leap Motion Control Systems这样的设备时，它的使用距离也更好。所以这是一个方面。另一个方面是文本大小。在这些早期的虚拟现实设备上，渲染小字体非常困难，并且很难看清楚。因此，这迫使你将字体放大。当你将字体放大后，信息密度会迅速下降。突然之间，你需要尝试将很多复杂性塞进有限的空间中。因为能够真正读取文本的眼睛位置非常非常小，大约占你视野中央的10%。你不希望用户为了读取一大段文字而过度转动头部。因此，我们尝试一些像Lean in这样的方法，这样他们就可以真正看清小的文本，比如说通过d k two的定位追踪摄像头，他们可以向前倾斜来阅读那些文字。作为一个交互设计师，这非常有趣。这大致相当于移动计算中的pinch and zoom功能，这个功能很有用，但有点笨拙。你知道，向前倾斜来阅读文字是很有用的，但有点笨拙，你不想让用户太经常这样做。这些都是我们目前正在探索的事情。作为一个交互设计师，设计一个可以占据真实空间的界面，让人们可以向前倾斜并查看后面的内容，例如思考人们在查看书签的时候会发生怎样的情况，这是非常有趣的。关于在一个圆柱形视图中选择多少个不同的项目，我是说，你必须在某个时刻达到某个限制，就是太多了。那么你们找到了哪些限制呢？是的，我们可以做很多技巧。例如，如果你有一个类似于菜单系统的东西，其中有多个级别的菜单，可以通过某种层次结构来访问这些菜单，也许你可以通过这种方式加入更多的信息。如果你把目标设得非常小，当你看着它们时，它们的尺寸会增大，你可以通过这种方式放入更多的信息。我们可以尝试很多技巧。尽管如此，我们现在并不太担心这个特定的问题，因为实际上并没有那么多的WebVR网站。因此，试图在一个狭窄的空间中塞入大量的信息，这个问题在谈论键盘或屏幕提示时更多一些，而不是尝试显示大量的链接和内容。但随着时间的推移，你可以想象到像WebVR中的雅虎这样的东西，有人实际上去收集了大量不同的网站，并将它们分类显示，在某个非常巧妙的交互系统中使用，它自然而然地逐渐和轻松地显示更多的信息。因为实际上，打字输入URL将会非常困难。那么请谈谈与Leap Motion集成以及在Web浏览、WebGL和虚拟现实体验中如何使用你的手。当然。Leap的有趣之处在于，虚拟现实显然给人一种真实置身其中的感觉。当你低头看到自己的身体不在那里时，会破坏这种错觉，可能会很震惊，我想大多数人都有这种经历。所以Leap非常有趣，它实际上使我们可以在虚拟世界中带着你的身体部分进入这个世界。显然，我们的手是我们与周围世界交互的主要方式，我们可以非常灵巧地使用我们的手。因此，使用Leap，你可以想象到未来的交互方式和行动系统，我们实际上直接用手触摸周围的世界。一些早期的挑战可能是设计师不要过度强调类似于现实环境的东西，就像我可以在虚拟世界中看到我的手，也许我不应该翻动虚拟书页，这可能太过于类似。我可能更想做一些更类似的事情，比如用光去绘画。也许我想用手在1000米的距离上对世界产生影响。也许我不仅限于只能在物理上触及的范围内，例如，我的触觉范围为1到2米。但我实际上想将变化投射到世界中。因此，我想我们正在尝试的是利用Leap Motion控制系统和类似系统，然后弄清楚从行动终端角度来讲哪种方式是合理的。我们有一个名为《虹膜薄膜》的演示，它将在我们的网站mozvr.com上展示，是由当地艺术家Kibibo与Leap Motion合作完成的。你放在面前的手实际上会改变现实的结构。我们不是在做微小的互动，我们只是进行一些大范围的手势操作，这样做的收益就是很有趣，让你享受周围世界。对我来说，这似乎非常合适作为早期动作控制。我只能说，最好的部分是，网页的核心理念是渐进增强，也就是说，我们设计的每个东西都必须从一个共同的基础开始运行，比如一个非常简单的模型：查看和单击输入。然后当我们添加诸如动作控制、位置追踪等功能时，这些功能必须是可选的。因此，系统无法使用这些功能也必须能够工作。我们可以看一下Gear VR，认为它是一种相当不错的交互基线。所有功能都应与之兼容，然后我们再添加功能，其他人也可以逐渐添加功能，但它始终应该可以与一个相当简单的输入系统一起使用。是的，很有趣，这与Java Gripped的逐渐增强和Web的可访问性问题非常相似，这样的感觉。是的，完全正确。没错，也许你可以告诉我一些你在这里展示的其他演示作品的信息吗？是的，当然。谢谢。第一个作品是一个相当棒的作品，来自艺术家Nikki Case。Nikki在网络游戏社区中制作了很多令人惊叹的动画和游戏，大约在过去几年里一直在使用Flash。因此，他想要将他的Flash动画技能应用于构建WebVR体验。所以他在大约一个半星期内创作了一个非常美丽简单的动画短片，名为《我是墨水》，讲述一个小棍人发现自己由墨水构成，并且可以将自己的身体一部分接触着世界，在世界上建筑自己的身体。他使用Flash创建了一个2.5D环境，他已经熟悉这些工具，所以在WebVR中可以创造出全新的体验。然后我们有《神博拉》，这是一个第一人称射击游戏，一个复古的像素风格的FPS游戏，用Impact JS编写，一个完全定制的JavaScript游戏引擎，作为一个作为一个第一人称射击游戏，在网页浏览器中工作。它的特点是它只在他的网站上运行，所以你只需进入他的网站，点击一个链接，你就可以进入他的第一人称射击游戏，无需下载或安装其他任何东西，这正是Web在即时满足方面非常擅长的地方。还有《沙发骑士》，这非常酷，这是一个使用虚幻引擎创建的游戏。我们多数人都试过，对此非常熟悉。它可以在浏览器上运行，无需插件。我们谈论的是通过虚幻引擎4.7的HTML导出器将虚幻引擎VR传递到WebVR界面的方式，这非常重要。显然，有很多非常有才华的虚幻引擎开发者，现在他们实际上可以导出到WebVR了。所以，如果他们想通过应用商店出售，或者通过其他机制来出售他们的游戏，他们可以将游戏放在他们的网站上，甚至可以在人们购买之前，在网站上放置比如游戏的第一个演示关卡，让人们试玩一下。或者，甚至还可以在推特上放置游戏的链接，我在推特上推送了我的游戏，你点击链接，就可以进入Web上的我的虚拟体验。这种即时无缝的分发是Web非常擅长的。哇，哇哦。那360度视频呢？你有没有相关例子？是的，我们一直在与LVR团队合作，他们有一个令人惊叹的开源WebVR视频播放器，我们正在使用它带领人们进入极地，与Deep Ink和法国公司Arte合作拍摄的一部正在极地拍摄的纪录片。它是一个单眼视频的等距长方形MP4文件，我们只是使用HTML中的标准视频标签，它是硬件加速的。然后我们将该纹理投射到围绕用户的WebGL球体上。这是一些普通开发人员无需担心的东西，他们可以只使用LVR播放器，在WebVR场景中使用。还有其他一些例子，比如一个简单的自定义视频播放器，它非常基本，允许人们在没有头盔的情况下，在浏览器中加载视频。它适用于所有浏览器，使用鼠标拖动选择视角。如果他们有头盔，那么他们可以戴上头盔，使用它来选择视角。这种向后兼容的故事对于Web来说非常重要。因此，如果你是一个视频内容制作人，你可以通过Web来分发，并知道你的数字市场规模在数十亿，而不仅仅是在数百万。对他们来说，这非常重要。那么关于其他一些即将推出的移动相关HMD，你认为WebVR如何与这些设备结合呢？我们希望WebVR与一切设备兼容，这样开发者就不必担心用户使用什么类型的HMD，他们只需制作出非常优秀的内容，浏览器会处理HMD的类型，他们只需提供跟踪信息即可。我和我的同事弗拉德以及Google的布兰登·琼斯合作设计的Web API具有很强的灵活性。随着新设备、新输入设备和新的HMD的出现，我们的API可以进行适应。我们不需要修改VR Web API，可以与所有设备兼容。目前我们已经兼容了Dk2。但我们还会与各个厂商合作，确保他们的SDK能够为Web API提供所需的支持，以确保一切都能无缝地配合使用。至于AR领域，目前大多数从事VR开发的人都在为进军AR领域而积累相应的技能。显然，AR还需要几年时间，虽然这听起来对于前沿技术来说有些不耐烦，但从目前情况来看，我们已经有了一些令人惊叹的VR头盔，我们都在学习如何进行空间设计和三维体验，这将非常顺利地过渡到AR领域。我认为所有从事VR开发的人都对AR和混合现实非常兴奋，大家都在以不同的方式讨论这个问题。所以，也许你可以介绍一下Unity 5和WebGL导出的影响。是的，这是Real Engine的一些实际导出操作，我们也在与Unity团队合作。其实，我们在这个展台上还有一些演示，可以展示Unity和Real Engine如何无需插件导出到Web上。在早期阶段，我们一直可以通过安装插件来实现这一点。但是，我们要知道，插件在Web社区中并不受欢迎，Chrome甚至正在逐渐停止对NPAPI插件的支持，因此插件正在逐渐消亡。现在，我们试图尽可能多地使用原生JavaScript来完成所有工作。现在，Unity和Unreal Engine都可以通过使用名为asm.js的技术将其导出为在浏览器中以接近本机速度运行的JavaScript。所以目前，Unreal Engine和Unity受益于这一技术，因为它们都是使用C++编写的，并且现在都可以选择导出到Web上，并且一切都顺利运行。它们的导出器处于不同的状态，我想Unreal Engine的导出器还在测试阶段，展台上的同事们会更清楚一些。但是，非常酷的是我们也有一些WebGL 2的示例。WebGL 2是WebGL的下一代技术，它允许更高的图形保真度。因此，我们在这里有一些惊人的演示，如果你看到它们，你会很难相信它们实际上是在浏览器中运行的，但它们的性能非常强大。我们在游戏领域尤其强调性能，我们希望WebGL 2、Unity导出和WebVR都能帮助我们尽早进入这些新的媒介，并且尽可能地推动性能的提升。如果你看看我们过去几年的成就，我们认为Web目前在这方面表现得非常出色。而对于虚拟现实来说，延迟非常重要，Oculus宣称他们的目标是在20毫秒左右，我很想知道在Mozilla的浏览体验中延迟如何改善，还有改善延迟的方法。是的，我认为在接下来的一年里，我们将努力提升性能。我们在6月份发布了这些API，使所有这些技术都可用，包括WebVR。从现在开始，我们将着手处理开发者的工作流程，让他们更容易上手。我们正在努力将技术引入我们的主要Firefox版本中。例如，现在在测试版中就已经可用，但我们希望它能够在桌面版和主要发布版中都能工作，这样就有上亿人可以在启用了WebVR的Firefox上使用它。之后我们将继续努力提升性能，延迟也是其中之一。目前我们还没有进行测量，但我们认为延迟大约在60毫秒左右，我们希望能降到20毫秒左右，浏览器架构中有很多我们可以优化的地方，特别是当我们知道显示环境是虚拟现实时。所以这其实只是一个工程时间和资源的问题。但最近Mozilla已经决定增加WebVR团队的规模，这意味着我们对此非常看好，我们真的觉得它非常令人兴奋，初步结果非常棒，而且社区的反响也非常大，我们有很多人找上来说，这真的很令人兴奋，他们想要参与其中，作为一名游戏开发者，他们能够制作WebVR游戏真的让他们兴奋。我们计划扩大团队规模，在接下来的一年里非常积极地推进这个项目。那么Mozilla的高层管理层是如何决定投入更多资源到WebVR项目中的呢？我想，现在很难看到虚拟现实的浩劫势头而不被深深打动。很多大型组织发布了大量的VR头盔，如果你试过这些头盔和演示，就不可能不被它们真正的新奇之处所吸引。这不仅仅是3D电视，它们是一种全新且令人惊叹的媒体。这是一种媒体，与以往完全不同。所以我认为，WebVR需要成为计算的未来，Web就是计算的未来。如果虚拟现实、混合和增强现实是计算的未来，或者即使是计算未来的一部分，那么Web作为其中一个非常重要的组成部分，早日参与其中非常重要。我们不想重复移动互联网的错误，在移动互联网上，Web实际上占据主导地位，因为几乎所有的应用程序都使用它，但它并没有真正用于设计前端体验。我们不想这样。我们希望Web能成为设计整个虚拟现实体验的一种非常棒的选择，并且成为一个令人难以置信的分发渠道。所以，行业的势头、对这是计算未来或部分未来的信念，以及对Web无处不在的重要性的信念，使得我们对WebVR充满信心。此外，我们还想构建元宇宙，如果你凝视着Web并闭上眼睛，你会发现90%的元宇宙所需要的东西都已经有了。所以我们认为，如果我们释放所有这些了不起的开发者和像维基百科、Reddit这样的大型机构以及所有这些内容，让它们参与虚拟现实，那将是一个巨大的游戏改变。是的，此外，Web在信息消费方面与众不同的地方在于它更具短暂性，你可以观看YouTube上的视频，但不需要把它们下载到计算机上永久保留。因此，WebVR对于那些人们可能想要体验但不一定想要永久保存在计算机上的短暂性体验非常有用。我只是好奇一下，你是否对人们可能想要通过WebVR体验的这类短暂性体验有所了解。是的，我想其中之一就是我玩笑般地叫它们4D GIF。如果你去GIF Sound（我想这是一个子论坛），人们会将循环GIF与来自YouTube视频的音频混合在一起，以达到搞笑、或者有时是惊人而美丽的效果。他们会将某个正在旋转的风暴的时间流循环GIF找出来，使其无限循环，就像一个海浪或旋涡的风暴云，并将其与一些悲伤的菲利普·格拉斯的旋律相结合，你会得到一件如果全屏显示会非常惊人的美丽作品，但它是模糊的，是GIF格式，并且加载起来很慢。在WebVR中，将无缝循环的立体视频循环混合在一起可能会很疯狂，每个视频可能只有10秒钟，但它们可以无缝地循环，创造出这种无尽的效果，结合空间声音，并将其包装在像4D GIF这样的新文件格式中，就会变得非常有趣。如果这个文件只有3兆字节，你可以一直点击下一个，下一个，一直循环播放。或者将其设置为你的主页，并与你的推特数据和当天的新闻叠加在一起，我们可以做很多事情。最让我忧虑的事情是这些充满我们工程画板的东西，和围绕着它们奔走的过程，试图说服学生、开发者和公司，就像说：听着，有个人会做这个。你，你应该第一个做这个。你很棒，去做这个吧。这将是一次非常惊人的尝试。我认为在下一年内，我们将真正看到这些事情以非常大的方式发生改变。那么你真正想在VR中看到哪些东西？对我来说，我对协同学习非常感兴趣。我提到过Polder Sea。我在北极，乘坐一架无人机或直升机飞越岩浆海，看着冰川悲伤地崩解入海。但是Poldersy所拍摄的方式让我感觉很孤单。如果有一天我在每周的周一上午10点打开该网站，导演会加入我。并通过一个称为WebRTC的技术进行实时的语音、视频和数据通信，我可以与我的同学，或者与探险家或宇航员在这个虚拟现实环境中进行对话，都是在浏览器中完成的，并且能够很好地实现兼容性。所以如果学生中有人当天生病了，他们只需要在家里的台式机上用鼠标来观看场景，或者用手机来参与。跨设备的协同学习我认为将会非常重要，我非常非常期待能够通过Web在虚拟现实中实现这些协同体验。我认为这是一片低垂的果实。另外，关于定位音频和在浏览器中体验的问题，我们有Web音频API，这是一个非常强大的用于处理音频的API。我不是专业的音频人员，但Mozilla致力于提供最佳的Web音频性能，WebVR是推动这一目标的重要驱动力之一。有一个非常棒的体验叫做Way 2 Go，它是一个360°视频体验，可以在HMDs中播放，也可以在2D浏览器中播放，你在其中化身为一个竹棒人穿过一片被手绘动画和黑白森林环境混合的视频森林，它非常令人惊叹，但它挑战了Web音频API的性能极限，它也迅速揭示了我们在性能方面可以做的改进之处。因此，我们认为在接下来的一段时间里，让Web音频API的性能变得非常强大，做到所有能做的事情，并且在这方面做得很好是我们的目标。然后我们就需要评估它的局限在哪里，并找出我们需要做什么来实现更具沉浸感的音频，知道了音频在VR中的重要性。最后，也许你可以谈一谈现在在Firefox Nightly中有哪些东西，以及你认为这个项目在将来会发展成什么样的样子，比如你们在GDC展会上展示的一些原型用户界面。当然，我们将在Nightly中推出这个功能，你需要安装一个插件，并且需要禁用一个名为E10s的新技术，这会破坏WebVR支持。对于用户来说，这是一系列步骤需要完成才能让WebVR正常工作，对于开发者来说也一样。所以我们希望能够让开发者和用户更容易上手，减少他们的困扰。这对我们来说是一个非常低的果实。除此之外，我们还希望确保WebVR在移动设备上也能很好地工作。我们有一个很棒的移动浏览器Firefox for Android，我们希望能够确保WebVR在其中工作得很好。从那里开始，我们就进入了移动虚拟现实世界。所以我们将在这方面努力。至于交互设计方面，目前我们仍处于内部原型阶段。所以，如果你访问mozvr.com，你会发现所有这些令人惊叹的演示，但我们已经将伪浏览器界面去掉了，我们正在内部努力将其推向新的高度。我们真的希望让人们无需摘下头戴式显示设备就可以在网络上任何地方自由移动，这就是简单的目标。但事实证明，这其中涉及到很多复杂性。我们需要新的标准。所以，Web Lepre可以说，嘿，我是一个现代虚拟现实网站，所以自动将我全屏显示。不要让用户点击按钮进入全屏虚拟现实。我们需要能够区分一个经典网站的外观。所以，如果你访问一个经典网站，我们知道它是一个经典网站，并以某种向后兼容的方式显示它，可能将其映射到环绕用户的曲面上。所以，我们将致力于开发这些新的平台部件，逐渐构建起一种全方位的浏览体验，发行方式还有待确定，但是我们肯定会让它面世。作为Mozilla和非盈利组织，我们致力于构建好玩的东西，然后尽快发布代码，免费提供给大家，希望人们能够拿去做出自己的酷炫作品。因为一直都有网络开发人员，他们都很热衷于做出酷炫的东西。所以，如果我们将其释放到虚拟现实的世界中，我们认为这将是一个改变游戏规则的机会。非常棒。还有其他任何要补充的吗？我只想说这将是一个疯狂的一年，对我们所有人来说。我认为，任何从事虚拟现实的人现在都觉得我们对如何投入时间进行了正确的抉择。无论虚拟现实在未来的一年甚至未来的两年内如何发展，我们都在投资一片具有重要意义的领域，或许是我们可能投资的最重要的领域。这真是令人兴奋不已，但我真的迫不及待地想看看今年会有什么出现。非常棒。非常感谢你。非常感谢。