《VR声音播客》 我的名字是Morris May，我是一家名为Specular Theory的公司的CEO和创始人。我们主要创建虚拟现实内容。在好莱坞工作了近20年后，大约3年前我们转向了增强现实，然后随着Rift等设备的发展，我们被它所吸引，这是我们从未能够想象的。现在我们是Rift和虚拟现实的狂热爱好者，眼下我们的主要关注点是讲述故事、创建技术，全方位地投入到24/7的虚拟现实中。在好莱坞，你具体是做什么工作? 我从事视觉特效工作，参与过几部大制作电影，例如《蜘蛛侠》系列和《快乐大脚》等电影，我是一个技术总监，后来成为了CG监制，负责管理、构建和设计技术来讲述故事。确保为导演和电影制作者提供必要的技术来讲述视觉故事。虚拟现实似乎非常适合那些在好莱坞从事特效工作的人，可以谈谈从电影背景转向交互式虚拟现实体验的转变吗? 是的，谢天谢地这场变革发生了。这是一段非常激动人心且惊喜连连的旅程，你知道，我起初从事视觉特效工作当然和很多人一样是受到《星球大战》的影响，你会对它的奇妙和让人沉浸其中的感觉着迷，你希望把这种兴奋感分享给其他人，这也是我成为视觉特效艺术家并创造事物的原因。但随着时间的推移，你知道，我们对电影变得麻木了，它们依然是令人惊叹的体验，但是现在在虚拟现实中所发生的事情是如此令人激动和不可思议，特别是从叙事角度来看，想想你可以通过完全沉浸式的方式让某人哭泣、害怕或完全投入到一个故事中，你知道我们称之为虚拟现实存在感，你身处另一个场景，你真的感觉自己在那里，并且你真的感觉自己参与其中。所以现在是个讲述故事、创建技术并全力以赴投入到24/7的虚拟现实的绝佳时机。那么从2D电影到互动虚拟环境的叙事，你认为其中有哪些不同之处呢？坦白地说，我们还在探索中，这是一个巨大的挑战，如何讲述故事，我会问你这个问题，或者说我们做了一些我们用游戏引擎拍摄和制作的经历，我们同时也有一些“混搭”，既使用游戏引擎拍摄，也使用实景拍摄。但我们合作的很多优秀叙事者实际上是来自恐怖片领域的，比如好莱坞的制片导演Case Lasalle。他对以第一人称叙事讲故事有很好的创意，这其中很多灵感都来自恐怖片，但是随着你在空间中移动，不是从某人的肩膀上进行切换，而是身临其境，这是全新的叙事方式。我希望我能够准确回答这个问题，但是我喜欢使用一个类比来解释，我喜欢使用这个类比，你知道什么是第一部电视节目吗？是什么？它是一个录制的广播节目，那是第一部电视节目。你会发现很多现在的虚拟现实体验是什么？在虚拟现实中看电影，但这不是它最终将成为的样子，它最终会演变为更多样的形式，只有时间能告诉我们。这是一种全新的讲故事和创造内容的方式，我们将见证它如何发展。是的，我也听说过这种情况，每当有一个新的传媒平台出现，最常见的做法是将之前的传媒成功案例原封不动地移植过来，比如把歌剧制作成广播节目，或者互联网启动时报纸仍被当作纸质报纸对待。我确实认为第一人称视角非常迷人，切换非常少，你必须找到如何吸引观众注意力的方法。但是，在完全沉浸式的创作中，你是在创造整个环境和一个完整的世界，人们可以探索其中。所以我不知道你们是否已经开始这样做，以及你们在这方面的经验如何。那正是我们开始做的事情，有趣的是，这种情况有时候有太多的可能性。你知道，如果你可以去任何地方，做任何事，触摸任何东西，那你真的就是在玩游戏了。游戏讲述了很棒的故事，看到它如何发展是令人惊叹的。但是要穿越场景并引导人们进入一个不同的世界是一种全新的策略，这取决于你想要讲述的故事。另一个有趣的事情是，就目前而言，我们在某种程度上受到技术的限制。当然，我们无法以真实感重现整个世界并在其中奔跑，我指的是光线与实在世界一致的技术，我们将会看到这种技术的发展，但我们可以看到这就像是视觉特效刚开始的时候一样。因此，做这方面的工作非常具有挑战性，那我们要如何做呢？我有时候将其比作一部iMac电影，现在我们使用14台相机进行拍摄，同步这些相机，你知道你将需要多少个位置去设置相机，这是一项庞大的任务，就像IMAX电影的早期一样。所以这就迫使你从也许只有一个视角的角度来讲故事，不会到处移动。最终还是以故事为导向，同时我们拥有技术来帮助讲述这些故事。是的，我提出了另一个概念，就是像《无眠之夜》这样的作品，在那里你会在100个不同的房间中体验到20个故事的发生，你知道，那些沉浸式体验中的参与者会根据自己感兴趣的事物进行跟随，但同时也会有一个探索和发现的组成部分，当你看到有人经过，其他40个人在追随其后，你就会有一种类似”哦，这可能是重要人物，我要去追踪一下”的感觉，所以我预见在很多体验中，你第一次体验时会感到非常困惑，你需要与他人交谈以帮助弄清发生了什么，但然后你能够从另一个角度重新体验或者用不同的视角体验。所以拥有这种循环的互动叙事是完全不同的。想象一下你参与到元宇宙中，突然你正在讲述一个故事，但是你是和你的朋友一起经历，完全与你刚才提到的情况一样，你会观察其他人如何互动，你会从和你在同一故事中的不同人身上学到你自己的线索。这是一个非常大的难题，正如你说的那样。我认为在好莱坞，也许你可以谈谈正在发生的一般趋势，比如《少年派的奇幻漂流》，该电影的特效公司赢得了奥斯卡奖，然后倒闭，而导演甚至在颁奖典礼上没有感谢他们。所以你们观察到特效公司被边缘化的情况，你认为这种情况将如何发展，很多特效公司会转向这个接下来的虚拟现实，而不再从事电影行业吗？是的，我可以讲这个问题大约一个半小时，整个情况非常复杂。其中一部分是当然我们是内容创作者，我们喜欢制作内容，我们不是商人。所以很多时候，你只是被推动向前，超越过去，不断追求更高的标准，而制片厂则不断增加要求，我们则不断交付工作，最终创造出了一个对商业友好的环境，这与税收减免息息相关，这又会引发另一个问题，这不是我们的讨论重点。而好事发生在你创作了某个内容后，你就拥有了那份合同，并且可以出售它，这就产生了不同以往的付薪模式，也就是做委托工作与创作内容两种不同的模式。同时， Oculus Rift 和其他游戏现在创建内容变得如此容易，这是一种令人难以置信的事情，它将为大家提供无与伦比的机会，创作出一些精彩的作品，为人们提供一系列新的收入来源和全新的叙事方式，这将非常令人兴奋。那么，你是否预见到大批特效公司离开电影行业转向这个下一个大事呢？也就是他们可以从中获得持续收入的创作，而不是委托工作。是的，我认为肯定会有一段热潮时期，就像iPhone推出时一样。这是一个新的平台，人们会为它创作内容。你知道的更多，你的播客里任何一样新事物一经推出，下载量就达到1000次，人们都会开始讨论。我们确实非常需要那份内容，以视觉特效的形式创作的内容将是像我这样的人很快、高效制作内容的人。所以这肯定会发生。我认为我们会看到很多业务转移到海外，但是如果你现在看视觉特效电影，当然，形势有点艰难，当我开始从事视觉特效工作时，一个电影中可能有20、30个视觉特效镜头。现在，至少有2000个镜头，而且一切都是数字化的，舞台被改变了。这种情况将持续下去，即使某些工作将转移到海外，也会遇到困难，但是工作量将继续激增，人们将继续创作令人惊叹的作品。这是一方面，带来了一些积极向上的事物。所以可以说，特效行业正在随时间发生变化，并将继续创造令人惊叹的事物。那么，在虚拟现实中有哪些你想要体验的内容呢？你知道，我们从故事和技术两个方面来接近它。我们选择了一个第一人称叙述的故事，然后我们尝试去讲述这个故事，并创造出我们需要的任何技术来讲述这个故事。一个我们刚做的演示是一个简单的主题公园，你可以体验14个不同的游乐设施。我喜欢能够在时间上马上到达不同的地点和经历，这是我们正在体验的。我喜欢创造一些非常强烈的体验，以至于你无法承受它，但可以将其降低到可以让每个人都享受的程度。您还提到， 哦 …有些东西会让你有点恶心，我们的体验是你可以选择坐车的方式，选择坐车的强烈程度和速度。我们也将这种体验融入到故事叙述中。所以我们可以在恐怖电影或者恐怖事物方面实现这一点。根据你的行动和你的行为方式，我们可以决定故事的强烈程度和你对它的情绪反应。比如说，我们甚至可以把你绑在心率监测器上，观察你的反应并触发相应的事件。我们不仅可以通过游戏引擎触发事物，还可以追踪你的注视点并根据它来调整故事情节。有各种各样的环路，只有当你注视某个方向时，才会发生某些事情。这变得如此深入和复杂，以至于具有挑战性。你的确做了一些生物反馈的工作，根据心率来调整体验的强度吗？是的。我应该提到这一点吗？是的。是的。我们确实在做。好的。哇。在这次聚会上，你会谈论虚拟现实将如何改变电影、娱乐和商业等方面。你在这次Immersion 2014的演讲中会提出哪些主要观点呢？嗯，首先，它显然从游戏、娱乐和故事开始讲起，但有趣的是，你知道，杰夫谈到他正在制作一个剧院体验，并使用Oculus Rift来可视化那个剧院体验。你猜怎么着？现在你可以在家下载那个剧院体验，而不必去剧院。这些种类的事情完全是一种全新的商业尝试，令人兴奋极了。我是说，看看，如果这不是一个巨大的改变，Facebook也不会买下它。如果它不会改变我们与自己的互动方式，我想问你一个问题，任何行业，你看到在未来5年内，虚拟现实都会完全改变它。我是说，列举一个。有人提到餐厅，开始让我有些困惑，但是，你想想，体育事件。你可以坐在场边观看湖人队扣篮，当然，你可以按下按钮，进入赛车里，我们现在有GoPro相机，但是你坐在赛车里，向右看，你看到艾默生·菲提帕尔迎面而来，你与你最喜欢的车手一起兜风，这是我们从未见过的球迷参与度的水平。我认为这点驱动着整个事情，当你真的觉得你在那里，当你那么情感参与时，教育，我可以谈论3个小时。你可以看教科书，看到火星和地球的大小，但是直到你戴上虚拟现实设备坐在地球的表面上，向左转头，看到你比太阳小得像针一样，那才能真正帮助理解以前无法理解的事物。最近我参加了一个黑客马拉松比赛，有趣的是，在短短三天内，学生们就能构建虚拟现实内容，我试过每一个，评了一个获胜者，每一个都令人惊叹，每一个都是一个令人难以置信的学习经验。例如打字游戏，你会因为佩戴了头显而深度投入其中，你看不到你的手，所以你被迫盲打。还有一个是一个金字塔，你飞进金字塔里，因为金字塔是按比例建立的，你实际上是进入到金字塔的中心的，通过身临其境可以感受到比传统教育方法更加真实的比例尺度。这将彻底改变游戏规则，选择任何行业，都会发生变化，这让人兴奋。没错。我会把一些想到的事情列举出来，这些事情可能还没有完全出现，比如参加“燃烧人”节，你会看到所有这些人，视觉上的壮观，但更关注的是将创造力体现到实质化的物理环节中。那里涉及到所有的感觉，视觉、触觉、嗅觉和感觉。我认为另一个组成部分是触觉，触觉系统还有很长的路要走。不管是按摩，比如说，我不认为我会想在虚拟现实中接受按摩，我宁愿去真正的按摩店，或者去参加瑜伽课程或者锻炼。任何涉及到身体的活动或者与其他人有关的事情，我觉得还需要一段时间。在自己家里做按摩还太过于科幻了，对，说得好，餐厅让我有些困惑，但是你知道，选择任何一个行业，你会看到人们将如何参与其中，这令人兴奋。是的，我认为我们仍然处于非常初级的阶段，就像在互联网和移动电话产业开展之初一样。我经常问人们，回想20年前互联网还没有真正爆发，10年前移动电话还没有普及，试着预测那时将会有哪些东西，我想我们已经到达了那个点，在一定程度上可以预见到一些东西，但还有一些我们无法想象的东西。你说得太对了，这是我的最爱。听着，你可以把全世界最聪明的10个人放在一个房间里，讨论从现在起5年内这个东西会变成怎样，你根本不可能想到所有的事情。科技发展得如此之快，人们的创造力如此之高。我们之前曾与一家科技公司讨论过做科学方面的东西，我们一周讨论了所有可能性，然后还有一次会议，他们提出了我们没有想到的20件事情。是的。这就是这个令人激动的部分之一。那么你是要创造自己的体验吗？还是这个工作室只是一个数字化机构,你在这里为其他人提供合同和代工建设这些虚拟现实体验呢？准确地说，我们是一个数字化机构，我们为客户构建东西，对我们自己的内容只做一点点，并且我们一直在进行大量的研发，试图弄清楚在市场上不存在的东西，希望人们很快就会为我们制作出我们将使用的东西，但基本上我们是一个数字化机构，只在技术不存在的地方创造技术。如果客户要求，比如说他们想在实时中进行推特，推特内容从非画面位置飞过来，游戏引擎通过提供枪支了解飞行内容，我们必须将所有现有技术放在一起，帮助他们讲述故事。是的，在你之前从事好莱坞视觉特效工作，你在工作中使用了哪些工具？你能把这些工具与虚拟现实有关的工作联系起来吗？嗯，这很有意思，这也是我喜欢它的原因。它是所有这些东西的结合，我是说，我们几年前开始使用游戏引擎，当时我们正在做扩增现实，所以，你知道，游戏引擎对我来说有点新鲜。至于相同的技术，我们使用相同的建模工具、渲染工具和合成工具。很多东西绝对完全适用，至于拍摄方面，我们的后期制作方式与拍摄立体影片的方式相同，只不过现在我们有7个或14个摄像机，视具体情况而定。有很多重叠的地方，当然，现在的一切都要更加困难，更多的细节和技术细节。但基本上，很多工具是相同的。你在之前的工作中有参与过动作捕捉吗？它与你在虚拟现实中的工作有什么关联呢？当然，那太神奇了，这也是我们有优势的一个原因，我们做了很多动作捕捉工作，比如在电影《快乐男孩》中，我还教过一门连接器黑客课程，所以我们到处都有很多连接器。能够站在摄像机前，挥动你的手和腿，看到自己作为一个动态角色四处活动是非常强大的。当然，我们也可以利用连接器做简单的建模和来回变换。这种动作捕捉和扫描技术直接来自好莱坞，事实上，他们曾经在我在场的时候发表演讲，讨论的是为什么我不会说视觉效果行业有多糟糕，因为在这里有很多机会，而且我们在视觉效果行业开发的技术对于虚拟现实的发展非常重要，所以你可以看到在这个领域其他人在做些什么。非常令人激动。嗯，有像PrioVR和Miximo这样的工具，能够做面部动画。昂贵的动作捕捉系统现在变得更加负担得起，那么你们都在使用什么工具来进行这些动作捕捉呢？好吧，我有机会使用一些高端系统，但说实话，我们只是用连接器。我们做的事情非常简单，而且我们对高端系统如何工作以及低端系统如何工作有一些优势。但是我们只是使用标准的连接器，现在在线上有很多可以使用的工具。我们提到了Miximo和Unity这样的工具，可以在线上过滤动作捕捉数据，比如Alias角色生成器，我工作过，你知道，我参与了《X战警》的制作，我们进行了大规模扫描。你知道，用雷达扫描和激光扫描需要的时间和精力非常多，因为它必须和现实中的人物完全一样，所以这是一项非常复杂的任务，但是如果你正在构建虚拟现实世界，你希望周围有人物走动，你可以在Alias角色生成器上打开，你知道，下载一个带有骨骼的角色，然后对其进行改动，工作在不同的角色之间切换和完成工作的工作流程现在能做的工作量提高了很多，非常激动人心。那么，你如何使用第一代的连接器，将其输出与三维模型的绑定联系在一起呢？你需要使用哪些工具？实际上比你想象的还要简单，那就好像我说的，你在Maya里可以下载一个真实的带有骨骼的角色。Maya的角色生成器会下载一个已经内置骨架的角色，这个骨架是人形的标准型。你可以将它加载到MotionBuilder中，并实时驱动它，让连接器驱动，连接器并不会产生点云数据，而是只关注骨骼识别。如果你摆出一个T型姿势，它就会知道你的手臂和腿在哪里，并根据它在环境中的位置来映射。天啊，我刚刚开了一个关于这个主题的课程，有很多方法可以做到这一点。你还可以进入Unity，可以下载一个叫做Xig Fu的程序，你可以在Unity中实时捕捉自己的动作，并保存数据。这些工具都是标准化的，如果你将它带到MotionBuilder这样的程序中，MotionBuilder是非常昂贵的Alias版本，专门用于过滤动作捕捉数据，我们可以通过特征化来做一些事情，这样不会产生随机的关节，它知道这是手臂，这是腿，这是怎么附着的。你可以加载一系列其他的程序来捕捉连接器的数据，像iPi这样的程序会捕捉即时的深度相机数据，给你一个点云，你可以把它加载到MotionBuilder中，然后导出一个FBX文件，从FBX文件可以导入到任何游戏引擎或渲染软件中。我刚刚做过一个很大的课程，所以可能比你想知道的更复杂，但做起来非常容易。在你的起居室里，你可以有10个或30个角色。你知道，你只需拍摄一大堆镜头，将它们放在许多角色上并且移动它们，你就能在你的生活中拥有自己的元宇宙。哇，太棒了。我之前还没有听说过这种基于连接的解决方案，我只听说过像Mixamo这样的通过网络摄像头进行运动捕捉的东西。听起来它是逆向运动学，指示手的位置然后根据情况推断其他关节，还是实际上每个关节都在工作？你知道，没有人确切知道它是如何工作的，但它不是一种点云数据。所以如果你想象一下传统的动作捕捉，你会穿上背带球，然后连接这些点。这个解决方案不同，你站在一个T形，它识别出你是一个骨架，然后尝试解决这个骨架。所以它知道你是一个人，然后试图将一个深度图像与一个人的骨架相匹配。所以你无法捕捉狗或其他物体。这只是一种设计。这样你就可以了解一下。它是一种人工智能解决方案。它说，“好吧，我面前有一个人，大致看起来是这样的，所以我会尽力匹配这个姿势。”它并不完美。你会有一些小问题，但是它只需要200美元就能在你的客厅里使用。真是太棒了。那么，你对你所看到的虚拟现实的潜力和未来最兴奋的是什么？这一切都源于最初的想法，你知道，讲故事，就像我说的，门槛越来越高。所以当我第一次看到《星球大战》时的反应，我希望别人也能像我一样体验到那种完全震撼的感觉。现在你可以在这里四处走动，游乐场就在那边，戴上那个头盔，你就会完全沉浸在另一个世界并被震撼到。你知道，如果你以前没有看过，有能力以前所未有的方式完全让人沉浸其中对我来说真的非常令人兴奋。非常好，非常感谢你。不，谢谢你。我很爱你的节目。非常感谢。