VR播客《虚拟现实的声音》 我是Oliver Kralos，我是加州大学戴维斯分校的一名研究员。我已经从事VR很长时间了，现在我又从不同的角度来看待它，现在是与Rift的普及化等等的一切新设备一起研究的。实际上，我目前正在努力为我现有的软件支持所有我能找到的新设备。而且最近一次我们谈论之后，我主要是在努力使所有这些新设备在我已经开发了十年多的软件中得到支持。这个软件可以在各种VR环境中运行，从高端的洞穴或投影屏幕到普通笔记本电脑，当然还有Rift。问题在于，我现在使用的是Linux系统，而Rift的官方SDK开发工具包版本2还没有出来。所以我现在一直在和它对接，不过我不得不说，截止到今天早上2点，我已经解决了它（减去了位置跟踪，当然这是个大问题），但是其他部分如方向跟踪，镜头失真校正和色差校正都能工作。这在过去的两周左右一直让我忙碌着。除此之外，我一直在从事远程协作方面的工作，这是我多年来一直在做的事情之一。我在5月底制作了一个视频，用Kinnect进行视频捕捉。我一直想制作一个后续视频，展示远程的两个人如何互动，但是一直没找到合适的时间。这只是其中许多事情同时发生的一个例子，我做得太多了。好吧，基本上就是这样了。另外，我还在我所在大学建立一个全新的VR实验室。它将是一个较大的跟踪空间，可以让多个人在同一个空间内进行合作和游戏。这是人文学科计划的一部分，所以它将是一个非常不同的应用，与我之前做的那些更像是硬核科学的应用不同。现在我们要进入社会科学和人文学科的领域，去做一些剧院等等的东西。所以这将是非常令人兴奋的，但我们现在实际上正在建立那个实验室，不是今天，昨天和星期一又去了一次。基本上就是这样。那么，让我们来谈谈Kinect，因为Kinect V2已经发布，你能在Linux环境下让它工作吗，或者它只能在Windows 8.1上使用？我可以让它工作，但迄今为止确实非常困难。我刚才忘了提到这一点了，这是我在一边工作的另一件事。问题是，基本上，一开始，当Kinect 2发布时，我以为它会被锁定，只能在Windows 8.1上工作，我之前也是这样认为Kinect 1的。但我错了。他们没有故意锁定它。但事实证明，从底层操作它比Kinect 1要困难得多。这主要是因为它的底层接口要原始得多。在Kinect 1上，只要你能解析USB协议，设备就会给你一个彩色帧流和一个深度帧流，其中有一个像素网格，640×480，其中一些像素包含深度信息。所以，你可以想象，一切都很好。这很容易处理。新的Kinect拥有一个令人惊叹的传感器，从技术上讲，它在发送技术方面非常先进，可以非常准确地测量每个像素的距离。但问题在于，我不想过多地谈论怎么运作，但设备通过USB发送的是传感器收集到的原始数据，所以在任何意义上都没有深度图。你得到的是一系列不同的图像，你必须通过一些复杂的视频处理方法来提取深度图像。此外，还有一些不为人知的参数，算法在微软文档中有部分描述，但具体要使用哪些参数、缩放因子等都是未知的。所以确实有很多需要处理的问题，这就是为什么我花了很长时间。我在6月初得到了两个Kinect，现在我已经能够获取到彩色图像流，没有问题。这很容易。我也可以获取原始深度图像流，但我正在将它们转换为可用的深度图像。这可能需要一些时间，但这是我的副业，因为进展非常缓慢，同时也有其他事情在进行。但我对使其工作持乐观态度，一旦成功，它将非常好用。与Kinect 1相比，我们获得的图像质量更好，它是一种全新的设备，完全不同的技术，效果更好。我非常期待与它一起工作。我希望微软能提供一些官方支持，但我只能按自己的方式前进。当然，他们通过给我寄送了两个Kinect产品来支持我，这对我来说非常好。但它确实很困难。是的，很有意思，当你谈到远程协作时，似乎是将这个设备作为一种关键组件，可以将这种3D深度和相机的图像作为纹理贴图放入虚拟现实环境中，并且可以有这样的远程协作空间。没错，是的。我记得我们上次简单谈过这个问题。我当时说，我认为对于许多人来说，远程协作可能是VR的杀手级应用。你购买Rift或其他设备就是为了做这件事。所以让我惊讶的是，没有太多其他人真正在研究这个方向。现在有两个，也许两个半的其他项目是类似的。当然，由于它们是在Windows上，它们能够使用Kinect 2，我对此非常羡慕。所以我想，一旦我从这里回来，我会投入更多的精力来推动它的发展，因为一旦我在低级别上做到了这一点，它就可以轻松整合到我的软件中，不用做任何其他改动，跟之前的一样，这样一来一切都会变得更好。迄今为止，最大的问题是3D视频头像的模糊和低分辨率，这是我们收到的最大的抱怨。但实际上，如果你真的处在这个空间里，那并不那么重要，因为你会忽略它，你只会看到更远的东西。但是如果你看到一张图片或一个视频，它真的看起来非常差。而通过Kinect 2或类似的设备，它看起来会好得多，也更加真实。我对此非常兴奋，希望能有时间推动它并提供一个能够让人们下载、在家中玩耍并与朋友交流的产品，然后也许，到处走走。这将非常酷，当然了。是的，我希望以后能够参与其中。你最近在Linux上进行了一项调查，你试图在某种程度上自建SDK视频渲染流程，你写了一篇非常详尽的博客文章，你称它为“一堵文字墙”，也许你可以向我描述一下你想通过那篇文章传达的观点，以及在试图在Linux上实现Rift时，在深入挖掘的过程中学到了哪些东西？是的，我可以事先或事后为那篇文章道歉，因为我是在早上两点写的，所以文章体系有些混乱。这可能是我写过的结构最糟糕的一篇文章。虽然人们对此非常友好，但是迄今为止还没有人过来告诉我“你完全错了，这都是胡说八道”。要么他们很有礼貌，要么确实从中得到了一些信息。我后悔自己的解释方式，我会更仔细地解释的。我写这个文章的想法是一旦我拿到了Rift，当时也很晚，我不记得具体多久了，但可能只有一个月左右，其中有三周时间它一直放在盒子里，因为没有相关软件。然后我终于拿出来开始尝试使用，事实上，我一直在关注Reddit和Oculus论坛，看人们在做什么，讨论什么，然后有很多讨论，约翰·卡码克在Twitter上发布的一些推文也被转发，他在其中讲到了他在Gear VR上做的一些事情。我看了所有这些内容，但它们没有形成一个完整的图景，我有许多不同的片断，但它们没有凑成一个整体，把这个问题弄清楚了。所以我决定好好研究一下，而且我最近注意到我的软件在某些显示器上存在延迟问题，但我没有办法进行测量。然后我的一个朋友碰巧有一个官方的，真正的Oculus延迟测试仪，所以我向他借了一个，并做了一个驱动程序，将其连接到我的软件中开始测量各种参数。然后我意识到我家的显示器有60毫秒的内置延迟，这个数字太夸张了，我得更换它，但它已经使用了将近10年了。然后，当然，我开始测量Rift DK 2等快速屏幕的延迟，仍然有很高的延迟，我不知道原因。然后我开始尝试不同的方法如何在延迟方面进行调整。如果关闭帧同步，可以降低一些延迟，但会出现撕裂的问题。如果使用垂直同步，至少可以保证每个帧都有一个，但是如果使用垂直同步并将渲染延迟到垂直同步结束后，可以减少延迟，但是可能错过垂直同步期间一个整帧的时间。所有这些事情，你知道，人们一直在讨论，但我从来没有那么详细地看过，突然之间，这些问题开始有了答案，Rift做渲染流程的原因开始让我明白，他们设计渲染流程的原因也开始明确，原来我们之所以这样渲染，是因为通常我们无法控制渲染的内容，它们是根据你的视角参数进行渲染的，所以我们需要在后台渲染，当渲染完成后，将其推送到显卡中，这就会增加延迟，但这是唯一的方法。所以现在Rift和其他进行透镜失真校正的HMD，出人意料地最后一步，透镜失真校正，却是非常可预测的过程，你知道它需要多长时间，每个像素都是按照非常规定的顺序绘制的，每个像素只会绘制一次，绝不超过一次，因此再也没有必要使用异步绘制，现在我们可以回到早些时候使用的方法。我是说我们当时的前辈，他们在80年代早期就开始将要绘制的内容绘制在电视或视频系统上，不使用任何帧缓冲，他们把它们称为beam backtracking，现在也是这样称呼它的，我突然意识到我完全没有考虑过这点，但它是可行的。所以当我真正开始实验如何建立流程来降低延迟时，我发现了一些方法，可以将延迟降低到几毫秒。然后Oculus一直谈论的所有事情都开始让我明白了，他们在Windows上面临的所有问题也开始让我明白了，因为Windows不支持这些方法，我对此并不是很了解，我不太懂Windows系统，但我从那些非常了解Windows的人那里得到了很多信息，他们告诉我不能这么做，你只能绘制到前缓冲，你不能实时缓冲交换，你总是会有一帧的延迟，所以我觉得我需要把自己刚刚学到的东西写下来，因为我认为这很重要，人们需要知道这些。我不知道我解释得是否清楚，我会更仔细地解释的。所以我写了那篇文章，你知道，它有点啰嗦，但那是我想要的。我刚才试图解释我们为什么以这样的方式进行事情。为什么会有这种延迟的产生？我们如何绕过视频流水线和非常低级的视频硬件的这些特性来减少延迟。我希望至少能得到一些如何做到这一点的想法。现在我正在我的代码和SDK上工作，应用这些方法，希望下一个版本在所有方面都能达到不到一帧的延迟。也许将它降到屏幕的最低限度，对于75赫兹的显示器来说，你真正能降到的限度就是中屏幕的8毫秒，因为虚拟光束在像素上追溯所需的时间太长。所以你不能低于那个。但是如果你能找到这个最佳点，那么你就可以做到最好了。我现在找到了Linux中所有这些小工具、实用程序、挂钩等方法，现在可以实现这一点，这会非常酷，因为这个在Windows上是不可能的。所以能够展示这一点将是非常好的。再说一次，我不知道我是否解释得很好，显然我至少没有完全弄错，但是我主要是为了自己写下所有这些我玩耍时突然想出来的事情，以便将来我会记得，这也是这段文字的基本来源。实际上，有很多人看过它，所以我觉得也许有一些可取之处。是的，我发现它开始解释了当你看到撕裂或者抖动时到底发生了什么的秘密，但是Windows本身作为操作系统也有一些局限性，听起来它在某种程度上妨碍了这一点。你知道，也许最终有一天，Linux可以成为更优化的使用虚拟现实的方法，这是我听到的某种程度上的意思。就像我说的，我不想说太多，因为我绝不是Windows的专家，我只是转述那些我不想透露姓名的Oculus和其他地方的人告诉我的一些东西。但是这对我来说很令人惊讶，我没有预料到Windows的图形API中会有这些非常奇怪的决策，会导致延迟，因为有人说，你不能因此责怪他们，他们是在1980年左右编写的，当时我们还没有虚拟现实，但是当然，他们用Aero重新设计了整个系统，Aero被设计为低延迟，但他们似乎没有全力以赴，我不明白为什么他们这样做，他们可能有一个很好的原因，但现在，Windows显然不是一个理想的用于虚拟现实的操作系统。现在，Oculus一直在研究Gear VR，它当然是基于Android的，也就是基于Linux的，他们已经能够在性能较差的硬件上创造出更流畅的虚拟现实体验，而在性能相当不错的Windows PC上做不到这一点，这表明在Windows中有一些不利于延迟的东西。事实证明，NVIDIA刚刚在昨天宣布了一条新的图形卡产品线，具备所有这些针对虚拟现实的特性。所以他们意识到这个问题了。SLI由于其交替帧渲染对于虚拟现实从未起到作用，现在他们放弃了这个技术。所以也许现在微软也终于醒悟过来，开始解决他们系统中的延迟问题，当然他们是可以做到的，如果Linux可以做到，他们也可以做到，只是他们需要想做的愿望。而且让我非常惊讶的是，到目前为止他们显然没有这样做，这使我感到非常惊讶，因为Windows是一种非常多媒体的操作系统。在我们之前谈话的时候，SOVR也发生了，你去那里并试用了很多不同的虚拟现实输入设备，我认为你的博客文章可能是对许多这些惯性测量单元出现缺陷的解释。你能否描述一下，当你测试一些这些虚拟现实输入设备时，你会做一些什么样的事情将它推向极限，使它失效？嗯，这有点困难，因为这是一门隐秘的艺术，但是我只是推动它们。触发我写这篇文章的原因是我对Prio VR套装非常好奇。它在你的身体的骨骼上放置了一堆IMU传感器，如手臂、大腿等等，并声称可以通过这些传感器实现无漂移的位置跟踪。但是当有人说可以通过IMU实现无漂移的跟踪时，实际上是行不通的。就像我现在所说的一样，从根本上讲，这是不可能的。所以我试图想出，他们是否意味着他们没有撒谎？因为我相信他们没有撒谎。那他们到底在做什么，它是如何工作的？当然，答案是他们并不跟踪整个身体的位置，他们只是跟踪关节的位置。因为他们可以完全根据IMU的方向来做到这一点。我在这里做一个手势，你看不到，但这很重要。事实上，IMU可以测量方向而没有漂移，因为有重力可以用作参考框架。因此，如果你知道你的小臂的确切方向，并且知道你的上臂的确切方向，因为你每个关节都有一个IMU，那么你就可以计算出你的手腕相对于你的肩膀的位置，而不会有任何漂移，因为这完全基于方向和正向运动学。这正是他们所做的。他们非常含糊其辞，嗯，他们从未提到他们实际上在嘲笑其他一些人进行逆运动学，如果你仔细考虑一下，这有点狡猾。但这就是他们所做的，而且它是可以工作的。然而，当你开始走路时，它会失效，因为它们必须在一个更大的空间中追踪你，那里会有巨大的漂移，他们当然没有撒谎。他们承认了这一点，这是很好的。但是关于手和脚之间的追踪，以及手与上半身之间的追踪，它实际上可以像他们宣传的那样工作，因为这完全基于运动学。当我在展厅里观察时，我可能让演示人员感到不舒服，因为我一直观察他半个小时看他在做什么，系统是如何对此做出反应的。因为他让我自己试用了一下，他说不行，因为它是根据他自己校准的，但其实不对，因为它根本没有校准好，但这是另外一回事了。通过观察他做了什么以及系统对此反应的方式，我能够对它到底是如何工作有了一个大概的理解。当我在博客文章和Reddit中描述它时，产品公司的一个人进来说，是的，你完全正确，你说得很准确，这让我很高兴。但我真的很高兴，因为这说明他们没有在撒谎，而是他们对产品的传达方式有点混乱。我认为现在我确切地了解了它的工作方式，希望其他人也确切地了解它的工作方式，因为现在人们知道它不是一个骗局，他们知道它可以工作。同样的道理也适用于Controvia，他们使用相同的原理进行跟踪，我没有尝试过，但是他们显然在这方面做得很好。所以我参加SOVR博览会的一个原因是能够尝试所有这些平常无法尝试的输入设备，因为我认为未来虚拟现实的前沿将是输入，而且在某种程度上，我几乎也打赌听到了Oculus今天或明天关于输入的什么消息。多年来，我一直强调VR软件应该如何处理输入设备，你不应该写到设备类型上，而应该写到中间件上。现在，所有这些事情都逐渐显现出来，对于即将推出的所有这些东西来说，我认为门槛将是输入。所以，尝试所有这些不同的设备，真正了解它们的工作原理和缺点，以及如何使用它们和如何为它们编写支持软件，对于我来说，参加展览是一个很重要的事情，现在我在今天也是如此。所以我写所有这些的原因，再一次地，是为了写下我学到的东西，并希望告诉其他人我认为它们是如何工作的，回顾一下，我认为我写下的几乎所有东西都是对的，有一些小错误，但没有什么严重的。我为此感到高兴。看到STEM是如何工作的，看到PrioVR套装是如何做到它该做的，以及它在不该做的方面做得不好的地方，这让我感到非常高兴。对于PlayStation Move，我也感到非常开心，因为我家里有一台，但我还没有机会尝试它，但看到它在行动中的表现得非常好，这对于我来说是一个真正的动力提升，让我着手开始使用它，现在还没有来得及尝试…还有你还看到了 Leap Motion，很久之前我参观了他们的公司，我对它仍然有些保留，它有一些基本问题。但我处理这些问题的方式是假设它是如何工作的，并基于这个假设进行实验，这就是科学家的工作，你会尽量摧毁这个假设，如果它是基于方向跟踪的，而不是基于Priovia套装，而又没有校准好，当你把手放在一起时，系统实际上不会识别你的手放在一起，因为你的小臂可能比系统认为的要短，所以会有一个间隙，我清楚地看到这一点，只是观察这个人在手机上发短信的时候。我记录了一句话，所以我知道这个不是为他校准的，实际上他们应该在这方面做得更好。所以这就是你尝试逆向工程这些东西的方式。我的方式可能是，你试图形成一个假设，即它是如何工作的，它是如何可能做到它所做的的。然后根据这个假设进行实验。这就是科学家的工作方式。因此，我想去了解它们如何工作，但也是为了编写它们的驱动。我必须坦白地说，我在这方面不是很擅长，还有其他人在这方面比我好得多，我通常依赖他们，但是因为我现在已经看了这么多不同的设备，我正在变得更好。这非常令人兴奋，我觉得真正改变了整个输入的是IMU的廉价和质量的提高。我越来越意识到他们无所不能。如果你有任何问题，只要加个IMU进去，它可能就会在某种程度上有所帮助。这是我从中得出的底线。所以看到人们如何以非常聪明的方式使用IMU，并将它们与其他传感器组合在一起，例如STEM，在噪声校正和也可能在场校正方面它们也融入了IMU，我还不确定，真的很酷。你也有一段时间使用Razer Hydras，也试用了最新的STEM版本，并谈到了它们在磁场干扰等方面的一些问题。你是否有机会尝试过最新的版本，以及对STEM的看法？是的，我自从SVVR以来就没有尝试过新版本。我一直与6 Sense保持着松散的联系，他们和我交流，我也和他们交流，但因为某种原因，我们从来没有建立起任何形式的合作关系。我对他们的系统没有内部了解，对他们的任何硬件都没有内部访问。所以我只能看到他们公开展示的东西。而事实上，电磁跟踪技术早在很久以前就已经存在了，它是上世纪九十年代初的首选技术，因为没有其他方法可以追踪三维位置。因此，我们从那时起就知道这种技术的缺点。无论你在设计你的设备时做得多么好，无论你在包裹线圈时做得多么正确，无论你在工程上多么出色，物理学都会成为阻碍。一旦环境中有任何一种类型的磁性或顺磁性的材料，系统都会遇到问题。整个电磁场被扭曲了，这完全是设备外部的事情。它不可能意识到，因为空间本身被扭曲了。基本上，这就像重力弯曲光线一样，而磁场则弯曲电磁场。如果只有电磁场，除非通过一些外部手段进行校准，否则没有破解的办法，我在我的实验室里做过这种校准。当我们使用电磁跟踪时，我确实经历过很多次，尤其是在90年代末到2000年初，当时没有其他选择，我有一个校准装置，你可以将你的电磁跟踪设备带到空间中已知的位置，然后记录系统的输出，构建出这个畸变系数的网格。你可以做到这一点，而且它有效，但这是家庭用户永远无法做到的。你需要一些特殊的硬件设备才行。即使在这种情况下，你只需要把口袋里的一串钥匙拿出来，一切又都乱套了。所以从根本上说，这是非常困难的。当然，它的好处是易于操作，并且可以以非常高的帧率和低的延迟进行操作。所以Sixe Sense一直在努力做的，纯粹是基于外部观察，就是将电磁跟踪与其他传感器结合起来。他们再次使用IMU（惯性测量单元），他们的具体做法还不太清楚。当然，IMU可以大大减少噪音，因为它们对瞬时旋转和加速度非常敏感，这是电磁跟踪中的问题。所以如果将这两个结合起来，你可以消除噪音，但仍然可以获得位置的准确性。还有一种潜在的方法，我还没有完全研究清楚，就是你可以在使用系统时，通过IMU来动态地映射磁场。这是非常深奥的，如果他们真的在考虑这个问题，我不知道。这可能是可能的，但我不知道是否可行。这是一个有趣的想法，我也不知道他们是否在这样做。所以我看到的是他们在尽可能多地利用传感器融合，在设备中获得最好的跟踪质量。我必须说，对于一个电磁跟踪设备来说，我在SVVR试过的那个真的非常好。它有典型的问题，我把钥匙放在口袋里，然后将它们放在天线上。当然，一切都变得混乱了，但他们无法做任何事情。这就是游戏规则，这显然比螺旋桨水车跟踪系统好得多。我没有进行一对一的比较，但我可以说，目前这个系统可能比那些存在了很长时间的高端电磁系统更好。它们是非常昂贵和非常棘手的系统，而我会说，他们已经达到了那个水平。所以他们现在面临的问题不是如何改进他们的电磁技术，因为这一点上，他们必须通过传感器融合来克服它的局限性。我非常好奇他们最终将做出什么样的成果。毫无疑问，它是一个有希望的设备，原因就如我所说的，延迟、帧率和漂移自由的位置跟踪是必不可少的。是的，你提到了传感器融合很多次，我在想的就是结合基于摄像头的技术和三维深度的技术，比如leap motion以及电磁技术和IMU的结合，这种结合把所有最好的东西都结合在一起，听起来很有前途。这是个好问题，我的意思是有几种很有前途的组合。其中一个是光学和惯性的组合，这是一个很棒的组合。我们很久以来都知道这个道理。它并不完全是PlayStation Move的原理，因为它们是分开处理的，位置和方向。当然，d k two正在这么做。另一个很好的组合是惯性和超声波，这是一些高端跟踪系统所使用的，我们也在投影室和大型显示墙上使用了一些这样的系统，基本上是声纳+惯性。这是一种非常稳健的系统，几乎没有遮挡问题，但是这也是一种非常昂贵的系统。除非有人将其大规模商业化，但目前它非常昂贵。所以如果将这两种结合起来，你可以看到它们的共同标准是IMU。正如我所说，这些东西可以做任何事情。那么电磁技术如何与IMU结合呢？我已经说过了，这是非常深奥的，但可能奏效。将电磁技术与光学技术结合起来，这可能是另一种成功组合。我还没有见到有人这样做。好吧，实际上，我在我的实验室里研究过一点，因为我碰巧有一个光学跟踪系统，当然，我也有Razer Hydra。所以我做了一个小工具，可以通过将你的电磁跟踪与光学跟踪结合起来，通过后备电磁跟踪来绘制出你的跟踪空间，以获得畸变系数。然后在使用过程中，你将不使用光学跟踪，而是只使用磁性跟踪，并使用畸变校正，这效果非常好。但它不容易在家里设置。问题是只要你有两个绝对定位设备，比如电磁跟踪和光学跟踪，你就必须相互校准，这不是一个很好的用户体验，我可以在我的实验室里做这个，我随时都可以，但这不是一个普通用户想要做的事情。听起来非常居高临下，但因为这确实不是一个简单的过程。我很惊讶的是，Oculus是如何解决d k two跟踪摄像头的问题的，它是如何自我校准的。说实话，我没有预料到他们会做得如此出色。他们确实做了一份非常好的工作。所以如何将这两个结合起来？我不太确定如何将它们都放到同一个桶里，那将是有趣的。这是需要有人去尝试的事情，我猜想，当你把它们放到一起时，你可能会看到收益递减，因为你会看到这些东西彼此对抗。正如我所说，拥有一个瞬时的系统，比如IMU，和一个延迟的系统，但具有高精度的光学系统，这是一个逻辑的组合。但是如果它们几乎已经具有相同的好处并将它们结合起来，这可能只会增加复杂性，而不会在性能上带来太多好处。这只是猜想，就像他们在这里喜欢说的那样，我认为有人必须去尝试，看看它是如何运作的。但总的来说，我认为传感器融合确实是关键所在，所以我有点后悔从硬科学转向柔性科学。在某种程度上，我正在从数据可视化转向人文科学的方向发展，我从事的研究是地理空间信息方面的。也是通过这个VR实验室和逼真感来推进的。也许你可以再详细介绍一下，关于你希望从这个实验室中看到的东西。嗯，这不完全是迁移，因为我们一直在不时地进行这方面的工作。例如，很多人不知道，在2007年的一次现代舞表演中，我们使用了身体跟踪和3D可视化来增强舞蹈表演。我觉得很棒，你可以看看，它叫做“倒塌的东西。”所以我们过去做过这方面的工作。而这个新的合作是因为在UC戴维斯分校，我们有一个叫做“技术文化研究”的研究所，它是人文科学和科学工程学科之间的跨学科部门。所以他们做各种各样的事情，从电影制作技术到特效，再到三维建模和现代表演等，当然还有技术组件。这个新实验室是这个机构的一个衍生项目，我不想详细讲太多，否则我会弄错，项目主任也会生气的，所以，Colin，原谅我吧。这是一个与加拿大滑铁卢大学（University of Waterloo）的一个关于游戏科学和游戏技术的联合项目，从社会影响的角度来看，不是从编写游戏的角度来看，尽管他们也在做一些。所以这让我们有了资金来建造这个新的VR实验室，我们将研究人们如何从人类角度与VR空间互动，以及人们如何与VR游戏互动。我们还将使用它来研究是否可以数字化增强传统表演。我也没有多少机会详细介绍它，但是在5月中旬，我们制作了一个虚拟的增强现实混合媒体剧场表演，这个表演是在一个正常的演出空间进行的，然后在三个不同的VR站点有一个一个Oculus Rift DK 1、一个Razer Hydra和一些连接设备来捕捉空间中的人物，所以这些三个空间是分开的，它们在同一个房间里，所以观众可以看到它们，但它们位于房间的不同角落。但是这些空间中的演员可以通过我们的协作基础设施实际上相互表演，然后还有演员在现场走动，只是走进所有这些空间，还有一个大型的投影仪，所以观众可以看到共享虚拟空间中发生的事情。这真是太棒了，它是如何工作的，我们将在这个新的VR空间中进一步探索这些内容。因此，我们将使多个人身穿头戴显示器，位于同一个物理空间中，并同时在物理和远程上相互交互。我们排练这个表演期间，让我印象深刻的一件事是，我们有两位演员位于不同的空间，他们试图进行远程拥抱。所以他们进行了远程拥抱，只是假装而已。有趣的是，同时在另一个空间，有两位演员正在进行物理的拥抱，因为他们在同一个空间里。如果你看那3D视频，你实际上无法区分它们之间的区别，看起来完全一样。这就是为我带来的惊喜，哇，这真的起作用了，这些人不是精神体，他们已经排练过一点，但不像我希望的那么多，他们能够完成一些非常个人、亲密的事情，而且能够以不需要很长的距离的方式完成，但是足够长的距离，他们在现实中是做不到的。而且它只是起作用了，你真的无法分辨出来。对我来说，这是把这个想法付诸实践的东西，是我真正应该去做的事情。这绝对是一件大事，这就是为什么我一直在更多地涉足远程接触领域，为什么我们正在建造这个新的实验室的原因。是的，最后，还有什么没有说到的地方，您希望我能补充一下吗？哦，我非常确切地意识到，保持联系。我的意思是，你看到我在做什么，你在Twitter上关注我，我想这可能是与我保持联系的最好方式，关注我在那里所做的事情。太好了，非常感谢。哦，不客气。