Voices of VR播客，我叫塞巴斯蒂安·昆茨，我已经在VR行业工作了13年了。在我开始职业生涯时我在法国铁路公司工作，做培训模拟器。那时我们没有用头戴式显示器，而是用大屏幕。我们还有跑步机和手套来进行互动。然后我在一个叫做Diatours的3D引擎公司工作。它在当时非常流行，就像现在的Unity一样。然后我离职了。接着我创办了自己的公司MiddleVR，我们的目标是简化虚拟相关应用的创建，真的是这样。是的，中间件对于能够与所有这些不同的输入设备进行通信非常重要。也许谈一下您解决这个问题做了什么工作。我们做了很多工作。实际上我们有几个抽象层面。首先，我们抽象了追踪器层面。例如，如果您的应用程序使用一个追踪器，它可以使用市面上的任何其他追踪器。所以它可以使用Razer Hydra，Leap Motion，Kinect和高端的3D追踪器。然后我们有第二层，就是用户层。所以你的应用程序不再询问特定的追踪器在做什么，而是只需要问用户的手在哪里？用户的头在哪里？您甚至不需要关心追踪器了。您只是向用户询问一些关于用户的信息。是的，所以似乎VR输入是一个很大的开放问题，我认为很多人都希望在Oculus Connect会议中发布一个重大的公告，但显然Oculus正在研发一些东西，但没有重大的公告。所以我们有点陷入一种不确定的状态，不知道该如何高效地解决问题一次性解决所有问题。所以我猜，当您看到所有不同的VR输入设备时，您会建议开发者采取什么样的方法，以便不必使用每个独立的SDK来实现所有这些，因为我没有时间这样做。但是否有一种抽象的方法来实现一次并让它能够适用于多种设备？这取决于您希望您的交互具有的功能。我看到可能有两种不同的方式。您可以使用一种在空间中被跟踪的通用操纵杆。所以你手上有一个操纵杆，你可以在空间中跟踪它，并且上面有按钮和轴。这是我们目前所依赖的。我们所有的交互都是基于我们称之为”魔法棒”的操纵杆，就像传统的跟踪杆一样，在行业中我们用的都是这个。在所有的洞穴中你都有一个操纵杆，你有按钮，你有滑块。所以我们可以通过它进行导航和物体的操作选择。我认为第二种方式是直接进行手部交互。所以这是我看到的两个方向。比如你可以进行自然的手部交互，也可以使用操纵杆和按钮。所以当您思考虚拟现实时，我知道您写过一些关于存在感的文章，以及根据梅尔·斯莱特的定义来看，它是如何描述存在感这两个重要组成部分的？所以我们可以说存在感有两个层次。第一层次就像玩游戏、读书、看电影时的感觉，这可能是认知存在感，就是真正欺骗思维，使理性大脑误以为它在别处。但真正VR所添加的是这种低级感知的存在感。你真正欺骗了身体，欺骗了感官。所以你替代了视觉、触觉等等。VR真正是唯一可以添加这个感知层次的媒介，这是非常独特的。是的，所以，我想，对我来说，它感觉就像是一个全新的沟通媒介。那么您认为欺骗我们潜意识，让我们相信我们身处另一个世界的能力有哪些优势？嗯，有很多应用是基于这种存在感的。第一个是你的虚拟身体在这个虚拟世界中转移了，然后你开始担心你的虚拟身体。你可以进行治疗培训，治疗恐惧症，帮助人们克服恐惧。然后你可以进行危险情况的培训，但实际上你是在一个安全的环境中。您还可以进行市场研究，因为当您在VR中时，您会以一种自然的方式做出反应。然后你还可以进行工程测试，测试汽车的可见性，验证设计，测试建筑设计。当您身处这个虚拟的建筑中时，您会有什么感觉？你会感觉到体积，你喜欢材质吗？你对此有何感觉呢？是的，所以看起来空间和我们对环境的反应是我以前没有那么关注的事情，直到我开始关注虚拟现实之后，我开始对建筑和空间更加关注。那么在虚拟现实社区中，他们是如何建立起空间如何影响您的反应之间的联系的？是的，这就是虚拟现实的独特之处。当您与二维屏幕互动时，您面前有物体，但它们不一定按正确的比例，也没有正确的体积。通过虚拟现实，您可以模拟任何类型的产品或环境。它可以是一个非常非常小的物体，可以是一辆汽车，也可以是一个巨大的环境。它可以是一个完整的工厂，可以是一艘巨大的船，可以是一个行星，可以是整个宇宙。您可以真正玩弄这个改变体积的因素，做以前做不到的事情。所以在Oculus Connect会议上，您正在做一个演讲，那么您在演讲中提出了一些重要观点吗？最重要的观点是我希望VR被用来改善现实，而不是逃避现实。所以从工程学的角度来看，你可以使用VR来测试一个还不存在的装配线，你可以用虚拟身体来测试。虚拟身体会告诉你，如果你做这种动作，它对身体不太友好。也许我们会开始出现背部问题，如果你做这个动作太多，我们也许会有关节问题。然后你可以重新设计装配线，这样你可以真正帮助在这个环境中工作的人们。然后你可以进行培训。所以不再是使用CD ROM或视频在教室中进行培训，而是可以实际上练习您将要进行的手势。或者您可以进行疗法，真正帮助您克服对高度、对蜘蛛的恐惧、对飞机的恐惧，或者可以提高对某些残疾的同情心。例如，您可以过上一个坐在轮椅上的人的生活，然后您可以看到，哦，好吧，那真的是艰难的生活。也许我可以做些事情来帮助这些人，这对这方面真的非常有用。在这次Oculus Connect会议上，我们第一次看到了crescent bay，这是沿着C V 1的轨迹的下一个演变。Oculus Rift的第一个消费版本。所以我很好奇，因为您已经看到了几乎所有的头戴式显示器，您能否对比一下与您所见过的其他设备相比，这个设备的优势在哪里？三月份我测试了Sony Morpheus，Oculus DK2和Valve的原型，现在我看到了新的Crescent Bay，这是我这辈子最好的体验。真的。你有很好的分辨率，你有很大的跟踪区域，而且我展示的演示内容非常美丽，是由非常优秀的3D艺术家制作的，真的让我难以置信。唯一不足的是输入设备，我们将如何与之交互？所以这有点让人沮丧，因为你只是四处张望，等待事情发生，但你不能与之互动。是的，当你看着你的手，但你的手不在那里时，这就是经典的虚拟现实事情，每当你让有人戴上Oculus Rift，他们都会举起他们的手，希望他们的手还在那里。所以我希望有一种神奇的手部跟踪设备能够出现，但事实并非如此。所以我觉得有点失去了参与感，我刚刚在这里用STEM玩了光剑的演示。对我来说，这是更有参与感的，我感觉就在那里，因为当机器人球向我射击激光时，你会感受到一种微妙的触觉，我用光剑阻挡它们，只需要晃动我的手。我觉得能够以某种方式与环境互动和参与是感受到额外存在感的关键。是的，确实对我来说，虚拟现实首先是沉浸感，所以你从虚拟世界中得到的输入和互动，你对虚拟世界投入的输入。所以我们目前缺少了一半。非常有趣。相对于您参与VR已有的13年，看到这个领域是如何在过去两年内发生重大变化的，也许您可以谈谈？在这两年之前，硬件进展非常缓慢。所以在Oculus Rift之前，追踪器价格越来越便宜，投影仪也越来越便宜。但是头戴式显示器确实停滞不前，我们一直在等待。所以我们没有使用那些根本不好用的头戴式显示器，而是使用我们称之为洞穴的设备。所以洞穴实际上是一个非常大的房间，通常是3 x 3米大小的房间，这个房间的所有墙面都是用3D投影仪投射的。你在里面拥有很好的跟踪，这真的给你带来了很好的沉浸感。但是这需要很多费用，你需要多台投影仪，你需要多台电脑。但真正的沉浸感非常好，你可以从洞穴中获得很多应用程序。现在你可以用头戴式显示器做到这一点。但我认为我们将得到两个并存的技术，因为在洞穴里，真正有趣的是你可以看到自己的身体。所以你只是戴上类似于3D影院中的眼镜，你可以真正看到自己的身体。这是第一点。第二点是你可以与你周围的人交互，你可以看到他们，与他们交谈，与他们互动。因此，目前与他们进行合作和面对面交谈更加容易，更加自然。但我认为我们也可以用头戴式显示器做到这一点，只要我们能够得到自己的虚拟人物形象和其他人的虚拟人物形象。这会产生两个深远的影响，第一，你可以具有与当前身体不同的身体。例如，在工程学中，如果你想测试汽车的可见性，你可以测试你自己的身体，你自己的身高。或者你可以测试一个更小的人，或者你可以测试一个更高的人。通过以别人的身份感受，你可以立即看到人体工程学问题，看到可见性问题。第二个影响是你将具有远程协作。所以人们不必在同一个地方，他们可以在世界上的任何地方，你可以与他们协作和工作，就像他们在身边一样。这似乎是我一次又一次听到的最大主题之一，虚拟现实的社交方面，以及更广泛地称为远程存在感，即将你的存在投射到虚拟空间中，并感觉自己真正与其他人在一起。因此，我很好奇，因为您已经从企业中来到这个新的消费级VR运动中，您开始看到的关于这些社交体验的令人信服的东西有哪些？我看过很多真正工业的应用程序，你可以与其他人在一起，甚至可以用触觉设备互动并触摸其他远程人员，并感受到远程人员的反馈，这确实非常强大。这也可以与非人物形象一起工作，例如某些AI之类的东西。我喜欢讲述一个我参与的实验的故事，你在一个虚拟酒吧里，跟两个正在争论哪个足球队更好的虚拟人物相处。而且他们彼此之间真的变得非常生气，因为，哦不，我的更好。不， 我的更好。你自己会感到紧张，因为我们是社交生物，我们能够感受到他人的情绪。在某一刻，他们只是看着你，然后他们问：哪一个是你最喜欢的团队？就像，不不不，我不回答那个问题。你们会对我大喊大叫，我不想要那样。所以，与现实中的真实人们一样，你可以通过阅读他们的肢体语言来感受他们的情绪，而这是目前缺失的。所以目前，也许你只能看到人们在头部周围移动，但仅仅这一点就已经非常棒了。你可以看到也许只是头部飘动，但你可以看到他在看什么，如果他在看着你，是否点头。就这一点已经非常棒了。那么你体验过最引人入胜的虚拟现实经历是什么呢？嗯，在今晚之前，很长一段时间以来，我最喜欢的实验是一个让你进入第一次世界大战并扮演一个受伤士兵的实验。所以你在战场上，你睁开眼睛，然后发现你真的坐在一个牙科椅子上。你真的能闻到火药味，能听到声音，还有震动。所以你就坐在这里等待死亡，因为你四周都在炸弹袭击，人们在奔跑，浴血奋战，你真的不知道发生了什么。你也能听到自己的心跳声。在某一刻，一只老鼠爬到你身上，你能感觉到它，因为它对你身体做了什么。你真的有种感觉，哦天啊，我要死了，没错。没什么我可以做的。在某一刻，一个虚拟化身来帮助你，你感到自己被这个家伙拖着。我看到很多人看着这个虚拟化身微笑，就像很自然地，感谢你拯救我。他们真的身临其境。最后，他们死了。这真的奏效是因为在整个实验过程中，共存感没有被打破。它没有被打破，因为互动是有限制的。我认为我们很快会看到，一旦我们拥有了三维输入设备，将会有很多打破共存感的体验，因为你的虚拟手可能会穿过墙壁或者类似的东西。所以你的大脑会说，哦，不，那没关系。那是真实世界中的虚拟现实，我的手不能穿过墙壁，所以这将会破坏共存感。所以这是你必须确保真正起作用的那种细节。否则，这会破坏认知共存感，而认知共存感是最难维持的。如果你考虑感知共存感，这真是一个与你的感知系统如何工作的问题。所以如果有一刻你在靠近高悬崖的地方，然后有个故障，但随后高悬崖又出现了，你仍然会对高处感到恐惧。即使有故障，即使有共存感中断。但是对于认知共存感来说，就更像是卡牌屋转弯，一旦你打破了某些东西，一切都会崩溃，而重建这种信任，潜意识对这个世界规则的接受需要很长时间。所以我认为在虚拟现实中，这将是最难的部分。并非很多人意识到这一点，但这是非常低层面的。好的，你必须拥有非常低的延迟，非常快的FPS。所以没错。但是我们最终将达到如何确保你的大脑接受这个世界规则和一致性的点，这将更加复杂。是的，我认为在时间回想起这个Crescent Bay演示的最后一部分是Epic Games的Showdown，你知道，在慢动作中移动通过这个空间，你知道，物理上被放缓了10到20倍。但是与此同时，你仍然觉得在那里，并在下意识中躲避岩石和子弹。但我对于你提及的这个整体现实与卡通之间的区别非常好奇。那是一个非常超现实的例子，但同时物理性被调整了。那么你对于这个的体验如何呢？我感觉像个幽灵。我没有身体，也无法互动。所以我是个幽灵，任何事情都可能发生。所以我的大脑就接受了这种方式。也许如果我与之互动，如果我的身体碰到了另一个人，我会期待他做出反应。或者如果我碰到一块石头，我会期望它移动。而我不确定我们能否完美地实现这种物理互动。所以我们将会遇到这样的问题。我明白了。在Crescent Bay演示中的具体片段中，有没有一些特别突出的片段对你来说非常引人注目？我最喜欢的是与外星人的互动。首先，它非常美观。然后当你四处移动，他的目光会跟随你的目光。所以他真的在看着你，并且试图与你沟通。这真的很有趣，因为你也想与他互动。我们是社交动物，有人跟你说话，那你就必须回答。如果不回答，那是社交不可接受的。所以你必须和这个家伙说话。但你无法与他沟通。所以你试图尝试一些方式，也许他会对某件事有所反应，然后哦，它没有反应。所以这非常令人沮丧。但与此同时，你在与外星人会面，你会想，哦，也许事实上确实会这样发生，不能与他互动。然后第二个片段是暴龙。他以一种非常电影般的方式，像斯皮尔伯格一样缓缓地向你走来，听到声音，它在3D中建模得非常漂亮和逼真，非常吓人。这让我想起了索尼的Morpheus演示，其中有一条巨龙出现。它非常庞大，就在你面前。在索尼的Morpheus演示中，巨龙会撞击你。即使你知道它不是真的，你仍然保护自己。这真的非常有力量。是的，我想到的另一件事是，在虚拟现实界中，情况有点分裂，就像这个新的消费级VR社区已经出现，但却几乎完全忽略了IEEE VR和学术界以及商业世界在很多很多年前做的事情，出现了这种分裂，这一新事物正在进行中，不真正整合很多演讲者或教训。因为您已经在这两个世界中走了一段时间，您如何看待这种情况的演变？是的，实际上，我认为新的社区并不知道虚拟现实在之前已经存在过。每个人都认为虚拟现实在20年前就消失了，没有人知道虚拟现实在工业中得到了职业应用，并进行了大量的研究。所以我认为我们应该走进这个新的社区，并帮助他们。所以这也是我昨天演讲的重点，我们过去20年一直在做这个事情。这是VR对于这类应用的价值。我也认为我们需要用新的硬件进行新的研究，因为以前的硬件有一定的限制。所以我认为我们必须用这个新的硬件重新做很多研究。看到Facebook和Oculus大力投入研究并引领市场非常棒，因为他们将拥有大量资源，并且他们将与世界各地的研究实验室合作。我认为这非常重要，因为正如我们之前所说，我们实际上并不是在与硬件或软件一起工作，我们实际上是在与人类的大脑和感知一起工作。我们真的不太了解我们如何感知环境，而这是重新创造现实的关键。我们的大脑已经演变了几十万年来去感知这个现实。所以如果你试图呈现一个不如大脑期望的虚拟现实，那么一切都会崩溃。但我们并不知道大脑究竟期望什么。你不必完全重新创造整个现实，我们的感官是有局限性的，所以我们只需要了解每种感官的限制，并利用它来创建更好的应用程序。是的，听这段话时脑中浮现的一个问题就是，我们把所有这些技术用于掌控我们的选择，并真正带我们进入这些其他世界，问题是，很多人会想到，那不就是逃避现实吗？并不是真正帮助你成为一个更好的人。有一种感觉，参观了很多Crescent Bay的演示，一方面，那非常美丽，伟大和令人惊叹，但是，是的，我可以理解会被这些幻想世界所吸引，从某些方面脱离现实。所以对于你的看法我很感兴趣，因为你已经在虚拟现实中待了一段时间，我相信你经常面对这个问题，像是是不是一种逃避现实的方式？好吧，这个问题存在复杂的情感。首先，我想相信VR可以用来改善现实。我昨天演讲的重点也是这个。所有的专业应用实际上都是用来改善现实的。例如，斯坦福大学的研究表明，进入虚拟世界，到达镜子前，然后你看到了你的虚拟自己，你看到你的虚拟头像。所以在一半的小组中，你有一个漂亮的虚拟头像，而在另一半的小组中，你有一个丑陋的虚拟头像。所以已经证明，拥有一个漂亮的虚拟头像的人会更加友好，更外向，更自信。而非常有趣的是，这种自信感来自于在真实生活中的转移，就像在接触VR一个小时之后。他们被告知，这是一个完全不同的实验，去这些约会网站约会女孩，他们证明了那些拥有漂亮虚拟形象的人倾向于和比以前更漂亮的对象约会。所以VR可以用来改变你的自我形象和对其他人的形象的看法，比如我之前说的轮椅这个标志，对其他残疾也是一样有效。但是，是的，你也可以通过VR逃避现实，这是一个哲学问题，这将取决于社会决定。不满意现实生活而在虚拟生活中找到快乐的个体是否被接受？我不知道。我要说的是，把一个人留在电视机前数个小时比在VR中更糟糕，因为在电视机前，你完全是被动的，你是被虐待的，你没有脑子，至少在VR中，你是活跃的，你在做一些事情。这是我希望的。是的，我觉得新月湾的演示很被动，没有太多的内部互动。所以我想这也是我有点抵制说这完全令人惊叹的原因，因为我可以看出来，你知道，缺乏那种关于在虚拟环境中拥有代理和意志的重要组成部分，实际上我认为我们离这个很接近，事实上，加一个简单的跟踪摇杆很容易，所以我认为他们做的最困难的部分就是确保低层次的致在实现一些感知的存在，交互，你可以很容易地添加这个，我不是说好的交互会很容易，但是添加一个简单的输入设备应该是相当容易的，然后我们就能够轻松地与之互动了，然后我们就可以开始这个，再次，如何与虚拟世界交互的新的边界，在这个3D用户交互方面已经有很多研究，我们把它称为3D用户界面，在互联网上找找看它，有书籍，有会议专门讨论这个，已经有很多事情做了。是的，当你谈到照镜子和你的感知时，我想到了Mel Slater一直在做的工作和他在虚拟现实方面的研究，也许你可以总结一下他一直在研究的相关性和重要性。所以我认为他的目标是研究虚拟自身的影响，比如，你大脑是如何接受一个新的身体的？所以当你考虑这个真的很奇怪，我们用自己的身体生活了10年，当你进入VR时，你的大脑在几秒钟内就接受了这个全新的身体，你会想它应该需要更多的时间，但实际上，它只需要当你感受到你的手在动，你看到一个虚拟的手在动，你的身体就会认为，好吧，那一定是我的手，这是唯一的合理解释，所以他一直在研究如果你是一个小女孩的身体里会发生什么，如果你是一个黑人的身体里会发生什么。他已经证明了身处黑人身体中能够显著减少种族主义，因为你会与黑人产生共鸣，然后你会变得更友好、更积极。所以这真正证明了虚拟身体的力量和你自己思想的脆弱性，如果你知道规则，你就可以轻易地被操纵。你个人是否有你最喜欢的虚拟现实研究人员或者你喜欢关注的东西？如果你只是在研究虚拟身体，你必须阅读Mel Slater的作品。然后你可以搜索身体转移，有多个研究人员在研究这个。如果你想了解3D用户交互，你可以搜索Doug Bowman。他和其他研究人员一起写了一本书叫做3D用户界面。所以你可以找到关于这个基础研究的全部内容。我真的觉得所有VR研究人员都在做很棒的工作，你应该去参加会议，比如ItropylvR，每年三月份通常在美国举行，但今年将在法国举行，对我来说很好，但是在线上已经有很多论文可以找到，你可以在谷歌上搜索很多现有的东西，你也可以联系他们，他们非常友好，他们真的希望帮助社区，他们知道很多对我们有用的东西，他们是非常聪明的人，我非常敬佩他们，我总是很喜欢和他们交谈，因为你能学到很多。我知道在今年三月份举行的IEEE VR会议是在Facebook收购Oculus之后，所以这是新闻中非常新鲜的事情，我听说这改变了会议的氛围，也许你可以就你对那个会议的看法发表一下评论？那真的很有趣，因为我认为没有人预料到这一点，然后每个人都在问，那19岁的男孩怎么能做到一款手持显示器，而我们的社区却做不到呢？所以那真是一个震撼，然后他们意识到，现在这将比我们预期的更快，其中一个原因是研究人员有限，也许只有100人或200人在研究VR，然后你有10万或者100万的黑客，他们将会发现新的规则，但是每个人只会发现很小的一部分，我们会把一切混合在一起，也许过了十年，所有的东西都会渗入进来，我们将对VR有清晰的规则，所以你真的有两种发现属于VR的方式，我们有学术方式，它以缓慢的速度发展，因为他们必须发表论文，当然，他们必须非常谨慎地做，所以建立一个真正好的研究实验需要很长时间，但黑客们没有这些限制，他们可以随意测试想法，当然，也许它在科学上没有被证明，但你觉得它会起作用，然后你应用它，5年后，每个人都接受它，它没有被证明起作用，所以是的，最后，你认为虚拟现实的终极潜力是什么，它能提供什么？我认为真正改变世界的第一件事是元宇宙，它将成为一种新的交流方式的基础，所以你将能够与朋友一起，比如说，我在洛杉矶，我的所有朋友和家人都在法国，我只能打电话给他们，这不是我想要与他们交流的方式，而且从这里开始会发生什么？这是一个很大的问题，所以首先，我们会有一些人重建现实，因为这是新媒体的常规模式，当广播出现时，人们只是听歌剧，过了一段时间，他们开始为广播创造特定的内容，电视也是一样，起初，他们展示戏剧剧目，而后开始思考，也许我们可以从照相机中剪辑，我们可以慢动作，我们可以有一个真正新的语法，目前的VR也是一样，人们只是在调整现有的游戏或者模仿现实，但只要我们开启我们的大脑，解锁我们的创造力，接受所有这些新的可能性，然后我不知道会发生什么，但我迫不及待地想看到那一天。很棒，还有什么没说的吗？能在这里真的太令人兴奋了，我迫不及待地想买到新的原型机，我迫不及待地想为它添加更多的交互功能，看看这将如何改变世界，我想成为其中的一部分。非常感谢，非常非常感谢。