Voices of VR播客 我是Ryan McMahon，我是得克萨斯大学达拉斯分校的计算机科学和艺术技术助理教授。我的研究主要关注如何使用虚拟现实进行更有效的培训。好的，很棒。也许您可以谈谈关于研究和使用虚拟现实进行梯子爬升技术培训的一些讲座，以及这些研究是如何产生的。好的，我们关注的是建筑和矿业行业的安全问题，其中一个方面是攀爬梯子的技巧和安全性。之前在虚拟现实中并没有真实的梯子攀爬技术，所以在开始培训之前，我们需要让使用者能够进行真实的动作模拟。我们的技术是”模仿攀爬”，你可以用手臂抓住上面的横杆，然后用脚去爬升或下降梯子的横杆。没有实际的物理梯子，只是在视觉上模拟攀爬梯子，对于真实的感觉有多大作用？或者说没有实际上升或下降，假装攀爬梯子的效果如何呢？在没有真实的触觉反馈的情况下，在虚拟现实模拟中，这种假装攀爬是否真实有效？我们的技术对于那些非常熟悉梯子的人来说，提供了非常真实的交互体验，至少在认知负荷方面来说是如此，他们需要考虑如何放手和脚的位置。在我们的技术中涉及到心理运动技能和生物力学问题，这方面我们无法与真实的梯子相匹配，因为缺少了真实物理梯子的力反馈。在佩戴头戴显示器时，也存在一些平衡问题，当你让人们单脚站立或原地踏步时，他们会左右晃动，这并不是非常真实的。但从认知角度来看，它与真实攀爬梯子有着同样的需求，我们认为通过专注于认知需求和教授工人如何将手放到正确位置和如何移动的方式，我们可以提高梯子安全。好的，虚拟现实中的视觉感觉相当突出。因此，在进行梯子攀爬模拟时，如果您跟踪四肢并试图在垂直比例上移动虚拟现实模拟以与之相匹配，即使您根本没有上升或下降，那么在虚拟现实环境中，您是否真的感觉自己在攀爬梯子？那种没有上下移动感觉的感觉如何？所以基本上，我们在这项初步研究中跟踪了手和脚。所以你可以看到你的虚拟手和虚拟脚在移动。我们没有进行全身追踪，虽然我们可以进行。在虚拟现实中，你会非常明显地感觉到自己真的在攀爬梯子，因为在视觉上，你看起来就像是在攀爬梯子。你会看到你的手和脚放在正确的横杆上，你会看到你的视角离地面升起。有些人在攀爬到梯子顶部时非常害怕，只有一个接触点，所以他们会从梯子上掉下来，你可以看到他们有点吃惊。所以从视觉上来说，这是一个非常引人注目的过程，可以传达攀爬梯子的动作。在虚拟现实中进行垂直运动的先前技术有哪些呢？所以垂直运动技术主要分为两种，一种是被称为”神奇技术”的飞行或称为手部引导导航，基本上使用六自由度设备指向您想去的方向，然后按下按钮或向上按下即可飞行。这样你可以朝任何方向飞行。虽然这显然不是非常实际的。而更现实的技术有两种，我们在文献中发现的一种是原地行走。斯莱特和他的同事使用了原地行走的技术，当你遇到梯子时，你开始攀爬梯子。但这里的问题是你没有真实的手部动作。另一种技术是去年有一个关于攀爬梯子的视频演示。他们使用了一个抓握的技术，基本上你抓住一个横杆，如果你按下它，你就会上升，如果你移动它，你就会下降。在手臂动作方面非常逼真，但我们缺少了腿部的动作。最初，我们想把这两个技术结合起来，但实际上并不是很好用，有很多细微的差别，这也是我们在论文中提出的一些小差别。好的。那么，它们是如何结合在一起的呢？你可能可以走一下攀爬梯子的过程，以实际逼真模拟攀爬梯子的过程为例。好的，所以我们通过将这两种技术结合在一起，选择哪一种来控制垂直运动。我们决定使用原地行走来控制垂直行走。所以你首先要做的是使用”触摸和抓握”技术伸手去抓住横杆。现在这个动作表示了接触点。如果你向下移动或向上移动你的手，什么都不会发生，你不会上升或下降。但现在因为我们的技术知道你正在攀爬梯子，当你原地行走时，它允许你将自己推上去。我们区分上升和下降的方式是使用Wii遥控器，用户按下A和B按钮表示他们真的想抓住并上升，他们只使用B按钮表示好，我现在要下降，这会改变方向。关于细微差异，我们意识到的一件事是，在佩戴头戴显示器的情况下，如果一个人一只脚站立，他们会晃动得很厉害。所以我们试图让用户保持他们的手和虚拟横杆完全一致。但一旦他们开始迈步，他们的身体和手就会晃动很大。所以我们在原始接触点周围创建了一个边界框，只要他们的物理手在那个边界框内，我们就假设他们的虚拟手保持在同一个位置。这显著提高了我们技术的可用性。另一个问题是，通常当你的脚在梯子上时，你的身体实际上会稍微向后倾斜，这样你才能看到你的脚。但在这种情况下，你没有什么可以倚靠的。所以为了给用户关于双脚位置的反馈，我们实际上要将双脚放在物理双脚前面大约10英寸的位置，这样他们可以向下看到双脚。这样做有点让他们感觉像是后倾，但并不完全是。你觉得这会影响人们的平衡吗？当他们站直向下看时，可能会感觉像是在后仰。事实上，它产生了相反的效果，有利于他们的平衡。在我们还没有将虚拟脚向前推10英寸之前，人们试图看自己的脚，但他们看不到，他们会试图向后倾斜看自己的脚，然后他们会彻底从梯子上掉下来。通过在物理脚前显示虚拟脚，我们实际上改善了这种技术的平衡。你实际上模拟如果向后移动，就会掉下梯子，那么那样做会不会引起晕动病？是的，所以我们模拟了掉落的情况，无论是如果你向后踏出梯子，还是如果你没有与梯子保持两个触点，我们基本上都让你掉下来。我们将你做过的垂直运动全部倒转，然后让重力发挥作用将你降落到地面上。现在我们没有展示什么残忍的场景，至少目前没有，但你知道，我们可以显示你断了腿之类的事情。所以我想那是培训的一部分，你知道，如果你不正确地使用它，那么就会掉下来。所以，是的，也许你可以谈谈在VR中进行培训的过程，以及你正试图整合在这些类型的模拟中的一些更高层次的概念。当然。我们在虚拟现实中进行培训时，正在尝试充分利用的一种概念是叙事记忆。叙事记忆很像你的第一视角记忆，当你回想起记忆并以第一视角看到自己时，那很可能是叙事记忆。而且叙事记忆通常与情感紧密相关，尤其是像恐惧或极度喜悦这样的强烈情感。在培训中，尤其是安全培训中，如果我们诱发极度恐惧的状态，比如你从梯子上掉下来，你向下看，你的虚拟腿断了，移动得很奇怪，即使你的实际腿没有问题，我们想象我们可以引发一定程度的恐惧，并希望这样能在他们心中形成一个叙事记忆。然后当他们真正站在一个真实的梯子上时，也许他们会三思而后行，不使用应该用的触点。是的，对于创造一种虚构的恐惧感来帮助学习，这似乎是一个棘手的平衡。那么，在决定何时进行真实世界的物理训练时，这个平衡是如何实现的？在真实世界中可能更容易，更快速，更便宜，且更有效，相比之下，进入虚拟环境中。那么，在决定是否进行虚拟现实培训时，您会考虑哪些重要因素呢？所以我认为我们实际上在注重的是在虚拟现实中做那些在现实世界中无法做到的事情。对于梯子，我可以给你一个真实的梯子，明确告诉你如何爬上它，你可以整天都爬梯子。但我不能给你下梯子的经历，而不会给你带来任何实际伤害。通过虚拟现实，我们可以让你体验从梯子上摔下来的感觉，但我们不会真的伤害你。所以我们正在考虑这样的案例。我们认为可以通过使用虚拟现实来极大改进训练的场景，并非仅仅是取代真实世界的训练。还有其他一些在现实世界中难以或者危险的场景，他们选择在虚拟现实中进行。军事是虚拟现实技术和模拟的重要用户，显然，你不会希望有人在真实战场上接受训练，被子弹打过耳朵。当然，他们可以参加彩弹比赛之类的活动，但是无法很好地模拟爆炸等情况。医学领域显然是非常重要的培训领域，因为在现实世界中，患者的生命可能会受到威胁，在这种情况下，他们主要使用模拟。无论何种情况下，生命或身体伤害都有可能成为一个因素，虚拟现实真的应该被使用。那么，您的实验室在德克萨斯大学达拉斯分校为何专注于虚拟现实培训呢？嗯，老实说，我一直想在虚拟现实培训方面进行专注的研究。作为博士生，我没有完全有机会去进行这方面的研究。所以现在作为独立的教授，我可以自由选择我要研究什么，现在我终于可以在虚拟现实培训方面进行研究了。那么，是什么吸引您去进行虚拟现实培训的研究呢？嗯，我认为虚拟现实已经存在很长时间了。当然，最近几年也有很大的进展，但我们确实需要更多的杀手级应用程序。更多能够展示虚拟现实的重要性的应用程序，而不仅仅是用于视频游戏。我认为培训是一个很好的背景，非常适合推广虚拟现实的重要性。最后，您认为虚拟现实的最终潜力是什么呢？哦，这个问题有点难。在不久的将来，可能只需要一个容易设置的设备，最可能是头戴式显示器。如果您能负担得起多个用户在同一空间内，那就太棒了，因为这将能够实现协作。显然，这需要高分辨率。从长远来看，我认为类似于《黑客帝国》那样的东西可能会出现。目前在神经科学领域进行了许多关于人与人之间的大脑信号传输的研究，人们可以从一个大脑获取信号并将其发送到另一个大脑进行解读。对我来说，这表明《黑客帝国》的核心概念可能是可行的。当然，这离我们还有很长的路要走，这项技术还有许多障碍，但我认为最终我们可能会到达那个阶段。是的，这很有趣。我刚刚在这里与人们交谈询问有关杀手级应用的问题。对我来说，我认为神经可塑性可能是虚拟现实的杀手级应用，因为它可以重塑大脑。但是您提到了一些关于大脑信号传输的问题。还有哪些有关神经科学或神经可塑性的见解，您认为这会有助于实现《黑客帝国》那样的愿景，或者能够通过重塑我们的大脑来做一些之前无法做到的事情？我认为最重要的是了解大脑中的神经元如何映射以及了解信息是如何存储在神经元中的。我认为这是神经科学目前在取得重大进展的领域之一，也是他们能够连接两个大脑并使两个大脑相互控制的原因之一。所以，是的，我认为大脑的这种映射非常重要。好的，非常感谢，嗯嗯，谢谢。非常感谢您的倾听。如果您想支持《VR之声》播客，请考虑在 patreon.com/voicesofvr 上成为我们的赞助人。