Voices of VR播客。我是安东尼·斯蒂德教授，来自伦敦大学学院。我从1992年开始在此领域攻读博士学位，所以我已经在虚拟现实领域工作了一段时间。当我们开始的时候，正值第一波虚拟现实浪潮。我们使用的设备来自一家叫做Division的英国公司，他们销售虚拟入口系统。你下订单后，几个月后它就会送到实验室。我本是一名数学家，因为暑期工作和一门有趣的课程，我开始涉足计算机图形学。但是我们很快发现，虚拟现实比仅仅制造沉浸式系统要有更有趣的东西。随后，我在分布式虚拟现实、3D用户交互、系统延迟等各个领域进行了研究，我们和从神经科学到戏剧的合作伙伴一起工作过。所以这是一段非常多样化的旅程。那么你认为人们在从运动到光子之间创造最佳沉浸式体验时应该追求的延迟阈值是多少呢？这是一个非常好的问题，完全取决于你要寻找的现象。我们最近进行的一项研究显示，端到端的延迟低于10毫秒，但局限因素是人体的运动系统，而不是图形。但这并不意味着某些情况下需要低于1毫秒的延迟，比如快速运动时的眼睛稳定性。所以回答这个问题非常棘手，对于各种情况来说，追求更低的延迟并让人们构建比当前消费级硬件更低延迟的实验系统是有益的。我们可能会发现对于某些事情，如视觉稳定性，延迟约为20毫秒实际上已经足够多数人使用。这就是为什么这是一个研究问题，目前还没有人知道这些效果是否存在，或者认知系统的不同部分是否需要不同的延迟。但我个人的直觉是效果是没有一个明显的界限的，某些效果可以在毫秒级的延迟下确定下来。那么在合作虚拟环境方面，你们一直在研究哪些问题呢？好的，从历史的角度来看，我们是在90年代末开始构建合作虚拟系统的，努力解决网络问题，试图使语音和特殊音频能够正常工作，并解决大模型的问题，这些都是非常系统性的工作。但是，再次类似的情况发生了，你把它展示给别人，然后你会发现各种有趣的效果。所以我在大会上将会谈论不对称交互的研究。举个例子，我们几年前进行了一项研究，使用桌面用户界面与佩戴头戴式显示器和跟踪系统的人进行合作，头戴式显示器和跟踪系统的使用者成为合作的领导者，其中一个原因是他们在虚拟世界中的图像始终是活动的，他们更容易做手势等等。所以我们开始将其称为不对称交互。不同的界面可能会给你带来不同的社交权力，这与实际权力结构或个性无关。这是好的也是坏的，我们向军方展示过，他们不喜欢这一点，因为穿军装的人通常会成为领导者，其他人跟随他们，但如果将他们放在用户界面或分布式系统中，这会削弱他们由军装带来的影响力或地位，他们就不喜欢了。但对于其他羞怯或在文化环境中感到不熟悉的人来说，这可能使他们感到非常有自主能力，关键是要找到正确的平衡。所以主要的是要弄清楚界面是否妨碍了社交互动，或者是否支持了社交互动。鉴于它正在改变社交互动，这个领域的局限性是什么，以及你如何利用它？还有其他一些你们在研究的领域或者你们多年来取得的不同研究成果吗？我们是一个相当大的团队，多年来我们在3D界面，如选择和操作方面进行了研究，如何在虚拟现实中使用脑机接口，我们越来越涉足触觉和触碰。我们还进行了一些有关感觉运动整合的研究。所以我们在很多领域都有广泛的工作。目前我最感兴趣的是触觉，以及如何使用虚拟现实来控制系统。我特别感兴趣的是远程操作，也就是远程控制一些事物，使用虚拟现实来实时访问其他地方。这是一个巨大的挑战，与其他人所做的事情有所不同，它具有许多有趣的限制，比如重建的真实度，以及如何了解个人与世界的交互方式，因为这可以引导你的计算分析，以及如何处理来自真实环境的海量数据。我们对硬件也非常感兴趣，和许多团队以及多年来的许多计算机科学家一样，我们曾相信像英伟达这样的公司最终会帮助我们更容易构建虚拟现实系统，但实际上他们从来没有真正实现这一点。所以我们现在又开始建立自己的硬件，我认为这是整个领域现在可以参与的事情，以前这是一个非常专业的领域。我来自一个过去总是花费数十万英镑购买SGI设备的领域，你绝对不会碰那些设备，你会把它锁起来，然后同时使用输入和输出。但现在我们可以完全从零开始构建自己的系统，这并不是不可能的。对于某些应用领域和某些类型的用户界面，这已经成为可能，因为有了开源显示器，而且开源系统开发板的性能也急剧提高了。还有在远程操作方面，似乎存在着不真实谷的问题，即拥有更高保真度的事物，你希望它越真实，我很好奇你们是在电视环境中进行低保真度的人物渲染，还是试图完全渲染具有 Kinect 的人物并获得完整的存在感？这是个好问题。几年前，我们有一名博士生做了一个实验，表明如果要渲染高质量的人物形象，那么他们的行为也必须是高质量的。所以拥有一个高质量的人物形象，但举止像机器人是没有什么意义的，反之亦然。如果你想要一些有卡通效果的东西，那么对它的行为的期望就相对较低。因此，在我们的工作中，我们倾向于使用非常简单的人物形象，因为它们没有什么虚假性。有些甚至非常非常简单，不仅因为容易构建，而且因为我们认为这种捕捉人物形象的领域非常困难。已经进行了很多关于捕捉全身运动的工作，但我们对此的经验是，你可以得到全身运动，这很棒，你可以用它做一些事情，但如果没有完全的面部表情，你就只能看到僵尸走来走去，虽然他们做了更多的动作，但你无法与之互动。所以我认为这对于未来几年来说是一个很大的问题，特别是在远程存在感方面，因为如果你戴着头盔，要完全重建出脸部并向别人展示将是困难的。这对开发者来说是巨大的挑战。我还想说，远程存在感并不是孤立地研究，它应该是为某种应用领域服务的。在某些应用领域，你可以在某种程度上得到回报，对于远程存在感的研究，它的重点是任务，而不是人物形象。再次，我们与人物形象的经验是，几年前我们进行了一项研究，在两个类似洞穴的系统中进行了合作，他们在那里待了一整天，前15分钟都在讨论他们的人物形象，以及他们不认为它看起来像他们等等，但然后他们开始工作，人物形象不是为了代表他们的外貌，而是为了说明他们的行动。我认为这是一个细微的转变，关键是要把重点放在任务上，比如说建造某样东西，那你就不应该关注人物形象的样子，而是它是否能够忠实地传达一些信息，比如说我感兴趣的事情，我是否朝着正确的方向看，我的手是否在做某事？因为如果你观察现实世界中的合作，很多时候人们并不总是对着对方，只是意识到对方正在朝某个方向看。这就是你可以研究的那种事情。如何进入这个领域非常困难，所以我们与研究眼动的社会学家合作过，他们只是研究眼睛的注视，只研究如何交替对话。所以一个很简单的效应是，如果你观察现实世界中的多方对话，发现在最后发言时，发言者倾向于注视下一个可能会回应的人。这不是一个非常可靠的线索，我当然对它使用了统计学，但是很常见的是，他们注视那些他们期望能够回应的人。为了传达这一点，重要的并不是让形象看起来和我一模一样，而是它能够忠实地传达事物，比如我感兴趣的事情，我朝着正确的方向看。在触觉方面，你们的重点和重要性是在什么地方？在添加触觉到虚拟现实体验中方面，你们研究了哪些事情，测量了什么，进行了哪些调查？首先，关于触觉方面的第一件事是，大多数虚拟现实系统都错过了一个机会，你们有一个整体上的触觉，就是你自己的身体。我们早期在虚拟现实领域学到的一件非常重要的事情是，你绘制一个虚拟身体，人们可以从触觉上使用它，在某种程度上使用触觉系统，虽然你实际上没有引起虚拟触觉，但你是在引导人们思考。所以这是一件事情，你已经拥有了所有这些身体，虽然你可能没有使用它。因此，使用双手触摸双手或者使用手的前后两面等，你正在使用我们已经拥有的东西。然后是创造外部触觉的领域，这是一个巨大的问题，我们拥有大量的触觉设备，例如MOG和Force Dimension等等，关键是它们动作非常有限，它们的质量非常高，人们在触摸时爱不释手，当你伸手去触摸它时，你能感觉到它。但它就像用棍子戳东西一样，只是一个点。所以我认为这是未来的一个巨大挑战，即如何再现那些触觉感觉，你知道，这基本上很难。这是一个非常大的显示表面，它具有非常大的频率响应，并且非常个体化，所以存在巨大的挑战。但我认为在过渡期间，可以做一些微妙的事情，也许是通过手腕戴式或身体戴式触觉设备，使用其他线索模拟触觉线索。至于神经科学方面，你们从神经科学中获得了哪些见解，将其应用于虚拟现实呢？好的，神经科学和虚拟现实是两个很大的领域，要把它们整合起来并不容易。我们从学习中了解到一些我们应该关注的效应。例如，一些关于视觉系统的事情，在虚拟现实中是否可以复制。如令人为之眼动的视觉注意偏差效应。所以这是一个被广泛认知的效应，即视觉心理学文献中的一个现象，如果在左侧闪烁某物，然后在左侧或右侧闪烁他们应该寻找的某事，他们会更快。因为视觉系统会被左侧吸引。现在这个效应可以通过一些神经解剖学来解释，并且可以在虚拟现实中进行研究。你可以重建这些结果，关于立体视觉的感知也可以引入其中。这是神经科学的一个方向。第二个方向是关于身体形象的，这个方向目前还在崭露头角。我相信你们周三要找斯莱特教授详细了解。我认为我们从中学到了很多关于虚拟现实的重要性。现在我们的视觉显示非常好，但真正重要的是你所看到的与你所做的匹配，因为你非常擅长察觉差异。这是我们很久以前就有直觉的事情，但现在因为系统变得更好了，我们可以研究头部运动的频率范围，以及我们的虚拟现实显示是否与我们的本体感觉所告诉我们的一致，或者我们的身体形象告诉我们手臂在哪里。再次强调的是，当你戴上头戴显示设备或站在显示器前方时，你的形象要在显示器中表示出来，这样你才能以你应该具有的方式进行交互。利用你已有的运动知识。当然，虚拟现实还被用作平台进行实验。所以这个是一个非常有前景的领域。例如，研究感觉整合。如果你听到某事并同时看到它，但二者不一致，这在大脑中是如何解决的呢？因为这可以告诉我们系统可能是如何工作的，然后可以告诉神经学家，为什么某些类型的幻觉会相当持久。我认为这是一个非常有潜力的互相合作的领域。建造足够好的虚拟系统，以便能够进行实验。例如，了解自上而下的视觉处理可能如何工作。最后，你对虚拟现实的最终潜力以及它可能实现的能力有何看法？这是一个非常广泛的问题。我在这次会议上看到的情况是，很多人正在解决相当广泛的应用领域。实际上，在虚拟现实在培训、教育等传统应用方面取得了一些进展。所以我认为这是正在发生的事情。你知道，未来可以回到我们所说的那些可能性。娱乐显然是一个非常庞大的领域，对人类非常有益，但培训目前非常激动人心。人们学习技能是技术的很好运用。我希望在本周的其他演讲中也会听到这方面的内容。非常感谢，非常感谢。