我是来自德国图宾根的马普生物学控制学研究所的贝蒂·莫勒。事实上，我们希望2年后能举办IEEE VR会议，所以大家都应该来。我的VR经历是，我本科时在一家医院工作，用医疗模拟器帮助医学生进行微创手术的培训。然后我去了犹他大学，学到了需要了解人类才能真正创建好的虚拟现实的知识。对吧？你可能是一个很优秀的设计师，但如果你不了解使用系统或感知系统的人，可能会完全失败。现在我花了很多时间思考人类，并进行了许多关于空间感知的实验，所以在建筑领域中，你如何设计和感知空间，还有与你的身体有关的方面。所以我做了很多自我化身，我可以俯视自己的身体，改变身体的样子，比如变胖或变瘦，甚至完全不同。听起来不错，你知道吗，虚拟身体和认同身体的正面幻想可能能为我们提供一些关于虚拟现实中自我的维度的信息。是啊，没错。我认为在这方面研究做得最好的人之一就是VR今年的主题演讲人Mel Slater。最近我们也一起开展了一个名为VR Hyperspace的新项目。在这个项目中，我们想要做的是，通过人们很容易认同一个不完全像自己的化身，即使那个化身不在完全相同的位置或大小时，让人们感到更舒适。我们在马普研究所的研究中已经表明，如果给人们提供一个完全不同大小的身体，那么这立即影响他们的行动估计。比如，如果我给你一个两倍大的身体，比如这个又高又壮的大胖子，如果我让你评估如何执行一些动作，或者要求你执行这些动作，你会改变你执行这些动作的方式。这真是太神奇了，因为你经历这个其他化身的时间不会很久。Mel做的很棒，我希望他星期三能谈谈这方面的研究，尤其是关于拥有一个孩子化身或拥有不同肤色的化身，以及看看这如何改变人们的态度。我现在主要从事基础科学，再次回到医院工作，与饮食失调的患者一起工作。我们试图弄清楚患有严重饮食失调症的人的大脑究竟出了什么毛病？但我们也试图了解在虚拟现实中使用某种方法帮助他们以不同尺寸的身体看待自己。我们使用了类似Kinect的高端逼真扫描仪仅在一个方面对他们的身体进行调整，即使他们变胖或变瘦。所以说，在视觉现实（VR）与解决饮食失调之间有什么连接？我们在去年才真正开始这个项目，所以我们没有太多可以说的，除了一个有趣的事实：即使是健康人也没有对自己的身体有准确的感知。所以我们从研究健康人开始，看看他们对自己的身体尺寸的感知如何进行测量。因为如果我问你，你是否以度量方式正确地感知你的身体，比如你知道你的手臂有多长？你会说，是的，当然，我可以用它进行操作，所以我当然知道。但事实并非如此。许多科学家已经证明，你感知自己的身体以便行动。我们通过这种感知方式来着手研究饮食失调患者，想了解他们在这方面是否也会有所不同，他们是否会估计行动有所不同。但是关于这个的我们还没有太多可说的，因为我们刚刚获得了资金支持。但是我对我们在明年能取得的成果充满期待。你还要在会议上做哪些报告？在会议上，我实际上帮助其他很多人组织博士生学术研讨会。明天我要听14个申请者学习更多关于虚拟现实的知识。但是周三，我将提出关于社交互动的挑战和潜力。尽管我刚刚谈到了看到自己的身体，但当提到化身时，你是在谈论社交互动。对不对？如果我们走向极端，并想象我，贝蒂，可以在这里，但我也可以拥有真正代表我的真正的虚拟自我，我真的会拥有它，我也会认同它，它也与我有关系，那么我们很明显就进入了社交互动领域。周三，我将与安东尼·斯蒂德和马丁·布赖特一起讨论社交互动及其所面临的挑战，无论是从技术方面还是人机交互方面。我记得Oculus Research的劳拉也应该在这里，但我猜她可能无法参加。在她的描述中，他们讨论了使用HMD进行眼球追踪，以实现VR中的面部表情。所以，关于在VR社交情景中实现完整面部表情和眼神接触的挑战，您能说些什么呢？有许多问题。周三我们有90分钟的时间来讨论这个问题，但很大一部分问题在于时间。正如我之前所说，我们希望看到人们，并将许多社交规则以及现实世界基本规则带入到即使可视化降低的场景中，但我们确实需要时间上的准确性，以避免感到不自然。那是对的。我可以说的是，从技术上收集所有这些信息是一个技术问题。但我认为用消费者技术来说，这一点不会太遥远。当你谈论人脸时，和人体一样，真正困难的是时间问题。对吧？如果你以某种方式犯错，社交意义就会消失，或者发生了改变，用户对此可能感到陌生。这是一方面。而人的动态则是另一方面。当我们在交谈时，我会适应你看我的方式，你的姿势的变化。这其中的微妙之处以及我们的大脑如何迅速处理所有这些信息，这将是很难把握的。作为技术人员，VR人员通常非常重视技术，我们可以说，我们可以使其完美，一切都会变好。但在我们实现零延迟之前，直到一切都完全进入VR之前，这是不可能的。所以我采取了不同的方法，即考虑在VR中我们可以做到什么是独特的。我认为我们可以利用这种技术来评估人的状态，并通过完全不同的人进行渲染。对不对？你会学到你可以成为动物，或者你可以是任何你想去的事物，事实上，在现实世界中是不可能的。那么，也许时间限制可以减少。谢谢。那么，当您在研究VR中的社交互动时，有哪些可以将这些社交互动量化为具体行为或数字的模型或方式？当谈到社交互动时，你必须谈到你所做的许多任务中的一项，对吧？这就是社交互动，是场景中的一个面试的场景，你必须先了解在现实世界中这种动态是如何工作的，然后才能在虚拟世界中测量。但一个我们实验室的研究科学家Trevor Dodds所做的很好的例子是我们将它分解为语言学习。对吧，在欧洲，我们经常学习语言，尤其是像我这样的美国人。在语言学习任务中，你经常需要从另一个人那里学习。也就是说，你试图传达一个单词的意思，但你不能说那个单词，甚至可能连与之相关的单词也不能说。所以你必须使用身体语言来传达。因此，你必须找到任务。例如，对于面部，另一个任务可能是两个人之间的物体互动，因为你使用眼睛来实际指示你将要处理的物体，或者其他类似的事情。然后，你必须从所有这些事物中量化成功的定义。对吧？什么是成功的社交互动？对吧？这就是我们在语言学习中做的。成功的互动是猜到对方所说的语言中的单词。我认为这是一个方面，它是科学的方面。当然，消费者虚拟现实方面是人们购买并使用来与家人朋友交谈，并对他们的化身产生认同感，因此为此付费。我认为这已经在某种程度上实现了，但我认为这在许多方面都有着巨大的潜力，可以帮助人们以各种方式进行社交互动，比如那些在社交方面感到尴尬的人，希望能够以无需自己的身体进行互动等等。在一个真实的互动中，我们会进行一些非言语的社交互动，这些互动在虚拟现实中是否也可以发生呢？非言语互动，我的意思是肢体语言，对吧？在我们的实验室以及消费者VR中，通过Kinect等设备，你可以传达一个人的身体语言和姿态。有很多项目正在研究这个。另一件事是在一起，我喜欢称之为三维Skype，有其他人在这，你真的需要和他们交谈。你真的应该与Bern Froelich交谈。他有一个了不起的设备，可以让多个人以三维Skype的方式进行交流，他们通过Kinect进行捕捉并在其他地方进行渲染，甚至可以实时看到自己的虚拟化身。这真是太神奇了。在这方面的想法很多，比如在一起或者在虚拟现实中变身到其他地方。这是非常有吸引力的，因为我们都是从不容易到达法国来到这里的。如果我们能选择出现在这里，我想会有上千个人在会议期间在这等候。另外，模仿是否也是一种迹象，只是模仿其他人的肢体语言表明他们感到舒适？当然。在我之前提到的语言游戏中，我要说的是，我们要求两个人之间更多或更少地保持同步。我们通过更改动画来研究这个问题。作为一个基础研究者，最神奇的事情之一就是我们可以随意改变事物。你和我正在进行交谈，如果要改变我的姿势，当然，我必须自己亲自参与，并且要进行一些不同的运动，或者做一些完全不同的事情。但在虚拟现实中，如果它被用作了解社交互动的工具，我只需放大运动或关闭它，这正是我们所做的。我们观察了在合作中发生的更多或更少的变化，并得出的结论是，对话双方的发言都很重要，而听者（在这种情况下是你，因为我在说话并进行采访）通过他们的身体动作给出了重要的反馈。如果关闭或者以某种方式改变这种情况，就会破坏两个人之间的运动同步。有趣。这似乎也与“不真实谷“现象有关，也就是说，当虚拟现实变得超现实时。它开始变得可怕，或者不像真实或可信，好像你做了一个低保真或风格化的化身。所以我很好奇，你在这方面看过一些作品，关于虚拟现实体验中的化身应该是什么样子，以创造最大程度的沉浸感和存在感？是的。完全正确。事实上，我们正在星期三进行这方面的研究。我的同事Martin Bright和我正在与另一名学生合作，研究风格化角色，特别是在“奇异谷”区域。我们正在问这样一个问题：怎样才能制作出最有效的化身和自我化身呢？当然，你可以询问人们的选择和喜好。我们正在做一些研究，试图了解人们为什么喜欢视频游戏，以及关于化身，他们在游戏中发现了什么，使他们被吸引。但是我们正在做的事情真的很棒，我们正在对人们进行拍照扫描。使用一台非常高端的医学扫描仪，具有高度逼真的纹理和多边形，然后将其变形成各种风格，例如漫威或迪士尼角色，尤其是某个具体的迪士尼角色。我们正在问的问题是，如果你把一个人变形成完全不同的样子，比如漫威或者《超能陆战队》中的Megamind，人们何时会认为它看起来最好？因为风格化的人类并不是他们所做的事情，他们也彻底改变了纹理，并且没有保留我们通常的特征。从目前的研究结果来看（虽然我们正在努力进行出版），似乎在不同的角色中有一些理想化的百分比。关于这一点，你将在星期三听到更多的消息。但更困难的问题是如何精确地进入奇异谷？在自我化身的情况下，你可以通过用户的选择来解决这个问题，比如他们说“我想要那个化身”。但在我们的这个案例中，我们所做的是让人们对吸引力和喜好等方面进行评价，很多其他人也在做这样的工作，试图理解当你开始对这些角色进行风格化时会发生什么，顺便提一下，当你进行人体扫描时（例如使用Kinect），你就是在风格化它，因为你在减少数据，同时我认为这是最大的挑战之一，你以某种方式对时间进行采样，通常在我工作中的情况下，我们往往没有获得足够的面部或手指数据，而面部和手指对社交互动来说非常重要。无论如何，如果你使用现有技术来进行自身化身扫描，即使只是技术产生的一些伪影，你也会以某种方式进行风格化。因此，了解人们如何感知这一点非常重要。你认为奇异谷是什么？为什么人们越是逼真，越不喜欢它？在低保真和高保真之间的光谱上，你能否解释一下其中发生了什么？我认为这取决于你如何定义奇异谷。许多人认为奇异谷是当你看到某样东西，你感到厌恶。你真的像“哦天啊，怎么了？”那样恶心。这里有什么问题。我认为奇异谷是指这种令人不舒服或不自然的感觉，但这不一定是那种让你恶心得要跑掉的感觉。是的，有些不对劲。当你这样去思考的时候，我觉得就跟我们生活中学到的规则有关。一个孩子在这些化身上可能会有非常不同的体验，因为我们已经学会了这些规则，也许在这个会议上还有其他人，他们对社交理解和规则有完全不同的认识，也会有不同的特定。所以我认为问题在于我们所期待的社交互动，人类的外貌和我们的互动方式方面的规则。我认为如果我们针对这些问题展开研究，我们可以独特地进行很多有趣的基础科学研究，因为如果你在波特兰而我来自德国，我猜测你和我看到的人是不同的，并且我们有完全不同的社交规范。我去过波特兰，汽车上的人总是打招呼，这太棒了，但在图宾根，这从不发生。所以你有不同的社交互动规则，与我不同，因此某些自我化身或风格化的角色在你或我身上可能会更吓人。我认为这就是问题所在，我们必须更加个体化地并与个体和群体一起观察这些问题。这非常复杂。是的，我也猜测，你越接近完美，你就会越希望一切看起来正确。是的，这与规则有关。真正让人想到的是，你看到一个小卡通人物的时候，你不知道任何规则，或者你可能从看电视获得一些规则，你可能期待它可爱又友善，或者你期望将它划分为恶人或英雄，你有某些规则和想法。但当它变成一个人类时，你的社交规范就会出现，当它偏离这些规范时，你就开始不得不重新计算所有这些规范或期望。我认为这很大程度上是期望没有得到满足。我认为很多问题可能可以通过合适的期望与当前技术相结合来解决，即便技术尚未完全成熟。但它为正确的互动打下了基础。例如，我喜欢伯恩（Bern）的设置，因为他的设定非常好，有一个非常好的三维扫描和很好的时间信息，但角色上会出现一些缺失。如果你了解这项技术，你就会知道这些缺失是什么意思，如果有缺失，相机就看不见你，而他们试图传达的是真实的信息。在这种情况下，你很高兴看到这些空洞，因为你知道它们没有填补任何东西，你知道你看到的东西是可信的。所以我认为这是一个关于创建技术的背景故事的例子，即使技术实际上没有达到百分之百。但是已经为正确的互动奠定了基础。例如，我喜欢许朋的设置，他有一个非常好的三维扫描和非常好的时间信息，但是角色上会出现一些缺失。如果你了解这项技术，你就会知道这些缺失是什么意思，如果有缺失，相机就看不见你，并且它们试图以真实数据的形式传达这一点。这种情况下，如果你看到这些信号说明它们在某个时间点确实存在，你会感到高兴。我认为这是一个创建尚未达到百分之百的技术的背景故事的示例。如果你能正确地传达你的体验故事中的期望，你可能可以获得目前技术还没有完全达到的效果，但却为正确的互动奠定了基础。现在，例如，我喜欢Tom Bern的设置，因为他真的有一个非常好的三维扫描和很好的时间信息，但是角色上会出现一些缺失。如果你知道这项技术，你就会知道这些缺失是什么意思。如果有缺失，相机就看不见你，而它们试图传达的是真实数据，类似于Skype中我们所拥有的数据。Skype有时也不完美，但是你知道，如果这是显示出来的，那就意味着在某个时间点存在一个信号。所以是的，我个人在虚拟现实变种中的经验是，给我最强烈存在感的是那些不太逼真、更风格化、更像低多边形的化身，更像卡通世界。我不知道是否有研究或科学来验证这一点，即如果环境越逼真，人们的存在感就越小，而如果风格化程度适中，就更容易产生存在感。我也不确定，我知道梅尔的工作，他是本周的主讲人，关于分心和存在感，我认为你之所以产生存在感的原因是因为期望没有得到满足，正如我之前提到的那样。在我们实验室，人们进来的期望非常高，因为我们有一个巨大的动作捕捉工作室，12米乘12米，他们知道他们可以行走，至少在德国是这样的，我们有机器人，我们拥有许多技术，来组织一个演示，但是很多时候我感觉即使是低多边形的东西，他们都会有这样的期望，也许他们能够打开门或触摸物体。这是另一个例子，这确实与期望有关。所以，我认为当你拥有低多边形并且故事很好的时候，这与故事有关，有助于防止你产生存在感中断，比如说，“等等，我以为这样，现在又是这样”。所以我对消费者虚拟现实游戏非常兴奋，因为游戏开发社区知道如何讲述这些故事，他们知道如何防止你偏离故事线或无法达到最终目标，我认为这种VR与游戏开发相结合可能会非常棒。是的。是的。我对这个Max Planck研究所以及它与虚拟现实的联系很好奇。在那里进行更多的VR研究吗？或者你是唯一一个在那里进行VR研究的研究者？不，我了解到德国是VR的强国。就像法国在这方面有很多VR一样，在德国有很多VR。我所知道的Max Planck协会有84个研究所遍布整个德国，它是政府资助的工作，非常棒，你知道，德国人民支持基础科学。在我们的实验室，我认为我们是最好的之一，这也是我10年前去那里的原因，因为它是一个最好的虚拟现实设施，因为我们的主任Heinrich Bultorf非常喜欢虚拟现实，他一直支持创业公司，不仅在VR显示方面，还在触觉方面，大型跑步机，我们有一个由欧洲项目建造的全向跑步机，可能是欧洲最早的之一，那里的设施非常好。但我认为这也是因为德国有很多优秀的研究人员，所以我们从中受益。例如，我们附近的斯图加特的Fraunhofer，他们不像我们，不进行基础研究，而是进行应用研究，但图宾根附近只有一个小时的路程，它是一个非常强大的地方。我不确定确切的原因是什么，我认为部分原因是基础科学，部分原因是我的主任非常感兴趣VR，但是我们有很多汽车制造业，宝马、大众、戴姆勒都有自己的虚拟现实研究设施，所以也许他们在该地区的强大发挥了一定作用。是的，这与在车里的人体工程学和虚拟现实之间的联系很明显，这是一个明显的公司应用。你还提到过你也做过一些重定向行走和动力学的研究，也许你能告诉我你在动力学和虚拟现实问题的研究方面做了一些什么样的研究？是的，当然。我曾经是一个马拉松运动员，所以我对虚拟现实中的动力学非常感兴趣，因为我喜欢跑步，我并不觉得跑步很无聊，但有些人可能觉得无聊，当你开始长跑时，你希望能够在任何城市自由奔跑。所以我了解到关于所有不同的，其中有很多令人惊叹的全向跑步机，但它们很昂贵，而且有用户问题。例如，我喜欢的一种全方位球形跑步机是为特定体重的人设计的，如果你的体重不符合要求，你就必须解决这个问题。你可以嘲笑人类能够很好地适应这些条件，但是，这就是我们要处理的问题。所以我们想让人们戴上我们的头显，背上一个小背包，在虚拟图宾根中自由行走。因为我们有一个虚拟图宾根的模型可以免费提供给任何人，我们已经将其移植到了虚幻引擎和Unity中。如果有人需要，只需发邮件给我们，我们会提供给他们，它已经上载到网上了。无论如何，我们希望人们能够自由行走，探索虚拟图宾根。那正是他所做的，建立在其他伟大的研究者的基础上，我们做到了，效果非常好。人们可以在图宾根市中心行走4公里，而无需进行实验或说“小心墙壁”。重定向行走，如你先前所听到的，或者你也许已经了解到，就是利用感知偏差的原理，方法是通过人们事先在头显上看到的东西，预先改变行走方向。我们做过这样的事情，效果非常好，人们在图宾根市中心可以行走4公里，而无需进行实验或说“小心墙壁”。这是通过我们的前期的期望调整机制，在虚拟现实中走弯路而没有出现意外情况。原来，这个圈必须非常大，但我们可以利用这一点。我们可以利用人们在不知情的情况下进行重定向。尤其是在使用虚拟现实和视觉效果让他们相信他们正在直线行走时，他们会相信。正是这样。而Valve的HTC Vive刚刚推出了Lighthouse系统，可以在15乘15的空间内实现完全可行走的虚拟现实，我很好奇是否可以在这样的空间内进行重定向的技术，或者是否需要更大的空间才能进行重定向行走？是的，我们的空间是12乘12米。在我们的空间内几乎足够了。这是一对一的，但是，进行重定向行走的空间需要大约30米或40米宽，40米长。正如你之前与David Waller和Eric Hudson谈到的那样，他们有大的空间，因为他们使用了一个篮球场。但是重定向行走的问题是用户总是有权利的，对吧？用户总可以转身走向你不希望他们走向的方向，对吧？所以你必须使用能够感知到的增益。就像今天一样，有能感知到的延迟，但人类可以适应。在我之前提到的虚拟管道案例中，我们确实有一种方法来防止他们走向墙壁，因为他们总是可以忽略我们试图用虚拟化身或蝴蝶来分散注意力的线索，让他们不要走进去。他们总是可以做出意想不到的事情。所以我们所做的，其他人也做过，就是用一个停止标志告诉他们转身，然后当他们转身时，我们实际上将世界旋转了1 00%。你知道吗？所以我们一直采用其他的重定向行走技术，以使用户能够去他们想去的地方，因为用户总是有控制权，你希望用户也总是有控制权，所以你需要多种技术，不仅仅是让他们围着圈走。什么是您认为虚拟现实领域的一些重要问题？嗯，我现在最兴奋的是将VR用于患者治疗。对我来说，这意味着使用价格便宜的VR设备，因为你希望能够将其推广到许多不同的地方，许多医院，或者例如在家中进行康复。对吧？所以我不仅指医院里的患者，我指的是那些需要特殊游戏来康复的人。但是其中的挑战，我认为，很大程度上是关于可靠性的。电池寿命，持久性也更长一些，并且能够在无需像你我这样了解技术的人的帮助下正常工作。我认为消费级VR已经解决了许多这些问题，但我认为我们作为一个社区，可能需要更多的计算机视觉技术，更多地转向混合现实。对吧？确保人们在虚拟世界中的同时也能对周围的环境有意识，并以巧妙的方式实现。对吧？所以我们不只是将这些眼镜打开和关闭，而是能够在家庭和医院中无缝地使用消费级技术。这是一个真正的挑战，我是说，我认为有很多挑战，但我最兴奋的挑战是它能为不断增长的老年人口提供很多不同应用的潜力，比如为了老人。而你已经从事虚拟现实工作大约20年了，而过去2到3年，我们在消费者市场上确实看到了对Oculus Rift、Valve、Sony Morpheus、Gear VR和Google Cardboard等产品的很大兴趣。从你的角度来看，你认为消费者VR的发展会走向何方？这非常有趣，因为如果只是从游戏的角度来讨论，那我会说，好吧，这就像另一个游戏机，或者像Wii平衡板一样，是人们在游戏中可能使用的另一种辅助设备。但我认为，正如你所知道的，从你列出的公司名称，还有许多其他公司，虚拟现实并不仅仅是游戏。我不认为。当然希望会推出一些能够让大量人购买消费者VR设备，并享受独特体验的游戏。但是我认为我们已经进入了在平板电脑和手机上游戏的世界，我对此非常好奇。而且也许这是一个更大的挑战，就是如何使VR技术成为手机的一部分，并在社会中得到整合，就像我之前说的那样。但我认为这就是它的发展方向，我认为这是它真正需要发展的方向，如果要达到像平板电脑和手机那样的销量。最后，您认为虚拟现实的最终潜力是什么，它可能能够实现什么？嗯，我喜欢VR。但很难说。就像大多数技术一样，我不知道。它具有潜在的改变生活的能力，就像我们的手机改变了生活一样。我希望当我变老时，它能帮助我保持健康，帮助我与世界保持联系，帮助我更聪明、更有乐趣。是的，我认为VR在各个方面都有很大的潜力，因为我们一直在谈论头戴显示器，但不论是这里还是在ISAMAR和开发者大会上，它的潜力是如此巨大。正如我之前所说的，我对未来对我们自己和在保健领域的人们的潜力最兴奋，还有和我们心爱的人一起使用VR的潜力，比如老年人中的中风患者，我们也在与中风患者一起工作。他们可以使用VR，获得更健康和有趣的体验，这就是我在80岁时遇到困难时想做的事情，我想再次像小时候一样玩。是的，这就是我想要的。好的，谢谢你，非常感谢。和你交谈真是太愉快了。