Voices of VR播客。我叫Jason Gerald，我在虚拟现实领域已经有一段时间了。实际上，今年是我进入虚拟现实行业的第20个周年纪念。在这个20周年纪念年里，我将在CGraft推出我的新书《VR设计与交互感知》。这也是我在虚拟现实行业的第20个年头，也是我在CGraft的第20个年头。具体来说，在这次会议上，我代表CGraft。我们将在CGraft会议上举办一个比赛，展示三个最佳的虚拟现实体验。开发者将在舞台上展示他们的虚拟现实体验，观众将投票决出最佳，并给予获奖者一些尚未确定的奖品。我很期待在比赛中看到一些令人激动和创新的内容。SIGGRAPH会议聚焦于图形技术，我猜他们可能会寻找更加逼真的虚拟现实体验。是的，Seagraf历史上与电影有很大的关联，它涵盖了从网页设计到电影等各种方面。但电影是该会议的重点，至少在过去的10年中是如此。回到20世纪90年代，他们对虚拟现实非常热衷，现在，当然和其他人一样，他们也想重新进入虚拟现实。因此，他们在今年的会议上将大力推广虚拟现实。我们将举办一个展览，目前还没有确切的数字，但大约会有50家展商。与硅谷虚拟现实活动类似，只有最佳的展品参展。因此，您可以谈一下您的虚拟现实书籍以及您所尝试的内容和目标受众吗？当然，我来自技术背景，我是一名工程师，但我最近意识到有很多其他人在做很好的工作，包括硬件制造商和开发者，所以我把这本书更多地转向内容创作和设计。帮助人们理解虚拟现实中的高层次问题，比如晕动症或如何与虚拟世界互动。现在有一些很棒的内容，但大部分显示的内容基本上只是环顾四周，例如，您不能低头看到自己的身体，也不能在很多体验中使用双手。有一些例外，但如何在虚拟现实中有效地互动还不太清楚。因此，书中有一个章节专门介绍互动。我提供了大约16种不同的互动模式，例如行走作为一种模式，以及该模式的子集——具体的行走实现方式。所以您可能会有一种原地行走的模式，类似于Stomps有一个非常好的原地行走系统，您通过坐下来来模拟行走。这样做的好处当然是您不会感到疲劳，您可以更长时间地进行这种活动。但您也可以实现真正的行走系统，即您有一个大房间可以在里面行走。在这些模式中有不同的技术。或者您也可以使用一种直接的手部技术，这是最直接的方法，您只需伸手去抓取物品。但是还有一些延伸的技术，您可以使用可伸缩手臂到达远处并抓取比实际距离更远的物品。所以从尽可能复制真实世界到实现该目标非常重要，尤其是在进行培训模拟这种情况下。对吧？例如，如果您想要培训某人在其个人区域工作，而不是将他们的手臂伸到无法实现的远处，那么这是很重要的。但在其他情况下，如果是娱乐应用，也许伸手到远处也没问题。没有最佳技术或唯一答案，这取决于具体的项目。因此，我尝试展示不同情况下的优势，以及如何减少模拟器晕动症或设计的迭代阶段是怎样的。从您必须非常宽泛地定义项目的开始阶段，然后定义项目，然后从用户那里获得反馈意见，这是所谓的学习阶段，然后当然要不断重复。在虚拟现实中，比其他任何行业都更重要的是迭代次数，因为目前还有很多未知。我们并不知道所有的答案，所以你必须不断地测试。不仅要自己测试，还要得到真实用户或甚至是那些对虚拟现实没有经验的人的反馈。这就是我在书中涵盖的内容。是的，听起来您通过咨询虚拟现实并创建自己的体验，将所有学到的教训汇集到这本庞大的虚拟现实书籍中。没错，这是一个挑战，因为如果你是一个游戏工作室，那会和你是一家军事机构是非常不同的，军事机构会有一些要求，对吧？你必须在一开始就制定这些要求，然后实现与其他已经定义好的系统进行接口。而游戏工作室可能不会这样做，但他们可能会制作故事板或进行其他一些军事机构可能不会做的事情。因此，在迭代设计阶段，没有一种特定的流程，告诉你应该如何做事。这非常取决于项目，甚至在项目的不同阶段，你可能在最初的几次迭代中并不会做太多事情，你只是对这些定义进行宽泛的规划，随后你会回来重新定义这些内容，并根据情况甚至重新定义不同的流程。因此，这本书并不是说这就是如何做虚拟现实的。这只是一些建议，可能适用于你的项目，你可以自行选择适合你项目的内容。是的，书的副标题是感知，而感知在虚拟现实中显然是一个非常重要的组成部分。那么，您在书中涵盖了关于我们感知系统的哪些内容？哦，我在感知章节上非常专注。人类心理学和感知真的让我着迷。虚拟现实让一切都汇聚在一起，我们需要每个人的参与，不仅仅是像我这样有着工程背景的人，我意识到我不能画画，所以我们需要每个人的参与，特别是理解心理学和神经科学，了解我们如何感知现实。因为如果我们要复制现实，我们可能在理解虚拟现实之前应该了解真实的现实。从人类的视觉开始，显然是很重要的，你知道，什么是视觉敏锐度和一些数字，但在更高层次上，我们如何感知现实本质上，即使现实本身也不完全真实。对吧？因为我看到的是，光子达到我的眼睛，不是物体达到我的眼睛，它只是光线从物体上反射然后进入我的眼睛的表示。所以客观现实和主观现实之间存在差异，在不同的层面上出现了这些幻觉和错觉，所以我讨论了不同类型的幻觉以及它们为什么会发生以及不同的感官模式是如何结合在一起的，例如我们如何将声音和视觉融合在一起，你知道，就像是腹语术效应，即声音看起来来自你所看到的地方，尽管实际上不是。还有位置感觉，知道自己的手在哪里，你知道你可以有多大的幅度的松懈，不一定要实现在某些情况下的完美跟踪。还有你必须要有这个前庭感觉，我想每个人对模拟器晕动症或晕动症的问题都非常了解，或者它有许多名称。但如果它们没有很好地同步并且没有很好地配合，那就会有问题。一切都归结为感知。在这个领域中，我认为最有趣的研究人员之一是Mel Slater，他关于虚拟身体所有权幻觉和他所做的一切工作令我着迷。当然。Mel Slater真的是对于存在感（presence）的研究非常有造诣的一位学者。存在感和沉浸感（immersion）有不同的定义，但是Slater和其他一些学术界的学者主要将存在感定义为我们自己的心理中，对屏幕上的像素的心理感知。所以，VR头显的视野和分辨率是沉浸感，但我只要闭上眼睛，就算你给我世界上所有的技术，至少在直观上，闭上眼睛也无法获得那种存在感。所以存在感存在于大脑中，而沉浸感是技术上的一种客观性质。Mel Slater更进一步，他谈到了虚幻的地点，即如果您尝试过一个很好的虚拟现实体验，您会感到自己仿佛在另一个地方，即使我们现在处于展馆，您会感觉自己处于另一个虚拟或者实际的现实环境中。所以我将这些东西跟Slater有一点不同的观点，因为他对此的观点多少带有点学术倾向，但我将其划分为一种能够获得物理空间的幻觉，这也是Slater经常谈论的。然后还有一种社交存在感的幻觉，对吧？所以，如果我是一个头像，我与您交谈时，肯特，就像您实际上在虚拟现实中，在虚拟现实空间中，我会有一种与您交谈的幻觉，哪怕您没有实际在那个空间中。因此，我将存在感的不同方面拆分开来，以及我们如何感知这些虚拟现实的幻觉。是的，我有机会与Mel和北卡罗来纳大学的Richard Skarbez进行了交谈，他们一直在研究这个领域，我所了解的是，存在感由地点幻觉和合理性幻觉构成。Richard将合理性幻觉称为协调，即一切都是合理的，有目标性，并且您可以在这个世界中产生影响。这是我对存在感的理解方式，即您需要这两个方面的支持，合理性和沉浸感，才能获得完整的存在感。但最敏感的是合理性，如果有任何细微的错误，存在感就会受到影响，而不是沉浸感，后者主要由技术因素如帧率等决定。保证整个世界符合我们的期望，我认为这是存在感的另一个关键组成部分。非常有趣。是的，我非常了解Rick，我们有一段时间没有交流了，我们谈到了这些，他可能会对这方面有一些新的构思，这对书中的内容也是有益的。听起来那些社交存在感可能可以被视为信息和社会的协调。我认为他的观点是，人们过于关注沉浸感，而忽视了整个世界的协调。他认为，非常关注的地方是沉浸感，但对于整个世界的协调性，也就是让所有事情让人觉得合理的感觉，而且你可以拥有自己的权利，对世界产生影响，我认为这是存在感的另一个关键。非常有趣，我非常了解这一点。是的，是的，我很了解他，我们之前交谈过，他将存在感和存在的合理性分离开来，后者是指一种感觉，即正在另一个地方，而前者是将世界构建成合理的整体，以满足我们的期望。我认为我将存在感分解为虚拟物理空间的幻觉和社交存在感的幻觉。确保社交线索的保持，消除任何异样感，避免违背规则打破预期，以及避免打破并呈现中断。明显地，中断会破坏对现实的错觉。突然间，你意识到我在这个展厅，而不是在这个虚拟世界中。在认知上，你意识到我们还没有被完全愚弄，完全相信我们身处其中那个世界，但我们的脑海中的“蜥蜴大脑”似乎相信我们称之为“内脏过程”的那部分，你知道，我们在非常情绪原始的层级上感觉到我们的思维在折叠。是的，我从I Triple E VR中了解到的另一个教训是，混沌谷存在于多个维度上。理查德所说的不仅仅是化身，还有声音和其他一切，你可以降低保真度而仍然拥有真实的存在感和一致性。但是当你开始追求高保真度时，你必须拥有逼真的触感、逼真的声音和逼真的一切。因此，你倾向于追求这一点，但是一旦你开始朝这个方向发展，你可能会陷入混沌谷的陷阱。我很好奇，就像当你在向不同的公司提供建议时，如何引导他们在创造真正深刻存在感的同时，选择适合的保真度级别并努力最大化存在感。所以，实际上我将其进行了一些细化分解，给出了几种不同的保真度分解方法：第一是体验保真度，我的体验有多接近内容创作者的预期？所以你会认为你要尽可能接近预期，但事实并非如此，不一定要如此。谱系的一端并不比另一端更好，因为你可能有一种漫游式的世界，在这个世界里用户可以自己编写故事，而你只提供上下文，对于体验保真度来说，也可能是另一端的一种情况，或者你有互动保真度，如果我想要尽可能真实地代表现实，就像我之前简要提到的那样，那你知道，我想要高互动保真度，但如果我想要从手中射出火球，那是不现实的，但这没关系，你不一定想要那么真实。我还有另一种类型的保真度，这实际上是关于世界有多么抽象。所以我们不一定需要逼真的画面，对吧？我可以处在这个卡通世界中，而且如果做得好的话，仍然可以感觉到非常非常真实地存在在那个卡通世界中。你知道，我们不需要被欺骗得像是真实世界一样。现实感电影正在朝着这个方向发展。他们正在追求世界的高保真度。所以，再次说，这取决于你想要做什么。你可以想象一个非常艺术化的世界，只是一种平静的体验。它不一定要逼真。并没有一种比其他一种更好。这取决于你想要做什么。至于具体的例子，就像提到混沌谷一事，有一件非常具有挑战性的事情是代表人物在虚拟世界中移动。你可以预先为这个角色制作动画，让他用腿走路，但是要让这些动画相匹配，让腿看起来很好，看起来他是在正确地走动，这有点困难。你可以做到，但需要付出很多努力。所以在这种情况下，如果你想要快速得到一些东西，不要试图复制腿部，使用没有腿的角色。比如说，你有一个在空中漂浮的机器人，然后你可以由你自己来判断，也许你想晚点再加上腿，但在项目初期，做些简单的东西也可以是很令人信服的。也许机器人在向前移动时只是稍微倾斜一下，你不必担心腿，腿可以看起来更好一些，但是如果腿在任何方面都显得尴尬，你的存在感就被破坏了。像，这个人的腿怎么了？他的腿受伤了吗？我不明白。然后你就会突然走出这个体验。是的，对于SIGGRAPH比赛，我对于追求超高真实度的环境感到犹豫，但我觉得，环境的连贯性很容易被忽视，而这可能会导致糟糕的虚拟现实体验，或者或许只是那半个看起来很棒的虚拟现实体验，并不像某些低保真度的东西那样具有沉浸感或吸引力。这在你发布一张图片，分享一张截图或有一个视频的情况下就变得具有挑战性，因为那个逼真的视频可能看起来更好，但是如果你知道，它存在顿挫，或者导致晕眩等其他问题，你是完全无法从你在实际体验中获得的感受的。这再次回到了我所说的那种内脏交流，它不是我们现在所说的语言交流，而是一种人与人之间、人与计算机之间、人与大自然之间的交流，这是无法用言语来描述的。对吗？如果我坐在山上，俯视着下面，会有一种非常超现实的体验，因为我和大自然融为一体。对吧？我在试图用言语来描述，但任何已经过这种体验的人都会明白，言语无法传达它的意义。这在虚拟现实方面也是一样的。我可以坐在这里，整天喋喋不休，你要想要通过视频来沟通，你也得不到它。是的，我确实发现过这种情况，就像我试图描述我的虚拟现实体验，最后只能说你得自己去体验。这是一件很复杂的事情。我认为生活中有些事情就是这样复杂，你会说没错，你实际上必须真正去那里并亲眼见证。你把沉浸式VR定义为什么？我称之为“本能交流”。所以有不同的级别：有间接交流、直接交流，而本能交流则是直接交流的一种形式。对吧？我们不是把它翻译成言语然后再传达给人，然后人需要解释。所以说任何口头语言，甚至手语都是一种间接交流。是的，我认为这非常重要，我认为这是虚拟现实这种新媒介的关键之一，它能够捕捉人类经验，以一种我们以前从未能做到的方式来影响我们的潜意识感知。就像书籍可以捕捉知识和信息一样，帮助推动文艺复兴一样，我确实认为VR将有助于捕捉我们不能通过其他方式沟通的经验，并推动一种新型的文艺复兴。那么，当你看到这一点时，你认为在未来会有什么可能发生的东西？是的，我的书的最后一部分，当然，就是我对未来可能发生的事情的想法。这实际上是非常困难的，你知道，预测未来是困难的，尤其是像虚拟现实这样的领域，这个领域的前景是如此广阔。对吧？但有些事情…你知道，最终我们会到达直接的神经输入和输出的阶段。对吧？就像现在已经有一些组织可以做到这一点，他们可以将传感器放在你身上，当你想到某件事时，他们可以记录下来，然后通过互联网传达给远程的人，所以即使那个人眼睛闭着，你可以让他们以不同的方式感受到那个东西。直接的神经刺激是非常非常早期的，但这可能是事情的发展方向。我认为还可以使体验更加互动化。现在，它主要是看来看去，你有一个头戴式显示器，这绝对是令人惊叹的，开发者们在这方面做得很好，但这只占了50%的体验。我想把自己的身体放在这个世界里，我想能够低头看看，这可能导致中断，如果我低头看不到自己的身体，我在现实生活中已经望下去很多年了。对吧？但是能够低头看到一个代表，回到我们之前提到的梅尔·斯莱特的研究中，看到我的身体并能够移动我的手臂，拿起东西，能够有一种物理感觉，这会给事物带来完全不同的层次。梅尔所说的一件非常有趣的事情是，当你抬头看到你的身体时，在你一生中你几乎 百分之百的时间里当你抬头看你的身体时，那是你的身体。所以在我们的大脑中有一些东西是有联系的，我们低头看着，然后看到我们的虚拟化身，我们只是接受它。然后，对我来说，这个东西就非常超现实了，这种所谓的虚拟体验所有权错觉，你可以开始像拥有自己的身体一样拥有这个身体，如果你的输入解决方案是成熟的，我们开始有更多的互动，见证虚拟现实对自我感或身份感的影响将会非常有趣。所以，我不知道你是否在你的书中也这样看。是的，就是你的身体，有部分是运动，比如说手臂的运动。如果这方面是可以接受的，那将是一件大事。或者如果你拿一个羽毛，然后你通过视觉看到一片羽毛，然后另一个人过来用一根真羽毛做同样的事情，突然间你会感到非常存在。像这种存在感的水平就被带到了一个全新的层级。所以那就是有趣之处，你知道，同理心，你实际上可以走在别人的鞋子里，真的。你无法在现实生活中做到这一点。不是吗？这是VR的一个很好的例子，它在其他媒介中无法做到的事情。我认为其中的原因是因为我现在穿着这件黑色夹克，但我仍然知道这是我的胳膊。对吧？我的身体已经习惯了我看到不同类型的衣服。所以，假设我看下去，我的皮肤更接近那个的话，你知道，从我的思考中，从一种本能的原始层次来看，我不会对它进行评判，哦，那不是我的肤色。当然不是，我可以穿任何颜色的衣服。所以我们可以在其他身体里看到自己，这是很棒的例子，虚拟现实中能做到而其他世界做不到的事情，我认为其中的原因是，我坐在这里，一整天都说个不停，你仍然不会理解，直到你试过虚拟现实体验。当你试图通过一个视频来传达时，你得不到它。是的，我确实发现过这种情况，就像我试图描述我的虚拟现实体验，最后只能说，你只能去体验一下。这是一件非常复杂的事情。我认为生活中有些事情就是这样复杂，你会说，不，你实际上得真正到那里去并见证它。你如何称呼沉浸式呢？我称之为“本能交流”。所以有不同的级别，有间接交流、直接交流，而本能交流是一种直接交流的形式。对吧？我们不是把它翻译成言语然后再传达给人，然后人需要解释。所以说翻译成任何口头语言，甚至手语都是一种间接交流。是的，我认为这非常重要，我认为这是虚拟现实这种新媒介的关键之一，它能够捕捉人类经验，以一种我们以前从未能做到的方式来影响我们的潜意识感知。就像书籍可以捕捉知识和信息一样，帮助推动文艺复兴，我确实认为VR将有助于捕捉我们不能通过其他方式沟通的经验，并推动一种新型的文艺复兴。那么，当你看到这一点时，你认为在未来会有什么可能发生的东西呢？是的，我的书最后一部分，当然，涉及到未来可能发生的事情。这当然非常困难，你知道，预测未来是困难的，特别是对于虚拟现实这样广阔的领域来说是如此。对吧？但有些事情……你知道，最后我们会走向直接的神经输入和输出。对吧？实际上，已经有一些组织做到了这一点。他们可以把传感器放在你身上，当你想到某个东西时，他们可以记录下来，然后通过互联网传达给远程的人，这样即使那个人眼睛闭着，通过各种方式他们仍然可以感知。直观地刺激。所以这显然是非常非常早期的阶段，但可能是事情发展的方向。我还认为让体验更加互动化。现在大部分是向周围看，你有一个头戴式显示器，这绝对是令人惊叹的，开发人员在这方面做得很出色，但那只占了50%的体验。我想把我的身体放在这个世界里，我想仰望，这也可能干扰存在感。如果我仰望而看不到我的身体，那对我来说可能是一种中断，我已经将头低下很多年了。对吧？但是能够仰望并看到一个能被接受的形象（以梅尔·斯莱特的研究），看到自己的身体，并能够移动我的胳膊，拿起物品，并能够有身体上的感觉，这将把事物提升到一个完全不同的层次。梅尔所说的一点非常有趣的是，当你抬头看自己的身体时，你的整个生命中几乎百分之百的时间都是看到你的真正身体。所以在我们大脑中是有一种连结的，我们抬头看，然后看到我们的虚拟化身，我们只是接受它，而且对我来说，这就是真正超现实的所谓的虚拟身体拥有错觉，如果你有足够高的保真度，你只需开始拥有这个身体就像是你自己的身体。他们说只需要一个足够接近的身体跟踪，这是咋们今后交互解决方案将起作用的方向，这样作为输入解决方案的时候，当我们开始有更多的互动时，真实感的所有体验将会变得非常有趣。所以，我不知道你是否在你的书中也看到了这一点。是的，你的身体，更多的是动作运动和一些感觉的运动，如果达到合理的程度，那将是一件很重要的事情。或者你可以拿一根羽毛，用视觉上的方式搓一下，你看到的是一根羽毛，然后另一个人接过来用一根真羽毛完成同样的动作，突然之间你会有一种非常强烈的存在感。这个存在感的层次被提升到了一个全新的层次。所以这些功能在VR中能够实现，而在其他媒介中是做不到的。这是VR比其他媒介更引人注目之处的一个很好的例子。对吗？在这本书中有一些我没有想到的东西。你知道，我介绍了一些我尝试过的优秀内容，并与不同的开发者进行交流，我想，朋友，你介意我在书中展示这个吗？我很想让你成为卓越者，非常好。那么接下来你有什么计划呢？当你在虚拟现实领域前进时，有什么新的事情等着你吗？当然。接下来的计划就是完成这本书。你可以说它差不多完成了，但还需要进行整理和清理。我正在请一些评论者审查这本书，它将于8月9日在Seagrath上发布。我会整理好生活并重新开始工作。你知道，有人会说，哦，你终于可以休息了，但不，现在不是在虚拟现实领域休息的时候。这太好了，不能错过这个机会。好，最后，你认为虚拟现实可能会达到的最终潜力是什么呢？我认为，你知道，我实际上是在昨晚（准确地说）进行了一次对话，虚拟现实有潜力成为一种平等化的工具。随着成本的下降，每个人都可以接触到虚拟现实，并以一种非常直观和自然的方式进行交互。这样任何人都可以使用它。不像是你必须学习编程以及Linux操作系统，我的奶奶都可以进入虚拟现实，那些不懂技术的人也可以与虚拟现实进行交互。你知道，这是有潜力的。我们会看看是否真的会发生这种情况，因为虚拟现实也可能朝相反的方向发展。但是，为了弥合贫富差距，我希望它能够沿着这条道路发展。非常好，谢谢你。好的，非常感谢你的收听。如果你想支持Voices of VR podcast的声音，请考虑在patreon.com/voicesofvr上成为一位资助者。