VR播客的声音
主持人介绍
我的名字是Kent Bye，欢迎来到VR播客《声音之声》。在1968年12月9日，Douglas Engelbart进行了被普遍称为“所有演示的母亲”的展示。这是在旧金山的计算机学会秋季联合计算机会议上进行的90分钟的现场演示，展示了现代个人计算的基本要素，包括计算机鼠标，这已主导了近50年来人机交互的主要方式。
而虚拟现实(VR)和增强现实(AR)都代表了更自然和直观的3D用户界面新的方式。其中一位领先的研究者是Douglas Bowman，他是弗吉尼亚理工大学人机交互中心的主任，也是《3D用户界面：理论与实践》一书的共同作者，该书首次出版于2004年，第二版将于2017年初发布。
我在2015年3月有机会在IEEE VR会议上与Doug见面，我们讨论了3D用户界面中的五个通用任务，以及他们如何测量和基准测试3D用户界面的一些方法，以及这个领域面临的一些开放问题。这也是今天《声音之声》播客的主题。
赞助商介绍
在此之前，我们有来自Intel Core I7处理器的赞助广告。如果你想体验最好的VR体验，那么你需要一台高端PC。因此，Intel让我谈谈我选择Intel Core I7处理器的原因。我认为VR所需的计算资源只会越来越大。我上网进行了研究，比较了CPU基准评分，并在亚马逊和Newegg上阅读评论。结果发现，i7是目前市场上最好的选择。所以，要使你的VR计算机未来兼容，请选择Intel Core I7处理器。
完整采访开始
这是2015年3月与Doug Bowman的采访，发生在法国阿尔勒的IEEE VR会议上，仅在Valve宣布HTC Vive APP GDC的几周后。
Doug Bowman的背景
我是Doug Bowman，我在弗吉尼亚理工大学的布莱克斯堡任教，是计算机科学的教授，并担任人机交互中心的主任。我的研究小组是3D交互小组。我的VR工作已有约20年，从1994年在乔治亚理工学院的研究生阶段开始，我的第一次VR体验是在Larry Hodge的虚拟电梯中，这是一个相当著名的早期VR演示。从那时起，我一直在从事这项工作。
我的专长是虚拟现实沉浸感的好处，以及通过增加先进显示特性（如立体声、环绕声和宽视野等）获得的效果。我的另一个领域是3D交互技术的设计和评估，我们如何与虚拟世界进行交互以导航、操作、选择对象、下达命令等。
关于3D用户界面的书
你已经为3D用户界面写了一整本书，非常好奇你想要传达的主要观点是什么，尤其是综合多年在该领域的工作和研究。
我们开始这本书项目时，《3D用户界面：理论与实践》这本书的确没有涵盖到那时的所有参考作品，主要是关于如何使用3D输入设备与3D世界交互的学术研究。对于虚拟现实来说，这实际上是标准的交互模式，也就是说，你可能在佩戴头戴式显示器或在某个空间中，但你不希望使用鼠标和键盘来进行交互，而希望使用手或轨迹设备，甚至是全身进行交互。 所以这本书实际上仍然是我们所称的3D用户界面通用任务的标准技术的唯一汇编。
这些任务包括导航、选择、操作、系统控制，甚至文本输入，这些内容也在书中涵盖。书中基于先前工作的指导方针，很多学者对3D交互技术进行了实证研究，比较哪些技术表现更好，哪些技术让人更有乐趣，哪些技术更有吸引力，哪些技术保持着你的存在感等。这本书提供了很多指导方针，以帮助你为你的应用选择最佳的3D交互技术。
导航的开放问题
在消费VR领域，导航可能是最大的开放问题之一，特别是在虚拟空间中导航时，当你并没有实际移动而又不想引起用户的晕动病时，你如何有效地进行导航。
例如，你今天有一张关于导航奇异谷的幻灯片，可以谈谈从低保真度到中保真度再到高保真度的不同导航选项吗？
当然。观察消费VR空间如何在虚拟世界中进行导航是很有趣的。随着Oculus等新头戴设备的兴起，默认假设人们会坐在桌子旁，在电脑前佩戴头显。此时也许只是稍微转头，但大多数情况下，用户仍在使用鼠标和键盘或游戏控制器在世界中导航，这样的标准导航隐喻已经被许多人使用。
难点在于，当你尝试将其与一些物理移动结合起来，如稍微转动头部时，那么你该何时使用头部转动，何时应使用摇杆的虚拟转动？现在我们看到一种转变，越来越多的人对更高水平的身体运动感兴趣。Oculus为DK2增加了一种位置追踪系统，让你在桌面前时可以稍微前倾或后仰。新系统，如Valve HTC设备的实现，允许你在房间内行走，并在你靠近房间边缘时发出警告。
因此人们正在向越来越多的身体导航迈进。但在某种程度上，你也永远会有虚拟导航的元素，除非你能跟踪整个虚拟世界大小的空间，这对大多数虚拟世界来说是不现实的。所以这就是我所称之为中保真度的运动车辆技术的角色——向用户提供身体移动的感觉，但我们没有足够大的追踪空间，我们必须采取不同的方法。
我们要么使用跑步机式的设计，比如我提到的VertuSphere，这是一个“仓鼠球”设计，允许你在虚拟世界中无限行走；还有诸如重定向行走技术，限制你在追踪空间内移动，但给你无尽行走的错觉。
我们发现，在我们的工作中，这些中保真度接口的性能和可用性通常低于高保真接口，后者就是纯粹在追踪空间内的真实行走，或是设计良好的低保真接口，例如游戏手柄。因此，正如你所说，这有点像奇异谷的问题。尝试提高接口设计的保真度，但人们期望其工作方式与现实世界相同。当它不时，用户会感到困惑，需要适应。
选择对象的不同方式
谈到选择对象，有两种方法要么使用跟踪摄像头如Leap Motion等基于相机的或红外摄像头，或者使用一些物理按钮，比如类似stem控制器使用的方法。你对低保真度和高保真度之间的交易如何看待？
这是一个非常有趣的领域，目前消费者VR的趋势与我们在进行VR学术研究时10至15年前的假设大相径庭。那时并没有像Leap Motion或Kinect这样的裸手跟踪器。你总是需要手持某种被追踪的物体，提供物理控制，比如按钮和操纵杆。
所以，我们在3D用户界面这本书中描述的所有选择和操作技术，都是基于用户有某种手持设备，上面至少有一个按钮可以提供离散输入。这是非常有用的。当尝试将这些技术迁移到较新的设备，如LEAP或Kinect时，你必须想办法替代这些离散输入。你可以用语音输入或被识别的手势来实现离散事件，但这些都没有简单按钮按下那么容易或被识别。
系统控制概念的重要性
我认为人们必须面对一个问题，那就是系统控制的概念。那是给你的应用程序提供命令的菜单或任何形式的系统。我们不想在VR中思考这些很多时候，因为我们期望一切都自然、真实，我在现实世界中通常不会与菜单互动，所以我为什么要在虚拟世界中进行这一操作？但这总会出现无论何时你需要切换模式，需要改变渲染风格，需要加载文件。我们在使用计算机系统时所做的任何事情，在VR中也常常需要做到。
我认为，做消费VR的人往往需要苦苦挣扎的就是如何将可用的滑块小部件引入我的应用程序，因为我需要设置值，但我所拥有的输入仅仅是空间中手指尖的位置。我认为这并不是一个容易解决的问题。
虚拟现实用户界面的评价
你看到的那些虚拟现实用户界面中，最突出的实现有哪些？
这其实是一个很难回答的问题，因为通常学术研究集中在单个交互技术上。每年在研讨会上，研究人员都会发表新的选择技术、新的操作技术以及新的运动或交通技术，并将其与现有技术进行比较。然而，在将这些结合到一个完整的用户界面中，保持一致，且相互之间没有冲突的学术研究非常有限。如果你的应用程序需要选择技术，这里有一些选择和被证明是最好的，但这可能与您为您的应用程序选择的其他组件不兼容。我们不会在学术界倾向于构建完整的生产级应用程序，所以我们很少能回答这些问题，这也是事实。
Oliver Kralos的VR UI
我想到的一个例子是Oliver Kralos的VR UI，不知道您是否熟悉并可以评论他是如何实施这些原则的。
当然。是的，我会说这是一个不错的例子，至少是一个工具包，它让你访问所有主要任务，并以一致的方式挂钩在一起，因此尽管单个交互技术可能会有争议，但作为整体来看，这是一个很好的例子。
评估3D UI技术的维度
在评估这些不同的3D UI技术时，您关注哪些维度？是速度、认知负担？
我们总是从基本的任务性能入手，即完成任务所需的时间，准确性或错误数量。但我们确实希望更广泛地定义用户体验。因此，我们可能会测量导航技术如何影响模拟器病，以及操作技术如何影响你在环境中的存在感，或者学习应用程序的用户界面如何影响你的学习能力。认知负担或心理工作负担在这一方面也是一个问题。因此，我们在我们的工作中确实努力测量用户体验（UX）指标的广泛范围。
VR研究的未来方向
关于您未来的研究，您认为目前仍存在哪些重大的开放问题，促使您继续进行相关研究？
我认为我们在这些基本或通用的3D用户界面任务上已经有相当好的技术集，问题之一在于将这些技术转移到更现代化的输入形式，例如使用Leap Motion的直接手输入。例如，技术确实必须重新考虑并重新设计，以使其适合这类输入。另一个我已经提到的问题是，真正研究VR的UX设计，更多地在应用程序级别进行，而不是在基本交互技术层面。我认为这个过程中存在很多机会。
不过存在一个障碍，那就是很难发表这样的研究，因此学术研究人员可能不太可能做这种研究，因为很难找到一个比对，更别提将你的用户界面与另一个完整的用户界面进行比较了。我还想说，我们需要开始关注领域特定类型的任务。几年前我们做过一点，针对建筑和施工领域，而不是单纯找出适用于建筑施工VR应用程序的最佳选择技术或操作技术，我们关注的是在与环境交互时，这些领域的人们需要具体做些什么。举例来说，我们提出了克隆任务——在建筑结构中，这通常是空间中一系列重复元素。
所以这就像对象操作技术，通用的对象操作技术真的不足以放置100个元素到空间中。因此，我们努力从头开始设计那些特定于该领域和克隆任务的技术。我认为对于不同应用领域还有很多其他地方可以这样做，比如娱乐或建筑等领域。
存在感的量化与测量
你之前提到过存在感，我很好奇你如何量化或测量存在感，以判断某种3D UI技术是在增加还是减少沉浸感？
这是一个仍然是开放性问题，我可能不是最适合回答此问题的人，因为我并不直接进行存在感研究。通常我们采取相对“保守”的方式，使用问卷。Mel Slater曾经说过，问卷并不是测量存在感的好方法，我同意他的分析，但这是我们所拥有的最简单和最直接的工具。存在感是一种内在的心理结构，因此你无法直接测量它。也许你可以进行一些脑电图（EEG）监测，试图将其与存在感关联起来，但这不是你可以自然观察到的东西。我会说我所看到的最佳存在感测量是行为指标。著名的例子是“鸭子测试”。如果我用虚拟棒球棒挥向你的头，你会不会躲避？即使你知道那不是真实的，如果你这样做了，那就表示你在环境中有某种程度的存在感。但很多应用中并没有类似于鸭子测试的类似事物，或者在你的环境中引入这样的东西会很人造，因此并没有完美的答案，但我认为神经成像的研究希望能给我们提供一些更直接的视角。
关于存在感的技术分析
在关于3D UI技术方面，您是否发现有些技术会增加存在感，而有些则会降低存在感？
任何时候当你将用户的注意力从虚拟世界上移开，强迫他们思考现实世界的某些事情时，都可能破坏他们的存在感。例如，我今天的演讲中提到的用于在环境中进行运动的 VertuSphere 设备中，你必须考虑到物理设备，以便有效使用它。你必须考虑这个大球在你周围，我需要把身体以这种方式移动，以免让它直奔前方，或者我失去平衡，或其他什么的。这真的很难专注于虚拟世界，沉浸于虚拟世界并感受到存在感时总是在专注于使用这个物理设备时你的身体状态。与此相比，更加虚拟的交互技术，关键在于设计它们使得它们尽可能的潜意识化。你不想思考设备或如何操作界面，而是想思考你在世界中交互的内容。
对虚拟现实的热情来源
是什么让你保持对虚拟现实的热情及这些沉浸式3D UI技术的参与？
我提到过，我在1994年的第一次VR演示是一次激动人心的体验。在那种情况下，我意识到这是一种新的计算形式。我做了一些用户界面和计算机图形学工作，但通过这种方式将它们结合在一起，使我身处计算机图形场景中，身体感受到了这种体验，这是质的不同。即使今天带你第一次进入一个洞穴，人们总是会有困难，尽管我们都习惯了生活中的许多技术。因此，我的动力就是想了解那种转变究竟是在什么地方，即与计算机中的模拟进行交互和直接体验模拟之间的界限是什么。我们如何使用技术可让这种体验变得可及？我们如何使用设计使其更有用？开放性问题仍然很多，因此还有很多工作要做。
虚拟现实的未来潜力
你如何看待虚拟现实的最终潜力以及它可能能够实现什么？
哇，我并不是一个相信虚拟现实是万事皆解的人。目前对VR的关注浪潮下，有很多人认为我们会将所有的时间花费在虚拟现实中。这不是我所理解的。然而，我确实认为我们可以找到越来越多的细分应用领域。有些在VR中已经取得了成功，但相对较小；也有一些大规模的应用领域，人们将使用VR来完成任务，获取工作，而不仅仅是为了娱乐。所以，我希望能够实现更多的生产力应用，其中涉及一些真实的世界成果。再次以建筑为例，如果我不仅可以在VR中可视化我的建筑设计，还能够在身临其境的情况下修改并创建它，然后产生一个真实建筑设计的结果，那么对我来说，这是使用这项技术的令人兴奋的用例。
结束致谢
非常感谢你，Doug Bowman。他是弗吉尼亚理工大学人机交互中心的教授和主任。我从这次采访中得到了很多收获，我觉得思考3D用户界面的五个通用任务是非常有帮助的。因此，这五个任务就是导航、选择、操作、系统控制和文本输入。在与Doug的交谈中，我发现一个很有趣的事情是，他们试图客观地测量这些子任务之间的相对关系，但从学术角度来看，要全面综合这些不同元素形成完整的用户体验确实非常困难。
这正是我们看到的学术研究中发生了一大转变，开发者必须能够整合各种要素，创建统一的应用程序。我认为一个最大的问题是能够客观地衡量不同用户输入的效率。也许我们会开始看到一些VR应用开始实现各种不同的输入控制。但是目前大多数VR开发者没有时间或预算去全面做到这一点。但我认为随着VR生态系统逐渐成熟和壮大，我们会有更多机会去客观地测量这些不同的3D UI交互技术，无论是导航、选择、操作、控制还是文本输入。在文本输入方面，我想我们实际上正朝着越来越多的对话式界面方向发展，人们会以自然的方式说话，而不是去输入文本。但我仍然认为，人们需要有能够输入文本的方法。
例如，谷歌展示的那种创新的做法，像是用Lighthouse控制器敲击字母的木琴方法，或者放大键盘。
以上就是我今天想谈的一些要点。感谢您收听《VR播客的声音》。如果你喜欢这个播客，请告诉你的朋友，也请考虑在patreon.com/VoicesofVR上支持我们。