The Voices of VR Podcast
欢迎
我的名字是 Kent Bye，欢迎收听《Voices of VR》播客。虚拟现实的本质在于试图攻克你所有的不同感官，我们试图创造一种感觉，就像是完全沉浸在虚拟现实中的全息甲板。现在我们能够很好地处理视觉和声音，非常成熟。但触觉和触觉技术仍然处于低分辨率、低保真度的状态，当你开始尝试更复杂的事情时，这种感觉往往会让人感到怪异。因此，在今天的节目中，我将与 Axon VR 的Jake Rubin进行对话。在今年的 GDC 上，我有机会尝试他们的通用触觉解决方案，这是一个放在桌子上的巨大箱子，你将手放进去，能够感受到各种各样的感觉。他会谈谈他们现在的进展和未来的计划，包括如何将其微型化，创建外骨骼，真正地从触觉和触觉技术上完全攻克你的大脑。因此，今天《Voices of VR》的播客将涵盖这些内容。但首先，让我们先听听我们的赞助商的简短话语。
赞助商信息
今天的节目由《Voices of VR》的 Patreon 运动赞助。Voices of VR 是送给你和其他VR社区成员的礼物。去参加这些不同的活动，进行各种不同的体验，并与各式各样的人交谈，捕捉到 VR 社区中发生的最新最伟大的创新并与大家分享，这是我能做的超能力之一，以启发你去构建我们都想要的未来。因此，你可以通过提供你自己的礼物来支持我在捕捉和分享所有这些知识的旅程中。今天就可以在 patreon.com/voicesofvr 上捐款。
关于采访
此次与 Jake 的采访发生在2017年3月2日，星期四，地点是加利福尼亚州旧金山的圣瑞吉斯酒店。接下来让我们直接进入主题。
Jake Rubin
我是 Jake Rubin，Axon VR 的创始人兼首席执行官。我们正在为你整个身体的虚拟现实带来逼真的触觉。
设备介绍
好吧，我们现在在旧金山的圣瑞吉斯酒店，GDC 正在进行中。我坐在这里，看着一张桌子，上面放着一个巨大的箱子，里面有计算机和各种其他设备。也许你可以给我描述一下我们正在看的这个装置是什么？
是的，您看到的是我们几个月前构建的原型，旨在展示我们的 HapDEX Dex 皮肤材料，这是一种微流体智能纺织品，可以给你的手提供高分辨率的触觉和热感。你将手放入这个“死亡箱”中，正如你可能想象的，我们收到了很多《沙丘》的引用，实际上，你可以感受到物体在你手上的感觉，包括形状、大小、纹理、温度和重量，就像你刚刚尝试的一样。
灵感来源
那么，这个想法是从哪里开始的呢？你知道，我对 VR 的痴迷可以追溯到我能记得的很久以前。我大约在 5 或 6 年前开始研究这个，最初的前一年半左右，我都是独自工作，试图把我脑海中的想法写下来并具体化，以找出我想如何处理这个问题。我知道，对于我来说，我的梦想一直是沉浸式 VR，就像这个行业的许多人一样。我曾梦想过（你可以选择你最喜欢的参考）全息甲板、元宇宙，或者《黑客帝国》，虽然不是总是正面的，但我始终渴望那种完全沉浸的 VR。
当我开始深入研究文献时，我阅读了所有可以找到的资料，并与行业内的人交流。很快就变得显而易见的是，这实际上发生在 Oculus Kickstarter 之前，因此这是现代 VR 运动的早期阶段。
你很早就开始了这个项目，是吗？
是的，这一切发生在 VR 被认为“死去”的时期。当时它仍然被用于工业应用和企业，但那是消费者 VR 复兴之前的时期。即便在那时，当我查看文献时，显然 audio-visual 技术已然成熟。深入研究后，我意识到缺失的关键是触觉或触觉技术。没有人真的解决如何提供令人信服和真实的触觉的问题，触觉是我们与这个世界互动的关键部分。
触觉在某种程度上是最基础的感官。视觉显然占据了我们大脑的大部分，是我们首先想到的，但触觉使我们能够确认事物的真实性，使我们觉得自己处于某个地方。对我来说，这既是最大的缺失，也是我最感兴趣的领域。因此，我决定投入精力去研究触觉的实现方式。从一开始，我就不想仅仅开发一个对某个特定部分有用的东西，我真正想知道的是我们是否能够构建出一种技术，它能够扩展到整个身体，并涵盖触觉的所有部分。
关于技术的思考
触觉是一个复杂的领域。所以，我自己工作了一年半，达到了基本的想法和Axon VR的基本愿景，我有计算机模型，基本上写了一篇技术白皮书，然后去寻找拥有工程能力的人来帮助我实现我的想法。
我与许多人进行了研究和对话，终于遇到了我的联合创始人，Bob Crockett 博士，他当时是加州理工大学通用工程的主任。我给他打了一个突如其来的电话，我想他刚开始还以为我疯了。事实上，我知道他当时确实认为我疯了，因为他经常这么说。你知道，我就是一个20岁的小孩，给他打电话，并基本上介绍一个完整的计划。但是，我想我激起了他的兴趣，因为他当时正准备去西雅图参加一个会议，他同意和我一起吃早餐。那个早餐最终演变成了一个四小时的对话。在那段时间结束时，他说，好的，我会读你的白皮书。他读完后表示，虽然他仍然觉得这个想法不太可行，但它足够有趣，想进一步探究。在他的实验室进行一些研究，查看这些基本技术。接下来的一切都是水到渠成，经过六个月的努力，他最终全力支持我的想法，并与我共同创办了公司，投入了他实验室的全部资源，这一切都使我们能够从想法到实体，让人们可以尝试到这个项目。
触觉与沉浸感的关系
我想稍稍退一步，讨论一下我的经验以及我对此的看法，并将其置于更大的背景中，因此我感觉虚拟现实在技术的长时间尺度上（可能是从50年到500年）将基本上是攻克感官。我们从视觉、声音入手，而现在的触觉非常低保真，只是基本的震动或是你可能拥有的一个子包，这在身体的感官交互中造成了某种程度的约束，而问题在于我之前所涉及的关于触觉的讨论，目前，它早处于”不平衡区”的早期阶段，它的质量并没有达到”逼真”的程度。
当我与许多不同的研究者交谈时，我们的皮肤以及身体上我们拥有的所有不同类型的皮肤，用以感知温度。在《玩家一号》中的视觉其实是一种触觉衣，这本质上是将你整个身体与真实世界屏蔽，以便你可以以一种合成的方式进行模拟。这可能是长期愿景的方向，但现在手指是最敏感的部分，我认为一些人可能试图刺激手部，但这种体验比手其他部分的刺激更显得怪异。因此，你从敏感度较低的手部开始，手指虽然很敏感，但其余的手部则不那么敏感。在我玩你们的系统时，有一部分我感受到这些较大压力点在我的手上施加，尽管我在手指上的感知会让我感觉这是不真实的，当物体掉入我的手掌时，我就能开始感觉到其真实感。大概最令人信服的是，当有东西动态移动时，就像蜘蛛一样，它在我手上移动，能够施加压力和刺激我手的不同部位。如果我闭上眼睛，那就没什么感觉。但在 VR 中，因为视觉感知占主导地位，这让我有种错觉，尽管我仍然坐在椅子上，把手放在这个巨大的箱子里，刺激的是我手中敏感度较低的部分。而温度的刺激，我认为这个方面也是最逼真的，因为当我看到颜色协调的蓝色代表冷，红色代表热时，我的大脑就开始联想到我之前直接接触过的热铁拷，从而得出警告“哦，那是热的，不要碰它”。因此，当我将这些物体放入我的手中，看到它们颜色变化时，我也开始感受到这种触觉。基于此，你可以谈谈你对构建这项技术的愿景，以及你对未来的看法吗？
未来的触觉技术
当然，您试到的这一点好。在现在的原型中，我们有200多个触觉点，这些触觉点的位移也相对较高，能够对肌肤施加几毫米的压力，从而让我们能够模拟比单纯的振动更多的东西，我们可以模拟静态接触、形状和重量。至于我们想要达到的分辨率，到目前为止仍未达到，这跟我们所说的二点阈值有关。二点阈值基本上是对皮肤分辨率的一个常见生理测量，简单而言就是两点之间需要多远才能引起你无法区别的感觉。在手掌上，这一数字较高，约6-7毫米，而在指尖上则是1-2毫米。我们的原型离手掌的二点阈值相对接近，这也是为什么你的大脑会开始告诉你“哦，它不是独立的点，而是一个统一的物体”。在指尖上，我们还没完全达到，但在最新的原型中我们已经将分辨率提高了一倍，正在朝着这一目标迈进。
另一个我们正在实施的过程是平滑处理，您感受到的基本上是对您的手部进行的原始驱动。我们增加的一层平滑处理使得触感更为柔和，不再感到那种明显的跳动感。因此，这些都是我们正在进行的事情，将触觉的感觉提升至您所感受到的水准，这是有史以来在此类触觉设备上所能实现的最高分辨率。
至于整体架构和未来的发展方向，我们将触觉视为基本具有四个主要通道，这与主色调类似，它们可以相互混合来创造感觉。这四个通道分别是：触觉、力量、振动反馈和温度。触觉是对皮肤上的压力分布的感知，而触觉感知构成了触觉的核心部分，这也是在演示中主要刺激的地方，这使您能够感受到大尺度的图形纹理，它参与了几乎每一次触觉交互。第二个通道是力量反馈，给予您肌肉骨骼系统上的力量和阻力的感知，让您知道例如当您抓住一个物体时它是坚固还是沉重的。接着是振动反馈，它是触觉反馈的一个子集，是能够感知接触瞬间的高级反馈，如果您轻拍了某个物体，您会感受到那种高频率。同时，它也能让您感知很细腻的纹理。此外，温度是另一关键，它使您能够知晓温度是热还是冷，以及热流的变化，不仅仅是绝对温度，更是热量在皮肤内外的流动，从而让您能够感知物质的实体特性。
就像基本色一样，单独拥有任何一个通道的话其实选择有限并且没有说服力。如果您只有振动这种普遍存在的交互方式，您的大脑很难分辨真伪。然而，正当您开始结合多种通道，尤其是力量、触觉和振动的组合，这些是几乎所有真实交互中都在发挥作用的通道时，您的大脑会开始相信您正在与真实物体交互。正如您混合不同的颜色一样，合成出一个新颜色，您混合2种颜色时又会有更多的选择，而当您混合3、4种颜色时，您会瞬间获得整个色谱的可能性。
我们在实验中观察到，当您结合多个通道时，产生的效果是1+1=10的方式，您所获得的真实感和自然交互感的提升幅度是成倍的。因此，我们的技术平台实际上有两个主要成分，包含这些通道。一个是我们的 Haptex 皮肤材料，它是一种微流体智能纺织物。我们创建了一种流体集成电路，所有的通道和驱动装置都被集成在这一薄薄的材料中，这使我们可以在非常薄的外壳中创建许多高分辨率、高位移的驱动通道，您可以将其视为触觉像素。正如您在后面的屏幕中看到的那样，视觉像素都是非常简单的，仅仅是改变颜色的光点，当您将它们排列成网格时，便能形成各种各样的图像。我们的触觉皮肤也是一样，当您将这一材料贴合在皮肤表面，并且启动这些通道，便可创造出多种不同的压力感、纹理、形状等。
我们的皮肤中还包括能提供高频率振动反馈的驱动器，以及在您今天看到的版本中，温度反馈则通过移动很小量的热水和冷水来实现。最后一部分来自于我们的 Haptex 外骨骼技术，它给身体施加真实的阻力和力量。因此，仅有皮肤材料来说，假设您用手，例如在我们的演示中，您能够获得非常好的皮肤感知，能够感受到物体的形状、纹理和表面特性，但是如果您抓住它，这并不能阻止您的手指穿过物体。因此我们外骨骼的作用是能给您的手指或身体的其他部位施加那种较大力量，让物体感受到坚硬和真实。因此，当您将这两种技术结合起来，皮肤技术与外骨骼及我们的 SDK（允许开发者接入这些技术并创造内容）就构成了一个完整的平台，能够提供触觉，使我们相信最终可以扩展到整个身体。
未来的应用场景
哇，这确实是你们所承载的一个雄心壮志的目标。所以我在2015年第一次参加了 I triple E VR，当时我在法国 Arles。我们在那里谈及触觉。对我而言，大多数触觉情况是特定使用案例，因此创造一个通用触觉解决方案确实是一个困难。这促使大多数人目前创建的触觉设备都是针对特定用途的，如说用于教育用途的昂贵触觉机器，模拟的力反馈价格在2万到5万美元之间。想象一下，如果您是一名医生，需要学习如何插针而不是碰到骨头，您可以在一个触觉设备内模拟所有不同组织的力反馈，这样您便能够在 VR 体验中推进针头而不会真的刺伤伤者。
目前我所了解的触觉设备相对专一。如果要训练一位消防员，必须将他们放置在相关的设备中，给他们一根消防栓，并传递所需的力反馈，然后结合视觉反馈，以模拟训练场景。我看到 Axon VR 的这个设备有点像是通用触觉显示器的首次尝试。这样一个巨大的设备在实际使用方面看上去极不实际，我很难想象一位 VR 爱好者会用它，但相关开发内容对于此将变得很困难。我很好奇你从自己的角度看到的一些目标和多样的使用场景。
首先我想指出的是，你尝试的这个原型大约是9个月大的。我们还不准备公开更多关于产品的信息，但我们确实有一款企业级产品预计在今年推出，其体积会小得多，采用可穿戴设备。因此，关于这一点，我不能更多地谈论，但我们实验室中的技术相较于您今天尝试的要先进得多。在使用案例方面，我们有三个主要的目标场景，我们正在与客户积极交流这三个领域：首先是基于位置的娱乐；其次是设计与制造；第三是培训与模拟。我想进一步讨论一下你提到的专用触觉与通用触觉之间的问题。
您所说的确实准确，这是我们向通用触觉平台迈出的第一步。目前，我们的大多数客户正在使用特定的触觉应用，您提到的单一用途设备如外科模拟器或被动触觉，您搭建一个车辆或直升机的模拟器，您希望与之互动的东西。这样做可以说是完全可以接受，确实是 VR 发展史中高保真触觉模拟所用的方法，由于特定用途触觉的巨大局限性，使这些客户十分关注通用触觉的理念。虽然这是个难题，但它是成熟硬件平台的必经之路。传统特定用途触觉的限制主要有以下几点：
第一，一个特定的设备会有非常有限的应用范围。例如，假如您构建了一个汽车的模拟装置，如果想要稍微改变与其的交互，您可能就得重新构建一个新的硬件。如果您想进行多个不同的培训，例如军方必须培训上百种不同的任务，涉及到各种不同的设备，目前它们需要为每一个设备都建立一个实物模拟装置，那么费用之高可想而知。此外，通过这种方式无法做到许多事情，许多想要模拟和体验的内容也无法通过构建道具实现。例如，有人正在进行很酷的具体触觉交互展示，而一个需要物理道具的方案并不具有可扩展性，因为他们需要构建整间仓库，将其填满真实的道具。
所以我们与客户的交流中发现，市场对于一个通用的触觉解决方案有着巨大的需求，虽然我们知道这个确实是一个非常困难的问题。相信我们知道，有人会说这是太困难且不可能实现，但我们觉得这只是借口。我们的技术确实在初期，但我们相信，客户、投资者都相信在接下来的几年里，我们将实现我们的皮肤与外骨骼技术，创造出这一通用触觉平台。
也许质量一开始不及一些专用模拟器，但在与客户的交流中，大家都认为若最初的效果稍微不如人意也没关系，通用平台的成本效益和普通性对于客户来说是非常吸引人的，所以我们相信，这项技术可以不断改善。例如，您提到的分辨率。我们在过去几个月内已经将分辨率提高了一倍，并预计很快再次翻倍，也越来越接近于二点阈值，就像早期的屏幕一样，最初的屏幕能够让人们识别其中的内容，但并不具备逼真的外观，当分辨率提高、颜色深度增加时，便越来越真实。因此，虽然这确实是一个困难的问题，但我们相信，真正达到全面沉浸式虚拟现实、满足每位爱好者所渴望的触觉体验，唯一解决之法就是攻克这个难题，找到通用的触觉平台。
开发者平台
我常用的一个比喻是计算器与计算机。在早期的计算机时代，几乎所有电子设备都是特定用途的，人们只需继续提升计算器的能力。如今可能会有更先进、价格更高的大型计算器，但如果没有PC的创新与发展，早期个人电脑的市场会依旧是小众市场，尤其是家用PC也许并未在性能上超越那些专门系统，然而它们却改变了整个世界，因为当您拥有这一通用平台时，几乎无限的应用可能随之而来。因此，觸觉领域面临同样的局面。只要我们还存在特定用途的触觉设备，每个设备的应用范围都会极其狭隘，且昂贵，且难以获取，特别是对于消费者。如果有人能够攻克通用触觉的难题，那么我们将重新回到早期个人计算机所面临的情境，只需通过软件更改，便能创建出您所想要的任何体验。
关于您提到的开发者平台，我正好在那台计算机上写东西。我们投入了很多精力，使开发人员尽可能容易地为我们的系统创建内容。我们有 Windows 的运行环境，并且有一个低级的 C++ API，但我们也目前为 Unreal Engine 提供插件，Unity 的支持也即将推出。没有任何代码编写就可以将我们的技术添加到内容中。而且我们支持现有的即用三维资产。因此，您刚才在演示中看到的苹果，其实只是我们从 Unreal Engine 市场上获得的物体，我们并没有对此进行任何修改。我们的 SDK 能通过独特的算法从纹理以及网格部件提取数据，并通过物理引擎创建触觉。您还可以添加一些高级属性，比如温度，这些并不属于基本物体属性，而我们有一个触觉材料类别来实现这一点。您可以从 Unreal Engine 中提取一个三维模型引入环境，我们还为手部交互对象提供了一个预设类，可以自动通过我们的系统发送和接收数据，因此创建资产非常简单。
虚拟现实与增强现实的未来
我一直在思考虚拟现实和增强现实的未来，现在有很多人认为，增强现实将会是更大的趋势。我曾经长期持有这种观点，后来听到有人说，实际上，在 VR 中可以做的事情更多，可以探索和进行的社交互动更多。因此，我听到关于 AR 是否会超越 VR 的争论，甚至某一时刻，可能会在感官输入上形成限制。尽管你们也在朝着这些方向努力，包括触觉，但我的思考中却产生了这样一种疑问，如何处理训练的内容？因为如果要进行专用的培训，您也许需要构建一个被动触觉反馈模式，这会让整个模拟的过程变得复杂。所以，抬头看，不论是增强现实还是混合现实，您可能会获取更好的真实世界触觉体验。在虚拟现实中，您也有机会完全将人们置于另一个世界进行训练场景和其他体验，在这里充满了很多想法，因此听听你对这方面的看法。
是的，我想这可以分为两部分回答。首先，如今有很多不同的系统都有不同的应用，并且我热爱 VR 社区部分原因也是因为它开放而包容，有很多不同公司正在各个 VR、AR、MR、被动触觉和主动触觉方面进行努力。因此，我认为今天你需要采取一种组合的方法，没有一种解决方案可以解决所有问题。我们正在进行的所有内容，您可在我们的网站上看到一些渲染，设计背后是最终愿景。我们看到，全身浸入的目标是实现我们所向往的终极真实虚拟现实。如果说你不能攀爬加入一个全尺寸的空间来运行、跳跃、飞翔，那至少我们希望在技术发展的过程中，我们能够实现这一目标。如果我们没有达到这一目的，未来的开发补丁也不会完全消失。
我非常确信，我们正在迈向一个体验时代。早期的信息时代，是关于存储、处理和传输信息，而现在，尤其是在虚拟现实、增强现实等领域，逐渐向着体验时代转变，侧重于体验的传播与模拟。人类的生活是体验，超越基本需求以外的一切，最终都是体验。因此，当你有了一台体验机器，即使它不可能达到100%的真实程度，但只要它达到足够接近真实的效果，不破坏沉浸感，未来的虚拟现实有很大的可能性会改变生活各方面，比如医学、科学、工业、娱乐等等。
总结与退出
因此，当你能够体验这样的沉浸感，也许您行进时的感觉是些微不自然，但足够好让你能从一个地方移到另一个地方。一旦我们达到这个阶段，将会一切万象。最后，我想再次感谢您参与我的采访。
非常感谢！
那位是 Jake Rubin，他是 Axon VR 的联合创始人，他们正在制造一个通用的触觉显示器。我对这次采访的总结是，这种设备让我感到颇具革命性，仿佛我走进了另一个世界，正体验着来自未来的技术。尽管如此，它现在并未完全达到让我的思维完全被其所迷惑的地步。意有所指的是，关于技术发展的某种重要理念一直帮助着我理解这些沉浸式技术以及它们的演变过程，这个理念就是 Simon Wardley 描绘的技术演变模型，包含四个阶段：技术的初步创新和发明；基于该发明创造的定制和专用系统；然后转化为可以购买的消费产品或服务；最终，如果足够成功，就会成为人们普遍使用的商品和公用设施。
如果我们回顾一下虚拟现实的历史，它起源于60年代，经历了到90年代的人们进行定制系统的阶段，随后90年代出现一些最初的商业产品，然而许多这些产品失败了，人们认为这个行业已结束，实际上，许多虚拟现实系统仍然是这些专用的涵盖企业、军事训练以及航空航天工业的定制系统。
直到近期，消费者首次推出这种虚拟现实技术，并在向普及化发展中。触觉设备目前处于这条演变曲线的起点，而 Axon VR 有一些初步创新，正在尝试玩弄这些初步构建的一些产品，而且最终将用于培训，模拟等三大行业垂直应用领域。因此我在亲身体验这一技术时，感觉微流体技术和 Jake 描述的这种触觉皮肤材料，正是利用了这种进行压力传导的流体集成电路，利用通道与驱动元件进行整体施压，并达到200个触觉点。
在触觉世界中，还有一种手段来衡量分辨率，即这所谓的二点分辨率——假设给您手的皮肤上施加两点的压力，您感觉到它们显时的间距。而身体的各个不同部位分别有不同的分辨率，在背上比较大，两点之间的距离可以相对远，而在掌中是6到7毫米，而指尖则是2毫米，因而二点测试中的确是可以给掌心的感觉，而在指尖上就会变得不那么自然而显得怪异。对于我在 Axon VR 看到的演示，大大_DEVICE大家的使用体验都比震动控制器等触感好多了，诚然其中也有挑战，但现场所体验到的沉浸感也确实是巨大的。这一切的意义便在于，未来人工触觉技术将会助推虚拟现实与增强现实的结合，与人类的思维本能结合，推动未来人类生活的全面升级。
感谢今天的收听，希望未来能与您再次相遇《Voices of VR》播客。而如果您喜欢这个播客，请散播这个消息，告诉您的朋友，成为我们的赞助者。每月的几美元会产生巨大的影响，您可以通过 patreon.com/voicesofvr 今天就进行捐助。非常感谢您的收听。