Voices of VR播客，我是亨利·弗克斯，来自北卡罗来纳大学。我从VR概念出现之前就开始了与VR相关的工作，涉及从跟踪系统到图像生成、显示器、应用等方方面面。听说您实际上是伊凡·萨瑟兰的学生之一，是吗？也许您可以谈谈关于“达摩克利斯之剑”的起源和发展，以及您在VR历史中的地位。当然了，我1970年去了犹他大学，因为我另一位本科时的教授向我展示了伊凡·萨瑟兰在1968年发表的一篇关于头戴式显示器的论文，我觉得这是最酷的东西，所以我直奔犹他大学。令我失望的是，当我到那儿时，也是在1970年的时候，萨瑟兰已经与他的同事戴夫·埃文斯一起创办了埃文斯-萨瑟兰计算机公司。他在公司花了很多时间，而在大学里的时间就没有那么多了。所以，对于我们这些对这个领域感兴趣的人来说，我们要比预期的更为独立。我记得头戴式显示器和达摩克利斯之剑，但实际上在实验室里使用的人非常少。是的，你有机会真正使用它吗？有的，我的兴趣实际上是自动化获取系统，以便在这个头戴式显示器上显示一些内容。我记得与伊凡的谈话，因为他让我后面的那一届学生分配了一个任务，也就是在1971年或1972年的时候，数字化他的大众甲壳虫。我记得走进系里的邮件室，看到窗外他的旧大众甲壳虫，一群学生正在上面画线，人们在拿着尺子和卷尺进行测量，写下这些顶点的坐标，然后据我所知，做出与这些顶点相连接的多边形的列表。我在望着这个场景，心里很可怜，因为早先的一届并没做这个任务，当时他并没有要求我们这样做。伊凡走进来取他的信时，我说：“伊凡，让学生手工数字化你的车真的太残忍了。”伊凡惊讶地说：“是啊，但是亨利，在你和我闲聊的时候，他们实际上正在获得一些结果，不是吗？”我当时想：“啊，真的好伤。”所以不久之后，有个斯坦福人来谈他们正在建造的机器人，他们能够避开障碍物在一个房间里移动。他还提到了一种激光扫描系统，可以检测到与各个物体的距离。所以，如果我没记错的话，这就是你需要的。你需要一个能够扫描整个三维深度图的激光扫描系统，然后从不同的视角扫描一个物体然后把它组合起来。这有点像把可见曲面算法反过来，因为图形渲染系统基本上是通过一系列的多边形、点和曲面来确定扫描线，来获得一个z缓冲区然后生成图像。你只需要把整个流程倒过来。所以我去找了伊凡和其他一些人，问他们对这个论文有何看法？你可以自动扫描物体并组合各个扫描点，然后获得一个3D数据，然后你可以在任何地方显示它。这就是我开始做这些东西的方式。哇，所以你实际上能够构建出一种使用激光扫描仪或激光雷达来创建深度图并以3D形式创建物体的扫描仪，而不需要手动绘制3D物体上的多边形，用这种说法很好。但是它如此粗糙，以至于当我扫描我的女朋友时，我都不确定你能否辨别性别，你只能确定它是一个人类。当然，还扫描了实验室里的其他一些物体，比如我们的无线吸尘器之类的，但分辨率当然不高。对我来说，想到1968年这些技术从图形和头部跟踪等各个方面结合起来，成为实际上第一款虚拟现实头盔，这是非常令人震撼的。那时候他们的灵感、起源或者说背后的动机是什么？为了使所有这些技术相结合？根据我的理解，伊凡的灵感来源至少我一直认为是他在1965年关于最终显示的远见卓识的论文。即使在1965年，他就说我们应该将计算机显示器看作是一个窗户，可以进入由计算机创建的仙境，这个仙境可以像我们真实的世界一样真实。所以我一直认为，当他建造这种头戴式显示器时，他有这个想法，这是迈向创造由计算机创建的真实体验世界的第一步。所以从1970年开始你一直涉足虚拟现实领域，听起来你见证了九十年代的一波波浪潮，现在又有了另一次潮涌。那你一直坚持下去的原因是什么？是政府进行研究以用于军事训练模拟，或者你从那时开始做的是什么呢？嗯，我们根据我们认为能够做出贡献的项目有针对性地进行工作，当然，我们也是依赖各种支持，无论是来自NSF、DARPA、ONR，还是来自公司或个人，只要他们认为这是有价值的，他们就会给予支持，但这种支持是分阶段的。我要说这是有史以来最好的阶段，非常令人兴奋。对，听起来像你去年在IEEE VR的主题演讲，你完全扔掉了现有的演讲，重新撰写了一个考虑到Facebook收购Oculus VR的演讲。你认为为什么这些突破不是来自学术界，而是一家私人初创公司综合起来的呢？ 常见的突破并没有得到很多关注，因为直到去年没有任何一个群体投入大量资金支持这一领域。比如，DARPA，可能是最富有的资助机构，不同时间曾经给予这一领域所认为的大量资金支持，从我所了解的情况来看，大约是数百万美元，这相当于现在任何其他资助机构都投入的资金。你能得到的或许是对头戴式显示器的改进设计，但几百万美元的投入并没有给这个领域带来太大的影响。但是如果你投入20亿美元，你可能能够改变世界。先前没有任何资助机构投入过20亿美元，这才是重大的变化。我知道你最近一直在关注很多与远程存在感相关的问题。那么，关于如何将自己的感知和自己的虚拟化身投入到一个房间中，以便与他人进行真正的沟通和融入充满身临其境的远程存在感体验，还存在哪些方面的问题？为了获得有意义的远程存在体验，仍然存在一些基本问题，这些问题几十年来一直存在。也就是说，我们需要拥有一种足够好的显示器来给我们一种旁边有人的错觉，这意味着一个宽广的视场，透视，高分辨率的显示屏。我们需要拥有一个良好的追踪器，以便系统知道我们在看哪里，当我们向侧面看或稍微移动时，系统能以非常高的精度和极低的延迟知道我们移动了多少。然后我们需要一些图像生成技术以非常低的延迟和显示去响应这些变化。最重要的是，我们需要获取系统，以便知道那个远处的人在哪里，这个获取系统可以不断更新远处地方的环境地图，我们可以从中在我们的本地地方显示。这四个方面仍然存在挑战，它们的难度各不相同。你可以把它们看作是一个流程，从获取、追踪、渲染到显示，这些方面都面临着困难。在某种程度上，你可以将渲染看作是解决得很好的，因为GPU制造商在游戏市场和其他领域的推动下，在这方面做得很好。其他三个方面却并不出色。对，关于显示方面，如果你戴着头戴式显示器，你会遮蔽你的面部表情的传递。因此，对于这些类型的远程存在体验系统，你认为会是某种沉浸式电视或者是电视屏幕，还是你认为他们会克服这个问题，能够实际上跟踪你的眼睛和面部表情？我认为对于不太苛刻的某些应用，比如会议，大型电视屏幕仍然是完全可以接受的，你坐在那里，可以看到我在电视屏幕上，从根本上来说，它将比当前的电视屏幕更真实。它会是立体的，当你稍微转动头时，你会有深度的强烈感受，比目前所谓的3D电视更强烈。但对于大多数应用来说，我认为你需要一种头戴显示器，因为无论这个显示器有多好，它是固定在环境中的，当你看向其他地方时，你将无法看到任何增强现实的东西，而类似洞穴般的环境或者围绕的系统对环境要求太高，人们不会在家里为这样的东西专门设置一个房间。虽然我们和其他很多人曾经致力于所谓的空间增强现实，即在任意表面上投影，例如在你家里，然后通过调整几何形状来补偿不规则性，并根据反射的颜色调整颜色。在一个未经处理的环境中，你可以做的事情非常有限。所以我猜在未来的10年内，至少很多，或者说大多数的应用将会在头戴式显示器上。对，有位应用科学家奥利弗克洛洛斯通过使用3个Kinect传感器建立了一个整体身体化虚拟空间，我很好奇，关于跟踪的问题，你是否认为一组Kinect可以用作解决方案，用以跟踪和在虚拟环境中实现具有3D人类表现力的人物，以及能够在虚拟环境中共享这一点。我们已经研究了几年，我们可以在一个房间里放置大约10或12个Kinect，并通过一台单独的PC实时运行它们。目前限制主要在于界面和单个PC的处理。我认为这是在短期内做事情的一种非常好的方式。来自Kinect和其他类似深度相机的质量不足以给人一种很强的感觉，所以你需要做更多的工作，我认为为了让它对大多数人来说是可以接受的。因为对于大多数人来说，他们看的标准就是视频，即使是很有限的质量，比如在Skype这样的应用中。尽管如此，它仍然是相当好的视频。当你将以十几台Kinect扫描一个房间，然后从其中一个部分进行重建时，与从Kinect的3D重建相比，大多数人会说，“哇，视频的那一个看起来好多了。”当然，他们没有意识到你可以在3D重建中走动，而在视频中你是不可能走动的。对，看起来虚拟现实的各个维度都有“反感谷”，但是在远程存在感的特定环境中，看起来你可以有一个低保真的、风格化的化身，或者捕捉面部表情的姿态信息。在中间，Kinect看起来可能处在不是超高质量的状态。然后是高保真度，可以获得更加逼真的效果，但视频似乎处于这一谱系的其中一端，缺乏立体声提示和环绕行走的能力。不过你有尝试过在远程应用中尝试使用低多边形风格化的人脸表达吗？在某些时候，我们尝试过非常低质量的人脸表达，甚至只是在正确的位置和正确的方向上获取他们的图像。多年前，我们与布朗大学和犹他大学的同事合作构建了3D虚拟环境，然后我们会在这个环境中有多个人，就像现在你会想到的Second Life一样，他们会以各种方式在这个环境中行走，例如一起在CAD设计上合作。然后他们只会被一个带有自己脸部的立方体代表。非常低保真度，除了你可以看到他们的肖像和当然能认出他们，还能看到他们在环境中的位置，以及他们的移动和目光方向，这给人一种强烈的存在感，当然，并不是非常逼真，只是一个带有他们脸的盒子。我们做过这样的实验，还有其他各种各样的尝试，从使用多个Kinect和多台高质量相机进行3D捕捉，然后线下进行重建，尽可能地做到最好，再整合多个帧或连续的帧来尽可能获得更好的几何结构，然后实时播放，当然，看起来效果戏剧性地更好，但你就无法进行交互了。这里似乎有一个研讨会，有一个IEEE VR会议明天开始前的一个虚拟协作环境研讨会，有很多不同的演讲和讲座。你参加了那些演讲吗？也许你可以谈谈那里的一些讨论？所以我被要求在那个研讨会上做主题演讲，关于三维协作环境。我认为你可能在谈论那个研讨会。嗯，我讲了一个小时。还有其他一些论文、立场论文和经验，我当然认为它们很有趣。我认为一些最有趣的经验是人们在培训方面使用协作虚拟环境的经验。有一个挪威的人展示了一些用Second Life进行培训的经验，培训研究生护士在各种复杂情况下使用Second Life上建立的系统。还展示了一些训练挪威士兵在即将部署到阿富汗时的文化敏感性的经验。就像一个视频游戏，不过它真的沉浸在Second Life中，有多个玩家扮演各种角色，有些扮演阿富汗村民的角色，而那些教师和专家则了解文化敏感性，如果训练者没有做对的事情，他们就会被扣分，达到他们的目标变得更加困难，比如与村长互动并获得有用的信息。虚拟现实看起来像是许多因素正在融合，并准备进入消费级虚拟现实的主流市场，但在这个过程中，经过多年的研究，各个维度都有着不断改进的增量改进，而你自己也参与其中的学术方面，我很好奇从你的角度看，你在这些年里所工作的不同里程碑或对我们今天的贡献方面，是否有一些见解，例如延迟非常重要，或者低持续性，还有其他一些你个人多年来所从事的工作。我认为首先，我们不应该仅归功于学术界，工业界在过去30或40年间做了大量的工作，尽管我们很少听到他们，因为工业界的人不太愿意发表文章，但他们在工业界有大量的工作。是的，我可以告诉你我认为的一些里程碑，我认为第一个真正重要的里程碑是实时图像生成，这是在1968年伊凡·苏瑟兰德构建他的头戴显示器时没有任何金钱可以获得的东西。现在，我们当然认为实时图像在我们的手机上很常见了。我们可以玩3D视频游戏，让我们能够在复杂的环境中导航，我们认为这些是理所当然的。但在七十年代之前，无论花多少钱都是不可能实现的。然后大约在1985年左右，可以用大约10万美元的设备实现这一点，这些设备可以供实验室和研究组购买使用。然后到了90年代中期，可以通过可以被真正痴迷于实时游戏的人购买的图形卡来实现。但我认为这是发展最多的领域。当我们回顾这一点时，我认为我们应该意识到，其成功很大程度上归功于航空培训和仿真。商业航空公司愿意为实时图像生成支付大量费用，因为他们意识到这对他们很有用，相较于以前的简化模拟器或真实飞机培训，更便宜。所以当你想回顾虚拟现实时，我认为你应该意识到其中很大一部分的成功归功于航空培训和模拟。其他领域，如实际头戴设计、跟踪和内容创作则要远远落后。因为没有一个市场愿意为它们付费。这给你一些想法吗？是的，对，当然，我可以告诉你每一个我看到的里程碑所在的地方。恩对，关于实际显示器，里程碑始于1980年左右，当时一些制造商认为他们可以销售小型口袋电视机。我记得英国辛克莱尔公司和索尼在80年代初期有这些小型电视机，他们卖得相当不错，人们可以购买这些电视机并用它们制作头戴显示器。在此之前，这真的很困难，我试过制作它们，但你什么都买不到，只有真空管，你知道，像小型阴极射线管，但那是苏瑟兰做的，但大多数人不会去做这个，因为你必须真的去建造那个扫描电路。但有了袖珍电视，普通人也可以制作头戴显示器。那是接下来的一个东西。在跟踪系统方面，有一个非常小的市场，为战斗机飞行员的头部显示器的凝视方向进行跟踪。一个名叫Polymus的小公司为此构建了磁性跟踪系统，他们当然乐于向任何人销售。所以在80年代他们向一些正在制作头戴显示器的人售出了几个单位。但是由于它是为跟踪战斗机飞行员的凝视方向而设计的，它不适合远距离使用，从源到目标的距离小于一米，所以如果你从起点走出一米以上，跟踪效果就非常差，因为它不是为那个目的而设计的。在内容创作方面，情况就更糟了，我记得没有人对3D数字化感兴趣，所以人们只是用相机、激光扫描仪和其他一些人们为各种目的组装的设备来应付。这就是我对发展的理解。这并不是一个非常密集的发展理解，因为市场的资金量直到现在都很小。是的，我认为对于许多将消费者虚拟现实起源于Oculus Rift的人来说，这个事实令人惊讶，他们甚至没有意识到虚拟现实有着这么长的历史。部分原因是在学术界，但也因为使用它的工业界人士并不总是谈论它或宣传它，也不会泄露他们所做的事情或向竞争对手宣传他们正在做的事情，以便获取竞争优势。所以，即使在这个行业内，人们正在做一些事情，他们也会保密，所以他们不会广播或宣传他们的所作所为。对，还有，当一个行业或一个大公司的某个部分做得不好时，他们很少会花费很多努力去宣传它。例如，佳能在日本有一个重要的混合现实研究实验室，它与日本政府的资助一起运行了4到5年，大约是10年前，人们可以搜索佳能的混合现实实验室。他们做了一些非常有趣的工作，关于头戴显示器与视频透视相关的一些非常有趣的工作，就是在每只眼睛前面有一个视频摄像头和一些优秀的光学系统，既可以用于视频透视，也可以用于非视频透视，现在我们称之为增强现实。但他们从未销售过，我认为从那时起他们就一直在市场上有销售了，但很不幸，它们很贵，视野相当狭窄，跟踪系统比较简陋，所以市场不是很大。所以，结果就是，了解佳能相机和许多其他事物的人并不知道佳能多年来一直从事虚拟现实业务，但它并没有成为一个重要的参与者，因为市场不是很大。是的，有趣啊。对，只要看看历史，阅读一下苏瑟兰的论文，看起来他当时在ARPA，这是前身达尔帕的机构。还有其他来自其他军方资助的资金，如贝尔直升机公司等。你对这些资金的了解有多少，为什么他能够组装这个疯狂的系统？我记得苏瑟兰在ARPA只待了几年，他在MIT获得博士学位后，去哈佛担任教员之前。ARPA并不仅仅是达尔帕的前身，它就是达尔帕，它只是改了个名字，为了政治原因，在达尔帕之前我认为发生过一些变化，达尔帕是它的真正名称，我认为他在那里只待了几年，然后他去了哈佛，又待了几年，然后被犹他邀请，当时犹他的大卫·埃文斯说我们可以一起创办一家公司，做些好事。至于为什么伊凡·苏瑟兰这样做，你可以问他，他现在还在，他现在在波特兰。如果你问他关于图形学和虚拟现实的事情，我猜他会说他40年来都没有做过虚拟现实，我们应该问问那些一直从事这个领域的人，但你当然可以问他关于他的灵感历史的问题。我记得与贝尔实验室的联系是，我认为他曾经说过他为贝尔咨询过一些事情。不是贝尔实验室，是贝尔直升机公司。我记得贝尔直升机公司有一架直升机曾驻扎在越南，如果我记得正确。这架直升机只是用于侦察任务，所以它不是那种装甲车、载有很多人的战斗机，但是它在某些时候会被击中。所以我记得它们想要一个东西，让单人驾驶这架直升机的人作为防御措施能够返回射击。我记得他们在直升机的腹部以下安装了一挺机枪，并由飞行员的视线控制。所以，如果我记得没错的话，这是大约40年前的事情。我想他们在飞行员的头盔前端有一颗准星，所以无论飞行员看到的任何地方，机枪都会朝着那个方向摆动，会指向准星所指的方向。所以，如果他想朝那个方向开枪，他在直升机的控制杆上有一个按钮，他可以瞄准并开火。所以那个是他们那个时候所能做的最好的事情。我想伊凡曾经说过这对他进行头戴显示器的启发，但那只是我记得的。打给他们，检查一下。是的，我试过，我实际上试了一段时间，一直找不到他们。但是，是的，是的，我确实想了解一下这个是如何发生的，因为你知道，它现在处于什么位置，了解一下它的历史和起源，我认为这是非常有趣的，看看它是如何发生的。我会告诉你，我认为他说他在40年或者更长时间内没有在虚拟现实方面工作是相当正确的，因为在1970年左右，当我和其他人到达那里时，他已经在公司里主要做一些事情了，他开发的一些头盔式显示技术，比如图像生成，也用于Evans and Sutherland的一些产品，比如计算机辅助设计的实时线条系统。但据我记得，他们甚至没有考虑利用这个头盔式显示来制造产品，因为它太超前了。是的，在当时，回想一下1968年和今天，真的是非常超前的技术。即使在九十年代它出现时，技术也还不够成熟。那么，因为你一直从事虚拟现实，从我看到的行业和其他方面的情况来看，我觉得虚拟现实在60年代以来的历史上还是比较暗淡的。你知道，在六十年代以来，行业在做什么方面使用虚拟现实？或者从航空模拟中吸收一些东西？或者我感觉可能还有军事训练之类的？但是在这个模糊的历史背景下，从六十年代到九十年代，再到今天，还有什么其他事情正在发生？简而言之，不同的组织和人们在做不同的事情，但没有一个共同体的意识。飞行模拟器行业是第一个发展起来的，而且在伊凡的头盔式显示出现之前就已经存在了。据我了解，当时飞行模拟器的最先进技术基本上是在模型板上使用电视摄像机。想象一下，建造一个你想训练飞行员从中降落和起飞的机场的模型，就像一个火车模型一样，然后在上面放置一个摄像机，当然是一个大的电视摄像机，并使用一些光学装置和小镜子，使其假扮得非常接近地面，如果你想着陆的话。然后，你会有一个x y z运动平台，它会被连接到一台计算机上，根据学员在驾驶舱仿真中做出的一些动作计算飞机的位置。所以驾驶舱是一个实体驾驶舱，装有与真实飞机相同的控制装置，外面有一个计算机屏幕，该计算机屏幕直接由在模型上方的电视摄像机驱动。当你（学员）向右冲击或起飞时，模型板上的摄像机会做出相同的动作。这是一个相当现实的体验，你飞越着这个模型，就像你在建造火车模型一样。所以这就是竞争对手，但他们意识到，如果你能用计算机来完成这个，你就会有更多的灵活性。所以随着60年代和70年代计算机性能的发展，这成为培训系统的新宠，并最终完全取代了之前的模型板系统。这是一个非常好的市场，但因为它们太昂贵了，在70年代基本上没有实验室能承担得起这些设备。据我记得，当我在75年毕业的时候，全国只有一所大学拥有这种实时图像生成系统，我记得是Fred Park，他比我早一年毕业，然后在Case Western。出于某种原因，通过某个联邦机构的拨款，他们得到了购买一台单通道数字图像生成系统的资金，我记得和他交谈时我是多么羡慕他能做这些。他说：“亨利，实际上作为研究用途它并不好，因为它主要做飞行模拟器。因此，如果你想改变一些东西，比如改变颜色的计算方式，你知道，它不是用来编程的，它是有一套用于在飞行模拟器中生成图像的盒子。抱歉，他一直告诉我它不适合做研究，但他有这个设备，它是实时的，所以我记得在研究如何实时生成图像的研究上工作，因为我认为这是你真正需要做的第一件事情。大约在1975年，已经有了首台8位微处理器，所以我们当时很多人在想，如果你能找到一种方法，将一打或两打这些微处理器芯片组合在一起实时生成图像，那将是很棒的，你实际上可以构建自己的实时系统，只需要一个头盔式显示器，其他的我们会找办法解决。但你看，没有像样的集体社群，人们都是个体行动，他们觉得自己能从知识和资金上进行探索，但整个图形学界，至少95%的人都没有这样的远见，即使是七十年代最好的图形学教科书，也不太涉及伊凡·萨瑟兰的1968年头盔式显示器。我不断问他们，比如在七十年代最好的或者至少最受欢迎的教科书是纽曼和斯普劳尔的，两位与伊凡·萨瑟兰关系密切的人，并没有多少对他的头盔式显示进行描述的内容，然后在1981年，弗雷德·福利和扬·凡·达姆出版了一本教科书，成为一代人的圣经，也有几页关于各种奇特的显示技术，包括隐藏技术和伊凡·萨瑟兰的技术，但没有描述它是一个对未来有远见的技术，而只是一个奇特的单一产品，就像奇怪的蝴蝶一样，还有其他一些。所以人们没有意识到、没有接纳，也没有考虑到虚拟世界和虚拟环境将成为下一个大事，即使是二三四十年后。那么，你在虚拟现实中想要什么样的体验？我认为远程在线体验是我想要的。我希望能够与远在他乡的朋友在一起，我认为这将改变我的生活。有一些我真的很想和他们在一起，但却无法亲临同一房间。比如说在国内的人，甚至在世界各地的人，如果我们能够以现在电话交谈的方式一起聚会，那将是一个更丰富的体验。这就是我想要的。最后，你认为虚拟现实可能能够实现什么样的最终潜力？我认为要回答最终的潜力几乎是不可能的。更容易的是思考一下其他不那么神奇的技术是如何改变社会的。几年前来我们实验室参观并看到我们所做的东西的人问我，这种远程在线体验是我迄今为止与全息影像交谈最接近的体验。他问：“我们是不是在汽车模型时代？我说：“哦，还远没有到汽车模型时代，我们现在处于汽车模型时代之前的20年。这就是我认为人们应该意识到的。我们还处在非常早期的阶段，很难想象这可能对社会产生什么影响。想想我们比汽车模型还早20年，汽车模型是一个成熟的产品，你可以买，你可以几年来使用，你可以为所欲为。你可以把它开到海边，你可以开到城里，你可以开到乡下。它可以工作。对吧？我们有没有类似虚拟现实系统的产品？没有，我的意思是，我们有一种情况就像比汽车模型还早20年的时候一样，人们在后院里做工，试图看看是否能够将发动机安装到一辆无马车上。我们没有一个集成的产品，有人可以使用多年而不需要特别了解它。我的意思是，即使是像Gear VR这样令人惊叹的产品，它实际上只是一种开发者版，不像人们会每天使用它，就像他们会使用Model T汽车一样。所以，我认为与其思考最终会发生什么变化，还不如思考我们目前生活在汽车模型还早20年的时代，看看这可能如何改变个人生活和世界各地的社会。好的，非常感谢，欢迎。感谢您的倾听。如果您想支持Voices of VR播客，请考虑成为patreon.com/voicesofvr的赞助者。