/ Roadtovr / 0浏览

独家报道:前Oculus工程副总裁演示远距离虚拟现实追踪系统

跟踪是出色虚拟现实的基础。了解用户头部的位置和方向对于能够在用户移动中逼真地移动虚拟世界至关重要。Oculus和Valve/HTC拥有领先的跟踪系统(分别称为“Constellation”和“Lighthouse”),但是很快一个新的竞争者可能会加入VR跟踪领域。

进入车间
这是加利福尼亚州利弗莫尔山丘一个异常多雨的日子,我漫步在一排相连办公楼的小道上。一个又一个门上都醒目地展示着公司标志,但直到我找到只有一个小椭圆贴纸识别的门才停下来。50年后收藏VR纪念品的人可能会认出这个贴纸——中间饰有“VR”字样,底部是微小的“Oculus”字样——这是公司早期发放的一个贴纸。恰如其分,门后是公司早期员工的个人车间。
杰克·麦考利曾担任Oculus的工程副总裁直到开发者套件2(DK2)。他是公司2012年众筹视频中的四名员工之一(不包括约翰·卡马克和迈克尔·阿布拉什,他们都是后来的成员)。众筹视频的许多镜头实际上是在我现在所站的麦考利车间拍摄的。
按照某些定义(包括他本人的定义),由于他的贡献和作为早期雇员之一的地位,麦考利被认为是Oculus的共同创始人之一,尽管对于Oculus本身来说,公司将帕尔默·拉基视为唯一的“创始人”(大写F)。作为一位经验丰富的设计工程师,麦考利为这家年轻公司带来了硬件设计经验,该公司正准备为众筹活动的热心支持者设计、制造和交付数千个Rift DK1头盔。

麦考利带我穿过一个装饰着Guitar Hero和Oculus相关标志的小型大厅,进入了他称之为“麦考利实验室”的地方。“实验室”,我想,是因为里面发生的不仅仅是制造,还有很多实验,而“麦考利实验室”(作为一个商业名称)或许是因为他雇佣了几名拥有互补专长的员工,并探索他自己没有时间进行的项目。

这个车间对于黑客/制造者类型来说堪称令人惊叹的仙境,到处都是麦考利为工作和爱好使用的工业级设备。当我走到空间的后面时,我看到车间的墙壁上覆盖着涂鸦风格的艺术,上面有来自视频游戏的角色和标志,其中有一幅突出的Lola T70跑车的描绘。

麦考利站在车间后面靠近一个车库门的一个大空间的边缘,并要求我让开。当我清理出区域后,一个像停车场中的那种车辆升降机从头顶开始降下。麦考利安装了这个升降机,以便他可以将自己的车辆存放在办公室的二楼。升降机降到地面时,我看到目前占据他大部分时间的项目:一个半成品的Lola T70,与墙上的那辆一样。麦考利正在从零开始建造它,并计划在完成后参加比赛。他指出,这辆车的车架与原车的几何形状相同,但是这辆车是通过TIG焊接而不是铆接而成的。
此时,很明显麦考利非常注重硬件,但当他解释自己计划设计可以通过蓝牙与汽车发动机进行通信并在中央位置显示所有重要信息的方向盘时,一丝科技感开始显露出来。当我询问他是否已经知道将使用哪个应用程序时,他告诉我他计划自己编写一个。

我来看的东西
此时麦考利将升降机送回二楼,我们回到车间中间。在巨大的工具箱和复杂的机械设备中,有一个附着在一个小的3D打印的白色外壳上的通过GoPro支架的有轮工作托盘。这就是我来看的东西。

外壳的表面积大约与一个纸巾盒子相当,但只有四分之一那么深。后面似乎没有后盖,可以清楚地看到一组电路板和电线。与Valve的Lighthouse系统一样,这是一种基于激光的跟踪系统。但与Lighthouse不同的是,这个系统主动寻找其目标。

MEMS跟踪系统(或MTS,我将其称为MTS以便使用)以一种与Lighthouse相比独特的方式发射激光。Lighthouse使用透镜将激光的落点从一个点扩展成一条线,然后通过将透镜安装在精确旋转的马达上扫描这些线以遍布整个空间。与此不同,MTS使用一个微小的镜子(倾斜但不旋转)将激光指向任何一个方向。

初始化时,MTS以网格状的模式开始扫描其前方的一个锥体区域以寻找其目标。它寻找的目标是高反射性的点,通过激光返回原点的数量来测量。当然,激光可能停在任何微弱的反射表面上,所以您需要确保目标比环境中的其他物体更具反射性,并设定一个最小检测阈值,使得激光继续扫描,直到找到足够明亮的反射物。一个放置在头戴式显示器或运动控制器上的反射标记作为足够明亮的物体,确保激光的大部分能量被反射回接收器中。
MTS激光锁定在附着在Gear VR头盔上的静态标记上。

MTS作为概念验证效果很不错。当McCauley首次演示该系统时,附着在Gear VR头盔上的一个小球形标记距离大约5英尺。他打开了MTS基站,然后我看着激光缓慢地索引场景以寻找目标。它从左上角开始,水平扫描直到达到最右边的限制,然后返回到左边,稍微下降,然后继续扫描,逐行进行。当它到达头盔上的标记时停止。初始扫描大约需要4到5秒钟。所以在这一点上,我认为MTS是一个有趣的概念,但仍然需要做很多工作,将5秒的周期缩短到毫秒级,以使得追踪速度足够快,适用于实际使用。

直到McCauley拿起头盔并开始移动,并且激光不断固定在标记上,我意识到初始扫描可能因为人类的需要而降低了速度,而且MTS已经能够进行高速跟踪。

一旦找到标记,镜子会不断将激光对准物体并跟随其运动,不断寻找最强反射点。假设可以可靠地实现这一点,跟踪物体在XY坐标平面上的位置就像读取指向激光的镜子的角度一样简单。通过在被跟踪物体上添加一个附加标记,或者添加一个附加的MTS基站,您可以获得测量物体XYZ位置所需的所有角度。
继续阅读第2页…

McCauley表示MTS是一种“向量”系统,因为激光的控制是通过模拟手段完成的。激光不局限于一个量化的可能位置网格;它可以指向视野内的任何地方,只受您能否精确施加电压(对应镜子的倾斜)的限制。这意味着它可以在远距离上具有高精度。振幅!)。
他谈到了该系统与基于相机的方法相比的优势。
“我无法强调我的系统在计算简单性和低成本方面的优势。没有帧缓冲区、大型存储器阵列、USB 10.0电缆或其他类似的东西,”McCauley说。“只需要一些控制理论、一个简单的处理器和一些电子器件。它也比相机快得多。明显更简单,具有更大的范围和带宽。”
McCauley对Lighthouse的原理进行了简要说明。
McCauley明确指出,MTS的许多组成部分都是现成的零件和为其他目的而创新的算法。
他说,在制造MEMS镜子时需要进行复杂的制造工作,他说这需要一家芯片工厂来完成,尽管它们已经在为各种应用而生产,并且大规模生产时可能会便宜。
“这个小镜子可以快速地被摆动到位置上。它质量很小,还有一个强大的执行器。整个装置被加工到一个硅片上。”
他称跟踪算法,负责识别和跟踪反射标记,“在这个领域是众所周知的”,并称它们是由加州大学伯克利分校的克里斯·皮斯特教授首创的。
“为什么没有人(应用这项技术)用于VR/MOCAP,我不知道。也许最近没有人想到,但它已经有16年历史,并且非常成熟。他们在光纤束中使用这些镜子作为光开关,”McCauley告诉我。“有时人们在处理问题时陷入一种思考模式。如果你只学会了使用相机,那你就会使用相机。我不是一个相机专家,所以我不能考虑使用相机,我必须找到其他方法来解决问题。”
MTS可以做更多的事情,超出了所展示的范围。例如,用于跟踪物体的激光可以调制用于向头盔传输数据。这意味着MTS可以像Lighthouse现在一样成为一个自包含的“傻瓜”系统,不需要连接到主机PC或头盔。它可以通过激光广播跟踪数据,接收端可以是连接到PC的VR头盔,也可以是移动头盔。在这种情况下,MTS基站不需要了解其跟踪的物体,它只需要能够良好瞄准并将正确的数据发射给物体。
McCauley还推测,该系统可以通过与跟踪物体中的IMU数据相结合,实现完整的6自由度跟踪。他承认自己对此的数学计算不是100%确定,并表示有人正在研究这个问题。我的直觉告诉我,这在技术上可能是可行的,但可能缺乏足够的IMU漂移修正来提供有用的结果。这似乎是一个无关紧要的问题,因为可以简单地添加额外的标记。
继续阅读第3页……

矢量不是光栅
在MTS演示之前,McCauley解释了为什么他认为这种无相机方法很重要。主要是关于范围和成本问题。
McCauley表示,在他在Oculus工作并为DK2开发基于相机的系统时,他很快就意识到了范围问题。公司长时间以来一直在讨论房间规模的功能,而McCauley认为相机方法在这些距离上不够可扩展。他解释说,基于相机的方法的范围受到了光栅传感器的限制。
Rift DK2相机的分辨率为752×480。对于只处于几英尺远的用户头戴设备,仅能看到传感器的一小部分像素(因为头戴设备只占了组成场景的总像素的一部分)。当你离得越远,头戴设备在越少的像素上被表示,这意味着电脑可以使用的数据更少,McCauley说。
可以这样理解:如果在距离相机8英尺处,头戴设备仅在752×480传感器的94×60区域内可见,实际上就像是在近距离上用一个94×60像素的相机跟踪头戴设备,使其充满整个视野。你离得越远,头戴设备就只在更少的像素上出现,这意味着计算机可使用的数据更少。头戴式显示设备,你的相机分辨率就会降低(从某种意义上说);当头戴式设备距离目标物体较远时,无法通过放大相机来增加图像传感器的利用率。
为了对抗这种远距离下可用像素的减少,人们想出了一些技巧,比如通过增加LED亮度来创造更大的光源供相机探测、利用LED的闪烁来获取关于追踪物体的额外信息,以及利用相机的动态曝光。然而,在某一点上,基于相机的追踪分辨率成为了限制距离的关键因素。
Oculus Rift DK2和Positional Tracking摄像头
显然,解决方法是提高图像传感器的分辨率,但成本迅速攀升,同时USB带宽成为了瓶颈,McCauley说道。
所以他选择了一种基于矢量的方法;理论上,这种方法不会受限于固定分辨率,也就是说,在5英尺或50英尺的距离上都能以相等的精度进行追踪。McCauley说,MTS的追踪算法的开创者Kris Pister教授曾经使用类似的系统追踪一架飞行距离超过一英里的无人机(虽然我猜在那个距离上我们已经远离了“合法用激光指向人”的范畴)。
因为MTS只需要传输激光角度的数值,所以解决方案的带宽要比以60Hz或更高的帧率发送和处理高分辨率图像低得多,McCauley说。
超越概念验证
这个系统并不完美。我看到它时常出现了失去追踪的情况,而且目前还没有与任何应用程序集成,所以我无法真正戴上头戴式设备看到追踪的精确程度。但是,McCauley的目标只是证明这个概念,而且看起来他已经成功了。还有很多优化的空间,使系统达到最佳状态。然而,他并不打算将MTS作为自己的产品。
“我会让其他人(商业化)。我要做的是将系统组装起来,让其他人尝试去让它工作。我可以获得部件…使公司提供硬件来构建这个东西,并让其以某种初步的形式进行调试,” McCauley说。“但是要将其真正与应用程序集成?我永远不想这样做。我只是要证明它是可行的。我对此唯一的兴趣就是这个。”
当我对这个问题进一步追问时,他说他对为这项技术成立一家公司没有兴趣。他似乎对在奥克拉斯之后休息很满意,并且还有很多关于他的Lola T70的工作要做。但听起来他并不是在以学术的方式进行这项工作,他不只是为了发表自己的研究结果。相反,McCauley正考虑在他的关系网中找到合适的合作伙伴使MTS成为现实。
“我可以接触到所有的铸造厂和硅制品,这是很有价值的。我也有足够多的朋友,如果我说‘那个东西会成功’或者‘我们来做这个’,他们会参与其中,”他告诉我。“如果你在某个小公司——甚至是中型公司——那么要说服人们冒险去实现这个项目是很困难的。将这个做出来所需的所有工程是一笔巨大的费用,但已经基本完成了(指加工微机电系统的铸造厂)…要获得那种资源对于一个小公司来说非常难,但我和业内人士的联系还不错。”

0

  1. This post has no comment yet

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注