Insider Insider
Roadtovr 尚无浏览 1 分钟阅读

“PosiTTron” Oculus Rift 位置追踪自制增加装置原型

这篇客座文章是由Jordi Batallé撰写的,他在过去几个月里一直致力于为头戴式显示器(HMDs/VR头戴设备)开发一种DIY位置追踪解决方案。Batallé是一位对虚拟现实充满热情的人,拥有计算机科学硕士学位。在他的上一篇文章中,他向读者介绍了位置追踪和自由度的概念(您需要了解这些概念才能理解下文的内容)。

Batallé设计了一种巧妙而廉价的虚拟现实DIY位置追踪系统,他将其称为PosiTTron。你可以在这里看到一个原型的演示。

在本文中,他谈到了设计PosiTTron时作出的决策,并展示了如何将其直接集成到头戴式显示器中或用于Oculus Rift的适配构思稿。
引言
首先我要提到的是,我设计这个解决方案的主要目标是为Oculus Rift提供支持,但这个概念也可以应用于大多数类型的头戴式显示器(HMD / VR头盔)。
位置追踪的问题在于,不仅有许多不同的方法来解决这个问题,而且还有许多不同的因素决定了哪种方法最适合每种场景(坐姿对站姿游玩,短程对长程,遮挡,磁场干扰,设置/校准过程的复杂性,与背心的兼容性,360度自由度移动等)。MTBS3D论坛的一些成员已经在为特定用例设计的系统上取得了一些真正的进展,比如Chriky的用于1:1实际位置映射的标记系统或Brantlew的用于开放空间中被重定向移动的Red Rovr Motion等。
然而,我想专注于完全不同的用例,一种面向普通在家玩游戏的消费者友好的方法来解决位置追踪。在这里,我认为主要优先事项应该是简单的设置、无角度限制的稳定坐姿游戏,以及理想情况下一个小游戏区域内的360度自由移动。对我来说,简单的设置意味着只需要一个外部追踪设备,它容易定位(例如你不需要安装在天花板上);就像Wii和Kinect这样的东西。我还相信系统的整体外观对于一个成功的商用设备来说非常重要。
未来和可用的解决方案:
针对消费者友好的情景,我认为从长远来看,磁性追踪或平行追踪和映射(PTAM)/视觉测距是最有前景的解决方案。我认为它们都是非常有效的方法,可能是虚拟现实的未来,但根据我目前所见,我们还没有达到那个阶段。在短期内(指现在可用的解决方案),最流行的方法之一似乎是”从外部向内”的光学追踪系统。总体而言,外部、向内看的方法的一些优点是处理要求低和延迟低。
其中一个外部光学追踪的例子就是PS Move方法,就像在Project Holodeck中看到的那样(基本上是将一个PlayStation Move手柄绑在头顶上,并使用一个摄像头进行追踪)。我对这种系统的问题(除了看起来非常傻)是:如果你向上看90度会发生什么?由于只有1个摄像头和1个标记点,你将始终面临遮挡问题。
另一个流行的光学解决方案是TrackIR。这实际上非常接近我所期望的追踪系统。唯一的问题是它在角度和遮挡上受到限制:它的可视范围非常有限(约45度),如果你的视线固定在电脑屏幕上,这还可以接受,但在佩戴VR头盔时就不够好了。此外,它的工作范围(约1.5米)比我期望的要短一些(理想情况下为3到4米)。
我的方法
所以我的思维线路是:如果我们已经有了一项被证明在工作时工作得很好的技术,为什么不简单地尝试扩展它,并通过在目标上添加更多的标记来解决低角度和遮挡问题呢?顺便说一句,为什么不利用VR的一个大难题我们能否利用佩戴头部设备这一点,来融入解决方案?
几个月前,我在MTBS3D论坛上关注了一个非常有趣的6自由度头部追踪理念的话题。
在这个话题以及其他相关帖子的几次讨论之后,我很惊讶地发现,论坛上似乎没有人尝试过类似的实施,或者并没有给它太多的思考…所以我决定在有空的时候自己尝试一下!
基本上,我主要的设计目标是:

位置追踪(真正的6自由度),水平方向360度自由,垂直方向90度自由
最多只能有一个外部追踪设备(摄像头),设置简单,无需用户输入或校准
不要有“伸出的天线”(TrackIR风格)或“发光球”(PS移动风格)。

它们会使头戴设备更容易损坏,而且看起来并不很酷。

我认为有一个中期解决方案的空间,即可能不是虚拟现实的最终位置追踪,但仍然比现有的替代方案好。

我的解决方案
硬件:
首先,我想介绍一下“截塔立方体”,以防你不知道它!
截塔立方体的有趣之处在于,无论你从哪个角度看,你总是可以看到至少4个面。对于一个三维物体的姿势估计,你在任何时候都需要看到4个非共面的点,因此如果我们在截塔立方体的每个面上放置标记,这可能是一个完美的匹配。幸运的是,它不必是完全均匀的多面体;截塔长方体也具有这个特征。这种多面体的另一个好处是,它的形状很容易变成一个头戴设备的外壳设计的基础。
标记集成:
我们面临的下一个问题是,对于姿势估计,我们不仅需要“看到”这些标记,还需要能够识别它们,也就是给每个标记赋予一个编号,并能够告诉哪个是哪个。
红外(IR)标记很受欢迎,因为它们很容易通过适当的滤波器与背景区分开,但能够检测到多种颜色可以大大简化问题。可见光谱上的颜色显然比红外光难以检测,但我们有一些可以利用的东西——由于我们将这些标记集成到头戴设备中,我们实际上可以控制颜色显示的背景,以便更轻松地实现斑点检测。
下面是我最初的一些实验,我决定在最暗的背景上使用简单的彩色贴纸。为此,我使用了望远镜上的聚集纸,它比用黑色天鹅绒更实用和均匀。我使用PlayStation Eye作为图像处理的主要摄像头。

通过这个设置,我取得了相当不错的结果;它已经足够好了,足以构建主要的斑点分析算法,我能够区分四种基本颜色(红色、绿色、蓝色、黄色)。不出所料,问题在于结果非常依赖环境光,微小的变化会导致无法识别。显而易见的下一步是转向彩色LED。
回顾过去,找到合适的LED使用是最大的意外困难之一;它们需要具有广角和均匀的光线显示,我不得不尝试不同的电流强度和摄像头设置,直到找到表现足够好的LED。
我还发现必须将摄像头的增益和曝光几乎降至最低设置,以获取正确的颜色(不是白色曝光过度),这进一步有助于减少快速移动中的斑点“拖尾”,并且还具有另一个期望的效果:由于整个图像变暗,斑点检测已经解决了一半,因为只有亮光突出。实际上,这使得聚集黑暗纸变得多余,但我决定仍然使用它。在这方面,我犯了一个愚蠢的错误:我在测试中将摄像头的帧率设置为30 FPS而不是60 FPS,后来我意识到这确实会影响颜色检测。
在这里,您可以看到我使用的电源和我进行的一个测试。使用LED灯:

当我对LED灯感到满意后,我觉得是时候开始建造主要的原型了。理论上,我们每个侧面的截断长方体只需要一个标记器(共16个),这样我们总是能看到至少4个非共面点(经常还有冗余,这并不坏)。然而在实践中,这个长方体必须分为两个部分(HMD的前面和后面)。我认为在侧面和顶部,两部分都装上LED灯会更好,即使它们共享相同的理论平面。这样做是为了克服头部/颈部本身的遮挡。事实上,我决定在前后各加两个指示灯,以便拥有两种更多的不同类型的标记,有助于点的检测。我还决定在每个部分的顶部和底部各加两个LED灯,这样我们可以至少从顶部/底部直视时检测到四个灯,而不依赖于HMD的另一部分。不过事后我对这些决定感到后悔,因为它们使设计和检测算法变得更加复杂,实际上带来了更多的问题而不是好处。
回想起来,我另一个错误是使用电压调节器LM317和固定电阻来固定LED灯的亮度…我应该使用电位器,这样可以在不重新焊接的情况下调节LED灯的亮度…嗯,算了。
最终我的最终设计包含了22个不同类型的标记,分为六种不同的颜色:红色、绿色、蓝色、白色、蓝色指示灯、黄色指示灯。
显然,为了正确检测到这22个不同的标记,如果我们能有22种不同的颜色就最理想了,但这实际上不切实际,我敢说甚至不可能,至少在PlayStation Eye硬件上不可能。然而,如果您分布它们得比较聪明,并且在尝试识别个别标记时考虑周围的标记,那么拥有4或6种不同类型的标记就足够进行点的检测了。LED灯不必放置在我使用的确切位置上,也不必使用相同的颜色,你可以在这方面有所创意。唯一的两个规则是始终要确保有四个非共面的可见点,并以一种可以与完整的3D模型匹配的方式着色。

照片介绍:

DIY粗略成本估计:

20个LED灯 -> 15美元
2个指示灯 -> 8美元
1个PS相机 -> 15美元
LM317Ts、电阻、电线等 -> 约5美元
总成本估计 -> 约43美元

如果批量购买这些部件,成本可以大大降低,如果不计入相机的话,可能会低于12美元。如果自己动手做,可能还需要添加一个AC/DC电源(约15美元),如果与现有的HMD电源集成则不需要。

以下是成品的图像:

软件:
对于软件方面,我决定选择C/C++,因为最低延迟是非常重要的。我也决定使用OpenCV进行图像分析,使用OpenGL显示一些结果。我以前从未使用过OpenCV,总的来说我觉得它非常好,除了某些地方的过时文档以外。

简要程序说明:
初始化:
– 创建/存储标记的3D模型
– 对图像应用高斯模糊以防止检测到虚假斑点

核心功能:
– 斑点分析:检测椭圆,获取中心坐标、颜色和类型
– 点检测:将斑点分析的结果与3D模型进行匹配,对每个标记进行编号
– 姿态估计:使用匹配的3D模型点和2D图像点估计物体的姿态

显示结果:
– 应用卡尔曼滤波器
– 使用OpenCV绘制斑点分析和点检测的结果
– 使用OpenGL绘制简单的游戏地图

首先,我决定自己创建一个斑点检测算法,以便更好地控制条件和结果。令人惊喜的是,我的自定义扫描模式在非常不同的光照条件下(完全黑暗、人工光和直射阳光)下,检测到多达5种不同颜色(红色、绿色、蓝色、白色、黄色)的可靠性非常高,大约可达到1.5米的距离;虽然不如我希望的那样远,但我对它还是比较满意的。相信这个距离可以在不过多困难的情况下改进到2.5-3m,但目前已经足够将主要焦点转移到问题的其他部分了。
对于点检测,我面临的问题是只有5种不同的颜色需要识别22个不同的标记。为了解决这个问题,我为每个标记创建了相当多复杂的规则,这些规则不仅考虑当前标记的颜色,还考虑了所有可能的视角下相邻标记的相对位置和角度。这部分仍然可以改进,因为有时检测会失败,但是在这一点上,我意识到在尝试改进软件方面之前,重新思考一下硬件上的LED分布可能会更好。
对于姿态估计部分,我决定使用OpenCV实现的POSIT算法。不幸的是,这并不像调用一个函数那么简单,因为输入要求是要检测到的物体的所有点的完整列表,始终从相同的原点开始,并且对于每个帧,我们只有这些点的一个小子集(相机可见的点)。我通过使用一些技巧解决了这个问题,但目前不会详细介绍。
在得到位置和方向值之后,我认为展示一个简单的实时房间表示会很酷,这样更容易评估输出的质量。为此,我创建了自己的OpenGL“引擎”,这样我就可以完全控制输入组合对游戏中的移动产生的影响。我使用的地图是从Nehe的OpenGL教程中手动修改的版本:结果是一个色彩奇特的寺庙,里面有一些类似’墓碑’的东西。头部运动检测有意夸张,以便进行演示,在使用真正的HMD时应该减少。
结果:
我认为初步的结果尽管并不完美,但相当有希望,因为我成功地实现了一个相当可靠的跟踪,具有良好的响应和良好的精度,即使在30帧每秒的速度下也感觉非常流畅。我已经成功测试了60帧每秒,但由于LED的强度没有正确调整,使得块分析结果不如30帧每秒好。这应该可以通过一个相对简单的硬件修改来解决。
在视频中,您可以看到原型机顶部和底部添加了一些小的’翅膀’,模拟了头部的上部和颈部挡住了一些LED。由于LED检测失败,有时仍然会出现一些小的故障。正如我提到的,可以通过更复杂的规则来纠正这个问题,但我已经考虑了一些硬件和标记分布的修改来防止这种故障。
此外,您可以看到大部分抖动(特别是在关闭卡尔曼滤波器时)与方向相关,但该系统的主要目的是获得位置跟踪;与IMU一起使用以获取方向值,并将光学跟踪仅用于获取位置信息,最终结果应该更好。尽管找到方向并不是这个项目的主要目标,但这些值仍然非常有用,您可以在视频中看到。
我实际上不知道PlayStation Eye相机本身引入的延迟,但我决定进行一些测量,以了解我的软件引入的延迟:

标准化方框滤波模糊 = 3.38毫秒
块分析 = 4.20毫秒
点检测+姿态估计 = 0.06毫秒
OpenCV绘图结果 = 0.60毫秒
OpenGL绘图结果 = 0.06毫秒
总计:约8.30毫秒。

首先我使用了OpenCV的高斯模糊,但它大约需要5.20毫秒的时间。后来我意识到我可以用标准模糊(标准化方框滤波器)代替它。块检测仍然有效,延迟减少了近2毫秒(从5.20毫秒减少到3.38毫秒)。我相信在这个领域仍然有改进的空间。
当前原型的限制总结:

块分析距离1.5m。通过硬件和软件的修改,可以提高到2.5-3m。
点检测有时会失败;可以通过使用不同的LED分布来修复。
30帧每秒。获得60帧每秒应该很容易。(根据LED亮度进行调整)。可以达到120帧/秒(牺牲检测距离来减低分辨率)

一个使用这个系统的真实头戴式显示器会是什么样子呢?
人们常说一图胜千言,所以我决定添加一些3D渲染图来更好地展示这个想法如何应用于真实的头戴式显示器。请注意,这些图并不打算非常准确、机械上正确,甚至比例也不一定正确。
这个头戴式显示器需要被分为两个不同的部分,并且可以用一个望远镜式的管道连接起来,用于保持两部分之间的刚性并测量它们之间的距离(以便将精确的3D模型喂给跟踪算法)。这些信息也可以用于其他用途,比如提供大致头部大小给双声道音频处理。
基于以下原型图和视频的全方位头部定位跟踪HMD的原始构想:

前后部分不需要完全相等,它们只需在固定位置上有标记。我认为如果这个系统应用于商业HMD上,后部可以用于连接器或存储无线接收器和电池,或者简单地用于平衡前部的重量和头戴式支架的重心。也许可以设计得类似90年代Virtuality系统的某些款式。此外,如果将HMD的后部隔离出来会引起太多问题,仍然可以只使用前部部分来实现该想法,将移动范围限制在每侧约100度(总计200度),这在虚拟现实中可能仍然可以使用,只要在游戏过程中记住这个限制。
其他想法
尽管我的主要目标是坐姿玩游戏,但我相信搭配头戴式显示器、无线连接,并在距离检测上进行一些改进,你可以在一个小范围内实现完全自由的移动(在PlayStation Move摄像头的视场范围内,最大距离约为3米)。目前我认为它只适合于坐姿玩游戏;站立/原地旋转可能可以工作,但你需要将摄像头安装在某种支架上(与头部在同一高度),并且你的活动范围不会太大。
正如前面提到的,显然对于消费设备来说,不需要外部跟踪设备会更理想,但我认为只有一个摄像头是可以接受的,因为大多数人已经习惯了PlayStation Move或Kinect这样的设备。事实上,它甚至可以被视为一种“安全功能”;当你走出摄像头的视场时,系统可以暂停并提醒你。最后,我想指出的是,有时我们这些极客往往忽略了外观在消费设备中的重要性。我知道我的小原型看起来不精彩(外观是非常主观的),但我认为它有潜力看起来相当酷。个人而言,我认为它有一种半人马座遇上钢铁侠的氛围!
一般限制:

这个解决方案的主要“问题”是HMD的外壳设计需要进行适应。我想明确的是,如果你想给现有的HMD添加位置跟踪,这个整个想法并不是非常实际(虽然一切都有可能)。它旨在成为一个新的HMD的外壳设计的一部分,此外,其光学跟踪功能需要事先考虑(无论是DIY还是商业化)。
精度随距离降低而降低,距离1.5米还是相当不错的。可以改善。
如果有人在你和摄像头之间走动,你可能会失去定位。同样,这可能实际上是一个不错的“功能”:如果有人遮挡摄像头超过3秒,这可能是一种通知你他们需要你关注的方式。最好有一种方法实现这个,就像有人之前建议的那样。