照片来源:BagoGames
在虚拟现实中,位置跟踪对于实现沉浸感和存在感非常重要。有许多方法可以实现位置跟踪,每种解决方案都有其优缺点。本文概述了可用于虚拟现实的位置跟踪技术。
本文由Yuval Boger撰写,他是美国马里兰州的Sensics公司的首席执行官,该公司自2003年以来专门从事专业级头戴显示器。Boger还在个人博客VRguy.net上撰写有关虚拟现实的文章。
另请参阅:位置跟踪和自由度(DOF)简介
无论是头部、手臂、手指还是物体(如武器),位置跟踪都能带来多种好处:
通过改变用户视角以反映跳跃、躲闪或前倾等动作。
在显示的图像中显示手和其他物体。虚拟现实用户常常抱怨看不到自己的手。
将物理世界与虚拟世界连接起来。例如,通过检测手的位置,软件程序可以实现通过触摸虚拟物体来移动它们的选项。
检测手势。通过分析随时间变化的位置,可以检测手势。例如,用户可以在空中画一个“8”,然后软件可以检测出来。
有几种跟踪位置的方法,我觉得值得描述一些。本文重点讨论用于虚拟现实应用的跟踪,所以我们不会讨论用于其他用途的跟踪。以下是一些常用的跟踪方法,不分特别顺序:
磁性跟踪
通过磁性线圈检测各个轴的位置。
磁性跟踪依赖于测量各个方向上磁场的强度。通常有一个基站产生交流、直流或脉冲直流激励。随着测量点和基站之间的距离增加,磁场的强度会降低。如果测量点旋转,磁场的分布在各个轴上会发生变化,从而可以确定方向。磁性跟踪已被应用在许多产品中,例如Razer Hydra。
在控制环境中,磁性跟踪的精度可以很高(Hydra的规格为1毫米的位置精度和1度的旋转精度),但磁性跟踪会受到接近发射器或传感器的导电材料的干扰、其他电子设备产生的磁场的干扰以及跟踪区域中的铁磁材料的影响。
声波跟踪
Intersense IS-900 位置跟踪器
声波跟踪测量已知声波信号到达已知接收器所需的时间。通常,在被跟踪的环境中分布多个发射器,并在被跟踪物体上放置多个接收器(麦克风)。如果接收器在收到信号时知道信号何时被发送,接收信号所需的时间可以提供与发射器之间的距离。当刚性物体上存在多个已知位置的接收器/麦克风时,它们之间的时间差可以提供有关该刚性物体相对于发射器的定位数据。声波跟踪解决方案已被Intersense等公司成功应用。
声波跟踪需要耗时校准,对环境噪音影响导致测量误差,并且通常不能提供非常高的更新速率。通常,声波跟踪技术与惯性传感器等其他传感器一起使用,“传感器融合”能提供比仅使用声波传感器时更高的精度。
惯性跟踪
照片来源:Explodingfish
惯性跟踪使用加速度计和陀螺仪。加速度计测量线性加速度。由于位置对时间的导数是速度,速度对时间的导数是加速度,加速度计的输出可以进行积分来计算速度,然后再次积分来计算位置(详见
精确来说,测量相对于某个初始点的位置)
陀螺仪用于测量角速度。陀螺仪是基于微电子机械系统技术的固态组件,但其工作原理与右侧显示的机械陀螺仪相同。与加速度计的情况类似,角速度可以被积分以确定角位移(更准确地说,相对于初始点的角位移)。
惯性跟踪的优势在于成本低廉,能提供高更新率和低延迟。然而,积分和双重积分会导致明显的漂移,特别是与位置信息相关的漂移,因此难以依赖惯性跟踪来确定位置。
光学跟踪
光学跟踪有几种方法,都使用各种摄像头来获取位置信息:
带标记的光学跟踪
配备红外标记的Sensics dSight
在这种方法中,对象上安装有形成已知模式的标记。一个视频摄像头或多个视频摄像头不断寻找这些标记,然后使用各种算法(如POSIT算法)从标记中提取对象的位置。该算法通过将已知的标记位置与从摄像头检测到的标记位置进行匹配,并确定对象的位置和方向。标记的数量、位置和排列方式当然需要一定的科学依据。例如,如果我们只选择四个构成正方形角的标记,就无法确定对象是否直立、倒置还是侧面旋转90度。这些算法还必须处理丢失的数据,例如一个或多个标记在摄像头视野之外或暂时被遮挡的情况。
Advanced Research Tracking的跟踪摄像头
标记可以是被动的或主动的。主动标记通常是周期性闪烁的红外灯。通过与摄像头同步其发光时间,可以更容易地屏蔽跟踪区域内的其他红外灯。被动标记是反射镜,将红外光反射回光源。在使用被动标记的情况下,摄像头配备了一个红外闪光灯,它的光会反射到标记上。例如,右侧的图片显示了一个带内置红外照明的摄像头。选择主动标记还是被动标记取决于许多变量,如距离、表面类型、所需的视野方向等。
如果它们具有不同的标记排列方式,可以同时追踪不同的对象。
带可见标记的光学跟踪
Intersense的可见标记(基准标记)
光学跟踪的另一种变种是跟踪可见标记,这些标记是预定义的模式,如右侧的示例(Intersense光学跟踪系统的一部分)。摄像头可以识别这个标记的存在,如果多个标记放置在已知位置,可以计算出位置和方向。
标记可以采用各种形状和大小。有时,它们看起来更像是QR码。有时,它们的形状是圆形,就像这个例子。关键是能够以计算效率高的方式快速识别摄像头中的标记,并能够创建足够多的不同标记。
“狂野标记”的一个著名例子是Valve Software的演示房间(见下图)。墙壁和天花板上都贴满了各种标记。原型头戴式显示器配备了不断寻找各种标记的摄像头。这种标记布置虽然通常不实用,但在房间范围内可以提供准确的位置跟踪。
无标记跟踪
如果知道对象的几何形状(例如从CAD模型中得知),则可以执行无标记跟踪,该跟踪不断搜索和比较图像与已知的3D模型。例如,下面的算法用于跟踪一个盒子,并在其上添加虚拟对象。在这个特定例子中,摄像头可能会识别出对象。分析实时图像以获取边缘或颜色过渡,并将这些边缘与已知模型进行匹配。
即使3D模型未知,也可能识别出物体的更通用特征,比如脸部或身体,并将其用于连续跟踪,如下面的视频所示。
利用深度图进行跟踪
实现跟踪的另一种方法是使用深度图相机。像微软的Kinect或SoftKinetic的DS325这样的深度图相机利用各种技术(结构光,飞行时间)来实时创建物体与相机之间距离的地图。然后可以通过尝试从深度图中提取要跟踪的对象(手,面部等),然后分析提取的部分来执行跟踪。
传感器融合
通常,将多种跟踪技术组合使用可以比单独使用每种技术获得更好的效果。例如,假设光学跟踪和惯性跟踪都可用。惯性跟踪会产生漂移,而光学跟踪容易受到遮挡(标记被隐藏)。如果将它们结合起来使用,可以获得一些有益的好处,例如:
如果标记被遮挡,我们可以使用惯性跟踪器的数据来估计位置,直到光学跟踪再次锁定目标。
即使光学跟踪已锁定,如果我们有一个以更高频率提供更新的惯性传感器,我们可以在光学跟踪报告之间使用这些更新来提供更高频率的位置跟踪更新。
如何选择最佳方法?
没有一个正确的答案来确定最佳跟踪方法。有许多要考虑的因素:
所需的跟踪精度
所需的刷新率
要跟踪的对象是已知的还是可能会变化
要跟踪的对象是刚性的还是可变形的
所需的跟踪区域
是否需要室内或室外跟踪,其中光照条件可能更具挑战性
跟踪可用的成本、功耗和计算能力。