受目前Oculus Rift DK2没有Linux SDK的限制,一群开发人员决定通过逆向工程DK2来解析Rift的光学追踪系统。这些耗费大量时间搜集到的技术信息非常专业,所以我们整理了关键的焦点,以更易读的格式展示为何这个社区项目如此重要。
非常感谢Brad Davis和Oliver Kreylos带头进行逆向工程的努力。Davis通过发现LED激活代码并与他人分享他的初步发现推动了这个项目的发展。Kreylos通过帮助修正相机的本机视图等方面做出了贡献,并在Davis在Reddit Oculus子论坛的一个讨论串中开始的合作工作中整理出了关键信息。
Davis是亚马逊的软件开发工程师,也是GitHub上Oculus VR SDK社区版的维护者。他还在出版一本关于Oculus Rift的书,深入探讨了这款VR头显的技术细节。
Kreylos是一位在加州大学戴维斯分校数据分析和可视化研究所以及W.M. Keck活动可视化中心工作的博士虚拟现实研究员。
目前已经得出以下结论:
追踪LED可以通过特定的代码触发和收集
在弄清相机与头戴式显示器的接口时,检索到了DK2的几个神秘功能。
发送人机接口设备(HID)功能报告会打开LED并持续十秒,然后引起它们以奇怪的方式闪烁。一开始,社区对此原因并不确定,并在线上进行了猜测。后来,Github用户pH5发现每个LED都以不同亮度和特定闪烁频率进行广播。这使得追踪相机可以根据光源精确的闪烁模式来识别来源。有了这个信息,DK2相机可以通过LED识别算法进行编程。
头显和相机的同步是在解决了一些问题后实现的
追踪相机是一款标准的USB摄像头,具有红外滤镜,用于捕捉DK2 LED灯的闪烁频率。深入相机固件时发现了一个问题,即固件中深层嵌入的一个软件错误。相机本身宣称具有376×480像素的分辨率,但实际上相机设置为752×480像素。如果不更正这个问题,相机图像会被拉伸和扭曲。
将相机和VR头显连接起来后,LED会以类似但不完全相同的频率 strobe,与追踪相机的帧率不一致。这造成了一种不规则的节奏,很可能是无意之中产生的。这意味着同步功能默认未启用,需要手动进行纠正。
在这方面利用了pH5的知识。通过向相机成像传感器的寄存器中写入命令,可以在接收到同步脉冲时准确打开快门。直接向相机发送命令可以完全控制曝光、增益、黑电平和图像翻转功能。
相机的镜头畸变也是一个需要纠正的问题。由于相机的视野相对较大,设备存在一些校准问题。通过去除红外滤镜并测试镜头的可能内在参数来解决这个问题。在计算畸变公式后,修改了相机的图像捕捉,得到了更好的视图。
提取LED的位置将开启全新的输入可能性
Oculus Rift DK2的模型显示红点代表LED灯,蓝线代表最大发射方向。
解锁相机追踪功能可以为输入技术打开大门。追踪其他输入设备。嵌入红外光的定制可穿戴配件能够被系统识别。例如,修改“舞会手套”以用于虚拟现实,可以为虚拟现实体验提供额外的输入,并增强虚拟体验的真实感。
另请参阅:《Oculus Rift DK2定位跟踪的惊人表现》(视频)
还有更多需要了解的地方
多亏了在线VR社区的集体努力,我们对Oculus Rift DK2的位置跟踪机制有了更多的了解。可以通过DK2的摄像头打开和跟踪LED,信号和命令可以直接发送到这两个设备,从而完全控制系统。还开发了姿势算法,以在图像空间上通过时间跟踪红外斑点。
然而,还有很多需要了解的地方。例如,当提取头戴设备中LED的三维位置时,发现灯光并不对称。有人提出这是制造过程中的一个校准问题。对其他VR头戴设备进行额外的测试将显示出每个DK2是否真正进行了出厂校准,或者所有设备是否都含有完全相同的位置数据。3D姿势算法虽然最初是原型设计,但仍需要进行微调。
Brad Davis的视频展示了将摄像机输入通过图像处理器进行处理,从画面中除去除了LED外的一切的初始LED识别。
总体而言,开发人员们能够共同努力,帮助彼此了解跟踪系统的工作原理。这些发现对于更好地记录Rift的所有内容是巨大的进步,它使那些有兴趣创建VR体验的人能够了解所有要素的相互配合。这个社区项目无疑将激发其他人深入研究并与世界分享他们的发现。