Tony Bowren最近在YouTube上分享了他对Oculus Rift开发套件缺乏位置跟踪的问题的相当巧妙的解决方案,他使用Razer Hydra进行了解决。他向我们谈到了这个项目,稍微介绍了一下自己,并引导我们演示了用Razer Hydra实现Oculus Rift位置跟踪所需的代码更改。
如果您想跳转到代码演示,请从上面的选择框中选择“第2页”或点击这里。
Oculus Rift开发套件及其最大的缺点
除了高分辨率显示器外,Oculus Rift开发套件还缺少什么?即位置跟踪,或者说能够检测用户在物理空间中的位置的能力(如果您感兴趣,我们之前稍微详细介绍了一下)。Tony Bowren最近发布了一个视频,演示了他对这个问题的聪明解决方案,引起了网上的轰动。
那个解决方案是Razer Hydra。巧妙地绑在头戴设备后面,Hydra的其中一个控制单元充当位置传感器,使得Tony能够利用这些数据来定制Oculus Rift Tuscan Demo(属于Oculus SDK的一部分)。原始视频(请参见上述的代码)中的一个亮点时刻是Tony的儿子在窗户外倾斜身体并观察周围的情景,这在仅使用Rift开发套件时是不可能的。我们联系了Tony,迫切希望了解他对这个问题的方法以及他的一些背景。他高兴地答应接受采访,并与我们分享了他的逐行注释代码(请参见本文第二页面的代码演示)。
Road to VR: 能给我们介绍一下你自己吗?
Tony: 我的学历是加州大学尔湾分校的机械工程(机器人控制)学位,但我很快转向了游戏行业而不是工程领域。我1994年左右在Interplay Productions制作了一个三维介绍片,那是我第一份与图形相关的工作。
我曾在Interplay和Acclaim工作,并进入商业和电影制作领域。我曾是华纳兄弟的电影《好蜡苦松》的特效艺术家,然后再次回到了游戏行业。今年十月将标志我与NCsoft工作满10年,其中2年是在制作《幽谷:英雄战记》的电影,并在其他8年里制作《野望星球》。我最感兴趣的是人与计算机交互,特别是与艺术创作有关。我参与VR编程的目标是降低人们在VR中创作的障碍,并创建使其有趣和直观的工具。我有兴趣开发真正扰乱人们对内容创作的思维方式的方法。要做到这一点,必须改进输入方法,尤其是更好地跟踪头部和双手的方法。
Road to VR: 你会说自己是一个VR爱好者吗?你是什么时候知道Oculus Rift的?
Tony: 在80年代长大的我一直对VR的想法感兴趣,但我无法真正成为对我无法充分体验的事情“热心”的人。我从一些朋友那里听说了Rift,他们在去年的E3展上看到了“约翰·卡马克”的新眼镜。我立刻上谷歌搜索,找到了MTBS3D.com,并开始自学所有的细节。我每天早上醒来都会上Kickstarter搜索Rift,最后在8月1日,我成为了第22个捐赠者。
Road to VR: 你对Oculus Rift感兴趣的地方是什么?你认为它可能会引领游戏行业走向何方?有没有特别想看到的游戏?
Tony: 我对Rift感兴趣的地方在于能够将用户和计算机置于同一“空间”中。当我看《钢铁侠》时,看到托尼·斯塔克与他的所有数据和模型进行实际互动时,我会兴奋不已,因此能够像那样工作。我一直很喜欢Kinect和[PlayStation] Move,但为了有效地使用它们,我必须与屏幕保持6到8英尺的距离。将屏幕移到我的脸前,将消除一切这些问题,突然之间,所有这些技术变得更加引人入胜。
Road to VR: 您是否认为非游戏界面和应用有重大影响?有没有特别想看到的内容?
Tony:Minecraft、天际、和任何好的飞行和驾驶模拟器都会很棒。我希望能在VR中看到一个大型多人在线游戏,但它必须设计得比目前大多数游戏的用户界面和键盘交互少得多。我对这些挑战有很多思考,做好这个确实需要大量的设计时间。
Road to VR:Razer Hydra已经出来一段时间了(有人说它走在时代前沿),您是否觉得它可能会随着虚拟现实的复兴而进入一个全新的阶段?
Tony:在非游戏界面方面,今年1月份,我开始尝试使用Hydra来跟踪头部并创建一个虚拟窗口进入我的电脑。你可以在这里看到视频:
Tony:使用Hydra进行跟踪是一个非常有效的测试。我曾尝试使用OpenCV来进行面部跟踪,但处理速度太慢了。Hydra似乎没有计算开销,但我注意到Macbook Pro的铝制框架确实扭曲了磁场。房子或桌子的不同区域也会影响它。这是Hydra的主要缺点,但由于典型的头部动作范围和速度有限,而且通常头部附近没有太多金属物体,我觉得它有潜力。
Road to VR:您对Razer Hydra的兴趣是什么?
Tony:Hydra对我来说很有趣,因为它是一个真正的三维输入设备,而且有按钮。我已经尝试过许多读取手部的手势输入方案,但它们不能提供可靠的结果。我的鼠标按钮总是点击,总是拖动,当我移开手时总是停止移动。没有物理按钮,我从未能够使任何其他手势方案像鼠标那样有效。如果它令人沮丧和不一致,它就不能取代鼠标。
Road to VR:您和Oculus Rift的下一步是什么?有什么特别的项目您想与我们分享吗?
Tony:我的下一个项目将使用Kinect和Rift。我现在已经有了合并这两个设备的所有代码,所以一旦我有了时间,我就准备试玩一下。
转到第2页,Tony将向我们展示如何在Oculus SDK的Tuscany Demo中添加Hydra位置跟踪的代码更改。
如何使用Razer Hydra向Oculus Tuscany Demo添加位置跟踪
开始之前您需要:
Visual Studio (Express) 10和Direct X SDK (2010年6月)
1. 获取Oculus SDK:点击这里。
获取Sixense SDK:点击这里。
2. 编译和测试示例代码。在这种情况下,我们使用OculusWorldDemo作为起点。
3. 加载OculusSDK\Samples\LibOVR_Samples_Msvc2010.sln文件,并确保OculusWorldDemo是启动项目。
4. 为Razer添加包含目录和库。OculusWorldDemo > Properties: C/C++ > General > Additional Include Directories: (Add) C:\dev\SixenseSDK_062612\include (或者根据您安装SDK的位置) Linker > General.>Additional Library Directories: (Add) C:\dev\SixenseSDK_062612\lib\win32\release_dll (如果您是在调试模式下,则添加debug_dll) Linker > Input > Additional Dependencies: (Add) sixense.lib sixense_utils.lib
5. 在OculusWorldDemo.cpp文件的顶部添加头文件
[csharp]
#include
#include
#include
#include
#include
[/csharp]
6. 在OculusWorldDemoApp类中添加一些受保护的变量:
[csharp]
sixenseAllControllerData acd;
float hand_lf_x, hand_lf_y, hand_lf_z,hand_rt_x, hand_rt_y, hand_rt_z;
float hand_rt_offset_x,hand_rt_offset_y, hand_rt_offset_z;
float hand_lf_offset_x,hand_lf_offset_y, hand_lf_offset_z;
[/csharp]
7. 找到…
[csharp]OculusWorldDemoApp::OnStartup[/csharp]
…并在最后添加Hydra的设置:
[csharp]
// 初始化Sixense
sixenseInit();
// 初始化控制器管理器。这确保了控制器存在,分配给了左右手,并且半球校准已完成。
sixenseUtils::getTheControllerManager()>
setGameType(
sixenseUtils::ControllerManager::ONE_PLAYER_TWO_CONTROLLER );
[/csharp]
8. 找到…
[csharp]void OculusWorldDemoApp::OnIdle()[/csharp]
…并在结尾添加以下内容,[csharp]if(pSensor)[/csharp]块:
[csharp]
float scale = .0015f;
//读取左手控制器并保存位置值
hand_lf_x = scale * acd.controllers[1].pos[0] ;
hand_lf_y = scale * acd.controllers[1].pos[1] ;
hand_lf_z = scale * acd.controllers[1].pos[2] ;
hand_lf_offset_y += scale *acd.controllers[1].joystick_y ;
hand_lf_offset_x += acd.controllers[0].joystick_x * acd.controllers[0].joystick_x * (acd.controllers[0].joystick_x > 0 .1 : .1) ;
hand_lf_offset_z += acd.controllers[0].joystick_y * acd.controllers[0].joystick_y * (acd.controllers[0].joystick_y > 0 ? . 1 : .1);
[/csharp]
9. 更远处:
[csharp]OculusWorldDemoApp::OnIdle()[/csharp]
…在以下命令之前:
[csharp]View = Matrix4f::LookAtRH(shiftedEyePos, shiftedEyePos + forward, up);[/csharp]
…将Hydra的偏移值插入到眼睛位置:
[csharp]
//计算玩家身体的旋转
Matrix4f yawRotate = Matrix4f::RotationY(Player.BodyYaw);
//从上一次重置位置获取Hydra的偏移
Vector3f eye_hydra ( hand_lf_offset_x – hand_lf_x , hand_lf_y – hand_lf_offset_y, hand_lf_offset_z – hand_lf_z );
//根据身体旋转调整,确保正前方始终是朝前
Vector3f eye_orientationVector = yawRotate.Transform(eye_hydra);
//将新的眼睛位置添加到基本的眼睛位置
shiftedEyePos += eye_orientationVector;
[/csharp]
早期测试的一个问题是,如果你把头转向一侧然后朝那个方向看,Hydra无法正确跟踪。这是因为Hydra在世界空间中记录其偏移量,但不知道你的整个身体已经在场景中旋转了。通过跟踪BodyYaw,并将Hydra的平移通过该旋转值进行旋转,可以使一切保持正确对齐。按下右边Hydra的触发器将在平移模式和旋转模式之间切换。
原始演示中的头部”建模”是通过将视觉者的眼睛前移或头部旋转点来进行的。这非常类似于Hydra的BodyYaw计算的方式。然而,由于Hydra位于头部背面,与眼睛相反,这实际上撤销了头部建模。为了补偿这一点,并恢复我们漂亮的头部/眼睛建模效果,我们必须增加headBaseToEyeProtrusion的长度。在我的调整变量hydra_head_offset= 2.5中可以看到我用于缩放该值。可以尝试不同的值来获得不同的眼部头部建模效果。
您可以在以下位置下载编译后的二进制文件和源代码:
在此处下载HydraHeadTracker.zip
免责声明:用户自行承担下载文件的风险,RoadToVR对因使用或滥用所提供的文件而导致的任何损害不承担任何责任。
下载说明:
右边Hydra的摇杆用于移动玩家,按住触发器可在旋转模式和平移模式之间切换。
按下左侧汽车保险杠将重置头部跟踪器,因此如果您需要更向前移动,请向后倾斜并重新按下保险杠。
非常感谢Tony的辛勤工作,并允许我们分享他的工作。您可以在我们的开发者论坛上进一步讨论本文章。您可以在Tony的YouTube频道上找到他。