在南加州大学有一个由25名成员组成的团队正在开发一个全动态的虚拟现实游戏环境,他们称之为Project Holodeck。所谓的“全动态”是指玩家可以在游戏环境中真正地行走或跑步。他们的移动将被追踪并用于控制在游戏中的导航。玩家将佩戴Oculus Rift头戴式显示设备/虚拟现实头盔,该设备具有头部追踪功能和高视角,使他们看起来真的身处于虚拟世界之中。我与Project Holodeck的制作人詹姆斯·伊利夫进行了对话,谈到了这个令人兴奋的项目。
先驱者:Shayd
伊利夫是南加州大学的大四学生,对虚拟现实领域非常熟悉(你可以在他的博客上找到他对这个话题的思考)。由于他在之前的项目Shayd中担任首席设计师的职位,他有创建类似Holodeck的虚拟现实设备的经验。这个之前的项目创建了一个虚拟现实装置,利用头戴式显示设备、运动追踪硬件和多个Kinect来实现第一人称漫游到异星世界的体验(有关设置的详细信息,请参见官方网站的硬件页面)。身体的运动追踪和头戴式虚拟现实头盔的头部追踪使用户能够在游戏世界中完全拥有虚拟化身(完全虚拟化的身体)的体验。以下是一个Shayd的预告片,展示了玩家所经历的世界:
Shayd是一个很棒的虚拟现实演示,显然在许多方面都是Project Holodeck的前身。Shayd的设备采用了由Palmer Luckey(即将发布的Oculus Rift背后的人)开发的PR4头戴式显示设备/虚拟现实头盔。PR4拥有令人印象深刻的130度视角,并附有用于头部追踪的LED灯。正如你所看到的,它相当庞大!
Shayd在2012年春季的研究生论文展示活动“Other Worlds”(5月5日至10日)、TEDxUSC(5月4日)和First Look Festival(4月26日)上展示过。不幸的是,成本问题使Shayd的设备在商业应用方面不切实际。造成成本的主要因素是使用的PhaseSpace动作捕捉系统,伊利夫表示,仅这个系统就花费了8万美元。
新设备:Project Holodeck
Project Holodeck登场:
……这是一个使用面向消费者的技术,DIY的现成组件,尖端定制软件和创造性集成外围设备构建的虚拟现实平台。Project Holodeck的目标是将360度的6自由度全身虚拟现实带出研究实验室,打造成一个有趣、易于接触的消费者游戏平台。
Project Holodeck试图做到比Shayd设备更好更便宜。取消了PhaseSpace系统,并且使用更高效的头戴式显示设备大大降低了成本,并提升了体验。
PhaseSpace动作捕捉系统将被四个Kinect替代;每个Kinect价格为150美元,使用Kinect进行身体追踪的成本要低得多。
(更新于2012年9月16日):Project Holodeck团队的新介绍视频:
与Shayd一样,Palmer Luckey是Project Holodeck的主要硬件工程师。因此,用于显示游戏世界的头戴式显示设备是即将发布、引起虚拟现实社区热议并即将进行众筹的Oculus Rift虚拟现实头盔。Oculus Rift比Shayd所使用的PR4更轻巧和简洁。
PR4和Shayd设备依靠PhaseSpace进行头部追踪。Project Holodeck使用Playstation Move(我认为将被安装在Oculus Rift上)进行头部追踪。Oculus Rift将推出具有集成头部追踪功能,可以取代Move。
最终目标是创建一个1:1的虚拟游戏空间和1:1的角色移动。这意味着,如果你在现实世界中移动一只脚,你在Holodeck虚拟现实游戏环境中也会移动一只脚。目前,可供使用的游戏空间大小为20英尺乘20英尺,给用户提供了一个大型的漫游区域。至于1:1的角色移动,这涉及高速骨骼跟踪(关节跟踪等)。肢体等)的跟踪,然后将这些数据投射到游戏世界中,向玩家展示他们自己的虚拟肢体和其他玩家的角色。
游戏:狂野天空
Iliff和Project Holodeck团队目前正在开发一款名为《狂野天空》的游戏,以适用于该设备。该游戏正在使用Unity游戏引擎进行构建。《狂野天空》将两名玩家放置在幻想飞艇的甲板上,要求他们通过操作舵轮、发射大炮和使用枪和剑来抵御可能的劫持者。这是一个聪明的选择,因为这样做在叙事上是合理的,玩家将被限制在飞艇的甲板上,这样可以限制他们的游戏空间(这样他们就不会撞到墙壁),但仍然可以通过穿越开放的天空进行探索和冒险游戏。根据Project Holodeck的项目负责人兼创意总监Nathan Burba的说法,这是Palmer Luckey的主意,将游戏设置在飞艇上。
这是团队对游戏的描述:
《狂野天空》角色概念。塞莱(左)和赞达尔(右)。
两名玩家以闻名的飞行员之子和女儿的形象进行合作游戏。这是他们第一次登上父母的飞船。在混乱中,飞船突然遭到空中海盗的袭击,他们的父母以及船上的其他少数船员被绑架。我们的英雄必须在天空中寻找父母。两名玩家必须共同努力控制一艘复杂的飞艇,并同时发射炮塔和大炮来抵御空中敌人的攻击。
在旅途中,他们会访问奇特的漂浮岛屿,并遭遇从小型飞艇到舰队的奇特船只。每个港口都会为船只安装新的升级,从更强大的帆到冲击船首等。最终,他们将面对绑架父母的海盗。
以下是一个《狂野天空》的概念视频,展示了团队希望实现的内容:
该游戏将利用一些有趣的触觉反馈,包括风扇(在概念视频中显示)来模拟风速,甚至还有一台香味合成器,供玩家体验大炮烟雾的气味等;只需确保远离船上的厕所。
这是船的甲板的概念,即玩家在使用Project Holodeck时将会与之互动的虚拟游戏空间:
以下是同一虚拟空间在游戏引擎中的样子:
当我问Iliff关于如何让玩家保持在Project Holodeck游戏空间内时,他告诉我物理空间可能会建成类似飞船甲板的样子:
我们甚至可能会尝试为《狂野天空》建造一个物理场景,就像我们为《Shayd》做的那样,这样游戏中的船上栏杆与现实世界中的栏杆实际吻合,玩家会感受到踏上木甲板的感觉等。这种混合现实体验可以增加触觉的沉浸感,除了视觉和听觉的沉浸感之外。
我还问Iliff关于使用四个Kinect设备进行跟踪能力和完整化身与用于《Shayd》的价值80000美元的PhaseSpace系统进行比较的问题:
就Kinect的跟踪而言,它确实足够快以实时跟踪玩家的化身-困难的部分在于保持其准确性。使用四个Kinect设备提供了大量额外的数据,即使两个玩家共享同一空间,这样可以根据我们正在实施的算法大大提高准确性。因此,以您提到的特定示例为例,如果玩家伸手拉动大炮(或点燃它等),那么玩家将看到自己的虚拟身体做了完全相同的动作,并且可以看到是否触碰到了大炮。然而,在这个例子中,角色的准确性并不是解决的最大挑战-更重要的是告诉游戏发射大炮的输入。多个Kinect设备在任何时候都在做两件主要的事情:使用骨架数据点来动画化玩家的角色,同时接收用于游戏内动作的运动输入。有时候很难让Kinect识别您正在做什么样的动作,您可能会有意无意地触发火炮。仅仅因为你在它附近挥动了手臂,就放了炮弹。
为了避免这些问题,我们正在尝试一种解决方案,即一个简单的蓝牙按钮绑在手上,安放在手掌上。例如,每次你想要发射炮弹,不仅需要将手放在炮弹附近并快速拉回,还需要按住按钮,然后将手放在炮弹附近并拉回。
总体来说,多Kinect设置(人物化)的视觉反馈非常好,而我们真正在关注的是Kinect输入,因为这在目前来说更具挑战性。
Project Holodeck仍然在不断进展中,我将密切关注它!
体验:Project Holodeck将在哪里展现?
Project Holodeck的主要目标是“将360度全身虚拟现实从研究实验室带到一个有趣、易于接触的游戏设施中”。这里的易于接触是关键词。虚拟现实的技术演示实际上并不常见。由于Project Holodeck的相对低成本性质,应该可以实现创建多个这样的装置,并为玩家提供多款游戏体验。
显然,Project Holodeck的复杂性和大小对于家庭安装来说太过庞大。我想知道“那么设置将在哪里使用?” Iliff表示,团队目前正在与几家大公司商讨利用Project Holodeck,但Holodeck的未来可能就在您的起居室中!
我们将Project Holodeck视为一种街机体验,因为所需的空间大于普通消费者家中可用的空间。我们计划将其带到展览会和节庆活动中,如Indiecade、Maker Faire、IGF等,以及洛杉矶的本地展示活动,如First Move、Demo Day、Other Worlds等。我们还有可能许可我们的软件平台,并组装我们自己的定制硬件套件,但从长远来看,我们也希望推出一个简单的消费者系统,可以舒适地放置在起居室中。我们已经与包括微软和迪士尼幻想工程在内的几家行业内大公司进行了谈判,对此有很多不同的发展方向,同样令人兴奋!
Iliff进一步表示,目前团队主要专注于开发工作。
请继续关注这个项目的最新进展,并确保查看项目网站以获取团队的官方更新。