/ Voiceofvr / 0浏览

关于使用Sixense STEM控制器来实现全身心参与感的Danny Woodall讲解

Voices of VR播客,我叫丹尼·伍德尔,我是6 Sense的创意总监,我们正在致力于在虚拟现实中创造完整身体的存在感。好的,很棒。那么,请告诉我更多关于输入控制器以及你能够使用这些控制器做些什么的信息。当然。我们使用一种电磁跟踪解决方案。所以我们有一个发射低功率电磁场的基站,我们所有的跟踪设备都有线圈,可以感知它们自身在该电磁场内的位置。因此,我们可以得到与基站的准确位置信息,并且延迟非常低。我们现在使用这个技术为VR提供全身存在感,但实际上系统能实现的功能是无限的。我们有人在进行康复训练,有人在进行模拟训练。但对于VR而言,它非常棒。我们在你的头部上放了一个跟踪器,然后我们就知道你的手相对于头部的位置,所以你可以在VR中进行完美的手眼协调,真正打开了你在VR中能做的事情,而不仅仅是观看VR,你实际上是在VR中与之互动。所以这非常棒。好的。我和阿米尔上次在2014年5月的SVVRcon上见面。所以也许你可以告诉我一下从那时起过去一年发生了什么。嗯,我们一直在努力准备硬件,以便发送到我们的众筹支持者和购买开发套件的其他社区成员手中。当然,伴随而来的是大量的软件开发,以便开发者在系统推出时有东西可用。所以我们一直在努力开发我们的核心API和SDK,确保它是跨平台的。我们支持Mac、Linux、Windows和Android,并且基本上都使用相同的驱动程序。所以现在我们也有了Android SDK,可以支持Gear VR。我们一直在开发Gear的支持,我们的光剑示范现在也在Gear上运行。我们的射击游戏也在Gear上运行。我们还在SDK中添加了网络桥接功能,以便人们可以开始积极地为Gear VR开发应用。当然,还有在Unity中进行VR SDK集成的大量工作,现在我们正在Unreal Engine 4上进行展示。我明白了。那么使用6 Sense的SDK和控制器,你可以做什么样的事情呢?当然,正如我之前提到的,我们有两个SDK正在开发中,一个是核心API,如果你作为开发者,在自己的本地应用程序中工作,只需获取数据并按自己的意愿处理,我们的插件就可以胜任这种工作,而这种插件自Hydra时代就已经存在了,对于以前使用过的开发者来说应该非常熟悉。VR SDK在本质上是一个C的API,所以它同样适用于跨平台,但我们将角色的动画姿势传递给它,然后将所有跟踪设备的数据传递进去,并使用自定义的解决方案向游戏引擎返回一个非常令人信服的松弛姿势,以便你可以对姿势或动画产生影响。因此,你可以通过更改角色的待机姿势,从两脚并拢改为击剑姿势,或者进行某种剑术模拟器的操作,或者你可以向角色的脚部添加更多的跟踪设备。这样,你可以走来走去,低头看到自己的脚。因此,我们一直在关注VR,因为这种技术在VR中真正发挥了作用,当你低头看到自己的虚拟物理手与实物对齐时,这就打开了让你在VR中自由自在地进行互动的惊人可能性。很不错。那么我想,我与阿米尔上次在SVVRcon见面是在2014年5月的时候。所以也许你可以告诉我一些从那时以来的情况,过去一年发生了什么。嗯,我们一直在努力准备硬件,以便发送给所有众筹支持者以及购买开发套件的社区成员。当然,这也伴随着大量的软件开发工作,以便开发者在系统推出时有可用的应用软件。所以我们一直在为我们的核心API和SDK努力。确保它可以跨平台使用。我们支持Mac、Linux、Windows和Android,而且它们基本上都是使用相同的驱动程序。所以现在我们有了Android SDK,可以支持Gear VR。我们一直在致力于Gear VR的开发,我们的光剑演示现在也可以在Gear上运行。我们的射击游戏也可以在Gear上运行。我们还为我们的SDK添加了网络桥接功能,这样人们就可以开始积极地为Gear VR开发应用程序了。当然还有在Unity中进行VR SDK集成的大量工作,现在我们将在这里的虚幻引擎4展示。我知道了。那么6 Sense的SDK中可以做哪些事情?就像我之前提到的,我们有两个正式开发中的SDK,一个是核心API。如果你是作为开发者,在你自己的本地应用程序中工作,你可能只是想获取数据并按照自己的意愿使用,这个时候6 Sense的插件会非常适用,这个插件自Hydra时代就已经存在了,对于用过的人来说应该很熟悉。而VR SDK就是一个C的API,所以它又是跨平台的,但我们会将角色的动画姿势传递给它,并把所有的跟踪设备数据传递进去,并采用自定义的插值解决方案向游戏引擎返回一个视觉上令人信服的放松姿势;你可以通过改变待机姿势,比如从站着并拢双脚站立的待机姿势变成击剑姿势或者进行某种剑术模拟器等;我们也可以将更多的跟踪设备绑定到角色,比如脚部,这样你通过低头可以看到自己的脚。所以我们一直专注于VR,因为这项技术在VR中发挥得非常出色,当你低头看到自己的虚拟物理手与实物对齐时,你有了自由互动的可能性,这是非常棒的。好的。我去年5月在SVVRcon与阿米尔见面时进行了最后一次交谈。所以或许你可以告诉我从那之后过去的一年发生了什么。嗯,我们一直在努力准备硬件,以便送到所有的众筹支持者和购买开发套件的社区成员手中。当然,与此同时也伴随着大量的软件开发工作,以便在系统推出时开发者有可用的功能。所以我们一直在努力改进我们的核心API和SDK,确保它们是跨平台的,我们支持Mac、Linux、Windows和Android,而且它们的驱动基本上都是一样的。现在我们也有了Android SDK,可以支持Gear VR。我们一直在开发Gear VR的支持,我们的光剑演示现在也可以在Gear VR上运行。我们的射击游戏也可以在Gear VR上运行。我们还为我们的SDK添加了网络桥接功能,这样人们就可以开始积极地为Gear VR开发应用了。当然,我们还进行了大量的VR SDK集成工作,包括在Unity和虚幻引擎4中展示。我明白了。那么6 Sense的SDK中可以做哪些事情呢?就像我之前提到的,我们有两个正在开发中的SDK,一个是核心API,另一个是VR SDK。如果你是开发者,也许你只是想获取数据并按照自己的需求进行处理,这个时候6 Sense的插件是非常有用的,这个插件从Hydra时代就存在了,对于已经使用过的人来说应该非常熟悉。而VR SDK本质上是一个C的API,所以它也是跨平台的,它获取角色的动画状态姿势,并利用所有跟踪设备数据,使用我们自己的解决方案返回一个可信的放松姿态到游戏引擎,以此来影响角色的姿势和动画,比如你可以改变角色的待机姿态,将其从脚并拢的状态改变为击剑姿态,或者进行某种剑术模拟器的操作。你还可以向角色添加更多的跟踪设备,比如脚部,这样你低头就可以看到自己的脚。所以我们一直专注于VR,因为这种技术在VR中真正发挥了作用,当你低头看到自己的虚拟物理手与实物对齐时,这打开了你在VR中可以自由互动的惊人可能性。非常好。那么我想,在SVVRcon上从事枪械示范也是我最有存在感的体验,仅通过两只手就可以移动,并且在游戏中没有任何东西在我的手中,所以我就会想 一下 也许 为了感觉一下 它在 我面前 以及 我手中什么都没有,所以我才会想说 哦 我刚才脱下了头盔,对吧。是的,我手中确实没有东西。所以这样我还以为没有拿到东西。这样就欺骗了一下自己。所以我认为收到的东西同时具有“存在感”。我的意思是说,你在一个地方,你在这个世界中,但是这种“存在感”是你实际上能够互动并对这个世界产生影响的可信度。所以,也许你可以谈一谈你自己在VR中获得行动能力的经验。是的,我认为能够以一种非常直观和自然的方式伸手去触摸东西是非常重要的。但就像我之前所说,这些跟踪器本身可以用于任何事情。就像我们曾经合作过一个叫做Stryker VR的公司,他们为军事提供了逼真的武器模拟后坐力,他们靠的是真实物理的后坐力,所以他们找到了我们,因为他们没有跟踪技术。所以我们就拿出了我们用于头部定位的一个跟踪设备,把它放在了他们的真实物理枪上,然后你不再需要拿两个控制器,你可以拿着这把真实的枪。这一点真的很强大。你几乎可以说自己真的拿到了一个武器,因为它与真实东西的比例是完全一样的。这就是这把枪本身。所以你可以把它贴近你的脸,看到武器的各个小部件。如果你摘下头盔,你就能看到它的一部分。这样你就可以触摸它、感受它。这真的很了不起。我们有振动马达,所以我们可以做很多触觉的反馈。我想到了一个很酷的例子,就是我们用光剑展示时,当你把地板烧焦时,就会发出振动。我们一直在考虑如何继续进行改进,当你的手更快地移动时,并且烧焦得更多,可以通过改变振动马达的频率来让它感觉像是你真正在切割东西。所以战术的运用将带来更多的可能性,我认为这将会带来很多的改进。所以是的,我认为这对我潜意识的影响是非常微妙的,它甚至更加欺骗我,当激光被射向我,我用光剑来阻挡它们时,你知道,感受到触觉反馈,我认为即使是非常简单的触觉,一个很简单的轻微的振动,它也可以起到很大的作用。这与唤醒感觉有关。你知道,你不想被强烈的触觉反馈所压倒。你不想被触觉反馈马达和振动马达抽干。我认为人们之所以对此有所保留,是因为这种原因。有人,你知道,说“噢,我们需要某个武器射击的触觉反馈”,然后你可能会被打得很厉害。所以你就必须将其调整回来,是的,你要让人能够感觉到,但是不要太强烈,你甚至几乎察觉不到。就像他说的,就像你可以挡住一些子弹,然后你会说“哇,这感觉真棒”,你几乎没有注意到它发生了,但它刚好足够让你感觉到对了,你知道,就像你说的,就像你可以挡住一些子弹,然后你会说“哇,这感觉真棒”,你几乎没有注意到它发生了,但它刚好足够让你感觉对了,你知道。就像3D音效一样,你戴上VR头显,你几乎不会去注意这个,因为它工作得很正常,这就是音频应该听起来的样子。但当你尝试一个有它的演示和一个没有它的演示时,你会发现两者之间的差别非常明显。是的。所以我刚才和OSVR的尤瓦尔谈到了这一中间件平台的问题,这个平台可以让人们使用一个SDK,并让所有不同的第三方设备对接。既然你们正在开发自己的VR SDK和适用于所有不同平台的自己的SDK,也许你可以谈一谈在OSVR中的6 Sense集成中可以得到什么,以及为了实现某些功能你们可能需要使用你们自己的定制SDK。当然。我们的VR SDK的设计是设备无关的,所以我们可以与任何能提供位置和方向的跟踪设备合作。我认为这很重要,因为现在有很多公司进入这个领域,试图找到自己在VR领域中的位置。有很多输入系统是试图填补VR领域中尚未拥有输入的空白,作为开发者来说,你会选择哪一个呢?所以能够有一个通用的SDK,开发者可以使用这个SDK提供的统一的API是一个很好的想法。我认为在VR的初期来说,能够支持尽可能多的平台或第三方设备是非常重要的,不管它们是谁。对于开发者来说是好事,对于最终用户来说也是好事,因为现在你可以为多个硬件平台开发应用程序,用户可以在家里看到它们。然后,这将会给人们提供更多的选择,我认为,因为会有更多的人评论“这东西真棒!”以及他们选择的跟踪器可能有点次优。所以我认为这将为我们所有人找到正确的输入、正确的解决方案推动我们。所以这是一个好的办法。嗯,我非常同意这种抽象层,能够使任何输入设备都能适应,并且我们能够解决。我的问题是,你的SDK中是否拥有你的本地SDK中的每个功能,是否有一一对应的所有功能也在OSVR中实现?所以它本质上将具有相同的功能集,你知道,它的开发环境就会更容易,无论是仅使用我们的SDK还是在其他抽象层中使用我们的API。所以它在任何其他平台上工作的方式都是非常相似的,它是通过处理我们的控制器数据来向外部公开,所以对于开发者来说非常熟悉,使用相同的API。所以在这一点上应该没有任何理由去改变它,我自己没有找到。阿米尔提到有一个新的体验,也许是一个教育体验,或者是别的什么体验,你们也在开发中。也许你可以告诉我一些关于它的信息。嗯,我们最近做了一些。阿米尔所说的可能是我们最近展示了一个零售平台,展示了它可能是什么样子。能够身临其境地购物是非常引人注目的,你可以看到这里有无数排列不尽的东西,你可以拿起它们,看着它们,它可能是玩具,你可以把它放在地上,你可以驾驶它,或者也许它是某种接口,比如手机或相机等,你可以在这个玩具上实际尝试这些接口,然后再去买。这样会更好地确认你所看到的是真正想买的东西,而不仅仅是“这东西看起来不错,我就下单了。如果它不好,我就退掉。这现在特别容易,就像亚马逊一样,你买了东西,你可以很容易地退掉。我认为我们可以在整个领域中性的孤岛上帮助一把。那么您还看过其他一些融合手部跟踪的令人着迷的体验吗?就像我前面提到的,有很多模拟类的东西。这家公司有一个用于军事的焊接模拟器,他们可以使用实际控制器数据来评估用户的焊接水平,而且这可以在无危险的情况下进行。他们不使用真实的火炬。对吧?我们有人在做康复训练,通过肌肉运动以及控制器的数据来恢复某种中风带来的问题。我们还有人在进行培训,所以即使是射击训练场,人们也可以在一个安全的环境中学习如何使用枪支。我们还有其他人对游戏和在VR中互动非常感兴趣。所以,你知道,我们能做什么的可能性是相当无限的,但我们最近做的一个很酷的事情是高尔夫模拟器,你可以俯身并打入洞口。我觉得感觉棒极了。由于追踪的准确性很高,你可以在家提高你的高尔夫水平。好的。最后,来到今年的GDC,似乎虚拟现实正在逐渐进入主流。至少,Step即将进入到下一个阶段,我很好奇您个人的反应以及您对VR发展的看法。当然,我认为很明显,Valve的推出的系统非常引人注目,可能会比预期更早地将VR推向普及家庭。这是一件大事。在这里还有其他正在做很酷的事情的参与者,Hawkins也做得很棒,当然,他们的演示也非常令人惊叹。我认为移动领域很有趣,虽然我在这里没有看到太多关于移动设备的东西,但三星在这里,我认为这对于拥有手机的人来说是一个可行的开始,他们可以在已经拥有的移动平台中进入VR领域,成本相对较低。还有,就像我之前提到的,Stryker VR和tactical haptics都有一些很酷的触觉设备,我认为在VR中加入更多感官是很重要的,3D音频也变得越来越重要,对吗?我们在这里有一个3D音频实现,但我们并不准备在这里展示,我们做了一个光剑演示,其中有3D音频,在我的游戏中,有一个时刻,我正在用一个无人机玩,把一切都调整得很准确,然后出于某种原因,我决定闭上眼睛试着像电影中那样玩,我可以做到,这太神奇了,我关闭了弹幕功能,这样无人机就只是在我周围飞来飞去射击我,我能感觉到它在哪里,我能听到它,然后我跟随它,最后我摘掉了头戴式显示器,它就在那里,我阻挡了所有的子弹,我能感觉到,因为闪光足够明亮,能够穿越屏幕,我能看到,即使闭着眼睛,那真是太神奇了。我们一直在开玩笑地考虑把这作为一个特色添加给那些做得很好的人,像在电影里一样,有一个护盾,但还可以从底部窥视出来,这样你可以看到自己的脚之类的东西,然后试着进行游戏。我认为当我们停止独自努力,开始更多地合作,我们将看到VR在下一年取得的成果,每个人都开始更多地合作,来定义这个VR系统应该是什么样的,那将会是很棒的。还有什么VR体验是您真正期待的吗?我的意思是,有这样一个时刻,我不知道我们将如何在近期内实现这一点,但在开发过程中,我实际上在VR中触碰到了一棵树,并且实际上碰到了我家中的植物,这几乎让我感到震惊,好像我在游戏中将其连接起来了。当我拿下头戴设备时,我才意识到,哇,那真是太神奇了,像增加这样的东西,让你能够感受到事物,那真是太神奇了,这又是一种感觉,对吗?我们首先处理了视觉,让头戴式显示器工作起来之后,我们现在正在处理触觉输入和3D音频,将它们处理得恰到好处将是非常了不起的,也许人们不愿意从VR中出来了,这有点令人害怕,但当VR变得比现实生活更酷的时候,真是非常有趣,但也是非常可怕的未来。所以我不知道,我觉得我真的很期待多个用户VR,现在一切都相对独立,没有一个能代表自己的头像。我们尝试过几个双人场景,你可以看到自己,另一个人在看着你做这些,我是说,那明显是一个人类的动作,没有任何脚本,一旦眼睛开始在头戴式显示器内跟踪,我们就能够进行眼神交流,并且我们在VR中拥有真实的社交元素,这将是非常强大和令人惊奇的,不仅仅是开发,还有体验,对吗?就像这些人正在做一个非常酷的舞蹈模拟器,他们会邀请人们一起进来,没有人有头像之类的东西,只是一些小方块之类的东西,但当你在一个有多个人的空间内时,又是非常迷人的。太酷了,非常感谢您,谢谢。

0

  1. This post has no comment yet

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注