/ Nweon / 0浏览

索尼AR/VR专利介绍定位追踪器配件实现全身动捕运动



映维网Nweon
2024年08月28日

)VR允许用户身临其境地自由走动,但对于不想站起来的用户,你又应该如何实现移动呢?

在名为“Inferring vr body movements including vr torso translational movements from foot sensors on a person whose feet can move but whose torso is stationary”的专利申请中,
索尼
介绍了一种有趣的解决方案:从脚可以移动但躯干静止的人身上的脚传感器推断包括VR平移运动的VR身体运动。

简单来说,可以将定位器绑到脚踝或附近。然后,VR用户可以一边坐着,一边用双脚执行走路和跳跃(坐着抬起双脚)等动作,这时系统可以相应地将双脚动作映射为虚拟化身的行走和跳跃等动作。

在一个实施例中,相应的姿势和运动传感器与坐着的人的左脚和右脚接合,并且来自传感器的信号用于控制VR对象的运动。传感器信号可以映射到VR对象的平移、旋转和仰角运动,或者可以用于选择控制以将类似控制器的信号发送到游戏引擎以控制VR对象。

图1的示例性系统10可以包括消费电子设备,例如音频视频设备(AVD)12,AVD 12可以是头戴式设备。

AVD 12可以包括用于输出音频的一个或多个扬声器16,以及用于向AVD 12输入可听命令以控制AVD 12的至少一个附加输入设备18。AVD 12同时可以包括一个或多个网络接口20,以及一个或多个输入和/或输出端口26。

AVD 12可以包括一个或多个摄像头32;另外,AVD 12可以包括向处理器24提供输入的一个或多个辅助传感器38。例如,一个或多个辅助传感器38可以包括一个或更多个压力传感器。其他传感器示例包括运动传感器、红外传感器、光学传感器、速度和/或节奏传感器、基于事件的传感器、姿势传感器等等。

发明描述的原理可以采用各种机器学习模型,包括深度学习模型。符合的机器学习模型可以使用以包括监督学习、无监督学习、半监督学习、强化学习、特征学习、自学习和其他形式的学习的方式训练的各种算法。

现在参考图2。在一个示例中,在躯干不平移的人的脚上提供左传感器200和右传感器202。例如,此人可能坐在椅子上。或者,此人可能被安全带悬吊或漂浮在水中。

传感器200、202可以是运动和姿势传感器。传感器200、202输出表示脚的运动和/或脚的姿势的信号。来自传感器200、202的信号经由有线和/或无线路径发送到诸如计算机游戏之类的计算机模拟的源204。

图3示出了的第一总体逻辑。

从方框300开始,从足部传感器200、202接收信号。

移动到框302,计算机模拟中的虚拟现实对象动画化以与信号一致地移动。因此,如果坐着的用户向前滑动他的脚,则VR对象设置为向前移动的动画。

如果坐着的用户转动左脚,VR对象将设置为向左转动的动画。如果坐着的用户转动右脚,VR对象将设置为向右转动的动画。如果坐着的用户像跳跃一样快速抬起双脚,VR对象将设置为向上跳跃的动画。如果坐着的用户向后滑动双脚,VR对象将设置为向后移动的动画。

另外,可以使用来自足部传感器的信号的加速度/速度分量来控制加速度和转向VR对象。

图4示出了第二总体逻辑。

从方框400开始,从足部传感器200、202接收信号。

移动到方框402,将来自足部传感器的信号与控制信号相关联。这可以通过将脚的位置与控制元件的虚拟位置相关来实现,例如,控制元件的功能可以由模拟控制器定义,即,人可以移动他的脚来“选择”控制元件,就好像操纵计算机模拟控制器206一样。

进行到方框404,计算机模拟是根据控制信号进行控制器。

图5-9示出了与图3一致的原理。

在图5中,坐着的人已经在“z”维度上向前移动了他的左脚,并因此向前移动了图2中所示的左脚传感器200。图5A示出了作为响应,VR对象500动画化以如箭头502所示向前移动。

在图6中,坐着的人向前和向右旋转了他的左脚,因此,图2中所示的左脚传感器200向前和向右围绕“y”轴和“z”维度旋转。图7示出了作为响应,VR对象700被动画化以向前移动并如箭头702所示向右转弯。

在图8中,坐着的人抬起了双脚,因此抬起了图2中所示的双脚传感器200、202,就好像在“y”维度上跳跃一样。图9示出了作为响应,VR对象900动画化以向上移动,好像如箭头902所示那样跳跃。

图10-13示出了与图4一致的原理。图10示出了基底1000,椅子1002位于基底1000上方,人可以坐在椅子1002上并相对于衬底移动他的脚。表示计算机模拟控制元件的可见标记1004可以呈现在基底之上,使得人可以将他或她的脚引导到控制元件上,以输入与所选择的控制元件相关联的功能作为游戏命令。

由可见标记1004指示的控制元件可以是控制元件,其功能由图2所示的控制器206的相应控制元件定义。在所示的示例中,这是PlayStation控制器的三角形、正方形、圆形和“X”键。

在图11中,坐着的人在物理基底1000上移动他的脚,如图所示,在物理基底上可以是控制元件1100的可见表示,例如细长的控制元件或在其端部具有其他控制元件的可见标记1102的滑块。由可见标记1102指示的控制元件可以是控制元件,其功能由图2中所示的控制器206的相应控制元件定义。在所示的示例中,这是PlayStation控制器的三角形、正方形、圆形和“X”键。

当人移动他的脚时,相关移动由来自传感器200、202的信号指示,以将传感器位置(以及因此的脚位置)与控制元件相邻。相邻控制元件的功能作为命令输入到计算机模拟,以根据命令控制例如VR对象1200(图12)。

另外,或者可替换地,图13示出了头显的显示器,并可以呈现左控制元件1300和右控制元件1302的图像以及表示相应左脚和右脚的位置的化身1304、1306。

通过这种方式,佩戴头显坐着的人可以在视觉上看到他的脚相对于控制元件的位置。在图13的示例中,右脚化身1306示出在由右控件1302建立的滑块之上。相应地,人可以向前滑动右脚以使VR对象1200向前平移移动。人同时可以将他的脚移动到控制元件1102中的一个之上,并将他的脚放在其上以“选择”相应的功能以生成模拟控制命令。

另一方面,图13通过将左脚化身1304示出为与左控制元件1300横向向右远离来示出左脚不在控制元件上。为了帮助人们更好地理解这一点,左脚化身1304和/或左控制元件1300可以高亮显示或闪烁,或者以其他方式使其明显地更加突出。

如果需要,可以在显示器208呈现大小和位置控件1312,其可以由人选择以增大或减小显示对象的大小并在显示器上移动控制元件1300、1302。

图14示出了用于将足部传感器信号与VR对象运动相关联的示例特定逻辑。

从方框1400开始,从来自足部传感器的信号获得左脚姿势和右脚姿势(位置、方位)。

在方框1402,姿势转换为与椅子方位对齐的参考系。

在方框1404和1406,如果根据来自足部传感器的信号确定双脚已经以高于阈值速率(1406)的速率被抬离地面超过阈值距离(1404),则在方框1408处生成跳跃事件以使VR对象动画化以执行垂直跳跃。如果在方框1404和1406中任一只脚都不满足测试,则不执行跳跃。

无论是否执行跳跃,逻辑都可以前进到框1410,以计算与先前间隔(的位置相比的脚位置位移。

另外在方块1412,逻辑计算与前一帧相比绕垂直(“y”)轴的脚部旋转分量。

转到方框1414,确定双脚是否离开地面。

如果在方框1418确定仅一只脚而不是两只脚在地面之上,则逻辑移动到方块1420以确定身体位移和旋转与接触地面的脚的位移和旋转相反。

相反,如果确定双脚都在地面之上,则使用双脚之间的中点的位置的位移来计算身体位移为与双脚之间的中间点的位移相同但方向相反的位移。


相关专利


Sony Patent | Inferring vr body movements including vr torso translational movements from foot sensors on a person whose feet can move but whose torso is stationary

名为“Inferring vr body movements including vr torso translational movements from foot sensors on a person whose feet can move but whose torso is stationary”的索尼专利申请最初在2022年11月提交,并在日前由美国专利商标局公布。