来自卡内基梅隆大学的研究人员展示了一种实用的全身跟踪系统，使用安装在控制器上的摄像头来更好地观察用户的身体。

虽然如今可以实现虚拟现实中的全身跟踪，但需要使用额外的硬件来绑在身上（例如Vive Trackers或IMU跟踪器）。这使得全身跟踪只适用于那些愿意花钱和时间绑上额外硬件的狂热虚拟现实爱好者。

这种独立虚拟现实头显已经具备了用于追踪头显位置和用户手柄的摄像头，理论上也可以观察用户的身体并使用计算机视觉的方法进行跟踪。不幸的是，头显上的摄像头的角度对于观察用户的腿部来说太过极端，这也是Meta最近认为独立虚拟现实头显上的全身跟踪并不可行的原因（尤其是随着头显越来越小）。

但卡内基梅隆大学的研究人员通过为控制器添加摄像头的原型独立虚拟现实系统对这一观念进行了挑战，从而可以更清晰地观察用户的身体，提取可靠的腿部和躯干跟踪数据。

这种方法特别有趣的地方在于，它似乎与下一代虚拟现实控制器的发展方向相一致；Meta的Cambria项目和Magic Leap 2都使用了不依赖头显的跟踪系统，而是通过自身的自主定位系统计算其位置。

研究人员以Quest 2头显为基础，为原型系统增加了两个朝向用户的摄像头。当用户双手在前方时，摄像头可以更清晰地观察到上身和下身。这个视角进行了修正，以便计算机视觉系统能够最佳地提取用户的姿势，并将该数据与头部和双手的已知位置结合起来创建一个全身跟踪模型。

当然，用户的双手不会总是在前方。研究人员表示，有限的测试显示，虚拟现实用户双手大约有68%的时间在前方。当双手无法良好捕捉身体时，系统应该退回到身体位置的IK估计。虽然他们的原型没有走得这么远，但研究人员表示，他们相信如果在控制器上再添加一个摄像头角度，即使用户的手臂和控制器放在身体两侧时，也可以捕捉到腿部位置。

至于精确度，研究人员Karan Ahuja、Vivian Shen、Cathy Mengying Fang、Nathan Riopelle、Andy Kong和Chris Harrison表示，对于这种系统来说，毫米级跟踪精度可能不现实，但厘米级跟踪精度可能是可行的，这对于许多虚拟现实应用场景已足够。对于他们的原型系统来说，该系统的“3D关节点的平均误差为6.98厘米”，尽管研究人员表示，鉴于他们花费了有限的时间优化系统，这应该被视为性能的低限，而不是高限。

通过全身跟踪，腿部终于成为体验的一部分。这不仅使您的虚拟形象对其他人更加逼真，而且还可以将您的下半身融入到体验中，增加沉浸感，并为玩家提供另一个用于游戏的输入选项。

研究人员不仅为该系统创建了一个完整的跟踪模型，还制作了一些原型体验，展示了跟踪的腿部如何增强游戏体验。他们展示了一个曲棍球守门员模拟体验，玩家可以用身体的任何部位阻挡冰球；还有一个“身体形状匹配”体验，玩家需要匹配为适应封闭墙的形状穿越该墙；甚至还有“脚剑”游戏，玩家可以用手和脚切割方块。
———
那么，我们是否能从像Magic Leap 2和Project Cambria这样的头戴设备上看到全身跟踪技术呢？目前很难说；尽管控制器似乎具备独立内外跟踪功能，但控制器上的摄像头似乎大多面向用户外部。
但也许未来某款头戴设备——或者只是一个升级的控制器——可以实现这一点。
不管这些头戴设备将走向何方，这项研究表明独立VR头戴设备上实用且少摩擦的全身跟踪技术可能并不遥远。结合高度逼真的面部跟踪能力，未来的独立头戴设备将大大提升用户在虚拟现实中的身体感。