Meta VR研究称能准确流畅预测全身运动,尤其是下半身运动
根据稀疏上肢追踪信号(头部和双手)实现全身追踪一直是一个挑战。大多数基于VR一体机的Avatar系统只能准确追踪头部和双手的动作,而无法判断腿、脚和臀部的位置。为了解决这个问题,Meta提出了一种新方法AGRoL,它使用了一个简单的MLP架构和一种新的运动数据调节方案来预测全身的运动。在这个方法中,扩散模型被用于生成基于稀疏追踪信号的全身姿态,并使用MLP网络预测运动。为了解决抖动问题,研究人员设计了一个轻量级的扩散模型,并使用注入时间步长嵌入的策略来实现平滑运动合成。实验证明,AGRoL在全身运动预测方面优于现有技术,并减少了抖动误差。该方法可以在AR/VR应用中实现引人入胜的体验,并增加用户的沉浸感。研究结果表明,AGRoL是一种简单而高效的条件扩散模型,可以实现平滑的全身运动合成,并具有较好的实时推理速度和鲁棒性。