公开了一个名为『SLoMo: A General System for Legged Robot Motion Imitation from Casual Videos』的框架,可将随手拍摄的动物和人物影像中的动作转移到足式机器人上。
SLoMo: A General System for Legged Robot Motion Imitation from Casual Videos

SLoMo是世界上第一个用于将人类和动物随手拍摄的视频影像中的熟练动作转移到足式机器人的框架。SLoMo以三个阶段运行:1)从单目视频中合成在物理上合理的重建关键点轨迹。2)离线优化机器人的动态可实现参考轨迹,包括接触序列以及忠实跟踪关键点的身体和脚部运动。3)在机器人硬件上使用通用模型预测控制器在线跟踪参考轨迹。用于腿部运动技能的传统动作模仿,往往需要专业动画师、联合演示和/或昂贵的动作捕捉设备,而这些都会限制可扩展性。相比之下,SLoMo仅依赖于像YouTube这样在线仓库中容易获得的单目视频素材。SLoMo将视频转换为真实世界机器人能够可靠执行的运动原语。我们通过将猫、狗、人类的动作转移到样例机器人上,包括四足步行机器人(硬件)和人形机器人(仿真),来展示我们的方法。据作者所知,这是首次在不使用人工标记或标签的情况下,直接从随手拍摄的视频中,将动物和人类的动作模仿到足式机器人的通用动作转移框架尝试。
这类动作转移技术似乎也会对机器人行业带来各种影响,很令人期待呢。
Github上也公开了代码。感兴趣的话去看看吧。
链接
SLoMo: A General System for Legged Robot Motion Imitation from Casual Videos