谷歌用机器学习实现稳定实时的手部追踪、手势识别
谷歌近期发布了一种用于手部感知的新方法,可以实现高保真度的手部和手指追踪。这项技术利用机器学习从单帧推断出手部的21个3D关键点,可以在手机端实现实时性能,并扩展到多手用例。谷歌通过训练手掌检测器来检测初始手部位置,并通过回归来进行精确关键点定位。在手部骨骼预测后,谷歌应用一个简单的算法来推导手势,将手指状态映射到预定义的手势,例如“竖起大拇指”和“OK”等。借助MediaPipe框架,谷歌开源了这个手部追踪和手势识别管道,为研究人员和开发者提供完整的堆栈,以实验和原型设计新的想法。谷歌计划进一步优化这项技术,并支持更多的手势和动态手势展开。谷歌相信通过开源这项技术,可以推动研究和开发社区实现创新的应用。