Meta研究员:3D手部姿态质量显著影响动作识别性能
《AssemblyHands:通过3D手部姿态估计实现自中心活动理解》这篇论文提出了一个名为AssemblyHands的全新基准数据集,用于研究具有强手-物互动的自中心活动。为了提供大规模准确的3D手部姿态注释,研究团队使用了基于多视图特征聚合的自动标注方法。这种自动标注方法的精度远高于原始的基于自中心的标注方法。准确的标注使得他们能够深入研究手部姿态估计对动作识别的影响。
此外,他们还提出了一种基于动词分类的单视图自中心手部姿态评价方法。研究结果表明,3D手部姿态的质量对动作识别性能有显著影响。
团队希望AssemblyHands能够激发新的方法和见解,以便从自中心的角度来理解人类活动。在未来的研究中,他们计划将手部姿态注释扩展到整个Assembly101数据集,并获得对象级别的注释。他们还有兴趣研究手、物体和多任务学习之间的相互关系。