介绍由马克斯·普朗克信息学研究所的 Soshi Shimada、Vladislav Golyanik、Christian Theobalt，以及 Video.ai 的 Patrick Pérez 等人提出的 SIGGRAPH ASIA 2023 技术论文《Decaf: Monocular Deformation Capture for Face and Hand Interactions》，该方法可在单目摄像机的动作捕捉中实现由手与脸相互作用引起的变形。

Decaf: Monocular Deformation Capture for Face and Hand Interactions

我们介绍了首个从视频中回归 3D 手部和面部动作，以及由它们的相互作用产生的变形的单目动作捕捉方法。我们将手建模为一个关节式对象，在主动交互过程中诱发面部的非刚性变形。我们的方法依赖于一个新的人手与面部动作及交互捕捉数据集，其中包含使用无标记多视角相机系统获取的真实面部变形。在构建该数据集时的一个关键步骤是，采用基于位置的动力学以及用于估计头部组织不均匀刚度的方法，对重建得到的原始 3D 形状进行处理，从而获得关于表面变形、手与脸接触区域，以及头部和手部位置的合理标注。我们神经方法的核心包括一个变分自编码器，用于提供手与脸的深度先验分布，以及一个通过估计接触与变形来引导 3D 跟踪的模块。与我们设置下可用的若干基线方法相比，我们最终的 3D 手部和面部重建在定量和定性上都更加真实，也更合理。

这是很有梦想的技术！项目页面已经公开，不过代码等内容还是 Coming soon。

链接

Decaf: Monocular Deformation Capture for Face and Hand Interactions