Quest Pro的人脸跟踪能力将很快用于使Meta的虚拟角色更富表情，但下一代虚拟角色将更多地受益于这项新技术。

Quest Pro的一个重要新功能是一种使用内置摄像头感知眼睛和部分面部运动的人脸跟踪系统。配合无需校准的机器学习模型，该头显可将其所见转化为动画角色的输入信号。

更新（2022年11月18日）：Meta发布了Aura人脸跟踪示例供开发人员进行实验，还提供了另外三个与“Movement SDK”相关的开发者示例，该SDK为开发人员创建具有眼睛、面部和身体跟踪功能的表情丰富的虚拟角色提供了基础。

短期内，这项技术将用于Meta现有的虚拟角色。虽然这确实使它们更富表情，但它们看起来仍然有些滑稽。

这可能是由于当前的Meta虚拟角色系统并不是针对这种程度的人脸跟踪而建立的。这个模型的底层动画框架（称为“rigging”）似乎不太适合这个任务。将Quest Pro的人脸跟踪输入应用于当前系统并不能充分发挥其实际能力。

Quest Pro的关键特点包括：
– Quest Pro揭示 – 完整的规格、价格和发布日期
– Quest Pro评价 – 令人印象深刻的硬件和有些混乱的价值主张
– Quest Pro技术分析 – 哪些方面有前途，哪些方面没有前途
– 揭示Touch Pro控制器 – 也与Quest 2兼容

幸运的是，Meta建立了一个技术演示，展示了在设计时考虑了Quest Pro的人脸跟踪功能的虚拟角色的可能性（并且将几乎所有头显的处理能力都用于呈现）。

是的，它仍然有些不稳定，但你在这里看到的每个动作都是由用户做出的相同动作驱动的，包括吹起脸颊或将嘴巴从一边移动到另一边等。总体而言，这更完整地展示了一个面部的表现，我认为它成功地避免了落入怪异山谷。

我在最近的Quest Pro亲自试玩中尝试了这个演示，我在镜子里出现了这个角色（Meta称其为Aura）。我对自己能用我的脸做出的任何动作所看到的脸印象深刻，即使没有特殊的校准。

我特别关注到皮肤的细节。如果我眯起眼睛和皱起鼻子，我可以看到周围的皮肤逼真地收拢，当我挑起眉毛时也是一样。这些微妙的细节，比如与嘴巴一起移动的脸颊皱纹，确实增添了很多印象，让我觉得这不仅仅是一个摆在我面前的物体，而是一个背后有着活生生的存在的东西。

至于在我戴上面具时这些表情实际上是否看起来像我，这是另一个问题。由于这个虚拟角色的面部与我的真实面部不匹配，实际上很难说。但是，至少动作看起来是可信实际的，这是实现自然和可信的虚拟角色所迈出的第一步。

Meta表示将以开源项目形式发布Aura演示，以便开发人员可以看到他们是如何将人脸跟踪输入与虚拟角色相结合的。该公司还表示，开发人员将能够使用一套工具集来驱动人形虚拟角色或非人形虚拟角色（如动物或怪物），而无需为每个角色进行单独调整。

Meta表示，开发人员将能够利用一个与FACS对应的人脸跟踪API，FACS是一种广为认可的用于描述人脸不同肌肉运动的系统。

这不仅是一个用于呈现面部的有效系统，也为用户提供了有效的隐私保护。根据Meta的说法，开发人员实际上无法获取用户面部的原始图像。相反，他们获得的是与一组通用面部动作（比如皱鼻子或皱眉头）相对应的一系列介于零和一之间的数值。Meta说：“这些信号使开发人员在将来自人脸跟踪API的信号映射到他们自己的角色骨骼时，能够保留玩家原始动作的语义意义，无论其角色是人型角色还是更奇幻的东西”。

Meta声称，即使是该公司自己也无法看到头显的摄像头捕捉到的图像，无论是内置摄像头还是外部摄像头。根据该公司的说法，图像会在头显上进行处理，然后立即被删除，而不会被发送到云端或开发者手中。