Quest Pro的面部追踪功能将迅速被用于使Meta的虚拟人物更具表情,但下一代虚拟人物将更多地从新技术中受益。
Quest Pro的一个重要新特性是面部追踪系统,它利用内部摄像头感知用户眼睛和部分面部动作的变化。结合无需校准的机器学习模型,这款头戴式设备可以将所观测到的内容转化为可以驱动任何虚拟人物动画的输入信号。
Meta发布了Aura面部追踪示例供开发者进行实验,并同时提供了另外三个开发者示例,与"Movement SDK"相关,为开发者提供了创建具有眼睛、面部和身体追踪的表情丰富虚拟人物的基础。
在近期,这一技术将被用于Meta现有的虚拟人物上。虽然这确实使它们更有表情,但仍然有些滑稽的样子。
这很可能是因为目前的Meta虚拟人物系统并没有考虑到这种程度的面部追踪。这一系统的"骨骼绑定"(模型的基本动画框架)似乎并不完全适合这一任务。将Quest Pro的面部追踪输入融入当前系统,并没有充分发挥其实际能力的价值。
关键Quest Pro报道:
Quest Pro揭晓-全规格、价格和发布日期
Quest Pro评测-令人印象深刻的硬件与有点混乱的价值主张
Quest Pro技术分析-有希望和有难点的地方Meta发布了一个技术演示,展示了在设计Quest Pro头显时,当头显大部分处理能力用于渲染时,面部追踪可实现哪些效果。尽管仍然有些不稳定,但这里看到的每一个动作都是用户通过做同样的动作来驱动的,包括鼓起腮帮子或将嘴巴从一侧移动到另一侧等。总体而言,这是一个更完整的面部表现,我认为成功避免了进入怪异山谷(uncanny valley)。
我曾在最近的Quest Pro上亲自尝试了这个演示,在镜子前看到了自己变成了这个角色(Meta称之为Aura)。我对此印象深刻,即使没有进行任何特殊校准,镜子里看到的脸似乎能够模仿我脸部的任何动作。
我特别注意到了皮肤的细节。当我眯起眼睛或皱起鼻子时,我能看到周围的皮肤真实地聚集起来,当我挑眉时也是如此。这些微妙的细节,比如腮帮随着嘴巴的移动而产生的皱纹,确实增添了一种印象:这不仅仅是一个摆在我面前的物体,而是一个背后有生命的存在。
不确定这个表情是否真的像当我戴着面具时的样子,这是另一个问题。由于这个角色的面部并不与我的面部相符,Meta在表示了这个问题目前难以确定,但至少动作可行是实现虚拟化身自然和可信的重要第一步。Meta表示将发布Aura演示作为开源项目,以便开发者可以看到他们如何将面部跟踪输入连接到化身上。该公司还表示,开发者将能够使用一个工具集来驱动人形化身或非人形化身(如动物或怪物),而无需为每个化身进行单独调整。
Meta表示开发者将能够利用一种使用与FACS相对应的值的面部跟踪API,FACS是一种用于描述人类面部不同肌肉运动的广泛认可的系统。这不仅是一个有效的面部表示系统,而且为用户提供了有用的隐私屏障。按照Meta的说法,开发者实际上无法访问用户面部的原始图像,而是得到一系列与一组通用面部动作相对应的零到一的值,例如皱鼻子或皱眉头。Meta说:“这些信号使开发者可以在将Face Tracking API的信号映射到他们自己的角色系统时保留玩家原始动作的语义含义,无论其角色是人形还是更奇幻的东西”。
Meta声称即使公司本身也无法看到头戴设备摄像头捕获的图像,无论是内部摄像头还是外部摄像头。图像在设备上被处理。据该公司称,头戴设备的数据立即被删除,未被发送到云端或开发者处。