Facebook Reality Labs，公司的研发部门，一直在努力实现虚拟现实头像的逼真性，以克服那令人不安的“唐涅瓦利现象”。这个团队的新研究旨在支持新颖的面部表情，以便您的朋友在虚拟现实中能够准确地看到您的搞怪表情。

如今在虚拟现实中使用的大多数头像更像卡通人物而非人类，主要是为了避免“唐涅瓦利现象”的问题。当“更逼真”的头像接近但又不完全接近人类的外貌和动作时，人们会逐渐感到反感。

前身：Codec Avatar
Facebook Reality Labs的“Codec Avatar”项目旨在通过使用机器学习和计算机视觉的组合来穿越唐涅瓦利现象，从而创造出用户的超逼真表现。通过训练系统了解一个人的面部外貌，并根据VR头显内摄像头的输入重新创建这种外貌，该项目已经展示了一些令人印象深刻的结果。

实现足够准确的典型面部表情已经是一个挑战，还有一系列特例需要处理，任何一个特例都可能使整个系统出错，头像重新陷入唐涅瓦利现象。

Facebook的研究人员表示，最大的挑战是“不可能对所有可能的[面部]表情进行统一样本采集”，因为一个人可以以许多不同的方式扭曲自己的脸。最终，这意味着系统的示例数据存在缺口，当它看到新的表情时会感到困惑。

继任者：模块化Codec Avatar
图片提供：Facebook Reality Labs
来自多伦多大学、Vector研究院和Facebook Reality Labs的研究人员Hang Chu，Shugao Ma，Fernando De la Torre，Sanja Fidler和Yaser Sheikh在最新发表的题为“通过模块化Codec Avatar实现有表现力的遥感”的研究论文中提出了一种解决方案。

在原始的Codec Avatar系统中，它试图将其数据集中的整个面部表情与其所看到的输入进行匹配，而模块化的Codec Avatar系统则通过单个面部特征（如每只眼睛和嘴巴）分解任务，允许它通过融合多个不同姿势中的最佳匹配来合成最准确的表情。

在模块化的Codec Avatar中，模块化编码器首先从每个独立头显相机视图中提取信息。然后是模块化合成器，它从同一模块化分支中提取的信息估计出完整的面部表情，同时估计出混合权重。最后，从不同模块中汇总并混合多个估计的三维面部，形成最终的面部输出。

这个目标是在不需要给系统提供更多训练数据的情况下改善可以准确表示的表情范围。可以说，模块化的Codec Avatar系统在推断一个面部应该是怎样的方面更胜于原始的Codec Avatar系统，原始系统更依赖于直接比较。

描绘搞怪表情的挑战
这种方法的一个主要优点是提高系统重新创建未经过训练的面部表情的能力，比如当人们有意地以平常不会做的搞怪方式扭曲他们的脸时。研究人员在论文中特别强调了这个优点，称它为“搞怪表情是社交互动的一部分。由于更强的表现力，模块化的Codec Avatar模型自然更能促进这个任务。”

他们通过从完全不同的表情岗位中随机洗牌面部特征（即：来自{姿势A}的左眼，来自{姿势B}的右眼和来自{姿势C}的嘴巴）制作“人造”搞怪面孔，并查看系统是否能够在给定意外不相似的特征输入下产生逼真的结果进行测试。

图片提供：Facebook Reality Labs
“从上面的图中可以看出，模块化的Codec Avatar研究人员表示：“即使在训练集中从未完整看到过这些表情，该系统仍能产生自然的灵活表情。”对于该系统在这个方面的最终挑战，我很想看到它如何尝试再现吉姆·凯瑞令人难以置信的面部扭曲表情。

眼睛放大
除了制造搞笑表情外，研究人员还发现，模块化编解码器头像系统还可以通过消除佩戴头戴显示器所固有的眼部姿势差异来提高面部逼真度。
在实际的虚拟现实远程交流中，我们观察到用户通常不会完全睁开眼睛。这可能是由于佩戴头戴设备时肌肉压力以及接近眼睛的显示光源。我们引入了一个眼睛放大控制旋钮来解决这个问题。
这使得系统能够微妙地修改眼睛的外观，使之更接近于用户不佩戴头戴设备时的样子。

图片来源：Facebook Reality Labs
– – – – –
虽然通过融合来自不同样本数据的特征来重建面部的想法本身并不是全新的，但研究人员表示：“与以往方法使用三维网格上的线性或浅层特征不同，我们的模块在深度神经网络学习的潜在空间中进行。这使得我们能够捕捉到复杂的非线性效应，并产生具有新的逼真水平的面部动画。”
该方法还是为了使这种头像表示更加实用。要想使用编解码器头像获得良好结果所需的训练数据，首先需要捕捉真实用户在许多复杂面部姿势下的面部。而模块化编解码器头像则通过更少的训练数据实现了类似的结果，并且具有更大的表现力。

另请参阅Facebook Reality Labs表示变焦光学几乎已准备就绪，并详细介绍了HDR研究。
在没有脸部扫描灯台的情况下，要想在虚拟现实中能够准确地代表任何人还需要一段时间，但随着持续的进步，似乎有一天用户可以通过智能手机应用程序快速轻松地捕捉自己的面部模型，然后将其上传作为跨越离奇峡谷的头像的基础。