Oculus 今天在 Rift 和移动 VR 上发布了他们的“表情化角色”更新,这是一个实现真实感的重要进展,包括巧妙模拟的眼睛模型、嘴唇同步和微表情。如果你还想要更多发型、服装和配饰,你可能想要在更新上线后随时戴上头显来查看。
该更新首次在去年的 OC5 上亮相,并且包括了 PC 和移动设备上的头像编辑器的更新。新的编辑器包括一系列新的自定义选项,例如口红、眼睛颜色、眉毛和睫毛颜色、新的发型、服装和眼镜选择。
与 Oculus 之前的头像系统一样,第三方应用和游戏也将支持此更新。Oculus 告诉我们,在几天的时间内,像 Poker Stars VR、Tribe XR DJ 和 Epic Rollercoaster 这样的游戏都将支持此更新。虽然没有明确说明,但很明显,该公司希望通过“表情化角色”吸引更多的第三方开发者,因为平台上的许多游戏都使用自己的头像系统。Oculus 计划在今天发布正式公告,正式宣布“表情化角色”。
表达自己
Oculus 在2016年首次发布了他们的 Oculus 头像的第一个版本。尽管公司此后给用户提供了各种纹理、服装和发型的自定义选择,但由于没有面部或眼部追踪,头像本质上只是没有表情的面具,用户只能依靠动作控制和肢体语言来传达情感。
这是因为 Oculus 的设备实际上没有面部或眼部追踪功能,这自然会给头像提供更大的用户表达途径。而且随着即将发布的 Oculus Quest 和 Rift S,情况仍将如此,因为这两款头显都没有这些功能。不论硬件如何,Oculus 一直在努力寻找可以更好模拟真实眼动、眨眼、面部运动、嘴唇同步的方法,一切都是为了使头像更加人性化。
“在这个更新中,我们取得了重大进展,”Oculus 头像产品经理迈克·霍华德说。“凭借在艺术、机器学习和行为建模方面的专业知识,Oculus 头像团队开发了算法,精确模拟人们与物体和其他人的交流方式和注视方式,而无需任何摄像头追踪眼部或面部动作。Oculus 头像团队能够将这些行为模型编码成 VR 语言,然后他们就有了一个有趣的工作,通过调整这些模型使交互感觉更加生动。”
保持真实
Oculus 的迈克·霍华德在一篇深入分析文章中讲述了 Oculus 头像的过去、现在和未来,这告诉我们在创建更加逼真的头像时公司面临了哪些挑战。这些挑战来自于当前的硬件,受限于缺乏内置生物特征追踪和用户的计算机/移动头显等。
霍华德表示,如果你希望用户投入时间来创建数字化的头像并与他人互动,那么你不能接触到奇异谷。
“在 VR 中,当你看到一个以逼真而非常人类方式移动的头像时,你的大脑开始分析它,然后你看到了其中的问题。你可以将这几乎视为一种进化的自卫机制。我们应该对那些行动起来像人类但不像我们一样行为的事物保持警惕,”他说。
对 Oculus 来说,制作一个简单地在你说话时张开嘴巴并按规律眨眼的头像是不够的。该系统需要根据用户可能眨眼的情况进行量身定制,并尽量准确地猜测用户在发出单词时嘴巴的动作。最后一个部分是一个特别困难的方程式,因为人类在发出单词之前、当中和之后都会移动嘴巴。离开了准确度的硬上限,预测能力变得更加困难。稍后会详细讨论这个问题。
至于眼球,虚拟现实头显用户通常只将眼睛移动到离中心角度大约10度的位置,并使用头部来完成其余的视线切换,以观察虚拟环境中的物体。这使得我们能够更容易地根据头部方向和眼前的物体或人预测用户的注视位置,从而更有信心模拟出引人注目的眼部行为,霍华德表示。
据说该系统能模拟眨眼以及一系列眼球运动,如注视转移、扫视(眼球在调节焦点时快速旋转)、微扫视和目视追踪物体的平滑运动。
至于模拟嘴唇的动作,团队发现他们可以通过控制每个声音和下一个声音之间的(虚拟)口腔肌肉移动的速度,来模拟两个声音之间的中间嘴形。团队将这一技术称为“微分插值”。
此外,团队还添加了微表情以保持面部在说话和休息时的自然表情,尽管他们明显避免了实际表情,如极度愉快、伤心、生气等等。在活泼的交谈中,一副无聊或恶心的表情可能会在社交上产生负面影响。
Oculus Avatars不会做的事情,图片提供:Oculus
最后,霍华德明确表示,目前的头部和手部跟踪硬件可以实现更逼真的虚拟形象,尽管所有平台的计算能力都对可模拟的肌肤和头发产生了限制。坦率地说:更详细的肌肤纹理意味着你必须使其在脸部拉伸时看起来自然。更详细的肌肤还需要同样详细的头发来配合。
霍华德解释说:“根据我们迄今所学到的,我们决定使用一种更具雕塑感的形式,但我们也会使用纹理和阴影来使其不至于过于逼真,以匹配我们越来越有信心能够模拟的行为保真度。我们的目标是创造出一种足够人类化的形象,使人们能够读取我们想要呈现出来的生理特征和面部行为,但又不至于过于关注皮肤的褶皱和拉伸,或头发的行为(这是极其难以模拟的)。”
还有很多工作要做。Oculus Avatars目前在Oculus平台或Steam上的所有游戏中尚不具备无缝可用性,需要开发人员进行逐个集成。更不用说,它们现在基本上只是飘浮的躯干和手。为此,该公司正在研究逆向动力学模型,以实现完整身体的虚拟形象。
如果你想了解更多关于Oculus Avatars的历史和可能的未来,请等待霍华德的深入解析文章今天晚些时候发布。
更新(12:15 ET):在本文的早期版本中,曾经提到Oculus Avatars无法跨平台,然而这是不准确的。 Oculus去年面向开发者推出了一个跨平台选项,尽管这种集成必须在每个游戏中进行。开发者可以选择使用默认的Oculus虚拟形象,或者在他们的游戏中允许独特的Oculus平台用户虚拟形象,但跨平台在“跨平台”一词所暗示的无缝集成方面还有很长的路要走。我们已经更正了这一点,更好地反映了这个区别。
0