Insider Insider
Roadtovr 尚无浏览 1 分钟阅读

FaceX实时面部动画可为多人游戏增添沉浸感【视频】

在2013年的GDC上,我在AMD展台看到了一个很酷的演示,名为FaceX。由Mixamo公司开发,FaceX使用标准网络摄像头追踪玩家的面部,并利用这些数据实时为一个3D模型添加动画。尽管这项技术可以作为廉价的动作捕捉工具,为计算机操控的角色加入动画,但更令人兴奋的应用将是用于多人游戏中的实时面部动画,使队友能够通过语音聊天进行沟通。

FaceX可能是提升当前多人游戏沉浸感的一个优雅解决方案,尽管这些游戏还未完全迈向VR的世界。在理论上,该系统非常适合PC玩家。他们很可能已经有了麦克风/耳机与队友进行交流。如果是用笔记本电脑,他们已经有了摄像头;如果是使用台式机,可以便宜购买一台摄像头,无论哪种情况,他们与摄像头之间的距离都足够近以实现准确追踪。开发者甚至不需要将音频与面部动画同步,因为它们都实时传送。对于PC玩家来说,这项技术可以快速而廉价地应用于庞大的用户群体。

与主机玩家一起使用这项技术会更加复杂,但并非不可能。目前的游戏主机摄像头,如Kinect和PlayStation Eye,可能无法提供足够的分辨率来准确跟踪玩家的脸部动作,尤其是在离摄像头较远的沙发上。解决这个问题很简单,只需要使用分辨率更高的摄像头,而我们很可能从Kinect 2和PS4 Eye中看到这一点。

FaceX不仅追踪口部和眼部运动,还利用收集的数据通过对30个测试对象进行机器学习分析,以逼真地模拟脸颊和其他微妙的面部肌肉运动,Mixamo告诉我。

在视频中,当我侧身发问或低头看摄像头时,你可以看到FaceX的效果有些不稳定,但正面时,也就是PC玩家一直面向的方向,它的表现相当不错,并且我预计它会随着时间的推移变得更好。

我可以想象自己身处《战地3》中,子弹从头顶呼啸而过。M-COM站点目标只有几码远,但防线却压制着我和一位队友。我的队友通过语音聊天对我说:“扔烟雾弹,直奔站点,我绕左侧包抄击溃他们。”同时,我能够实时看到他的嘴巴动作,并听到从他的角色身上发出的音频。这比仅仅听到一个没有身体的声音来自何方的步骤要更进一步。

FaceX在像Second Life或魔兽世界这样的缓慢MMORPG游戏中也能发挥巨大作用,因为玩家经常在交易、会议和闲聊中进行面对面的互动。FaceX的Second Life将会很有趣,但看到一个非人类角色(比如魔兽世界中的巨魔或兽人)在你说话时以你的声音来动画化,那将非常酷。

虚拟现实领域也可以使用这项技术,但会面临一些问题。中期内,虚拟现实技术很可能以头戴式显示器(如Oculus Rift)为主。这意味着眼睛始终会被摄像头遮挡。虽然有办法规避这个问题,比如在头戴式显示器内部安装小型眼动追踪摄像头,但这会增加额外的硬件需求,并且会限制潜在用户的数量。此外,还存在头部追踪的问题,使用头戴式显示器的玩家并不总是直视前方的电脑显示器,所以当他们背对摄像头时,脸部会被遮挡,追踪会失效。

但主流虚拟现实游戏还有一段时间才能到来。与此同时,有许多游戏可以从这项技术中获益;Mixamo告诉我,FaceX将在接下来的6个月内推出。