/ Roadtovr / 0浏览

MindMaze的MASK是一种实用且有前景的虚拟现实面部追踪方法。

MindMaze,一家神经技术初创企业,正在研发一种名为MASK的简单、低成本的面部跟踪方法,据称它与任何VR头显兼容,可以将更逼真的表情映射到您的虚拟化身上。

我最近在他们在旧金山的办公空间与MindMaze会面,亲自测试了Mask,并了解了更多相关信息。

由于VR头显阻挡了大部分脸部,导致采用基于光学和计算机视觉的面部跟踪变得更具挑战性,Mask采用了廉价的电极设备,安装在头显的泡沫衬垫周围,可以感知您面部肌肉运动时产生的电信号。

由MindMaze首席执行官Tej Tadi介绍,嵌入的感应硬件非常低成本,对头显的整体成本几乎没有影响。Tadi表示,挑战不在于硬件,而在于软件,它负责解释输入数据。

这里的每个图表表示头显中电极检测到的电活动。将这些数据解码为有用的信息是一个挑战。

电极通过头显的泡沫界面直接接触面部,只测量电信号的振幅。在我试用的Mask的原型版本中,嵌入了八个电极,电脑“看到”的只是在图表上升或下降的八个入流数据。Tadi表示,MindMaze运用他们的神经技术知识创建了一种算法,可以读取这些数据,并从中提取一组面部表情。

神经骗局与真正的创新

首先,我要明确表示,对于神经骗局,我非常怀疑:那些公司使用“神经科学”、“神经技术”和其他与大脑相关的词汇,让人觉得他们正在做的事情比实际上更重要。一个常见的神经骗局示例是,一家公司可能告诉你“你可以用大脑控制无人机!”,而99%的情况是,他们只是在你头上贴上一些电极,然后告诉你“集中注意力”,无人机会升高,然后告诉你“放松”,无人机会降低。这是高度二元化的控制方式,实际上并不是非常有用。

至少就Mask而言,我认为MindMaze是真正的创新者。当我戴上头显亲自试用Mask时,即使没有进行任何校准,我做出的各种表情很快就反映在代表我在虚拟世界中的化身的脸上。当我微笑,它也在微笑。当我皱眉,它也在皱眉。当我眨眼,它也在眨眼。这无疑是我见过的最好的无需校准技术。

我被告知,目前该原型支持10种不同的面部表情。由于这些表情是预制的,这意味着Mask只能提供您表情的近似;它无法捕捉到使你成为你的独特面部运动,但它可以涵盖基本表情。

另外,该团队表示他们正在努力从数据中提取更多的表情,包括可能进行基本眼球跟踪,虽然不足以支持凹陷渲染等功能,但可以足够用于表情映射。

继续阅读第二页:尚不完美,但富有前景 »

尚不完美,但富有前景

Mask并不是完美的产品。我偶尔会看到由于数据的误解而导致我的虚拟化身做出一些我实际上没有做的表情。例如,当我正常眨眼时,原型似乎无法很好地捕捉到我的眨眼动作。然而,Tadi声称,随着每个用户使用的时间增加,算法会变得更加智能和稳定。

它未来能变得多么好是一个重要的问题。它需要接近100%的准确性,因为用户需要能够信任该系统能够准确地代表他们。面部表情在非语言沟通中非常重要;在与潜在新客户进行重要的虚拟会议时,你不会希望由于面部表情被误解而让对方觉得你在冷嘲热讽,而实际上你是微笑的。即使在重要会议场景之外,在VR中的面部追踪仍然需要高度稳健,以避免尴尬的面部动作导致你的虚拟形象从逼真度破裂的谷底返回。
将Mask的稳定性从90%提升到99%的能力将决定该技术的适用程度。
不公平的优势
虽然基于计算机视觉的面部追踪有可能更加精确——捕捉脸部微妙变化而不仅仅是几个姿势之间的切换——即使头戴显示器不构成重大挑战,这种基于电极的方法具有计算机视觉无法具备的优势:预测。
Tadi声称,通过读取你脸部的电信号,Mask算法可以在你做出表情之前“20到30毫秒”察觉到即将出现的表情。若属实,这可能给该方法带来优势,为虚拟世界中几乎实时地模拟你的表情敞开了大门。
MASK原型目前需要附在耳垂上的电极,除此之外还需与脸部接触的电极,不过创造者称这些电极将整合到头戴式耳机中。
基于电极/算法的面部追踪方法还有意思的地方在于,不需要太多的处理能力,Tadi说,该工作负载可以轻松运行在由智能手机提供动力的VR头盔上。这与计算机视觉方法形成了对比,后者需要更强大的处理能力才能从每一帧中得出你的面部表情。
——
Mask看起来很有前途。接下来呢?Tadi表示,底层技术与任何头盔兼容,并且公司正在与市场上的主要参与者进行洽谈。公司的最终目标是不仅仅作为附件销售硬件,而是提供一个直接集成的简单蓝图,然后授权算法的使用。我们有望在2017年度假季节之前看到集成了这项技术的头盔问世。
另外,虽然我认为VR注定会在未来加入面部追踪功能,但目前我还不清楚它到底需要多么精准和准确,以成为一项必备功能(且无风险地误导用户)。鉴于目前行业情况,降低头戴显示器的成本比增加更多功能(和成本)更为重要,这可能对Mask而言意味着错过了最佳时机。

0

  1. This post has no comment yet

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注