在上周的Connect 2021大会上，元现实实验室的首席科学家迈克尔·阿布拉什（Michael Abrash）对公司在增强现实（XR）和元宇宙领域投入数十亿美元的背后的一些研发工作进行了高层次的概述。

迈克尔·阿布拉什领导着元现实实验室研究团队，负责研究公司认为可能成为未来几十年XR和元宇宙基础技术的技术。在Connect 2021上，阿布拉什分享了该团队最新的一些研究成果。

全身编解码(Avatars)

Meta的编解码(Avatar)项目旨在实现一个能够在XR中捕捉和表现逼真化身(Avatar)的系统。除了简单地“扫描”一个人的身体之外，一个主要的挑战是使其以逼真的方式运动，更不用说使整个系统能够实时运行，以便在交互环境中使用化身(Avatar)。

公司已经在各种场合展示了其编解码(Avatar)项目的工作，每次都显示了改进。 最初，该项目只涉及高质量的头部，但现在已经发展到全身化身(Avatar)。

上面的视频是这个团队在全身编解码(Avatar)上的最新工作演示，研究员雅谢尔·谢赫解释说，它现在支持更复杂的眼动、面部表情以及牵涉到自身接触的手部和身体手势。虽然视频没有明确说明，但是其中还显示了一个使用虚拟现实观看演示的观众，暗示这一切都是实时发生的。

随着未来可能出现这样逼真的化身(Avatar)，阿布拉什承认考虑到人的身份安全是很重要的。为此，公司正在“思考如何保护您的化身(Avatar)，可以通过将其与经过身份验证的账户绑定，或通过其他方式验证身份”。

逼真头发和肌肤渲染

虽然Meta的编解码(Avatar)已经看起来相当令人信服，但研究团队认为该技术的终极目标是实现逼真效果。

上面，阿布拉什展示了研究团队在逼真头发和肌肤渲染以及光照方面的最新工作。没有声称这是实时发生的（我们怀疑不是），但它展示了该团队在未来希望通过编解码(Avatar)技术实现的目标。

服装模拟

除了高质量地呈现您的身体外，Meta认为服装是人们在元宇宙中表达自己的重要方式。为此，他们认为使服装行为逼真将是该体验的重要组成部分。上面的公司展示了他们在服装模拟和互动方面的工作。

高保真实时虚拟空间

虽然XR可以轻松将我们带入其他现实，但虚拟地将朋友传送到您实际的居住空间也是很好的。如果走向极端，这意味着在虚拟空间中建立一个完全重现您实际家中所有物体的环境，并使其能够实时运行。

Meta也实现了这一点。他们建造了一个模拟公寓，包括其中所有物体的完美复制品。这样一来，用户可以在真实空间中移动并像往常一样与之互动，同时保持虚拟版本同步。

因此，如果您在虚拟空间中有客人，他们实际上可以看到您在真实世界中移动，并以一种非常自然的方式与其内部的任何东西互动。同样，当使用增强现实眼镜时，拥有这种精确度的空间地图可以使增强现实体验和互动更具吸引力。

目前，这似乎是为了构建公司实验的“最佳案例”实景环境的目的。如果Meta发现，拥有这种完美同步的真实和虚拟空间对技术的有价值用例变得重要，那么它可能会探索一种使用户以类似精确度捕捉自己空间的简便方式。

续第2页»
EMG输入

虽然手柄和手部追踪如今已被证明是XR领域中有用的输入设备。然而，当我们开始使用全天佩戴的头戴设备，并在公共场合使用时，我们可能不想挥动手臂或在面前空中戳来输入消息或启动应用程序，比如在公交车上。

出于这个目的，Meta一直在研究通过佩戴在手腕上的肌电传感器实现更细微、更自然的XR输入方式。该公司在今年早些时候详细介绍了关于手腕佩戴输入设备的一些研究，并在上周的Connect大会上首次展示了一个用于文本输入的原型设备。

尽管右侧的浮动窗口界面只是一个模拟，但Meta宣称左侧的视图显示的是一个实际的原型设备正在驱动文本输入。

而且，尽管目前它的原型形式很慢，但Abrash相信它具有巨大的潜力和改进空间；他将其称为“真正前所未有的技术”。

背景智能

Meta还在研究上下文智能系统，以使增强现实应用更加实用。为了帮助系统理解用户的意图，Meta利用其详细的虚拟公寓重建作为底层地图，通过观察用户的凝视来理解用户的意图。

通过预测意图，Abrash表示，用户可能只需要一个按键进行输入，根据上下文选择正确的操作，比如打开电视或灯。很明显，这种“带上下文的简单输入”与该公司关于手腕佩戴输入设备的概念非常契合。

Abrash表示，Meta最新的研发项目概述只是他们所投入、研究和建设的一小部分。为了实现公司对元宇宙的终极愿景，他表示“需要进行大约十几项重大技术突破[…]，我们正在努力实现每一项突破。”