Meta Reality Labs的研究人员已经创建了一款原型VR头显，配备了定制的加速器芯片，专门用于处理AI处理，使公司的真实感编解码阿凡达能够在独立头显上渲染。

很早之前，Meta就开始致力于其编解码阿凡达项目，旨在实现几乎真实感的VR阿凡达。该系统利用设备上的传感器，比如眼球追踪和口部追踪，以及AI处理，实时以现实的方式对用户进行详细的再现。

至少在高端PC硬件上是这样工作的。
该公司早期版本的编解码阿凡达研究由NVIDIA Titan X GPU支持，它远远超过了像Meta最新的Quest 2头显中可用的电源。
但该公司已经开始研究如何使编解码阿凡达在低功率独立头显上实现可能性，这可以从与上个月IEEE CICC会议同时发布的一篇论文中看出。在这篇论文中，Meta透露它创建了一款使用7nm工艺构建的定制芯片，专门用于编解码阿凡达。

特别设计
图片由Meta Reality Labs提供
研究人员表示，该芯片远非现成的。该团队设计时考虑了编解码阿凡达处理流程的一个关键部分，具体来说是分析传入的眼球追踪图像并生成编解码阿凡达模型所需的数据。该芯片的体积仅为1.6mm²。

研究人员写道：“这片测试芯片采用7nm工艺节点制造，具备神经网络（NN）加速器，由1024个乘加（MAC）阵列、2MB片上静态随机存储器（SRAM）和32位RISC-V CPU组成。”

他们还重建了编解码阿凡达AI模型的一部分，以充分利用该芯片的特定架构。

Meta Reality Labs的研究人员写道：“通过重新设计基于卷积神经网络的眼球追踪模型并为硬件定制它，整个模型可以适应芯片的大小，以减少内存访问的系统级能量和延迟成本。通过在电路级上有效加速卷积操作，所提供的原型芯片以低形态因素实现了每秒30帧的性能和低功耗消耗。”

该芯片通过加速编解码阿凡达的工作负载中的一个密集部分，不仅加快了处理速度，还降低了所需的功率和热量。由于芯片的定制设计，它比通用CPU更高效，这也影响到了编解码阿凡达眼球追踪组件的软件重新架构设计。

管道的一部分
但头显的通用CPU（在本例中，是Quest 2的Snapdragon XR2芯片）并没有休息的机会。虽然定制芯片处理部分编解码阿凡达的编码过程，但XR2负责解码过程和渲染阿凡达的实际可视化效果。

Meta Reality Labs提供的图片
该研究一定是跨学科的，因为论文中列出了12位来自Meta Reality Labs的研究人员：H. Ekin Sumbul, Tony F. Wu, Yuecheng Li, Syed Shakib Sarwar, William Koven, Eli Murphy-Trotzky, Xingxing Cai,Elnaz Ansari, Daniel H. Morris, Huichu Liu, Doyun Kim 和 Edith Beigne。

令人印象深刻的是，Meta的编解码阿凡达可以在独立头显上运行，即使需要一个特殊的芯片。但我们不知道它如何处理阿凡达的图像渲染。用户的底层扫描非常详细，可能在Quest 2上无法完全呈现。即使所有基础元素都可以驱动动画，但在这种情况下“真实感”的部分目前还不清楚被保留了多少。

– – – – –
该研究代表了Meta Reality Labs首席科学家Michael Abrash最近所描述的新计算架构的实际应用。推动科幻XR视觉成为现实的下一步是什么？他说，从高度集中的处理转向更分布式的处理对于满足这些头戴式设备的功耗和性能需求至关重要。
可以想象，许多XR特定功能都可以受益于专门设计加速这些功能的芯片。空间音频，例如，对于增强沉浸感而言在XR中都是非常理想的，但逼真的声音模拟在计算上非常昂贵（更不用说耗电了！）。位置追踪和手势追踪是任何XR体验的关键组成部分-在这个领域，将硬件和算法一起设计可能会带来很大的速度和功耗优势。
对XR科技前沿感兴趣吗？欢迎浏览我们的档案，了解更多有趣研究的详细分析。