去年底，在IEDM大会上，Meta Reality Labs首席科学家Michael Abrash提出了该公司对当代计算架构如何发展以实现我们对科幻概念化中增强现实眼镜的分析。

虽然市场上现在有一些AR“眼镜”，但它们没有真正达到普通眼镜（即使是笨重的眼镜）的大小。如今最好的AR头显产品，比如HoloLens 2和Magic Leap 2，仍然更接近护目镜而非眼镜，并且过于笨重，不适合整天佩戴（更别提从人群中得到的视瞥了）。
如果我们要制造出真正眼镜大小、带有全天电池寿命和令人信服的AR体验所需功能的AR眼镜，那么这将需要在硬件和软件方面进行“一系列的根本性改进，有时甚至是范式转变”，Meta的XR组织Reality Labs首席科学家Michael Abrash表示。
也就是说，Meta不认为它当前的技术，或者任何人的技术都能够实现每个AR概念视频所展示的那种科幻眼镜。
但是，该公司认为它知道事情需要朝着什么方向发展。
Abrash在去年底的IEDM 2021大会上发表讲话，阐述了一种新的计算架构，可以满足真正眼镜大小的AR设备的需求。
跟随电源
重新考虑这些设备上的计算处理方式的核心原因在于，需要大幅降低功耗以满足电池寿命和散热要求。
“我们如何通过100倍甚至1000倍地改进移动计算设备的功率效率？”他问道。“这将需要对整个堆栈进行深入的系统级重新思考，硬件和软件的端对端协同设计。而开始这种重新思考的地方就是看看目前的功耗去向。”
为此，Abrash列出了一张比较低级别计算操作功耗的图表。
图片由Meta提供
正如图表所示，能量消耗最大的计算操作是数据传输。这不仅仅指无线数据传输，甚至还包括从设备内部的一个芯片传输数据到另一个芯片。而且，该图表使用了对数刻度；根据图表，与基准单位（在这种情况下是将两个数字相加）相比，将数据传输到RAM使用了12000倍的功率。
将所有这些综合起来，右侧的圆形图表显示，AR所必需的技术——SLAM和手部跟踪——在简单地将数据移动到RAM上时消耗了大部分功耗。
“Abrash说：“显然，对于低功耗的应用（例如轻型AR眼镜），尽量减少数据传输量至关重要。”
他说，为了实现这一目标，将需要一种新的计算架构，该架构不是在集中式计算中心之间传输大量数据，而是在整个系统中广泛分布计算操作，以最小化无效的数据传输。
在最不被期望的地方进行计算
Abrash表示，分布式计算架构的一个起点可能是AR眼镜需要用于感知用户周围世界的许多摄像头。这将涉及到在摄像头传感器上进行一些初步计算，然后仅发送最关键的数据，以减少耗能的数据传输。
图片由Meta提供
为了实现这一目标，Abrash表示，需要进行硬件和软件的协同设计，使硬件针对一种特定算法进行设计，并将其硬连到摄像头传感器本身上——在任何数据离开传感器之前就可以处理一些操作。
图片由Meta提供
Abrash说：“对于功耗最低、要求最佳和体积最小的XR传感器来说，这将成为图像传感器行业的新领域。”
第2页继续: 特定领域传感器甚至已经开发出一种专为AR眼镜的低功耗、高性能需求而设计的相机传感器的原型。该传感器使用所谓的数字像素传感器阵列，可以同时捕捉每个像素的三个不同光亮级别的数字光亮值。每个像素都有自己的存储器来存储数据，并且可以决定报告哪个值（而不是将所有数据发送到另一个芯片进行处理）。

Abrash表示，这不仅可以减少功耗，还可以大大提高传感器的动态范围（即在同一图像中捕捉弱光和强光水平的能力）。他分享了通过公司的原型传感器捕获的样本图像，与典型传感器进行了对比，以展示广泛的动态范围。

左图中，明亮的灯泡使图像失真，导致相机无法捕捉到场景的很多细节。而右图不仅能够清晰地看到灯泡的灯丝的极高亮度，还能够看到场景的其他部分。

这种广阔的动态范围对于未来的AR眼镜传感器非常关键，未来的AR眼镜需要在低光室内条件和阳光明媚的日子里同样表现出色。

即使使用Meta的原型传感器的HDR优势，Abrash表示它的功耗效率也显著提高，30 FPS只使用5mW（据他称，只占典型传感器的25%左右）。而且它的可扩展性也很好；虽然需要更多的功耗，但他表示该传感器可以每秒捕捉高达480帧。

但是，Meta希望更进一步，在传感器上进行更复杂的计算。

“Abrash说：“例如，深度神经网络的一小部分（用于眼动追踪和手势追踪等XR工作负载的分割和分类）可以在传感器上实现。”

然而，Abrash表示，在实现这一点之前还需要更多的硬件创新，例如开发超高密度、低功耗的存储器，这对于“真正的传感器上的ML计算”是必要的。

虽然公司正在尝试这些技术，Abrash指出，整个行业需要共同努力才能实现规模化。他特别提到“芯片制造商正在开发MRAM技术”，这对于开发AR眼镜至关重要。

“Abrash总结道：“通过综合考虑我们提出的分布式架构和所描述的相关技术，我们有可能在功耗、面积和形态因素方面取得巨大改进。”“这些改进对于让数十亿人能够每天舒适、高效地使用，是必要的。”