在今年底的IEDM大会上,Meta Reality Labs的首席科学家Michael Abrash介绍了该公司对实现科幻中增强现实眼镜的分析。目前市场上的AR眼镜虽然存在,但它们的体积和重量与普通眼镜相比仍有较大差距,无法满足真正眼镜大小的要求。为此,Meta认为需要对硬件和软件进行一系列的重大改进和范式转变。 Abrash提出了一种新的计算架构,以满足眼镜大小的AR设备的需求。该计算架构采用分布式计算方式,将计算操作分布在整个系统中,以减少无效的数据传输,降低功耗。其中,初步计算可以在摄像头传感器上进行,然后只传输关键数据,以减少能耗。Meta认为这一计算架构将为低功耗、高性能、小体积的XR传感器提供新的发展领域。Meta还指出,现有技术尚无法实现科幻眼镜的概念视频所展示的AR眼镜,但他们认为他们已找到了未来发展的方向。近日,虚拟现实(XR)行业专家Abrash分享了专为增强现实(AR)眼镜设计的低功耗、高性能相机传感器的原型。该传感器采用数字像素传感器阵列,能够同时捕捉每个像素的三个不同光亮级别的数字光亮值,并具备自己的存储器来存储数据,能够决定报告哪个值。这样的设计不仅可以减少功耗,还能大幅提高传感器的动态范围。Abrash分享了通过原型传感器捕获的样本图像,与典型传感器进行对比,展示了广泛的动态范围。
他指出,该广阔的动态范围对于未来的AR眼镜传感器至关重要,AR眼镜需要在各种光线条件下都能表现出色。即使使用Meta的原型传感器的HDR优势,其功耗效率也有显著提高,只使用5mW,并且具备可扩展性。
而Meta希望在传感器上进行更复杂的计算,例如实现深度神经网络的一小部分,用于眼动追踪和手势追踪等XR任务。
然而,要实现这一目标,还需要更多的硬件创新,例如开发超高密度、低功耗的存储器,而整个行业需要共同努力才能实现规模化。Abrash强调了芯片制造商正在开发MRAM技术对于AR眼镜的重要性。
通过综合考虑分布式架构和相关技术,可以在功耗、面积和形态方面取得巨大的改进。这些改进对让数十亿人能舒适、高效地使用AR眼镜是必要的。