苹果的Vision Pro头显被认为最具标志性的一个功能可能是眼+手追踪输入。据一份名为“Eye and hand tracking utilizing lensless camera and machine learning”的专利申请称,微软也在探索手+眼追踪方案。在该专利申请的一个实施例中,头显设备中的眼+手追踪系统配备了使用光学掩模作为编码元件的无透镜摄像头系统,机器学习系统配置为直接从编码表示中提取身体特征,并由各自的眼或手追踪系统用于输出用户眼或手的相关追踪数据。通过使用光学掩模,可以实现眼动追踪系统和手动追踪系统。这些系统利用无透镜摄像头和机器学习系统提供精确的身体追踪,并具有轻量和紧凑的特点。这种无透镜摄像头和机器学习系统的组合可以降低计算量、延迟和功耗,并提高头显设备的续航。图像显示了相关设备的布置和配置示例。此外,该专利申请还提到了用于眼动追踪和手部追踪的光学掩模的不同分类和实现方式,以及与机器学习系统相关的CNN的电域部分。总的来说,这份专利申请展示了一种基于无透镜摄像头和机器学习系统的眼+手追踪方案,可以优化身体追踪性能,并在XR头显设备中实现多种应用和用户体验。需要说明的是,这只是专利申请,不代表一定会得到批准或实际商用。