（

映维网Nweon
2025年02月27日

）对于头显的计算机视觉功能，如果在环境条件影响图像质量时提供性能是厂商关注的一个问题。在一份专利申请中，
Meta
就介绍了一种解决方案。

在一个实施例中，当环境条件表明这不会影响图像质量或用户体验时，系统可以以更高的帧速率（例如120hz）操作图像捕获设备。如果环境条件不适合更高的帧率，系统可以以较低的帧率（例如50或60 Hz）操作图像捕获设备。

Meta指出，通过控制帧速率，可以实现更有效的操作性能。

图3示出系统300。系统300可以根据环境条件操纵摄像头操作。例如，所述系统300可包括可在两种或多种操作模式下操作的图像捕获设备310。系统300可以根据一个或多个条件选择操作模式，例如环境条件、电力使用条件、电力可用性条件、处理器和/或存储器使用情况或其各种组合。

例如，图像捕获设备310可以根据环境条件以第一模式运行，例如环境中的充足照明。响应于检测到环境中的照明不足，图像捕获设备310可在第二模式下运行，至少直到环境条件满足返回到第一模式的阈值为止。

系统300同时可以定时从一种模式转换到另一种模式，以减少用户看到的图像闪烁。与不实现这种自动模式转换的系统相比，这可以可以减少整体图像闪烁和模糊，同时提供无缝的用户体验。另外，这可以帮助系统300减少功率损失和计算资源的浪费，因为在后处理应用程序中可能不需要删除模糊图像和闪烁。

如图3所示，系统300可以包括至少一个图像捕获设备310。所述图像捕获设备310可以是摄像头。所述图像捕获设备310可包括可影响所述图像360的操作参数或设置。所述操作参数可包括增益、曝光、光圈或帧速率或其各种组合中的至少一种。

图像捕获设备310可以在一种或多种操作模式下操作。第一模式可以包括较高的帧速率，例如100或120 Hz，而第二模式具有较低的帧速率，例如50或60 Hz。图像捕获设备310可以至少基于环境条件或图像360在模式之间变换。

所述图像捕获设备310可以捕获所述图像360，并将所述图像360传输到所述处理器305。响应接收图像360，图像参数检测器325评估图像360以识别一个或多个图像参数。

图像参数可以表示图像的相对亮度或暗度。图像参数可以包括帧亮度或强度、图像的信噪比SNR或图像的清晰度等。帧亮度至少可根据环境条件而变化。环境条件的一个例子可以是低光条件。低光条件可指环境光不足以以所需的帧亮度和用于图像捕获设备310的指定操作模式捕获图像360的环境。

图像参数检测器325评估图像360以确定图像360或其图像数据中的一个或多个是否满足阈值，并且可以输出图像数据是否满足阈值的指示。所述阈值可与所述图像参数、操作参数或其组合中的一个或多个相关。

系统300控制图像捕获设备310的操作以在环境条件下满足阈值帧亮度。例如，图像参数检测器325可以评估图像360以满足阈值帧亮度。所述帧亮度以及其他图像参数可与所述图像捕获设备310的操作参数相关。满足阈值帧亮度可以指图像比阈值暗、比阈值亮或处于阈值。

图像参数检测器325可以确定图像360的一个或多个图像参数是否满足用相应阈值。图像参数检测器325可以确定所述图像360满足与所述操作参数相关联的第一阈值和与所述图像参数相关联的第二阈值。例如，图像参数检测器325可以确定，如果图像360的帧亮度低于第一阈值，并且图像捕获设备310的增益和曝光介于或处于由增益和曝光的较低阈值和较高阈值指示的阈值范围，则图像360满足阈值。

这种迟滞的引入可以减少系统参数300在阈值附近徘徊所引起的闪烁。当操作参数或图像参数接近阈值时，阈值范围可以帮助消除在两种或更多种不同的摄像头操作模式之间的过度切换。

所述图像参数可与所述图像捕获设备310的操作参数相关。例如，图像参数检测器325可以评估图像的帧亮度，其可与图像捕获设备的增益和曝光相关。作为示例，当帧亮度降低（由于低光条件）时，图像捕获设备310的增益和曝光的产物可以增加以保持帧亮度低于阈值。

在本例中，图像捕获设备310的增益和曝光可以增加到图像的饱和点，或直到图像满足帧亮度的阈值。这样，不管环境条件如何，曝光和增益都可以用来保持帧亮度低于阈值。

在一个实施例中，图像参数检测器325可以评估图像参数以确定环境条件的模型，例如确定未来时间点的一个或多个环境条件的预测值或期望值，从而可以根据未来时间点的环境条件的值以预测的方式方便地控制图像捕获设备310的操作。

例如，图像参数检测器325可以积累图像参数数据以创建人工智能预测模型。模型可以指示图像参数如何根据环境条件、操作参数或时间等变化。例如，模型可以估计，晚于第一图像传输的第二图像可以具有比第一图像更低的帧亮度。所述模型可以至少基于与所述操作参数相关联的图像360进行调整。模型可以预测图像360中的图像是否满足阈值。

图像参数检测器325可以将图像数据350传输到摄像头控制器320。摄像头控制器320可以从图像参数检测器325接收图像数据350是否满足阈值的指示，从而响应图像参数检测器325对图像数据350的评估。

所述处理器305可操作所述摄像头控制器320以至少基于所述评价来控制所述图像捕获设备310的模式。摄像头控制器320可以传输控制信号355，控制信号355包含用于图像捕获设备310以指定模式运行的指令。所述模式可从包含所述评价的图像数据350中确定。所述评估可以指示以哪种模式操作所述图像捕获设备310。

用于操作图像捕获设备310的模式可以依赖于图像捕获设备310当前操作的模式。例如，如果图像捕获设备310以对应于高帧率的第一模式运行，则摄像头控制器320可以基于评估传输控制信号355。

摄像头控制器320可响应于接收到的评价而保持第一模式或转换为第二模式。评估可以表明一个或多个图像参数满足阈值。

在一个实施例中，摄像头控制器320可以发送控制信号355，以使图像捕获设备310改变为响应于表明图像参数满足阈值的评估的第二模式。换句话说，确定所述图像参数满足所述阈值的图像参数检测器325可使所述图像捕获设备310从较高帧速率变为较低帧速率。

在一个实施例中，评估可以表明图像参数满足阈值帧亮度。低光照条件会影响图像的帧亮度。摄像头控制器320响应于满足由低光照条件引起的阈值帧亮度，可以发送控制信号355，使图像捕获设备310从第一模式（高帧率）过渡到第二模式（低帧率）。

如果图像捕获设备310以第二模式（较低帧率）运行，则图像数据350可以指示图像捕获设备310继续以第二模式运行，或者更改为第三模式。例如，如果第二模式的增益和曝光满足阈值，并且帧亮度满足阈值，则摄像头控制器320可以通过控制信号355使图像捕获设备310返回到第一模式。

如果增益和曝光不满足阈值增益和曝光和/或帧亮度不满足阈值帧亮度，则摄像头控制器320可以将带有指令的控制信号355发送到图像捕获设备310以保持当前模式。

摄像头控制器320可以产生控制信号355，以包括用于改变图像捕获设备310的模式的指令，例如减少或减轻闪烁。

摄像头控制器320可在控制信号355中包括直到指定时间才转换模式的指令。指定的过渡时间可以与图像捕获设备310的帧速率和/或曝光相关。

举个例子，如果图像360的序列需要66.666 ms才能完成，并且在序列开始时指示转换，则可能需要66.666 ms才能完成模式转换。这可以是60hz的4帧延迟，或可以是120hz的8帧延迟。

在一个实施例中，图像捕获设备310可以在序列的开始、序列的结束或序列期间转换模式。摄像头控制器320可在控制信号355中包括在过渡期间在图像360之间引入间隙的指令。

所述系统300可迭代地接受从所述图像捕获设备310连续传输的所述图像360的反馈。这样，图像参数检测器325可以连续地评估图像参数以符合阈值，并且摄像头控制器320可以连续地控制图像捕获设备310的模式。除了将图像360传输到处理器305的图像参数检测器325之外，图像捕获设备310可以同时、随后或事先将图像360传输到处理器305的应用程序330。

图像渲染器335可以从应用330接收应用数据345，并且可以生成显示数据365，用于通过显示设备315呈现图像360。图像渲染器335可以包括为处理器305的操作之一。所述图像渲染器335可以呈现所述显示数据365以供所述显示设备315呈现。可以将显示数据365编码在数据包中，以便传输到显示设备315以进行呈现。

通过上述方式，系统300可以提高计算机视觉操作的性能，并且可以降低设备功耗并提高计算资源的使用效率。这样的操作可以帮助系统300减少图像中的闪烁、噪点和/或模糊。图像捕获设备310的模式之间的自动切换可以启用高帧率以增强图像呈现，同时允许基于环境条件的较低帧率。

图4描绘了基于环境条件的摄像头操作变化示例图400。图400显示了图像参数和操作参数的阈值曲线的示例，系统300可以使用阈值曲线来触发第一帧率较高的模式和第二帧率较低的模式之间的切换。

图400描述了用于确定图像捕获设备可以以哪种模式运行的多个阈值。多个阈值对系统表现出一种迟滞。这种迟滞可以防止模式之间的快速循环。

图5描述了显示基于环境条件操纵摄像头操作的方法的流程图500。

在510，系统可以捕获一个或多个图像。

在520，系统确定图像的一个参数满足阈值。确定所述图像的参数满足阈值可包括确定对于每个图像所述图像满足一个或多个阈值，或确定一组图像满足一个或多个阈值。

响应于确定图像的参数满足阈值，系统可以将图像、与图像相关的数据或对图像的评估传输到控制器，例如摄像头控制器320。评估可以包括与图像、其参数和阈值有关的信息。所述系统可以使用至少所述评估中包含的信息来控制所述图像捕获设备。

在530，系统降低帧率。系统可以控制图像捕获设备以降低帧率。系统可以降低帧率响应，以确定图像的一个参数满足阈值。例如，系统可以降低响应于确定图像的亮度满足阈值的图像捕获设备的帧速率。

除了降低帧速率外，系统可以采取其他控制动作。例如，系统可以提高图像采集设备的帧率。系统可以根据图像参数满足不同于阈值的阈值的确定来增加图像捕获设备的帧速率，以降低帧速率。

系统可以改变图像捕获设备的其他操作参数。所述系统可至少控制所述图像捕获装置的曝光、增益、光圈、快门速度或焦点。系统可以控制一个以上的图像捕获设备。系统可以对每个图像捕获设备实施相同的控制，对每个图像捕获设备实施不同的控制，或者对图像捕获设备的子集实施相同的控制。

相关专利

：
Meta Patent | Multi-mode camera frame sharing algorithm for cv features in xr headsets

名为“Multi-mode camera frame sharing algorithm for cv features in xr headsets”的Meta专利申请最初在2023年8月提交，并在日前由美国专利商标局公布。