（映维网Nweon 2025年03月31日）为了实现更有效的操作性能，摄像头可以控制帧速率。例如，当环境足够明亮以满足各种标准时，摄像头可以在高帧率下运行。相反，当环境中的光线太低而无法满足捕获图像的标准时，摄像头可以降低帧速率，允许在传感器接收更多的光线。
以这种方式，系统可以实现更有效的操作系统。另外，改变图像捕获设备的运行参数可以减少功率损失和浪费的计算资源。在一份专利申请中，Meta就介绍了一种相关方法。
图3是系统300的示意图。图像捕获设备310可以根据环境条件以第一模式运行，例如环境中的充足照明。响应于检测到环境中的照明不足，图像捕获设备310可在第二模式下运行，至少直到环境条件满足返回到第一模式的阈值为止。
系统300同时可以定时从一种模式转换到另一种模式，以减少用户看到的图像闪烁。与不实现这种自动模式转换的系统相比，所述发明可以减少整体图像闪烁和模糊，同时提供无缝的用户体验。另外，系统300可以减少功率损失和计算资源的浪费，因为在后处理应用程序中可能不需要删除模糊图像和闪烁。
如图3所示，系统300可以包括至少一个图像捕获设备310。图像捕获设备310可包括一个或多个摄像传感器。摄像头传感器可以检测光以向图像捕获设备310发出信号以捕获一个或多个图像360。图像捕获设备310可以以一种或多种方法捕获图像360。所述图像捕获设备310可包括可影响所述图像360的操作参数或设置。
相关操作参数可包括增益、曝光、光圈或帧速率或其各种组合中的至少一种。图像捕获设备310可以在一种或多种操作模式下操作。操作模式可对应于所述图像捕获设备310的一个或多个操作参数的值。第一模式可以包括较高的帧速率，例如100或120 Hz，而第二模式具有较低的帧速率，例如50或60 Hz。图像捕获设备310可以至少基于环境条件或图像360在模式之间变换。
所述图像捕获设备310可以捕获所述图像360，并将所述图像360传输到所述处理器305。处理器305可以与处理器130相似或相同。所述处理器305可包括图像参数检测器325和应用330。图像捕获设备310可以通过网络将图像360传输到图像参数检测器325和应用330。响应接收图像360，图像参数检测器325可以评估图像360以识别一个或多个图像参数。
图像参数可以表示图像的相对亮度或暗度。图像参数可以包括帧亮度或强度、图像的信噪比（SNR）或图像的清晰度等。所述帧亮度至少可根据环境条件而变化。环境条件的一个例子可以是弱光条件。低光条件可指环境光不足以以所需的帧亮度和用于图像捕获设备310的指定操作模式捕获图像360的环境。所需的帧亮度可以是用于确定图像捕获设备310的操作模式的阈值的一部分。
在一个实施例中，图像参数检测器325评估图像360以确定图像360或其图像数据中的一个或多个是否满足阈值，并且可以输出图像数据是否满足阈值的指示。
在一个实施例中，系统300控制图像捕获设备310的操作以在环境条件下满足阈值帧亮度。例如，图像参数检测器325可以评估图像360以满足阈值帧亮度。所述帧亮度以及其他图像参数可与所述图像捕获设备310的操作参数相关。满足阈值帧亮度可以指图像比阈值暗、比阈值亮或处于阈值。
阈值可以是动态的。所述阈值可至少与图像参数、操作参数或其组合有关。所述阈值可以响应于所述环境条件或响应于所述图像捕获设备310的操作模式等而改变。
在一个实施例中，图像参数检测器325可以确定图像360的一个或多个图像参数是否满足用于一个或多个图像参数的相应阈值。图像参数检测器325可以确定所述图像360满足与所述操作参数相关联的第一阈值和与所述图像参数相关联的第二阈值。例如，图像参数检测器325可以确定，如果图像360的帧亮度低于第一阈值，并且图像捕获设备310的增益和曝光介于或处于由增益和曝光的较低阈值和较高阈值指示的阈值范围，则图像360满足阈值。
这种迟滞的引入可以减少系统参数300在阈值附近徘徊所引起的闪烁。当操作参数或图像参数接近阈值时，阈值范围可以帮助消除在两种或更多种不同的相机操作模式之间的过度切换。
所述图像参数可与所述图像捕获设备310的操作参数相关。例如，图像参数检测器325可以评估图像的帧亮度，其可与图像捕获设备的增益和曝光相关。作为说明性示例，当帧亮度降低时，图像捕获设备310的增益和曝光的产物可以增加以保持帧亮度低于阈值。
在本例中，图像捕获设备310的增益和曝光可以增加到图像的饱和点，或直到图像满足帧亮度的阈值。这样，不管环境条件如何，曝光和增益都可以用来保持帧亮度低于阈值。
在一个实施例中，图像参数检测器325可以评估图像参数以确定环境条件的模型，例如确定未来时间点的一个或多个环境条件的预测值或期望值，从而可以根据未来时间点的环境条件的值并以预测方式方便地控制图像捕获设备310的操作。
图像参数检测器325可以将图像数据350传输到摄像头控制器320。摄像头控制器320可以从图像参数检测器325接收图像数据350是否满足阈值的指示，从而响应图像参数检测器325对图像数据350的评估。
所述处理器305可操作所述摄像头控制器320，以至少基于所述评价来控制所述图像捕获设备310的模式。摄像头控制器320可以传输控制信号355，控制信号355包含用于图像捕获设备310以指定模式运行的指令。
用于操作图像捕获设备310的模式可以依赖于图像捕获设备310当前操作的模式。例如，如果图像捕获设备310以对应于高帧率（例如120hz）的第一模式运行，则摄像头控制器320可以基于评估传输控制信号355。摄像头控制器320可响应于接收到的评价而保持第一模式或转换为第二模式。评估可以表明一个或多个图像参数满足阈值。
在一个实施例中，摄像头控制器320可以发送控制信号355，以令图像捕获设备310改变为响应于表明图像参数满足阈值的评估的第二模式。换句话说，确定所述图像参数满足所述阈值的图像参数检测器325可使所述图像捕获设备310从较高帧速率变为较低帧速率。
在一个实施例中，评估可以表明图像参数满足阈值帧亮度。低光照条件会影响图像的帧亮度。摄像头控制器320响应于满足由低光照条件引起的阈值帧亮度，可以发送控制信号355，使图像捕获设备310从第一模式（高帧率）过渡到第二模式（低帧率）。
如果图像捕获设备310以第二模式（较低帧率）运行，则图像数据350可以指示图像捕获设备310继续以第二模式运行，或者更改为第三模式。例如，如果第二模式的增益和曝光满足阈值，并且帧亮度满足阈值，则摄像头控制器320可以通过控制信号355使图像捕获设备310返回到第一模式。如果增益和曝光不满足阈值增益和曝光和/或帧亮度不满足阈值帧亮度，则摄像头控制器320可以将带有指令的控制信号355发送到图像捕获设备310以保持当前模式。
摄像头控制器320可以产生控制信号355，以包括用于改变图像捕获设备310的模式的指令，例如减少或减轻闪烁。在模式转换期间曝光的突然变化可能导致用户注意到明亮的闪光或昏暗。为了减轻这种情况，摄像头控制器320可以在其控制信号355中指示在切换模式时保持相同或类似的曝光。
另外，在具有多个图像捕获设备310的实施例中，摄像头控制器320可以在图像捕获设备310改变模式之前和之后保持由每个图像捕获设备310捕获的图像的对齐。
通过上述的各种控制方案，系统300可以提高计算机视觉操作的性能（例如精度），并且还可以降低设备功耗并提高计算资源的使用效率。这样的操作可以帮助系统300减少图像中的闪烁、噪点和/或模糊。图像捕获设备310的模式之间的自动切换可以启用高帧率以增强图像呈现，同时允许基于环境条件的较低帧率。
图4描绘了基于环境条件的摄像头操作变化示例图400。图400显示了图像参数和操作参数的阈值曲线的示例，系统300可以使用这些阈值曲线来触发第一帧率较高的模式和第二帧率较低的模式之间的切换。所述环境光445可以是所述系统运行的环境中的环境光。例如，环境光可以是明亮的，或可以是暗淡的。
如果帧亮度435达到点D，表示图像曝光不足，则系统可以确定切换图像捕获设备的模式。系统可以通过对阈值的评估来进行判断。
图5描述了显示基于环境条件操纵摄像头操作的方法流程图500。
在510，系统可以捕获一个或多个图像。
在520，系统确定图像的一个参数满足阈值。
响应于确定图像的参数满足阈值，系统可以将图像、与图像相关的数据或对图像的评估传输到控制器。评估可以包括与图像、其参数和阈值有关的信息。所述系统可以使用至少所述评估中包含的信息来控制所述图像捕获设备。
在530，系统降低帧率。除了降低帧速率外，系统同时可以采取其他控制动作。
系统可以改变图像捕获设备的其他操作参数。所述系统可至少控制所述图像捕获装置的曝光、增益、光圈、快门速度或焦点。系统可以控制一个以上的图像捕获设备。系统可以对每个图像捕获设备实施相同的控制，对每个图像捕获设备实施不同的控制，或者对图像捕获设备的子集实施相同的控制。
系统可以在帧率之间的转换或对其他操作参数的更改之前、期间和之后保持图像的对齐。
相关专利：Meta Patent | Multi-mode camera frame sharing algorithm for cv features in xr headsets
名为“Multi-mode camera frame sharing algorithm for cv features in xr headsets”的Meta专利申请最初在2023年8月提交，并在日前由美国专利商标局公布。
