（

映维网Nweon
2024年09月05日

）对于各种用例的摄像头，运动模糊是一个问题。所以在日前公布的一项专利申请中，
高通
就提出了一种成像和特征追踪系统和技术。

在一个实施例中，系统接收根据图像捕获设置使用图像传感器捕获的环境图像，并接收使用运动传感器捕获的运动数据。系统基于图像中所述环境的至少一个特征估计运动模糊水平，确定与图像中所述环境的多个特征中的至少一个特征关联的权重。估计的运动模糊水平是基于运动数据和图像捕获设置。

所述系统根据所述多个图像的环境特征的各自权重，跨多个图像追踪所述环境特征。例如在系统静止时捕获的图像集中，由于其准确性的置信度较高（由于运动模糊的几率较低），所以可以具有较高的各自权重，从而更重要地影响特征追踪。

在系统运动时捕获的图像集中，由于其准确性的置信度较低（由于运动模糊的几率较高），所以具有较低的各自权重，所以在特征追踪中影响较小。系统可以使用追踪的特征来映射环境，定位系统，和/或确定系统的姿态。

高通指出，发明描述的成像和特征追踪系统可以通过使用权重来考虑不同图像中的运动模糊，从而提供更准确的特征追踪。例如，如果成像和特征追踪系统和技术确定图像估计具有高水平的运动模糊，则系统可以选择不使用从所述图像中提取的特征进行特征追踪。

发明描述的成像和特征追踪系统同时可用于设置图像捕获设置，例如曝光时间，从而减少用于特征追踪的图像的运动模糊估计水平，同时保持噪点/颗粒水平足够低以避免对特征追踪的影响。

图2示出执行成像和特征追踪过程的成像系统200架构框图。

成像系统200包括运动模糊估计器235。在一个实施例中，运动模糊估计器235基于给定图像本身的图像分析来估计图像数据220的给定图像中的运动模糊水平，在另一个实施例中，运动模糊估计器235基于图像数据220中一系列图像中的一个或多个其他图像中的运动模糊水平估计来估计图像数据220的给定图像中的运动模糊水平。

运动模糊估计器235同时可以向包括图像传感器205的图像捕获设备提供反馈，以修改图像捕获设置210，例如当估计的运动模糊水平超过阈值时减少曝光时间。

举例而言，在快速运动速度下，超过2毫秒的曝光时间可以产生运动模糊，所以运动模糊估计器235可以将最大允许曝光时间减少到2毫秒或更少，例如修改其他图像捕获设置210增加亮度以补偿较短的曝光时间。一旦运动数据270表明成像系统200已减速到阈值速度以下或静止，运动模糊估计器235可以允许曝光时间再次增加。

成像系统200可以基于对图像数据220的不同图像的运动模糊的各自估计水平来将各自的权重240分配给图像数据220的不同图像。例如，成像系统200可以设置权重240，使得具有低估计水平运动模糊的图像数据220的图像由于其对准确性的更高置信度而具有更高的各自权重。

图像中的较高权重意味着特征追踪器225在图像中提取、检测和/或识别的特征230在计算中被视为更重要、更准确、更可靠。

成像系统200同时可以设置权重240，所以，具有高估计水平运动模糊的图像数据220的图像由于其准确性的置信度较低而具有较低的相应权重。图像中的较低权重意味着特征追踪器225在图像中提取、检测和/或识别的特征230可以被忽略、跳过、删除或视为不太重要、不太准确、不太可靠。

图3A示出作为成像系统200一部分使用的头戴式显示器310。图3B示出另一种头戴式显示器的形态。

图6示出具有运动模糊的图像600中的特征追踪概念图。由于摄像头的运动，图像受到运动模糊的影响，使得整个场景显得模糊。

由于运动模糊引入的不确定性，图像600中的特征看起来沿着各种距离向各种方向移动。所以，受运动模糊强烈影响的图像会对特征追踪产生负面影响，使得提取、检测、识别和/或追踪的特征不可靠。这反过来会对环境映射、姿态估计、SLAM功能、输出生成功能和/或成像系统200的其他功能产生负面影响。

所以，可以对从这种图像中提取的特征给予较少权重，从而补偿运动模糊。

另外，传统的自动曝光控制系统根据先前捕获图像的图像统计来控制曝光，没有考虑运动数据。

所以，成像系统200使用来自运动传感器215的运动数据270来影响图像捕获设置210的确定，例如曝光时间。首先通过减少成像系统200移动时捕获的图像的曝光时间，并增加曝光时间，使其恢复到成像系统200静止时捕获的基于正常图像统计的水平，这同样可以减少具有运动模糊的图像的情况。

图7示出用于考虑曝光时间的姿态估计的过程700。

成像系统接收图像705并使用图像705执行特征追踪715。成像系统使用用于姿态估计720的特征追踪715来估计成像系统的姿态725，例如使用三角测量来估计姿态725。

成像系统同时可以接收用于捕获图像705的曝光时间710设置，而所述成像系统可以使用所述曝光时间710设置来确定与通过姿态估计720估计的姿态725相关联的置信度730。例如，较高的曝光时间由于增加了运动模糊的可能性而导致较低的置信度730，而较低的曝光时间由于降低了运动模糊的可能性而导致较高的置信度730。

成像系统进一步接收来自运动传感器215的加速度计数据735和/或陀螺仪数据740作为运动数据270。成像系统使用用于状态传播745的加速度计数据735和/或陀螺仪数据740来确定IMU传播状态750。

图8示出将运动数据考虑在内并用于自动曝光控制的过程800。

所述成像系统包括具有曝光/增益表810的AEC引擎805，所述曝光/增益表810用于识别摄像头830所使用的曝光时间设置和增益设置。AEC引擎805可以将图像捕获设置820输出到摄像头830。

在摄像头830应用图像捕获设置820之前，可能存在延迟825。在延迟825之后，摄像头830在应用图像捕获设置820的情况下捕获原始图像835。AEC引擎805可以根据原始图像835的图像统计确定对最大曝光时间的调整815，以生成新的最大曝光时间840。

可以进行调整815以将原始图像835的图像亮度匹配到目标亮度。使用新的最大曝光时间840，以及基于从运动传感器215接收到的运动数据270的运动感知AEC设置845，成像系统确定曝光/增益表810的更新850。

例如，如果确定成像系统处于运动状态，则运动感知AEC设置845可以向下调整新的最大曝光时间840。或者如果确定成像系统处于静止状态，则可以保留新的最大曝光时间840。

然后，更新的曝光/增益表810可用于确定摄像头830用于捕获进一步的原始图像835的进一步图像捕获设置820，并依次进行。所述AEC引擎805和/或所述成像系统的其他图像处理子系统可处理每个原始图像835以产生图像855，所述图像855可由特征追踪器860使用。

图9示出将估计的运动模糊考虑在内并用于姿态估计的过程900。

在905，成像系统配置为并且可以确定图像中的初始姿态、3D点及其对应。

在910，成像系统配置为并且可以确定曝光时间和运动信息。

在915，成像系统配置为并且能够基于曝光时间、深度和运动来估计特征点的运动模糊。成像系统可以重新计算所有运动模糊追踪点的测量方差。

在920，成像系统配置为并且可以使用优化框架来基于来自操作905和915的数据生成姿态估计925。姿态估计925可以包括姿态测量和/或卡尔曼滤波器的协方差。

图10示出将估计的运动模糊考虑在内的姿态估计过程1000。

在1005，成像系统配置为并且可以确定图像中的初始姿态、3D点及其对应。

在1010，成像系统配置为并且能够计算重投影中的重投影误差。

在1015，成像系统配置为并且能够基于特征追踪统计计算权重。

在1020，成像系统配置为并且可以确定曝光时间和运动信息。

在1025，成像系统配置为并且可以基于曝光时间、深度和运动来估计特征点的运动模糊。

在1030，成像系统配置为并且可以估计姿态，使重投影误差(的加权最小二乘最小化。成像系统可以循环回到操作1010，每次在决策点1035检查是否已达到最大迭代次数。如果没有，则成像系统循环回操作1010。如果存在，则成像系统基于操作1030的姿态估计生成姿态估计1040。姿态估计1040可以包括姿态测量和/或卡尔曼滤波器的协方差。

相关专利

：
Qualcomm Patent | Systems and methods for motion blur compensation for feature tracking

名为“Systems and methods for motion blur compensation for feature tracking”的高通专利申请最初在2023年2月提交，并在日前由美国专利商标局公布。