（映维网Nweon 2025年04月14日）XR设备具有捕获和处理图像数据的能力。然而，目前缺乏自诊断方法来确定图像捕获设备是否处于良好的工作状态。例如，当油污和/或灰尘出现在设备摄像头的透镜时，可能会产生额外的光线散射，并导致图像质量下降，例如模糊、清晰度下降等。
在一份专利申请中，苹果介绍了一种被动摄像头透镜污迹检测方法。
图1示出，由于在透镜表面的污迹而可能发生的光线散射。如图所示，规则光波102通过具有光轴116的外透镜104，所述外透镜104将所述规则光波102通过所述内透镜106对焦，最终到达所述像面108。强或明亮的光线，例如，从高反射物体或被动光源发出的光线110，可以通过外透镜104到达成像平面108。
根据实施例，如果在外透镜104存在污迹或其他外来物质（灰尘等），则在外透镜104可以发生额外的散射112。附加散射112可导致附加反射光114到达成像平面108。所述额外反射光114可能对捕获的图像具有不利影响，例如非自然模糊。
苹果指出，发明所述有助于识别由此类额外反射光114引起的不利影响，并且可以进一步向用户提供表明透镜可能存在应由用户清除的污迹的指示。
在一个实施例中，可以通过分析图像捕获设备捕获的场景的高强度区域来识别如图1所示的情况。换句话说，系统可以被动地分析场景中的高反射对象，以确定是否存在额外的散射。
这种高反射物体的例子可能是被动光源，如房间灯、办公室灯或路灯，或高强度物体，如来自明亮表面的反射，比方说场景中的白色表面。
图2示出执行被动摄像头透镜污迹检测的示例性方法200。
在步骤205中，可以在捕获图像的高强度区域中识别感兴趣区域（ROI）。只有高强度（或高能量）的光线才能对捕获的图像产生可观察到的“模糊”效果。由于与污迹效果相关的图像退化是由于光线在污迹材料和透镜的光学层之间反弹造成，这种反射会导致那些高强度光线的损失，并可能在捕获的图像中可以观察到。
发明技术通常侧重于对捕获图像的这种高强度区域的分析，因为在被动透镜污迹检测分析中使用图像的较低强度区域可能会阻碍提供污迹存在的能力。
换句话说，使用图像的低强度区域需要更多的处理密集型资源，例如预训练的神经网络，以识别污迹的存在。如果污迹发生在低强度区域的一小部分，则资源必须足够稳健，以便能够学习识别此类污迹。苹果提出的解决方案可以根据可用的资源确定什么是高强度。
在步骤210中，为识别的高强度ROI计算图像梯度。在步骤220中，如果计算的图像梯度超过阈值，则在步骤230中从ROI中提取子ROI图像。可以在步骤240中分析每个子roi的对比度度量，例如以矢量特征的形式。
如果图像梯度中的点不大于阈值（步骤220中的No），则过程返回步骤200以评估另一个高强度ROI。步骤240结束后，可返回步骤205。步骤205至240可对捕获图像中识别的每个高强度ROI重复。
在250，在图像的一个区域中确定一个污点的概率。概率可以确定为0到1之间的值，其中值0表示在污迹的最低概率，值1表示存在污迹的最高概率。概率可以根据先前建立的学习方案确定，或可以在在线决策中确定。
在一个实施例中，使用概率来确定是否通知用户图像捕获设备可能存在污渍。这样的通知可以采用显示或语音信息的形式，例如“检测到污迹”，“请清洁镜片”等。
通知可以采用符号或活动图像的形式。例如，图标可能以特定的概率显示。实施例可以包括显示的污迹“健康”状态条。
在一个实施例中，所显示的图标或“健康”状态栏可方便用户交互。例如，一旦图标显示，用户可以与图标交互重新评估污迹状态，就好像透镜已经清洁过一样。如果透镜干净，图标可能会消失，或者“生命值”条可能会根据检测到的概率减少一定百分比。
换句话说，显示器的图标或“健康”条可以像虚拟对象或虚拟物理概念一样起作用。
图3示出使用基于机器学习的模型执行被动摄像头透镜污迹检测的过程。
图3演示了如何以最小的影响将其并入当前的成像管道中。这允许通过电子图像捕获设备实时进行被动污迹评估。
从示例性RAW图像传感器数据300开始，例如，从图像捕获设备获取的RAW图像传感器数据进入图像信号处理器（ISP）像素管道305。ISP像素管道305提供视频输出330的直接预览。
ISP像素管道305同时为计算机视觉CV管道310提供像素信息。CV管道310向污迹检测模块320提供输入图像315。污迹检测模块320可以是包括图像捕获组件的装置的一部分。
在一个实施例中，污迹检测模块320可以通过神经引擎335的一部分来实现，例如，一个单独的神经网络训练来识别捕获图像中的高强度污迹区域，并依赖于可能存在污迹指示的区域。
污迹检测模块320提供污迹信号325，污迹信号325可显示在预览/视频输出330。污迹信号325可以采用污迹显著性图的形式（类似于图4B所示）。
污迹信号325也可以采取概率的形式。污迹检测模块320根据图2提供如上所述的污迹信号325。实施例可以使用ISP像素管道动态地建立梯度计算。所以，污迹检测是高效的，并且只需对当前硬件进行最小的重新编程。
在一个实施例中，使用时间一致性约束识别摄像头污迹的方法。更具体地说，在分析子ROI以确定管道中是否存在污迹时，实施例可以应用时间一致性约束。时间一致性约束可以采用在多帧或获得的图像过程中使用概率或其他参数的运行平均值的形式。
包括多个图像捕获设备的系统可以检测图像捕获设备之一中的污迹的一定概率。然后，系统可以使用多个传感器一致性作为另一个约束，以帮助确定是否存在任何透镜污迹。
苹果指出，这一解决方案可以为一系列的电子设备提供污迹的自主检测。实施例同时具有创建所捕获图像的潜在污迹轮廓的能力，
图4A为图像捕获装置捕获的原始图像，包括低强度区域，如405A，以及高强度区域，如410A。
在图4A中，在被摄图像的中心，人体被摄对象的背后有一个光源，导致被摄图像中出现高强度区域，如410A。
图4B是图4A中图像的潜在污迹轮廓的示例，其形式为污迹显著性图。如图4B所示，所捕获图像中的高强度区域，如410A，在污迹显著性图中具有相应的高强度区域，如410B，并可用于在所捕获图像中的相关区域建立潜在污迹的存在。
相反，所捕获图像中的低强度区域，如405A，在污迹显著性图中具有相应的低强度区域，如405B，其指示在所捕获图像的区域存在潜在污迹的最低可能概率。
相关专利：Apple Patent | Passive camera lens smudge detection
名为“Passive camera lens smudge detection”的苹果专利申请最初在2024年9月提交，并在日前由美国专利商标局公布。
