（映维网Nweon 2025年03月19日）成像可以提供各种有益的用户体验。例如，MR系统可以配备热摄像投，并配置为提供透视热成像，这样即便是在烟雾环境中，用户都可以感知环境中的物体。作为另一个示例，MR系统可以配备低光摄像头并配置为提供透视低光成像，这样用户就能够在黑暗环境中感知物体。

在低光成像条件的示例中，由图像传感器捕获的单个图像帧可能无法捕获足够的场景信息以向用户提供可解释的图像。另外，长曝光时间以令图像帧能够捕获额外的场景信息则可能会导致图像模糊。

对于这个问题，大多数图像传感器通过获取时间连续的图像帧并组合连续的图像帧来生成输出图像。先前的图像帧可以与当前图像帧组合以提供输出图像。这种用于组合时间连续图像数据以生成输出图像的方法称为“时间滤波”。

在一个示例中，为了执行时间滤波，将当前帧和前一帧用作输入，并将输出图像作为两帧的加权平均值计算。前一帧包含先前生成的输出图像，使得在图像处理管道中仅使用两个图像。在获取新的输出图像后，可以存储新输出图像以用作前一帧，以便与随后捕获的帧组合以生成后续输出图像。

为了便于在时间滤波之前对前图像帧和当前图像帧进行对齐，大多数系统执行运动补偿以解释图像捕获期间图像传感器的运动。通常，在图像捕获过程中获取惯性追踪数据，并使用惯性追踪数据对时间连续的图像帧进行对齐。

与时间滤波相关的一个挑战是选择一个合适的权重来组合前一帧和当前帧以生成输出图像。利用高滤波器权重可以提高输出图像的信噪比和/或提高图像质量。然而，使用高滤镜权重可能会导致图像伪影。另一方面，静态场景的运动补偿不完美。

所以，微软提出了一种优化的方法。

图2A示出，由头显204捕获的图像206是一组连续捕获帧中的一个图像帧。例如，图2B示出了与特定时间点（即“时间点2”）相关联的图像206。图2B同时描绘了与不同时间点（即“时间点1”）相关联的另一图像214。

图214进一步描述了用户202的环境的球208、盒子210和桌面212的特征。在图2B的示例中，图像214与在与图像206相关联的时间点之前的时间点相关联。图像214可以包括由头显204捕获的图像，或者可以是基于头显204捕获的图像确定的合成图像或输出图像。

如上所述，与不同时间点相关联的图像可以与不同的图像捕获位置相关联。图2B描述了通过用户202的头部旋转和/或用户202从时间点1到时间点2的行走而产生的旋转运动216和/或平移运动218。

从时间点1到时间点2的这种移动可能导致不同图像206和214中对球208、盒子210和桌面212的描述存在差异，例如空间偏移和缩放表示。

图2C概念性地描述了运动补偿222，以生成运动补偿图像224。运动补偿222尝试生成与图像206在空间对齐的图像，即运动补偿图像224。换句话说，可以执行运动补偿222以修改图像214，使其看起来好像是从与图像206相同的摄像头位置捕获。

运动补偿222可以采用各种技术。例如，运动补偿222可以至少部分地依赖于由头显204捕获的惯性追踪数据220。惯性追踪数据220可以包括代表头显204从时间点1到时间点2所经历的旋转运动216的3D旋转数据。

可以基于惯性追踪数据220构建旋转模型，并通过运动补偿222应用于图像206以生成运动补偿图像224。

在一个实施例中，应用强时间滤波响应于确定运动补偿222是准确的。图2D示出基于运动补偿图像224和图像206确定运动补偿置信度指标226的概念表示。在本例中，利用运动补偿图像224来确定运动补偿置信度指标226。

在图2D的示例中，可以通过确定运动补偿图像224与图像206之间的光流来确定运动补偿置信度指示器226。可以利用各种光流技术来确定运动补偿置信度指标226。

运动补偿置信度指示器226包括或基于所有像素上的光流矢量/运动模型的平均幅度。当将运动补偿222应用于图像214以获得运动补偿图像224时，平均幅度预计较低。当运动补偿222不准确时，平均幅度预计较高。

运动补偿置信度指示器226可以用作至少一个基础，从而选择用于执行时间滤波的滤波器权重，以便用运动补偿的图像224滤波图像206以生成输出图像。可靠性值228可用作确定滤波器权重的输入。

在一个实施例中，运动补偿置信度指示器226与其他因素、变量和/或输入结合使用，并用于选择滤波器权重，以便用运动补偿图像224暂时滤波图像206以生成输出图像。

图2E示出基于运动补偿置信度指标226（或可靠性值228）和亮度指标230确定滤波器权重236的概念表示。亮度指示器230可以与图像206、图像214或另一图像的获取相关联而获得。亮度指示器230表示在图像206、图像214等中捕获的场景或环境中的亮度。光的水平可以有不同的形式，用不同的方法来测量。

作为又一示例，亮度指示器230可包括用于色调映射的增益设置。在色调映射中，增益设置可以包括加在滤波图像的乘法器，以产生由用户查看的输出图像。

可以选择增益以在输出图像中实现所需的图像对比度量。例如，如果光照水平非常低，则滤光（即色调映射）图像可能包含小强度，从而导致大增益设置。所以，增益可以用作捕获场景中的光电平的指示器。

图2E描述了作为滤波器强度调节模块232的输入的运动补偿置信度指示器226和亮度指示器230，所述滤波器强度调节模块232对所述输入进行处理以确定或生成滤波器权重236。

图2E示出作为实现用于确定滤波器重量236的权重函数234的滤波器强度调节模块232。在一个实施例中，权重函数234定义对应的亮度指示器230值的权重。例如，当增益用作亮度指示器230时，权重函数234可以为每个潜在增益设置定义一个或多个权重。

可以选择权重函数234的权重，使得用户感知的空间噪点在所有光级基本相似。这样的权重选择可以在输出图像中为用户提供一致的图像质量水平。图像的空间噪点是指所有像素计算的强度的标准偏差。

图3示出与权重函数234相对应的权重函数示例，其可用于基于亮度指示器230和/或运动补偿置信度指示器226确定滤波器权重。如上所述，权重函数234可以为每个可能的增益设置（或其他亮度指示值）定义一个或多个权重。图3中的权重函数234描绘了不同的权重曲线，每个权重曲线都与不同的空间噪点设置相关联。

可以通过执行噪点模拟来生成权重函数234的每个权重曲线，以确定近似与权重曲线相关联的空间噪点设置的权重。可以为每个可能的亮度指示值确定一个近似于相关空间噪点设置的滤波器权重。

作为说明性示例，可以通过噪点模拟选择目标强度值并将目标强度值转换为线性值，从而定义权重函数234的权重曲线的特定亮度指示值的权重；生成一组图像，其中每个图像包含所有像素的线性值；在图像集的每张图像中模拟噪点；对于特定亮度指示值的每个潜在权重值：使用图像集（经过噪点模拟）生成滤波图像，将滤波图像转换为强度图像，以及确定强度图像的噪点特性。

在一个实施例中，根据用户数据确定权重函数234的每个权重曲线的空间噪点设置。图4示出了从用户研究中收集的空间噪点数据的表，可用于约束用于确定滤波器权重的权重函数的权重曲线。

图4中的信息是根据用户研究收集，用于确定不同光照水平下的滤光片强度和运动补偿可靠性。为了模拟不同的运动补偿可靠性，要求用户站着不动（模拟无运动），缓慢行走（模拟慢动作）和快速行走（模拟高速运动）。运动补偿可靠性随着运动速度的增加而恶化。每个不同的运动速度与各自的可靠性值相关联。

针对光照水平和运动补偿可靠性的每种组合，向用户提供了多个空间噪点设置。用户需要选择一个空间噪点设置，以实现图像噪点和运动伪影之间的理想权衡。图4描绘了用户为光照水平和运动补偿可靠性的每种组合选择的空间噪点设置。

可以利用基于如图4所示的用户数据/反馈确定的空间噪点设置信息来构建如图3所示的权重函数。例如，图4的空间噪声设置可用于在空间噪点设置与增益图上填充三条曲线（每条曲线对应不同的运动补偿可靠性值）。

图2F描述了利用滤波器权重236（通过实施权重函数234的滤波器强度调节模块232生成以处理可靠性值228和亮度指示器230）、图像206和先前图像238（其可以包括运动补偿图像224）来生成输出图像240。

根据通滤波波器权重236对当前图像206进行滤波，可以对先前图像238执行各种修改，以形成输出图像240。

图5、6和7分别描述了调节用于时间滤波的滤波器强度相关的行为。

图5的502包括获得指示与真实世界环境相关联的亮度指示器。

504包括使用当前图像和先前图像确定运动补偿置信度指示器。

506包括通过使用滤波器强度调节模块处理亮度指示器和运动补偿置信度指示器来确定滤波器重量。

508包括通过使用至少所述滤波器权重来用前一帧滤波当前帧来生成输出图像。

图6的602包括使用一个或多个图像传感器捕获真实世界环境的图像帧。

604包括获得指示与现实世界环境相关的亮度指示器。

606包括通过使用滤波器强度调节模块处理光照指示来确定滤波器权重，滤波器强度调节模块实现通过噪点模拟生成的权重函数，其中权重函数定义了多个光照指示值中的每一个的权重。

608包括通过使用至少所述滤波器权重来用前一帧滤波当前帧来生成输出图像。

610包括在系统的显示器显示输出图像。

图7的702包括使用当前图像和先前图像确定运动补偿置信度指示器。

704包括通过使用滤波器强度调节模块处理运动补偿置信度指示器来确定滤波器重量。

706包括通过使用至少所述滤波器权重来用前一帧滤波当前帧来生成输出图像。

相关专利：Microsoft Patent | Systems and methods regulating filter strength for temporal filtering

名为“Systems and methods regulating filter strength for temporal filtering”的微软专利申请最初在2023年9月提交，并在日前由美国专利商标局公布。