（

映维网Nweon
2024年12月26日

）透视图可以提供各种有益的用户体验，包括帮助用户感知周遭的物理环境。在低光成像条件的示例中，由图像传感器捕获的单个图像帧可能无法提取足够的场景信息以向用户提供可解释的图像。另外，若是实施长曝光时间以便捕获额外的场景信息，这又可能导致图像模糊。

在一份专利申请中，
微软
提出可以通过惯性追踪和光流运动进行运动补偿，从而解释图像传感器的运动。例如，可以在捕获连续图像帧的同时获得惯性追踪数据，并且可以使用惯性追踪数据来对齐连续图像帧。然后，可以从包含比单个图像帧本身所能提供的更多场景信息的输出图像组合对齐的图像帧。

图2A示出用户202操作头戴式显示器204，用户环境中包含球208、盒子210和桌子212。头显204可为各种目的获取周围环境的图像，例如便于通过成像或计算机视觉任务。

由头显204捕获的图像206是一组连续捕获帧中的一个图像帧。例如，图2B示出了与特定时间点（即“时间点2”）相关联的图像206。图2B同时描绘了与不同时间点（即“时间点1”）相关联的另一图像214。

在图2B的示例中，图像214与在与图像206相关联的时间点之前的时间点相关联。图像214可以包括由头显204捕获的图像，或者可以是基于头显204捕获的图像确定的合成图像或输出图像。

系统可以组合多个图像以形成输出图像，例如在弱光条件下成像时。然而，与不同时间点相关联的图像也可以与不同的图像捕获位置相关联。例如，图2B描述了由用户202的头部从时间点1旋转到时间点2所带来的头显204的旋转运动216。图2B同时描述了用户202从时间点1步行到时间点2所带来的头显204的平移运动218。

旋转运动216和平动运动218造成不同图象206和214中对球208、盒子210和桌子212的描述差异。例如，图像206提供了相对于图像214中所示的球208、框210和桌子212的空间偏移和缩放表示。由于与图像206和214相关联的图像捕获位置的旋转和平移差异，可以发明介绍的运动补偿技术，以促进图像206和214的组合并形成恰当的输出图像。

在一个实施例中，可以利用惯性追踪数据来促进旋转运动补偿，并利用光流技术来促进平移运动补偿。

图2B描绘了由头显204捕获的惯性追踪数据220。惯性追踪数据220可以包括代表头显204从时间点1到时间点2所经历的旋转运动216的3D旋转数据。例如，惯性追踪数据220可以包括指示对应于旋转运动216的三个旋转角度的增量姿态。所以，可以利用惯性追踪数据220来促进旋转补偿。

图3A示出应用基于仿射变换的运动补偿。具体地说，图3A描述了图像214惯性追踪数据220。图3A进一步描绘了利用惯性追踪数据220应用于图像214的基于仿射变换的运动补偿302。

在图3A的实施例中，基于仿射变换的运动补偿302提供了仿射变换补偿的图像304。如图3A所示，基于仿射变换的运动补偿302的应用在空间上修改了用户202环境中的对象描述。例如，仿射变换补偿的图像304中的球208、盒子210和桌子212的描述相对于图像214向左移动。

基于仿射变换的运动补偿302可以利用各种技术来实现。在一个示例中，可以利用与惯性追踪数据220相关联的delta位姿来获得3D旋转运动模型或基于仿射变换的2D光流场，其中光流场描述图像214的每个单个像素如何在时间点1和时间点2之间由于旋转运动216而移动。

基于仿射变换的2D光流场可以通过选择图像214的一组像素坐标，将这组像素坐标解投影到3D空间中，利用惯性追踪数据220的delta位姿旋转这组未投影的像素坐标，并将旋转后的未投影的像素坐标重新投影形成新图像来获得。

所以，未投影和重新投影的图像214的每个像素可与新图像中的相应像素相关联。旋转模型可以使用图像214和新图像之间的像素对应来拟合。旋转模型可以表示基于仿射变换的2D光流场，并用于从图像214获得仿射变换补偿的图像304。可以通过将旋转模型应用于图像214的像素来获得仿射变换补偿的图像304。

在一个实施例中，仅通过图像214的像素的解投影和重投影来确定像素对应的稀疏采样，有助于获得用于生成仿射变换补偿图像304的旋转模型的计算效率。

图3B示出确定光流306的概念表示。如上所述，图像206与时间点2相关联，而仿射变换补偿的图像304源自与时间点1相关联的图像214。所以，可以将图像214视为第一图像或先前图像，并且可以将图像206视为第二图像或当前图像。

利用缩小比例的图像来确定光流可以帮助减轻图像噪点（这在低光图像中很普遍）。在确定仿射变换补偿的图像304之前，可以将降尺度应用于图像214，或者在全分辨率下计算仿射变换补偿的图像304之后，可以将降尺度应用于仿射变换补偿的图像304本身。

在图3B的实施例中，光流306包括尺度参数308和平移参数310，并且省略其他运动模型参数，例如旋转和剪切参数。

在图3B的示例中，利用先验320来产生光流306。图3B描述了基于仿射变换的运动补偿302的一个或多个组件。例如，可以包括基于仿射变换的2D光流场，2D光流场是基于惯性追踪数据220获得，并用于获得仿射变换补偿的图像304。可以将光流306的参数偏置于光流基于仿射变换的解决方案或光流。

图3C示出将光流306应用于仿射变换补偿图像304以获得运动补偿图像316。通过使用光流306的参数生成运动模型并将运动模型应用于仿射变换补偿图像304的像素，可以将光流306应用于仿射变换补偿图像304。

可将由光流306参数导出的运动模型应用于光流补偿图像304的所有像素，以获得运动补偿图像316。对整个图像使用单一运动模型可能有助于减少图像伪影，特别是在低信号和/或高噪点环境中。

在图3C的示例中，将光流306应用于仿射变换补偿的图像304，使运动补偿的图像316描绘在仿射变换补偿的图像304中表示的对象的平移和缩放表示。由图3C可以明显看出，运动补偿图像316与当前图像206紧密对应，使得运动补偿图像316与当前图像206可以组合形成输出图像。

图3D示出使用运动补偿的图像316和当前图像206生成输出图像318。可以利用任何合适的技术将运动补偿图像316和当前图像206组合或滤波以形成输出图像318。

图3D同时描绘了从输出图像318向前面的图像214延伸的箭头，指示通过将运动补偿的图像316与当前图像206相结合而获得的输出图像318可以用作前面的图像，以生成用于后续图像处理迭代的后续仿射变换补偿的图像。

图4，图5和图6说明了相关的流程。

402包括访问仿射变换补偿的图像，通过对前一图像应用基于仿射变换的运动补偿来生成仿射变换补偿的图像。

404包括通过对仿射变换补偿的图像应用基于光流的运动补偿来生成运动补偿的图像，其中基于光流的运动补偿利用仿射变换补偿的图像和当前图像作为输入。

406包括利用所述当前图像和所述运动补偿图像来生成输出图像。

502包括利用仿射变换补偿图像和第二图像作为输入确定一组光流参数，其中所述光流参数集包括比例参数和平移参数，并且所述光流参数集省略了旋转和剪切参数。

504包括使用一组光流参数生成运动补偿图像。

506包括利用所述第二图像和所述运动补偿图像来生成输出图像。

602包括确定仿射变换补偿的图像和第二图像之间的光流，其中通过对第一图像应用基于仿射变换的运动补偿来生成仿射变换补偿的图像，并且确定光流利用基于基于仿射变换的运动补偿的一个或多个分量的先验。

604包括通过将光流应用于仿射变换补偿的图像来产生补偿的运动。

606包括利用所述第二图像和所述运动补偿图像来生成输出图像。

相关专利

：
Microsoft Patent | Motion compensation via inertial tracking and optical flow

名为“Motion compensation via inertial tracking and optical flow”的
微软专利
申请最初在2023年9月提交，并在日前由美国专利商标局公布。