（

映维网Nweon
2024年10月25日

）在录制视频时，电子设备的移动会导致图像模糊。例如，当电子设备在视频捕获期间从左到右旋转或反之亦然时，视频图像可能包括水平模糊的内容。减少这种摄像头运动模糊的一个解决方案是减少设备的曝光时间。然而，这种曝光时间的减少可能会降低视频质量，例如降低亮度或引入噪点。

针对这个问题，
苹果
提出了一种视频图像稳定方法。

图1示出由用户在物理环境100中使用的电子设备120的示例。物理环境是指人们可以在没有电子系统的帮助下与之互动和/或感知的物理世界。在图1中，物理环境100包括沙发130、桌子135和带花的花瓶140。

在图1的实施例中，将电子设备120表示为单个设备。电子设备120由用户佩戴。例如，电子设备120可以是如图1所示的头戴式设备。

电子设备120捕获并显示物理环境100的视频。在本例中，捕获视频的第一帧145并在电子设备120显示。第一帧145可以以串行方式捕获和显示。在一个实施例中，第一帧145与捕获同时显示。在一个实施例中，第一帧145在一个延迟期之后显示。第一帧145包括对沙发130的描绘160，对桌子135的描绘165，以及对装有鲜花的花瓶140的描绘170。由于所述电子设备120是静止的，所述描述160、165、170是清晰的。

相反，图2示出在物理环境100中获取视频的同时移动。在本例中，捕获视频的第二帧245并在电子设备120显示。第二帧245可以以串行方式被捕获和显示。

在一个实施例中，第二帧245与捕获同时显示。在一个实施例中，第二帧245在一个延迟期之后显示。第二框架245包括沙发130的描绘260、桌子135的描绘265和带花花瓶140的描绘270。由于所述电子设备120正在移动，所述描绘260、265、270显得模糊。

在发明中，苹果表示可以通过移动摄像头部分来补偿运动，以减少或消除这种运动捕捉模糊。

图3示出电子设备120在物理环境100中获取视频的同时移动，其中电子设备可以补偿运动。在本例中，捕获视频的第三帧345并在电子设备120显示。第三帧345可以以串行方式捕获和显示。

在一个实施例中，第三帧345与捕获同时显示。在一个实施例中，第三帧345在一个延迟期之后显示。第三帧345包括沙发130的描绘360，桌子135的描绘365，以及带花花瓶140的描绘370。由于所述电子设备120在捕获第三帧345期间补偿所述电子设备120的运动，所以描述360、365、370比图2的描述260、265、270显得更清晰。

图4示出通过移动摄像头部分以补偿运动来减少运动模糊的示例性方法400。

在410，使用传感器检测电子设备的移动，同时通过摄像头捕获视频。视频包括多个帧，并且在捕获多个帧的时间段内可以检测到设备方向的变化。

在一个实施例中，传感器如陀螺仪或惯性测量单元IMU用于追踪或以其他方式确定电子设备的运动。设备当前的运动可用来预测设备的持续运动。在一个实施例中，使用位置编码器/传感器，例如霍尔传感器，电容传感器，光学编码器，磁性编码器等。在一个实施例中，基于来自视频的一个或多个图像或来自电子设备另一个图像传感器的一个或多个图像的图像数据检测电子设备的运动。

在420，在所述帧的一帧的曝光期间，将所述摄像头的一部分从初始位置移动到第二位置以补偿所检测到的移动。所述摄像头部分的运动速度可对应并因此抵消/抵消所述电子设备在所述帧曝光期间的运动影响。

在多帧视频中，可以在电子设备移动期间的多帧中的每一帧中执行这种图像稳定。所以，在每一帧的曝光期间，可以移动所述摄像头的部分以抵消所述电子设备的相应移动。

在一个实施例中，将摄像头部分从初始位置移动到第二位置。摄像头部分可以通过一个或多个线性致动器移动。

在一个实施例中，摄像头部分的运动在与电子设备的主要运动方向相对应的方向上是线性的。例如，如果电子设备从左到右水平旋转，则摄像头部分的运动可以具有相应的/抵消的水平运动。

稳定所需的摄像头部分运动可以从运动传感器的输出导出。摄像头和运动传感器之间的外部结构可以进行校准，并可用于确定稳定光学元件的振幅和速度。运动可以通过将摄像头运动近似为纯旋转并对镜头筒施加反向倾斜来确定。

在430，将摄像头部分从第二位置移动到初始位置。换句话说，当摄像头的部分不捕获帧时，摄像头部分移动回其初始位置。在多帧视频中，在电子设备的移动期间，可以在多帧中的每一帧之间执行这种重新初始化。

因此，在每一帧的曝光周期内，可以移动摄像头部分以抵消电子设备的相应运动，然后可以在各自的曝光周期后移动回其初始位置。

在一个实施例中，方法400交替使用图像稳定周期，在此期间移动所述摄像头部分以补偿所述电子设备的检测到的移动，以及在此期间将所述摄像头部分返回到初始位置的重新初始化周期。

在一个实施例中，方法400选择性地在帧曝光期间提供图像稳定，其中基于确定运动对应于物理环境中移动对象的追踪，在第二曝光期间禁用图像稳定。

例如，如果用户移动电子设备来追踪一个对象，比如一只奔跑的狗或一辆行驶的汽车，图像稳定可能会禁用。这可能会导致移动的对象看起来很清晰，而背景内容有一定的模糊。

然而，如果用户注视着移动的对象，例如狗或汽车，这可能会提供理想的和/或其他自然的李兰体验。在一个实施例中，基于来自捕获有关用户注视的图像和/或其他传感器数据的一个或多个传感器数据来追踪用户的追踪。通过算法处理设备运动和用户的注视追踪，以确定用户是否在跟踪移动对象。在一个实施例中，是否提供图像稳定是基于确定用户是否正在查看移动的对象。

在一个实施例中，基于畸变调整图像稳定。畸变相关的视频稳定可以基于与注视区域相对应的摄像头系统中的畸变。例如，如果用户注视着显示器的一个像素（xd,yd），则显示位置的颜色可能在px （xc,yc）处采样，因此可以考虑摄像头在px （xc,yc）处的畸变来调整视频稳定校正。

图5示出通过移动摄像头一部分以补偿运动，从而减少视频捕获期间摄像头运动模糊。

在本例中，设备移动追踪器502追踪包括摄像头的一个或多个部分的电子设备的移动。检测到的运动提供给数字信号处理器（DSP） 504，其控制驱动器506移动致动器508以移动图像传感器510以补偿检测到的运动。

编码器514对图像传感器信息进行编码，并向DSP 504提供关于图像传感器运动的信息。DSP使用图像传感器信息来控制图像传感器运动，例如，在曝光期间提供图像稳定运动和曝光期间之间的重新初始化。

在此过程中，DSP与传感器接口/驱动512通信。用户/对象追踪器516可以追踪视频的内容和/或追踪用户的注视。图像信号处理器（ISP） 518可以处理图像和/或用户/对象追踪信息，并向传感器接口/驱动器512和/或DSP提供信息，以便在适当的情况下选择性地提供图像稳定。

图6示出用于滚动快门传感器的图像稳定周期和重新初始化周期的交替。在滚动快门传感器的情况下，OIS系统在所有线条的曝光过程中稳定运动，并且在最后一行的曝光结束和下一帧的下一帧曝光之间应该有足够长的时间间隔，以允许稳定组件移动回其标称位置。

图7示出用于全局快门传感器的图像稳定周期和重新初始化周期的交替。在全局快门传感器的情况下，OIS系统在帧曝光期间稳定运动，并且在帧曝光结束和下一帧曝光开始之间应该有足够长的时间间隔，以允许稳定组件移动回其标称位置。

相关专利

：
Apple Patent | Video image stabilization

名为“Video image stabilization”的苹果专利申请最初在2024年1月提交，并在日前由美国专利商标局公布。