（

映维网Nweon
2024年08月15日

）为了对目标对象执行3D对象扫描，设备可以从不同的视图捕获目标对象的一系列帧。然后可以使用帧序列为目标对象生成3D模型。然而，并非每一帧都可以用于重构，因为一帧与下一帧之间的差异可能不足以证明使用所述帧的处理成本是合理的。但是，减少用于重建的关键帧数量可能会对重建的质量产生不同的影响。所以，使用单一重叠比例来选择帧用作关键帧可能是次优的。

在一份专利申请中，
高通
介绍了一种执行最佳重叠比估计的系统。例如，由于重构用例可以基于被重构对象的大小而变化，所以可以基于被重构对象的大小来选择重叠比率。为了帮助考虑对象的不同大小，可以将大小划分为大小类别，并且可以为大小类别预定义重叠比率。

在一个实施例中，为了扫描一个对象，可以以相对于对象的不同角度捕获对象的多个图像，并且在扫描对象时可以移动摄像头。

在一个实施例中，摄像头在扫描对象时的移动方式可以用来确定扫描对象的大小类别。通常，当扫描一个小对象时，摄像头会在一个更小的弧内移动。当扫描一个大对象时，摄像头可能会远离圆弧中心，比如扫描一个房间。根据弧的大小和摄像头的指向位置，可以确定物体的大小类别的估计以及相应的重叠比。

在一个实施例中，基于正在扫描的对象的大小类别调整重叠比率可以允许关键帧适应于正在重构的对象的大小。对象大小不同，用于重建的关键帧数同样不同，所以根据对象大小调整关键帧数有助于平衡用于重建的计算资源和重建质量。

图2示出XR系统200的架构的图。XR系统200包括一个或多个图像传感器202、加速度计204、陀螺仪206、存储207、计算组件210、XR引擎220、图像处理引擎224、渲染引擎226、通信引擎228和模型生成引擎230。

图3示出模型生成系统300的框图。模型生成系统300包括对象追踪引擎306、分割引擎308和模型生成引擎310。模型生成系统300的各种组件可用于通过处理对象的帧(并生成对象的一个或多个3D模型来执行对象扫描。

例如，所述对象跟踪引擎306和所述分割引擎308可以执行基于追踪的对象分割过程。分割引擎308将所述对象与诸如平面的其他对象分割，从而允许所述模型生成引擎310在没有与所述平面相关联的平面的情况下生成所述对象的3D模型。

图4示出捕获输入帧的图像捕获设备402。图像捕获设备402沿着路径404围绕对象410（杯子）移动。在图像捕获设备402沿着路径404移动期间，图像捕获设备402位于如图4所示的camera姿势406A、406B、406C、406D、406E和406F的不同位置。路径404可以是基于图像捕获设备402在对象410周围移动的方式的任何配置。

对象追踪引擎306和分割引擎308可以使用所述输入帧302执行基于追踪的对象分割过程。当捕获帧302时，图像捕获设备可以围绕所述对象移动。由对象追踪引擎306执行的追踪可包括对于输入帧302的每一帧追踪图像捕获设备相对于对象的位置。所述分割引擎308可对每一帧中的对象进行分割，并可将所述分割结果提供给所述模型生成引擎310。

从捕获的多个帧中，可以将所述帧中的一个或多个指定为关键帧。除关键帧以外的多个帧中的帧可以是非关键帧。

并不是每一帧都可以用于重建，一帧与下一帧之间的差异可能不足以证明使用所述帧的处理成本是合理的。来自多个捕获帧的多个关键帧可以以计算资源为代价影响重建质量。例如，在使用相对大量的计算资源的同时，使用相对大量的关键帧可以导致精确和详细的重建。类似地，使用相对较少数量的关键帧进行重建可以最大限度地减少计算资源的使用量，但可能导致较低质量的重建。

所以，在平衡所使用的计算资源量的同时，优化关键帧的数量以获得高质量的重建是有用的。

在一个实施例中，关键帧的最佳数量根据重构对象的规模而变化。例如，重建较小对象的细节级别可能相当高，因为与较小对象的交互可能在比大对象更近的范围内执行。选择用于重建对象的关键帧的数量可以基于重叠比率来描述。

图5A、5B、5C和5D举例说明重叠比率的示例。

重叠比率可以参考变量X，它表示重叠量520。图5B所示的重叠比为X。图5C说明了其中使用视频的一半帧进行重建，从而具有X/2的重叠比530。类似地，5D说明了其中四分之一的帧用于重建，所以具有X/4的重叠比540。

重叠率越低，使用的关键帧就越少。所以，优化重叠比例可用于调整用于重建的关键帧的数量。动态确定图像捕获期间的重叠比率允许在捕获被重构对象的图像时实时选择和调整用于重建对象的选定关键帧的数量。

在一个实施例中，可以直接指定重叠比。当直接指定重叠比时，重叠比可能与帧率无关，重叠率是由视角的变化而不是帧速率决定。所以，只要camera不移动，则无论在camera静止时捕获了多少帧，都不会生成额外的关键帧。

如上所述，关键帧的最佳数量可以根据重构对象的规模而变化，因为恒定的重叠比可以对一定大小的对象产生较优的质量重构，而对另一个不同大小的对象提供较低的质量重构。例如，适合手握大小的对象的详细级别可能高于适合另一个大小约为表的对象的详细级别。另外，降低重叠比率对较小对象的重建影响大于对较大对象的重建影响。

为了帮助平衡计算资源和重建质量，重建对象的重叠比率，以及关键帧的数量可以根据对象的大小而变化。为了帮助考虑对象的不同大小，可以将大小分为大小类别，例如小型对象、中型对象和大型对象。

图6示出用于重建的扫描对象的房间600的俯视图。扫描对象进行重建的方式可以指示扫描对象的大小。通常，为了扫描一个对象，可以以相对于对象的不同角度捕获对象的多个图像。这可以通过围绕被扫描对象移动扫描设备来实现。

举例而言，为了扫描中等大小的对象602，比方说笔记本电脑，可以在第一弧604中围绕中等大小的对象602移动camera。然后可以在第二弧608中围绕小尺寸对象606移动camera。

基于图6所讨论的扫描执行方法，可以设计一种基于扫描用例的优化重叠比的技术。

图7示出优化重叠比率的示例性重叠比率调整系统700的架构。重叠比例调整系统700可以是模型生成系统的一部分，如模型生成系统300或其组成。

在重叠比例调整系统700中，姿态收集器702可以收集关于camera姿态的姿态数据704。姿态数据704可以指示camera的视点，指示用于捕获图像的camera所面对的位置。

姿态收集器702可以收集一组N个视点，并将N个视点集传递给拟合引擎706。弧线拟合引擎706将弧线拟合到视点。例如，视点可以包括指示视点的位置相对于其他视点如何变化的相对位置信息，并且可以绘制位置之间的路径。

拟合引擎706尝试找到一个最接近于N个视点之间路径的圆。例如，弧拟合引擎706可以应用陶宾曲线拟合算法将圆拟合到视点。其他的弧线或曲线拟合技术同样可以使用。如果拟合引擎706找到拟合圆，则可以找到拟合圆的圆心和半径。

关于拟合圆以及N个视点集的信息可以传递给视图方向拟合引擎708。如果圆弧拟合引擎706无法将圆拟合到N个视点之间的路径，则可以丢弃N个视点集，并且可以将重叠比例设置为默认的重叠比例或大尺寸对象的重叠比例。

视图方向拟合引擎708可以尝试确定camera方向的指示。例如，视点方向拟合引擎708可以确定所述camera是朝向拟合圆的中心向内指向，还是远离所述拟合圆向外指向。视图方向拟合引擎708可以传递camera方向的指示，并且可以将有关拟合圈的信息传递给用例预测引擎710。

在一个实施例中，用例预测引擎710可以预测输出712的重叠比率。用例预测引擎710可以基于例如camera方向的指示和拟合圆的特征来预测重叠比率。

所述拟合圆的特征可包括拟合圆的半径、拟合圆的直径、拟合圆的圆心等。例如，如果拟合圆的半径在第一个长度范围内，并且camera指向内，则用例预测引擎710可以预测相机正在尝试重构一个小尺寸的对象。

用例预测引擎710可以输出712适合于此类小尺寸对象的重叠比率R。类似地，如果拟合圆的半径在第二长度范围内，例如N米到M米，并且camera指向内，则用例预测引擎710可以预测camera正在尝试重建中等大小的对象。用例预测引擎710可以输出712适合于此类中等大小对象的重叠比率S。

作为另一个示例，如果拟合圆的半径在第三个长度范围内，并且camera指向外，则用例预测引擎710可以预测camera正在尝试重构一个大尺寸的对象。

在输出重叠比712后，距离测量引擎714可以估计到被扫描对象的距离是否偏离，以确定是否已停止对该对象的扫描或是否需要拟合新的弧线。例如，距离测量引擎714可以接收姿态数据704。距离测量引擎714同时可以接收关于拟合圆的信息。姿态数据704可以与从姿态收集器702收集的N个视点集分开。基于位姿数据704，距离测量引擎714可以确定camera与拟合圆心之间的距离是否偏离。如果距离偏离超过阈值量，则重新确定重叠比例。

图8A和8B说明了关于拟合圆的视点集。如上所述，视图方向拟合引擎708可以确定所述camera是否指向所述拟合圆的中心内向。作为确定的示例，视图方向拟合引擎708可以接收关于拟合圆的信息，包括拟合圆的中心802以及N个视点集。

图8A示出沿拟合圆804绘制的N个视点的集合。视点方向拟合引擎708可以确定从视点806A到拟合圆804的中心802的中心矢量808。然后可以将所确定的中心矢量808的方向与对应于视点806A的姿态的方向810进行比较，以确定所确定的中心矢量808的方向与所述姿态的方向810之间的角度θ。如果θ <90度，则可以确定camera指向内。

同样，图8B显示了在拟合圆854绘制的N个视点的集合。在拟合圆854中，从视点856A到拟合圆854的中心852的中心矢量858。然后可以将所确定的中心矢量858的方向与对应于视点856A的姿态的方向860进行比较，以确定所确定的中心矢量858的方向与所述姿态的方向860之间的角度α。在图8B中，当α >90°且α<180°时，则可以确定camera指向外。

图9示出图像处理的过程900。

在902，计算设备可以获取图像传感器的位姿信息。

在904，计算设备可以将曲线拟合到视点集。

在906，计算设备可以确定曲线的一个或多个特征。

在908，计算设备可以基于曲线和视点集的一个或多个特征确定图像传感器的方向。

在910，计算设备可以基于曲线的一个或多个特征和图像传感器的确定方向确定重叠比率。

在912，计算设备可输出确定的重叠比率，用于选择要用于重建对象的帧。

相关专利

：
Qualcomm Patent | Method and apparatus for optimum overlap ratio estimation for three dimensional (3d) reconstructions

名为“Method and apparatus for optimum overlap ratio estimation for three dimensional (3d) reconstructions”的高通专利申请最初在2023年2月提交，并在日前由美国专利商标局公布。