（

映维网Nweon
2024年11月29日

）LiDAR激光雷达系统使用一个或多个激光器扫描环境，并根据对象反射的激光来计算LiDAR系统与环境中对象之间的距离。这种技术可应用于自动驾驶汽车和AR/VR等广泛领域。

在一份专利申请中，
高通
就提出了一种增强的LiDAR捕获方法。具体来说，发明介绍的方法使用训练过的对象检测机器学习模型进行对象检测的自适应区域对象采样。

发明描述的系统可用于训练基于激光雷达的对象检测机器学习模型，并使用基于LiDAR的对象表示来增强现有LiDAR捕获，从而允许生成密集距离LiDAR捕获。发明可以使用密集的远距离激光雷达捕获来训练对象检测机器学习模型，从而训练对象检测机器学习模型来检测远方对象。

图1包括三个各自环境的表示的三个示例。表示102、表示104和表示106基于各自的LiDAR捕获。其中，104和106可以是基于发明描述的LiDAR捕获方法。

激光雷达捕获可以包括多个（超过五个）对象的基于激光雷达的表示，所述对象距离激光雷达系统超过特定距离，例如100米，200米，300米等。对象112使用边界框进行说明。

另外，添加到LiDAR捕获的表示可以在每个距离范围、每个对象、每个对象类型和/或每个方向的基础上添加。例如，可以在不同的距离范围内添加基于LiDAR的表示，以便更好地训练对象检测机器学习模型以检测不同距离范围内的对象。

图2示出增强训练数据的示例系统200框图。

系统200可以获得训练数据集202，基于知识库204中的数据模拟基于激光雷达的对象表示，并增强训练数据集202的激光雷达捕获以生成增强的激光雷达捕获208。训练数据集202、知识库204和增强器206可以包括在训练数据集提供器210中。

训练数据集202包括多个激光雷达捕获。知识库204可以包括对象的数据表示，例如，知识库204可以包括多个不同对象的三维模型。

增强器206可以使用来自知识库204的数据来生成一个或多个对象的基于激光雷达的表示，并使用基于激光雷达的表示来增强训练数据集202的激光雷达捕获。增强器206可以生成基于激光雷达的对象表示。

为了增强训练数据集202的LiDAR捕获，增强器206可以模拟三维环境，包括模拟LiDAR捕获系统。增强器206可以对训练数据集202中的激光雷达捕获进行后处理，以生成包括空间中3D点的点云数据。

增强器206可以在这个空间中放置模拟对象。例如，增强器206可以在模拟的三维环境中定位和定向对象的3D模型。在一个实施例中，增强器206可以将3D模型定位在与模拟LiDAR捕获系统的任意距离。增强器206可以根据任意数量的不同方向之一来定位模型。

基于所模拟的三维环境中所述模型的定位和定向，系统200可在所述激光雷达捕获系统中模拟捕获所述对象模型的激光雷达捕获。

在一个实施例中，增强器206可以生成10个基于激光雷达的对象表示，每个基于激光雷达的表示表示环境中不同位置的对象，并且具有不同的方向。

增强器206可以通过在训练数据集202的LiDAR捕获中添加不同距离的基于LiDAR的对象表示，从而增强训练数据集202的LiDAR捕获。增加的表示可以包括任意数量的不同对象。当添加基于激光雷达的表示时，增强器206可以模拟环境，将基于激光雷达的表示放置在仰角和方位角。

在一个实施例中，增强器206可以将若干基于LiDAR的表示添加到LiDAR捕获中，然后确定是否发生了重叠或不必要的遮挡。响应于重叠或不需要的遮挡，增强器206可以移除基于LiDAR的表示。作为另一个示例，增强器206可以模拟可以添加基于LiDAR的表示的环境和位置。

增强器206可以随机选择要添加哪些基于LiDAR的表示、要添加多少基于LiDAR的表示、在何处添加基于LiDAR的表示、基于LiDAR的表示的方向等。可以提供描述基于LiDAR表示的选择和放置的规则，并且增强器206可以根据规则增强LiDAR捕获。

图3示出训练机器学习模型304的示例系统300。系统300可以通过反向传播过程训练机器学习模型304，包括向机器学习模型304提供激光雷达捕获302，从机器学习模型304接收输出320，向损失计算器322提供输出320和ground truth值324，并根据损失计算器322确定的损失数据326调整机器学习模型304的参数。

通过使用增强激光雷达捕获训练机器学习模型304，系统300可以比其他机器学习模型训练技术更好地训练机器学习模型304来检测远方的对象。另外，反向传播过程可能包括在每个距离范围、每个对象、每个对象类型和/或每个方向的基础上训练机器学习模型304，以调整机器学习模型304的参数，从而提高机器学习模型304在每个距离范围、每个对象、每个对象类型和/或每个方向的基础上的性能。

在操作的推理阶段，机器学习模型304可以接收激光雷达捕获302，并基于接收到的激光雷达捕获302生成输出320。在训练阶段，根据反向传播过程，机器学习模型304可以接收LiDAR捕获302，基于接收到的LiDAR捕获302生成输出320，从损失计算器322接收损失数据326，并调整机器学习模型302的参数以减少反向传播过程的损失。

在推理阶段，激光雷达捕获302可以是从正在扫描环境的操作激光雷达系统捕获的实时激光雷达。在训练阶段，LiDAR捕获302可以与图2的增强LiDAR捕获208或训练数据集202相同或基本相似。激光雷达捕获302可以包括环境的点云表示。

除了调整响应于丢失数据326的参数外，体素化器306、体素池化器308、平坦化器314和解码器318可以在推理阶段以与训练阶段基本相同的方式操作。因此，体素化器306、体素池化器308、平坦器314和解码器318的操作描述可以与机器学习模型304在推理阶段和训练阶段的操作相关。

体素306可以接收LiDAR捕获302，并且可以将LiDAR捕获302的数据离散为多个三维体素。例如，体素306可以将LiDAR捕获302的点云离散为多个体素，每个体素具有基于与该体素对应的点云点的质心的值。体素池308可以将体素的值池化以减小体素数据的大小。

编码器310可包括神经网络的一个或多个互连层，包括用于接收汇集体素数据的输入层。编码器310可以接收体素数据，并且可以基于各层的各节点之间的连接的权重生成中间特征312。

压平器314可接收中间特征312，并可将中间特征312的数据压平以生成中间特征316。例如，数据的平坦化可导致中间特征312从多维表示转换为二维表示。

解码器318可以包括神经网络的一个或多个互连层，包括提供输出320的输出层。解码器318可以接收中间特征316，并且可以基于各层的各节点之间的连接的权重生成输出320。

输出320可能包括在接收到的激光雷达捕获中检测到的对象的指示。

例如，输出320可以包括相对于捕获LiDAR捕获的LiDAR系统的边界框的位置。由训练数据产生的输出320在功能上可与由其他激光雷达捕获产生的输出320相同。

转向通过反向传播过程对训练机器学习模型304的描述，ground truth值324可包括激光雷达捕获302中表示的对象位置的指示。ground truth值324可以从训练数据集提供器提供给系统300。

损失计算器322可将输出320与ground truth值324进行比较，并基于比较生成损失数据326。

根据反向传播过程，机器学习模型304可以根据损失数据326调整机器学习模型304的参数，例如减少反向传播过程进一步迭代的损失数据326。作为示例，解码器318可以接收丢失数据326并基于丢失数据326更新解码器318的参数。

损失计算器322可以在每个距离范围、每个对象、每个对象类型和/或每个方向的基础上确定损失数据326。例如，损失计算器322可以在每距离范围的基础上比较输出320和ground truth值324，并且可以在每距离范围的基础上确定损失分数。

例如，损失计算器322可以确定用于检测0 ~ 100米距离范围内的对象的损失分数，用于检测100 ~ 200米距离范围内的对象的损失分数，以及用于检测距离激光雷达系统200米以上的对象的损失分数。每距离范围损失分数可以指示机器学习模型304在不同距离范围内检测对象的效果。

作为另一个示例，损失计算器322可以在每个对象类型的基础上将输出320与ground truth值324进行比较，并在每个对象类型的基础上确定损失分数。

图4示出训练机器学习模型406的示例系统400。系统400可以通过反向传播过程来训练机器学习模型406。

机器学习模型406可以与图3中的机器学习模型304相同或基本相似。输出408可以在功能上与图3的输出320相同，或实质上类似。损失计算器410可以与图3的损失计算器322相同或基本类似。

自适应样本乘法器416可以接收损失数据414，并且可以决定调整激光雷达捕获404，以改进机器学习模型406在每个距离范围、每个对象、每个对象类型和/或每个方向基础上的训练。例如，自适应样本乘法器416可以分析损失数据414，并且可以确定机器学习模型406可以根据距离范围、对象类型、对象和/或方向进行改进。

自适应样本乘法器416可以向训练数据集提供者402提供指令，通过在每个距离范围、每个对象、每个对象类型和/或每个方向的基础上增加或减少添加到LiDAR捕获的对象数量来调整LiDAR捕获404，从而提高机器学习模型406在每个距离范围、每个对象、每个对象类型和/或每个方向的基础上的性能。

训练数据集提供器402可以通过增加激光雷达捕获404来响应自适应样本乘法器416的指令。例如，训练数据集提供器402可以向现有的激光雷达捕获添加基于激光雷达的表示，或从现有的激光雷达捕获中删除基于激光雷达的表示。

训练数据集提供器402可以从符合自适应样本乘法器416提供指令的现有LiDAR捕获数据库中选择LiDAR捕获404。训练数据集提供器402可以从数据库中选择LiDAR捕获，并将从数据库中选择的LiDAR捕获提供给响应自适应样本乘法器416的指令的机器学习模型406。

图5示出训练对象检测模型的过程500的示例。计算设备可以是自动驾驶汽车或AR/VR设备。

在502，计算设备可以获得LiDAR。

在504，计算设备可以获得从第一距离捕获的对象的基于第一激光雷达的表示。

在506，计算设备可以获得从第二距离捕获的对象的基于激光雷达的第二表示。

在508，计算设备可以使用基于对象的第一激光雷达表示和基于对象的第二激光雷达表示来增强激光雷达捕获，以生成增强的激光雷达捕获。

在510，计算设备可以使用增强的LiDAR捕获训练机器学习对象检测模型。

相关专利

：
Qualcomm Patent | Adaptive region-based object sampling for object detection

名为”Adaptive region-based object sampling for object detection“的高通专利申请最初在2023年3月提交，并在日前由美国专利商标局公布。