一种面向自动驾驶多维感知融合目标检测的测试方法 专利技术说明

计算;推算;计数设备的制造及其应用技术1.本发明涉及自动驾驶、计算机视觉、目标检测、蜕变测试，特别是涉及一种面向自动驾驶多维感知融合目标检测的测试方法。背景技术：2.近年来，自动驾驶系统(ads)取得了巨大的成就。一个典型的自动驾驶系统由多个模块组成，包括传感、感知、规划和控制，它汇集了多个领域的最新进展。虽然现在ads已经取得了不错的发展，系统的安全保障仍然是非常重要的，因为ads的不安全行为会带来灾难性的后果和巨大的经济、社会损失。测试是在实践中部署系统验证的重要方法，然而，由于ads的复杂性和多学科交叉性，测试工作极具挑战。3.多维感知融合目标检测是许多主流自治系统(如ads、无人机)视觉感知、运动预测和轨迹规划的重要基础。感知模块通过接收和处理传感器数据来感知外部环境。所以，将目标检测模块部署到ads之前，有必要充分测试其鲁棒性以提高系统的可靠性。本发明主要针对ads的多维感知融合目标检测模块展开安全测试研究。4.然而，现有的ads测试工作主要关注在用风格迁移、对抗生成、图像操作等方法生成测试样例，这样生成的测试样例真实性和多样性不足，且无法覆盖更容易引发ads错误行为的极端交通场景。现有的ads测试指标多是对于dnn测试指标的直接搬运或是简单变体，并未考虑ads感知模块的语义特性。5.中国专利cncn202211118613.6公开了一种自动驾驶测试系统、方法、电子设备及存储介质，利用交通流生成模块、仿真模块、注入装置和智能测试台架来搭建测试系统，以实现对被测试车辆的自动化测试，从而提高测试效率。中国专利cn202211086736.6公开了一种自动驾驶仿真测试方法、装置、设备和计算机可读介质，该方法结合实车和仿真车辆进行同步测试，可以提高自动驾驶仿真测试结果的准确度。然而这类方法都是在常规交通场景下测试车辆，其测试样例的多样性不足，难以覆盖更容易引发错误行为的极端交通场景。6.中国专利cn202211003321.8公开了一种自动驾驶测试数据生成方法及系统、电子设备、存储介质，该发明通过遗传算法和暴力搜索算法获取场景数据，能够生成大量危险场景数据。但遗传算法和暴力搜索算法的工作效率低下，计算成本高，且无法保证生成场景的真实性，测试的有效性较差。技术实现要素：7.本发明要克服现有技术的上述缺点，提供一种面向自动驾驶多维感知融合目标检测系统的测试方法，该方法算法简单，软件易实现，在保证测试样例真实性和多样性的情况下，覆盖更多极端的交通场景，提高自动驾驶安全测试的效率。8.本发明解决其技术问题所采用的技术方案如下：9.一种面向自动驾驶多维感知融合目标检测的测试方法，包括以下步骤：10.s1：生成实例池：在公开的自动驾驶数据集的测试数据上，用yolact实例分割算法提取行人、车辆等各类实例，并根据尺寸、质量筛选提取结果；11.s2：生成测试样例：根据设计的行人横穿、交通拥堵、违规停车、不文明驾驶等极端交通场景，在实例池中选择对应的实例，依据消失点估计放缩实例，粘贴在原始测试数据上；12.s3：根据测试指标筛选样例：在每个生成的测试样例上计算测试指标，筛选出一组最优的样例；13.s4：测试目标检测模型：将筛选后的各类极端场景样例输入多维感知融合目标检测模型进行蜕变测试，得到模型的平均精度，分析测试结果。14.进一步，所述步骤s1中，加载yolact模型，输入原始交通数据，根据数据集标注的类别、角度等信息，双目图像匹配地做实例分割，得到行人、动物、非机动车、汽车(正向、逆向、横向)，去除不完整的和尺寸过小或过大的实例，得到实例池。15.再进一步，所述步骤s2包括以下步骤：16.s2-1：根据定义的4种极端交通场景选择要插入的实例，行人横穿场景选择行人和动物实例，交通拥堵场景选择正向汽车实例，违规停车场景选择非机动车实例、不文明驾驶场景选择横向和逆向的汽车实例。17.s2-2：在原始测试图像上估计消失点，用opencv库的canny和houghlinesp函数检索图像中的所有直线，过滤掉长度小于100个像素的直线段，根据直线上任意两个点的坐标计算得到这两条直线延长后的交点，所有直线两两计算后，找到大多数交点出现的坐标区域，取平均得到近似坐标作为消失点。18.s2-3：对于汽车实例，根据数据集标注信息划分可插入区域，即空旷的地面区域，来防止大面积遮挡带来的检测误差。在可插入区域随机待插入坐标，每次从实例池中随机选择一个汽车实例，然后根据消失点坐标和原始测试图像中已存在的实例大小，来按比例缩放待插入的汽车实例，用汽车实例的像素覆盖对应背景的像素，从而得到交通拥堵、不文明开车交通场景的样例。对于行人、动物、非机动车实例，可插入区域的划分不考虑对原有的实例的遮挡，从实例池中随机选取后，依据待插入坐标附近的车辆高度来放缩待插入实例，从而得到行人横穿、违规停车交通场景的样例。此外，由于汽车实例尺寸较大，每个样例中最多只插入一个实例，而行人、动物、非机动车实例的尺寸较小，根据场景的不同复杂程度每个样例中可插入1-4个实例。19.更进一步，所述步骤s3包括以下步骤：20.s3-1：依据原始数据集图像中所有实例的分布规律，将图像平均划分为横纵向3*2的6个区域，分别是左侧、前侧、右侧、左前侧、前侧远方、右前侧。21.s3-2：计算生成的每个测试样例的指标得分，指标分为4项，公式如下：[0022][0023]其中，f(s)指一个场景s的综合得分，fk(s)指场景s在第k项指标上的得分，λk是第k项指标在综合得分中的权重，在没有场景特点偏向的情况下，λ都取1/4。[0024]f1根据场景s中的实例总数计算得分，衡量极端场景的实例繁多程度；f2根据6分场景s中的实例数计算得分，衡量场景中实例的密集程度；f3根据6分场景s中的类别数计算得分，衡量场景中实例种类的纷乱程度；f4根据6分场景s中实例数的标准差计算，衡量测试场景中的实例分布与训练集场景的差距。公式如下：[0025][0026][0027][0028][0029]公式(2)中，指场景中原本存在的第j个类别cj的实例总个数，ninsertion指生成过程中插入的实例总个数，th1是数据集中一个场景包含最多的实例数；公式(3)中，ni指场景在第i个分区中的实例总数，th2是数据集中一个分区场景实例总数的平均值；类似的，公式(4)中，ci指场景在第i个分区中实例的类别数，th3是数据集中一个分区场景实例类别数的平均值；最后，公式(5)中，th4是数据集中分区场景实例数分布的标准差最大值，std()指样本标准差，其公式如下：[0030][0031][0032]其中，是样本平均值。[0033]计算得到综合得分后，对于不同极端场景，分别筛选出一组指标得分最高的测试样例。[0034]所述步骤s4中，将筛选后的各类极端场景样例输入多维感知融合目标检测模型，在‘car’类上进行蜕变测试，蜕变关系是模型在原始测试样例和生成的测试样例上的检测结果不变，即原始的真实标签不做改动。[0035]本发明的有益效果为：解决了现有自动驾驶测试生成样例真实性、多样性不足、极端场景难以覆盖的问题。提供了一种轻量级的自动驾驶目标检测的测试指标，感知场景，高效衡量测试样例的综合质量。提高了自动驾驶的测试效率，暴露模型的故障行为，从而帮助修复模型缺陷。附图说明[0036]图1是本发明方法的极端场景样例示意图；[0037]图2是本发明方法的流程示意图；[0038]图3是本发明方法的部分结果图。具体实施方式[0039]以下结合附图对本发明的具体实施方式作进一步的详细描述。[0040]参照图1-3，一种面向自动驾驶多维感知融合目标检测的测试方法，包括以下步骤：[0041]s1：生成实例池：在公开的自动驾驶数据集的测试数据上，用yolact实例分割算法提取行人、车辆等各类实例，并根据尺寸、质量筛选提取结果；[0042]s2：生成测试样例：根据设计的行人横穿、交通拥堵、违规停车、不文明驾驶等极端交通场景，在实例池中选择对应的实例，依据消失点估计放缩实例，粘贴在原始测试数据上；[0043]s3：根据测试指标筛选样例：在每个生成的测试样例上计算测试指标，筛选出一组最优的样例；[0044]s4：测试目标检测模型：将筛选后的各类极端场景样例输入多维感知融合目标检测模型进行蜕变测试，得到模型的平均精度，分析测试结果。[0045]进一步，所述步骤s1中，加载yolact模型，输入原始交通数据，根据数据集标注的类别、角度等信息，双目图像匹配地做实例分割，得到行人、动物、非机动车、汽车(正向、逆向、横向)，去除不完整的和尺寸过小或过大的实例，得到实例池。[0046]再进一步，所述步骤s2包括以下步骤：[0047]s2-1：根据定义的4种极端交通场景选择要插入的实例，行人横穿场景选择行人和动物实例，交通拥堵场景选择正向汽车实例，违规停车场景选择非机动车实例、不文明驾驶场景选择横向和逆向的汽车实例。[0048]s2-2：在原始测试图像上估计消失点，用opencv库的canny和houghlinesp函数检索图像中的所有直线，过滤掉长度小于100个像素的直线段，根据直线上任意两个点的坐标计算得到这两条直线延长后的交点，所有直线两两计算后，找到大多数交点出现的坐标区域，取平均得到近似坐标作为消失点。[0049]s2-3：对于汽车实例，根据数据集标注信息划分可插入区域，即空旷的地面区域，来防止大面积遮挡带来的检测误差。在可插入区域随机待插入坐标，每次从实例池中随机选择一个汽车实例，然后根据消失点坐标和原始测试图像中已存在的实例大小，来按比例缩放待插入的汽车实例，用汽车实例的像素覆盖对应背景的像素，从而得到交通拥堵、不文明开车交通场景的样例。对于行人、动物、非机动车实例，可插入区域的划分不考虑对原有的实例的遮挡，从实例池中随机选取后，依据待插入坐标附近的车辆高度来放缩待插入实例，从而得到行人横穿、违规停车交通场景的样例。此外，由于汽车实例尺寸较大，每个样例中最多只插入一个实例，而行人、动物、非机动车实例的尺寸较小，根据场景的不同复杂程度每个样例中可插入1-4个实例。[0050]更进一步，所述步骤s3包括以下步骤：[0051]s3-1：依据原始数据集图像中所有实例的分布规律，将图像平均划分为横纵向3*2的6个区域，分别是左侧、前侧、右侧、左前侧、前侧远方、右前侧。[0052]s3-2：计算生成的每个测试样例的指标得分，指标分为4项，公式如下：[0053][0054]其中，f(s)指一个场景s的综合得分，fk(s)指场景s在第k项指标上的得分，λk是第k项指标在综合得分中的权重，在没有场景特点偏向的情况下，λ都取1/4。[0055]f1根据场景s中的实例总数计算得分，衡量极端场景的实例繁多程度；f2根据6分场景s中的实例数计算得分，衡量场景中实例的密集程度；f3根据6分场景s中的类别数计算得分，衡量场景中实例种类的纷乱程度；f4根据6分场景s中实例数的标准差计算，衡量测试场景中的实例分布与训练集场景的差距。公式如下：[0056][0057][0058][0059][0060]公式(2)中，指场景中原本存在的第j个类别cj的实例总个数，ninsertion指生成过程中插入的实例总个数，th1是数据集中一个场景包含最多的实例数；公式(3)中，ni指场景在第i个分区中的实例总数，th2是数据集中一个分区场景实例总数的平均值；类似的，公式(4)中，ci指场景在第i个分区中实例的类别数，th3是数据集中一个分区场景实例类别数的平均值；最后，公式(5)中，th4是数据集中分区场景实例数分布的标准差最大值，std()指样本标准差，其公式如下：[0061][0062][0063]其中，是样本平均值。[0064]计算得到综合得分后，对于不同极端场景，分别筛选出一组指标得分最高的测试样例。[0065]所述步骤s4中，将筛选后的各类极端场景样例输入多维感知融合目标检测模型，在‘car’类上进行蜕变测试，蜕变关系是模型在原始测试样例和生成的测试样例上的检测结果不变，即原始的真实标签不做改动。[0066]实例：一种面向自动驾驶多维感知融合目标检测系统的测试方法的实施方案如下：[0067](1)选取实验数据和模型[0068]本发明选取的实验数据是公开的自动驾驶数据集kitti，其中包含测试数据双目图像共3769张，标签类别包括car、van、truck、pedestrain、person(sitting)、cyclist、tram和misc，本实验针对“car”类分析测试结果。[0069]本发明选取的实验模型是3d目标检测模型stereo rcnn、ida-3d和dsgn，3d目标检测模型通过输入的双目图像检测图像中车辆的位置、朝向和距离。[0070]如图1，上下分别是左右目图像。本实验以行人横穿场景为例，首先我们从实例分割得到的行人实例中随机选取若干个，在场景中的可插入区域随机坐标，将行人实例的尺寸放缩到合适大小后，插入在原始图像中得到行人横穿样例，如图1的矩形框所示。然后在生成的所有样例上计算指标，选取指标得分高的一组。将筛选后的测试样例输入实验模型，得到模型的平均精度(ap)。如图3所示，分别是stereo rcnn、ida-3d和dsgn三个模型在不同极端交通场景样例上的平均精度，具体数值见表1。实验结果可以看到，与模型在原始测试集上的ap相比，在我们的测试样例上ap显著下降，其中包括漏检、朝向错误、距离错误。[0071]以上所述，仅为本发明专利较佳的实施例，对本发明而言仅仅是说明性，而非限制性，任何熟悉本技术领域的技术人员在本发明专科所公开的范围内，根据本发明专利的技术方案及其发明专利构思加以等同替换或改变，都属于本发明专利的保护范围。[0072]表1：[0073][0074]本发明的一种面向自动驾驶多维感知融合目标检测系统的测试方法，涉及自动驾驶、计算机视觉、目标检测、蜕变测试。本发明利用自动驾驶感知模块在极端交通场景上更容易引发错误行为的现象，通过实例分割提取各类交通场景中常见的实例，根据极端交通场景的设计将实例合理地插入到原始图像中，生成视觉效果更真实的极端样例；然后对生成的样例计算一组基于场景感知的轻量级测试指标，筛选出质量高的一组测试样例；最后送入自动驾驶的多维感知融合目标检测模型中进行测试。本发明提供一种面向自动驾驶多维感知融合目标检测系统的测试方法，该发明解决了现有自动驾驶测试生成样例真实性、多样性不足、极端场景难以覆盖的问题，提供了一种轻量级的自动驾驶目标检测的测试指标，感知场景，高效衡量测试样例的综合质量，提高了自动驾驶的测试效率。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!