一种基于深度学习的汽车白车身焊缝质量检测方法、装置与流程

机械加工,机床金属加工设备的制造及其加工,应用技术1.本发明属于汽车检测与深度学习技术领域，具体涉及一种基于深度学习的汽车白车身焊缝质量检测方法、装置。背景技术：2.白车身通常指已经装焊好但尚未喷漆的白皮车身(body in white)，包括翼子板、发动机盖、车门、行李箱盖或背门等装配件。目前传统整车厂商的车身焊接车间内，其进行焊缝质量检测的方法基本是人工目测法，该方法具有直观灵活的优点，但其效率较低，检测结果受人为因素与周围环境因素影响较大。在部分智能工厂内，已装配有基于机器视觉技术的工业机器人，主要进行产品加工前定位、车型识别和装配定位等工作。基于机器视觉的焊缝质量检测技术具有重要意义，已有诸多国内外学者对此进行了研究。3.现有的基于工业传感技术焊缝质量检测技术：4.1.基于超声波的焊缝质量检测5.超声波检测方式是根据超声波在不同的材质或不同的晶体结构回波的波形会发生不同的变化，使用回波接收仪器可以接收到波形所发生的变化。若被测焊件表面或内部存在缺陷，缺陷部位对超声波的反射能力以及穿透时间与无缺陷位置相比有显著不同，通过分析处理反射波信号即可探测出焊件内表面缺陷。缺点是工业生产条件下环境较为复杂，噪声和温度会对测量产生一定的影响，导致测量的准确率不足，且需要得焊接过程中有效进行能量调节来保障恒功率，稳定性不高。6.2.基于红外照相的焊缝质量检测7.红外照相检测是通过大功率光源对待测焊缝进行加热，焊缝受热产生热量，其中均匀部位受热均匀，非均匀部位产生热量大，通过红外照相对产生热量的焊缝形成热成像图像，通过对图像中的温度梯度进行处理，可以检测焊缝内部的凹槽、穿孔等熔透情况。缺点是此方法需要高质量的可变锁相频率的热激励装置，且检测设备较为复杂，需要高性能红外摄像机捕捉轻微的温度变化，并用计算机进行相位处理。此方法的检测过程较为繁琐，检测速度受到了限制。且受到检测条件、成本、场地的限制较多，因而不适合应用在车身焊接的在线检测。8.3.基于机器视觉的焊缝质量检测9.现在通过机器视觉进行焊缝测量的方法主要采用高分辨率摄影相机对焊缝进行图像采集并平滑处理减少噪点、失真，随后利用滤波算法去除图像中的高斯噪声和椒盐噪声，去除噪声后采用边缘检测算法针对焊缝瑕疵特征对边缘进行提取，再经过霍夫变换查找图像中的直线，根据处理后的图像进行分析检测。现有的焊缝视觉检测多采用面阵相机进行图像采集，再通过图像处理配合深度学习网络算法进行处理后进行焊缝瑕疵检测。10.4.基于x射线的焊缝质量检测11.x射线实时成像的原理是实时的将射线通过被测物体，并投影在探测器的阵列上，通过计算机技术进行数据采集，使被测物体的结构进行重现的一项技术。使用x射线进行焊缝质量检测是将x射线投射到焊缝上，若在某个位置处焊缝存在缺陷(气孔或者未融合等)时，此处透过的x射线强度高于无缺陷位置的射线强度，根据射线强度差别导致投射到数字底片上的图像特征有所不同，因此可以通过图像处理对焊缝内部缺陷进行提取和识别。缺点是采用x射线数字成像缺陷检测系统只能对焊缝内部缺陷进行识别，而对于焊缝的外观缺陷如咬边、凹陷及焊缝不均匀等则无法识别。12.现有技术存在以下缺点：13.(1)传统的焊接质量检测技术对车身进行破坏，整车需报废，耗费较大人力，效率低；焊点熔核的气孔等无法鉴别。14.(2)采用基于图像检测的卷积神经网络的方法虽然准确率相比与传统方法得到了显著提高，但是只能在部分缺陷上识别率较高，整体的识别准确率不高，且需要较多的样本量才能达到一定的准确率。15.(3)采用了深度学习网络方法，构建了相应的深度学习网络，但是其网络结构没有采用特定的残差网络结构，对于卷积层数较深的情况下，其卷积效果将会很不理想，降低其识别的准确率。技术实现要素：16.为解决背景技术中提出的现有车身焊接质量检测技术效率低、准确率不高的问题，在本发明的第一方面提供了一种基于深度学习的汽车白车身焊缝质量检测方法，包括：获取多个汽车白车身焊缝的三维点云，利用随机抽样一致性方法去除每个三维点云中的次要平面，并将其进行滤波处理，得到训练样本；基于t－net网络和多层感知机网络，利用多个所述训练样本训练焊缝分类识别模型；利用训练完成的焊缝分类识别模型识别待测汽车白车身的焊缝。17.在本发明的一些实施例中，所述利用随机抽样一致性方法去除每个三维点云中的次要平面包括：随机从汽车白车身焊缝的三维点云数据集中抽取n个样本，用于模型m的变换矩阵h，n≥5；根据所述变换矩阵h计算三维点云数据集中所有样本与模型m的误差，并根据其确定焊接平面；对所述焊接平面进行直通滤波，去除其中的噪声。18.进一步的，所述变换矩阵h通过如下方法确定：[0019][0020]其中(x，y，z)表示目标点云角点位置，(x1，y1，z1)为点云角点位置，s为尺度参数，h11－h44表示变换矩阵h的元素。[0021]在本发明的一些实施例中，所述焊缝分类识别模型包括多个t－net网络、多个卷积神经网络和多个多层感知机网络，每个t－net网络，用于对三维点云或高维特征空间进行姿态矫正；每个卷积神经网络，用于提取三维点云中的相邻点对的特征或高维特征空间中的特征；每个多层感知机网络，用于从多个相邻点对的特征中提取局部特征或根据全局特征进行焊缝缺陷分类。[0022]进一步的，所述焊缝分类识别模型还包括一个或多个最大池化层，所述最大池化层用于将经过多次姿态矫正和局部特征提取得到的全局特征进行池化。[0023]在上述的实施例中，所述获取多个汽车白车身焊缝的三维点云包括：采集多个焊缝的三维点云；对采集到的多个焊缝三维点云按照预设距离进行截取分割。[0024]本发明的第二方面，提供了一种基于深度学习的汽车白车身焊缝质量检测装置，包括：获取模块，用于获取多个汽车白车身焊缝的三维点云，利用随机抽样一致性方法去除每个三维点云中的次要平面，并将其进行滤波处理，得到训练样本；训练模块，用于基于t－net网络和多层感知机网络，利用多个所述训练样本训练焊缝分类识别模型；识别模块，用于利用训练完成的焊缝分类识别模型识别待测汽车白车身的焊缝。[0025]进一步的，所述获取模块包括：抽取单元，用于随机从汽车白车身焊缝的三维点云数据集中抽取n个样本，用于模型m的变换矩阵h，n≥5；确定单元，用于根据所述变换矩阵h计算三维点云数据集中所有样本与模型m的误差，并根据其确定焊接平面；滤波单元，用于对所述焊接平面进行直通滤波，去除其中的噪声。[0026]本发明的第三方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明在第一方面提供的基于深度学习的汽车白车身焊缝质量检测方法。[0027]本发明的第四方面，提供了一种计算机可读介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现本发明在第一方面提供的基于深度学习的汽车白车身焊缝质量检测方法。[0028]本发明的有益效果是：本发明提供的基于深度学习的汽车白车身焊缝质量检测方法，包括：获取多个汽车白车身焊缝的三维点云，利用随机抽样一致性方法去除每个三维点云中的次要平面，并将其进行滤波处理，得到训练样本；基于t－net网络和多层感知机网络，利用多个所述训练样本训练焊缝分类识别模型；利用训练完成的焊缝分类识别模型识别待测汽车白车身的焊缝。通过汽车白车身焊缝的三维点云的样本的预处理，为焊缝分类识别模型提供了高质量的训练样本；基于t－net网络和多层感知机网络，在训练的过程中不断地对三维点云的原始特征或高维空间的局部特征进行姿态矫正，进一步地提高了模型的准确性和鲁棒性。附图说明[0029]图1为本发明的一些实施例中的基于深度学习的汽车白车身焊缝质量检测方法的基本流程示意图；[0030]图2为本发明的一些实施例中的基于深度学习的汽车白车身焊缝质量检测方法的具体流程示意图；[0031]图3为本发明的一些实施例中的焊缝分类识别模型的结构原理示意图；[0032]图4为本发明的一些实施例中的焊缝的三维点云图；[0033]图5为本发明的一些实施例中的基于深度学习的汽车白车身焊缝质量检测装置的结构示意图；[0034]图6为本发明的一些实施例中的电子设备的结构示意图。具体实施方式[0035]以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。[0036]参考图1与图2，在本发明的第一方面，提供了一种基于深度学习的汽车白车身焊缝质量检测方法，包括：s100.获取多个汽车白车身焊缝的三维点云，利用随机抽样一致性方法去除每个三维点云中的次要平面，并将其进行滤波处理，得到训练样本；s200.基于t－net网络和多层感知机网络，利用多个所述训练样本训练焊缝分类识别模型；s300.利用训练完成的焊缝分类识别模型识别待测汽车白车身的焊缝。[0037]在本发明的一些实施例的s100中，所述利用随机抽样一致性(ransac，random sample consensus)方法去除每个三维点云中的次要平面包括：s101.随机从汽车白车身焊缝的三维点云数据集中抽取n个样本，用于模型m的变换矩阵h，n≥5；s102.根据所述变换矩阵h计算三维点云数据集中所有样本与模型m的误差，并根据其确定焊接平面；s103.对所述焊接平面进行直通滤波，去除其中的噪声。具体地，采用直通滤波操作将焊接平面去除，实现对焊缝区域内非必要点云数据的去除，提高目标检测精度。[0038]进一步的，在步骤s102中，所述变换矩阵h通过如下方法确定：[0039][0040]式(1)中(x，y，z)表示目标点云角点位置(坐标)，(x1，y1，z1)为点云角点位置(坐标)，s为尺度参数，h11－h44表示变换矩阵h的元素。可以理解，由于单应性矩阵有15个未知参数，至少需要15个线性方程求解，对应到点位置信息上，一组点对可以列出三个方程，所以通过5个点云样本数据可以求出变换矩阵；[0041]然后，计算数据集中所有数据与模型m的投影误差，模型m为：[0042][0042]式(2)中，其中(x，y，z)表示目标点云角点位置，(x1，y1，z1)为点云角点位置。n为点云数量，设置为5。[0043]利用这个模型测试所有数据，并计算满足这个模型数据点的个数与投影误差，若误差小于阈值，加入内点集i；如果当前内点集i元素个数大于最优内点集i＿best，则更新i＿best＝i，同时更新迭代次数k；如果迭代次数大于k，则退出；否则迭代次数加1，并重复上述步骤，从而确定出焊缝两边的焊接平面；[0044][0045]式(3)中，p为置信度，设置为0.995，w为内点的比例；m为计算模型所需要的最少样本数，m≥5；[0046]参考图3，在本发明的一些实施例的s200中，所述焊缝分类识别模型包括多个t－net网络、多个卷积神经网络和多个多层感知机网络，每个t－net网络，用于对三维点云或高维特征空间进行姿态矫正；每个卷积神经网络，用于提取三维点云中的相邻点对的特征或高维特征空间中的特征；每个多层感知机网络，用于从多个相邻点对的特征中提取局部特征或根据全局特征进行焊缝缺陷分类。[0047]图3示出了焊缝分类识别模型一个具体的实施例，其中卷积神经网络包括多个尺寸：n×3表示初始n个3维点云，(n×64)、(n×1024)表示经过特征提取后的高维度点云信息(向量)；相应地，t－net包括了多个尺寸{(3，3)，(64，64)}；多个不同数量神经元的mlp(多层感知机，multilayer perceptron)；此处不再赘述。[0048]具体地，焊缝分类识别模型训练或识别过程包括：[0049]s201：使用t－net网络点云空间对齐对输入的点云数据进行坐标对齐。t－net网络的正则化项如下式所示：[0050][0051]式(4)中，a表示t－net生成的旋转矩阵，i表示单位矩阵，‖·‖表示frobenius范数。采用t－net会分别在三维空间和更高的特征空间对其进行姿态矫正，为后续网络提供一个姿态统一的数据，从而解决点云数据不变性旋转不变性问题；[0052]s202：在进行s201的操作的基础上进行局部特征的提取。通过随机将步骤s201中的若干个点视为采样点，选取距离最近的k个点来构建k最近邻域图。利用欧氏距离算法来计算未选择采样点集中每个点与已选择采样点集之间的距离l，[0053][0054]式(5)中，x1n代表随机采样点的三维坐标，x2n代表被选择点的三维坐标，由于点云是三维数据，故n＝3；[0055]将距离最大的那个点加入已选择采样点集，然后更新l，一直循环迭代下去，直至获得了目标数量的采样。然后将连接相邻点对的边缘上应用边卷积得到每两两(两个)点对之间的特征信息，然后通过多层感知机网络mlp操作提取局部特征矩阵信息：[0056]f({p1,…,pn})＝g(h(p1),…,h(pn))ꢀꢀ(6)；[0057]式(6)中，h表示多层感知机网络，g表示激活函数，f表示捕获的点云集合的特征信息；[0058]s203：利用在s202的聚簇进行操作后，使用深度点云卷积神经网络作为基干特征提取器，对聚簇后的点云群进行局部的特征提取；[0059]s204：对步骤s203的全局特征进行拼接，然后再次通过多层感知机网络mlp操作完成对焊缝缺陷的分类任务。[0060]进一步的，所述焊缝分类识别模型还包括一个或多个最大池化层，所述最大池化层用于将经过多次姿态矫正和局部特征提取得到的全局特征进行池化，然后再次通过多层感知机网络mlp进行操作完成对焊缝缺陷的分类任务。[0061]可以理解，上述步骤s203－s204可通过一个或多个多层感知机网络mlp操作完成对焊缝缺陷的分类任务。将上述训练过程中的样本三维点云替换为待识别的三维点云(目标三维点云)，并将其输入到训练完成的焊缝分类识别模型，即可完成待识别的三维点的焊缝识别。[0062]参考图4，在上述的实施例中，所述获取多个汽车白车身焊缝的三维点云包括：采集多个焊缝的三维点云；对采集到的多个焊缝三维点云按照预设距离进行截取分割。[0063]具体地，使用激光扫描仪扫描焊缝区域，获取点云信息；对获取到的点云数据实施基本的数据增强，采用将焊缝的点云数据按一定距离进行截取分割，来提高焊缝样本的检测效率和收集效率。[0064]可选的，根据上述提出的，基于深度点云卷积神经网络模型，对于获取到的焊缝点云数据，进行质量检测，得到焊缝是否满足质量要求的结果。[0065]实施例2[0066]参考图5，本发明的第二方面，提供了一种基于深度学习的汽车白车身焊缝质量检测装置1，包括：获取模块11，用于获取多个汽车白车身焊缝的三维点云，利用随机抽样一致性方法去除每个三维点云中的次要平面，并将其进行滤波处理，得到训练样本；训练模块12，用于基于t－net网络和多层感知机网络，利用多个所述训练样本训练焊缝分类识别模型；识别模块13，用于利用训练完成的焊缝分类识别模型识别待测汽车白车身的焊缝。[0067]进一步的，所述获取模块11包括：抽取单元，用于随机从汽车白车身焊缝的三维点云数据集中抽取n个样本，用于模型m的变换矩阵h，n≥5；确定单元，用于根据所述变换矩阵h计算三维点云数据集中所有样本与模型m的误差，并根据其确定焊接平面；滤波单元，用于对所述焊接平面进行直通滤波，去除其中的噪声。[0068]实施例3[0069]参考图6，本发明的第三方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明在第一方面的基于深度学习的汽车白车身焊缝质量检测方法。[0070]电子设备500可以包括处理装置(例如中央处理器、图形处理器等)501，其可以根据存储在只读存储器(rom)502中的程序或者从存储装置508加载到随机访问存储器(ram)503中的程序而执行各种适当的动作和处理。在ram 503中，还存储有电子设备500操作所需的各种程序和数据。处理装置501、rom 502以及ram 503通过总线504彼此相连。输入/输出(i/o)接口505也连接至总线504。[0071]通常以下装置可以连接至i/o接口505：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置506；包括例如液晶显示器(lcd)、扬声器、振动器等的输出装置507；包括例如硬盘等的存储装置508；以及通信装置509。通信装置509可以允许电子设备500与其他设备进行无线或有线通信以交换数据。虽然图6示出了具有各种装置的电子设备500，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。图6中示出的每个方框可以代表一个装置，也可以根据需要代表多个装置。[0072]特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置509从网络上被下载和安装，或者从存储装置508被安装，或者从rom 502被安装。在该计算机程序被处理装置501执行时，执行本公开的实施例的方法中限定的上述功能。需要说明的是，本公开的实施例所描述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd－rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开的实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开的实施例中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、rf(射频)等等，或者上述的任意合适的组合。[0073]上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个计算机程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：[0074]可以以一种或多种程序设计语言或其组合来编写用于执行本公开的实施例的操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c++、python，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。[0075]附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。需要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。[0076]以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!