一种像素级定位的金属表面缺陷检测方法与流程

计算;推算;计数设备的制造及其应用技术1.本发明涉及一种像素级定位的金属表面缺陷检测方法，属于机器视觉技术领域。背景技术：2.金属零部件广泛应用于各行各业，例如电力、汽车和机械制造等。在实际工业生产线上，由于加工工艺等各种原因，导致金属零部件表面产生各类缺陷，例如磕伤、划伤、擦伤、异物等，这些缺陷会严重影响零部件的正常工作。因此，对金属表面缺陷进行精准预测和定位，对提生产效率、用户体验，推动制造业自动化、智能化发展，推动智慧工厂的建设具有重要意义。3.目前常用的金属表面缺陷检测技术，主要采用传统的图像处理算法或者机器学习算法来对图像进行检测和识别。但是现有技术针对各式各样的缺陷环境，需要手动设定多种检测阈值，如果检测环境发生变化，如光照条件等发生变化时，现有技术往往会失效。近年来，基于深度学习的检测算法，取得了许多优秀成果，已得到广泛关注。现有的深度学习算法需要从大量标注样本进行模型训练，但是工业场景中要求实时监测的核心零部件数量有限，尤其是存在缺陷的金属零部件。4.因此，如何采用深度学习算法精准检测和定位金属表面缺陷，同时能够从少量标注样本进行模型训练，是本技术方案需要解决的问题。技术实现要素：5.本发明的目的在于提供一种像素级定位的金属表面缺陷检测方法，以解决现有针对各式各样的缺陷环境，需要手动设定多种检测阈值，如果检测环境发生变化，如光照条件等发生变化时，现有技术往往会失效的缺陷。6.一种像素级定位的金属表面缺陷检测方法，所述方法包括：将原始图像输入预先训练的模型一，得到原始图像的图像特征数据；将原始图像的图像特征数据与原始图像的原始数据合并输入预先训练的模型二，识别原始图像是否存在缺陷，判断原始图像是否存在缺陷的标签。7.进一步地，所述模型一的训练包括步骤：将原始图像输入模型内，对图像数据及对应缺陷标注进行同规则的随机转换，得到任意数量的增强数据；通过特征提取器对图像数据在深度神经网络的非线性空间进行特征提取；通过分类器对提取的特征进行分类处理，得到原始图像每个像素位点的可能缺陷区域；根据原始图像每个像素位点的可能缺陷区域与对照标注的缺陷区域，计算分类误差，并更新模型的分类器和特征提取器，得到模型一。8.进一步地，所述随机转换包括随机翻转、随机亮度和对比度、随机拉伸和缩放及随机剪切的任意一种。9.进一步地，所述随机转换的方法包括：预先确定每种转换方法的随机参数，分别对图像数据和标签数据应用该参数的随机转换；先将图像数据和标签数据在通道水平上进行合并，再对合并数据进行任意参数的随机转换，最后将随机转换处理的合并数据分解为图像数据和标签数据。10.进一步地，所述特征提取器包括用于图像特征提取的骨架结构、用于融合多尺度特征的自上而下结构和横向连接结构；所述骨架结构包括多个网络层，每层通过横向连接与自上而下结构相连；每个横向连接涉及卷积层、批次标准化和激活函数；每个横向连接的输出层，即自上而下结构的网络层，为相同数量通道及相同原始图像下采样比例。11.进一步地，所述分类器包括深度学习的常规分类结构及传统机器学习的分类算法。12.进一步地，所述模型二的训练方法包括：将原始图像的图像特征数据与原始图像的原始数据在通道水平进行合并；对合并的数据进行随机转换，得到任意数量的增强数据；特征提取器对增强数据在深度神经网络的非线性空间进行特征学习和提取；分类器对提取的特征进行分类处理，得到原始图像存在缺陷的可能性；对照原始图像是否真实存在缺陷的标签，计算分类误差，并更新模型的分类器和特征提取器，得到模型二。13.进一步地，所述特征提取器为用于提取2d特征的深度网络结构。14.进一步地，所述特征提取器结构为多网络层的顺序连接，依次为通道数递增的卷机层、批次标准化层、激活层、最大池化层的重复区块，最后采用adaptiveavgpool2d得到征图谱。15.进一步地，所述分类器顺序地采用全连接层、激活层、dropout层、全连接层的结构，最终输出由softmax激活。16.与现有技术相比，本发明所达到的有益效果：本发明基于少量标注样本实现高准确率的模型训练，大大缩短模型训练样本收集的时间；从而缩短模型开发周期，实现快速部署应用。附图说明17.图1为本发明方法的流程图；图2为本发明实施例中置信度约为0.99的正常样本预测结果；图3为本发明实施例中置信度为1.0的缺陷样本预测结果。具体实施方式18.为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。19.如图1所示，一种像素级定位的金属表面缺陷检测方法，所述方法包括：将原始图像输入预先训练的模型一，得到原始图像的图像特征数据；将原始图像的图像特征数据与原始图像的原始数据合并输入预先训练的模型二，判断原始图像是否存在缺陷的标签。20.在本实施例中，所述模型一的训练包括步骤：步骤1，将原始图像输入模型内，对图像数据及对应缺陷标注进行同规则的随机转换，得到任意数量的增强数据；具体的，在模型训练过程中，对图像数据及对应缺陷标注进行同规则的随机转换，得到任意数量的增强数据；其中使用数据来源于kolektor-group提供并注释的有缺陷的电子换向器的图像。具体地说，在电子换向器中嵌入的塑料表面上观察到了微小的碎裂或裂缝，在八个不重叠的图像中捕获每个换向器的表面积，此外图像在受控环境中捕获。该数据集包括：50个例如变形的电子换向器的物理属性；每一个中包含8个表面；总共399张图片；52张有可见缺陷的图像；347张没有任何缺陷；原始图片宽度为500 px，高度从1240到1270像素，为了进行训练和评估，图片的尺寸应调整为512ꢀ×ꢀ1408像素。对于每一个，缺陷仅在至少一张图像中可见，而有两个在图像上有缺陷就意味着有52张图像可见缺陷。其余347张图像用作表面无缺陷的负样本。21.首先对原始图像进行缩放，调整图像尺寸为512ꢀ×ꢀ1408；然后经随机翻转、随机亮度和对比度、随机拉伸和缩放、随机剪切等操作对原始数据进行扩充，将有缺陷样本扩充至347张保证正负样本数量一致。在进行转换过程中要保证标签数据同步转换。22.步骤2，通过特征提取器对图像数据在深度神经网络的非线性空间进行特征提取；具体的，模型的特征提取器对图像数据在深度神经网络的非线性空间进行特征学习和提取；由于数据量较少，因此进行图像特征提取的骨架结构选择resnet18；用于语义分割的特征金字塔网络，分别平行连结结构3.1的多个外向牵引网络层。其中特征金字塔每个网络层的通道数量为128，下采样比例为1/4。23.步骤3，通过分类器对提取的特征进行分类处理，得到原始图像每个像素位点的可能缺陷区域；因为模型基于深度学习框架，分类让选择神经网络结构，分类器，包括深度学习的常规分类结构及其他传统机器学习的分类算法，如支持向量机、随机森林、xgboost等。优选地，分类器采用深度学习的网络结构模型。24.步骤4，根据原始图像每个像素位点的可能缺陷区域与对照标注的缺陷区域，计算分类误差，并更新模型的分类器和特征提取器，得到模型一，在此注意的是，误差损失采用binary_cross_entropy方法。25.其中，步骤1所涉及的随机转换方法包括随机翻转、随机亮度和对比度、随机拉伸和缩放、随机剪切等。该步骤要求对图像数据和标签数据在通道水平上进行同等条件的随机变换，即对每种转换方法采用相同的随机参数。具体地，可选的同等转换方法包括：方法1.1，预先确定每种转换方法的随机参数，分别对图像数据和标签数据应用该参数的随机转换。26.方法1.2，先将图像数据和标签数据在通道水平上进行合并，再对合并数据进行任意参数的随机转换，最后将随机转换处理的合并数据分解为图像数据和标签数据。27.其中，所述步骤2的特征提取器包括两个以下主要结构：结构2.1，为适用于图像特征提取的骨架结构，通常包括卷积层、批次标准化、激活函数、dropout、池化层、残差连接等深度神经网络的基本元件，通常不包括全连接层。该骨架结构要求包括多个网络层可牵引输出，优选地，包括原始图像数据1/4、1/8、1/16和1/32比例的4个下采样网络层。优选地，骨架结构根据训练数据集大小和图像数据复杂度，采用resnet18、resnet34、resnet50、resnet101或resnet152网络。28.结构2.2，为用于语义分割的特征金字塔网络，分别平行连结结构3.1的多个外向牵引网络层。具体地，每个平行连接涉及卷机层、批次标准化、激活函数等，并进行不等数量的上采样。最终，每个平行连接的输出层，即特征金字塔的网络层，为相同数量通道及相同原始图像下采样比例。优选地，骨架结构为resnet系列，特征金字塔每个网络层的通道数量为128，下采样比例为1/4。29.在本实施例中，所述模型二的训练方法包括：步骤1，将原始图像的图像特征数据与原始图像的原始数据在通道水平进行合并；这一步骤需要说明的是，图像特征数据是每个像素位点为缺陷的可能性的缺陷特征数据；步骤2，对合并的数据进行随机转换，得到任意数量的增强数据；步骤3，特征提取器对增强数据在深度神经网络的非线性空间进行特征学习和提取；步骤4，分类器对提取的特征进行分类处理，得到原始图像存在缺陷的可能性；步骤5，对照原始图像是否真实存在缺陷的标签，计算分类误差，并更新模型的分类器和特征提取器，得到模型二。30.其中，步骤3所述的特征提取器为任意适用于提取2d特征的深度网络结构，通常包括卷积层、批次标准化、激活函数、dropout、池化层、残差连接等深度神经网络的基本元件，通常不包括全连接层。特别地，特征提取器的起始通道与步骤1得到的合并数据通道数一致。优选地，一种特征提取器结构为多网络层的顺序连接，依次为通道数递增的卷机层、批次标准化层、激活层、最大池化层的重复区块，最终采用adaptiveavgpool2d得到较小的特征图谱。31.其中，步骤4所述的分类器与模型1中的分类器类似。特别地，标签数据采用类数为3的one-hot编码，分别对应正常样本、缺陷样本和其他类型样本。优选地，分类器模型顺序地采用全连接层、激活层、dropout层、全连接层的结构，最终输出由softmax激活。32.其中，所述步骤5中的误差损失，优选地，采用binary_cross_entropy方法。33.最终按照图1所示流程对测试数据进行识别，结果如图2、三显示，其中图2为本发明实施例中的正常样本预测结果，置信度约为0.99，在预测图中以绿色标示；图3为本发明实施例中的缺陷样本预测结果，置信度为1.0，在预测图中以红色标示，且检测到的缺陷区域精准可见。34.以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!