快件重量异常的识别方法、装置、设备及存储介质与流程 专利技术说明

计算;推算;计数设备的制造及其应用技术1.本发明涉及检测技术领域，尤其涉及一种快件重量异常的识别方法、装置、 设备及存储介质。背景技术：2.分拨中心在分拣时会对包裹进行称重，存在分拣员的操作不当，人为使得 包裹重量出现异常，需要人工对称重异常的包裹进行重复称重，浪费不必要的 时间和人力。为减少对这种人为造成称重异常的情况，利用计算机视觉技术， 利用图像分类模型对称重台抓取的图像进行分类，将由于分拣人员操作不当造 成的包裹称重异常的包裹识别出来，进行二次称重。因此，如何提高对重量异 常的快件的检测效率和检测准确率成了本领域技术人员需要解决的技术问题。技术实现要素：3.本发明的主要目的是通过对快件图像进行识别检测，解决了现有技术中对 重量异常的快件的检测效率和检测准确率低下的问题。4.本发明第一方面提供了一种快件重量异常的识别方法，包括：获取预先拍 摄的快件分拣场景中的多个对包裹进行称重的第一图像，并基于预设异常判断 阈值从所述第一图像中筛选出包裹称重异常的目标图像作为训练样本图像；对 所述训练样本图像中的快件进行分类标注，得到标注数据，其中，所述标注数 据包括标签类型；对所述训练样本图像进行数据增广，以得到数据增广后的目 标数据集；将所述目标数据集按照预设比例分为训练样本集和验证样本集，并 将所述训练样本集和所述标注文件输入预置googlenet模型进行训练，得到图 像分类模型；采集实时抓拍的快件称重场景中的多个第二图像，并将所述第二 图像输入所述图像分类模型进行分类预测，得到多个所述第二图像对应的重量 异常类别。5.可选地，在本发明第一方面的第一种实现方式中，在所述获取预先拍摄的 快件分拣场景中的多个对包裹进行称重的第一图像，并基于预设异常判断阈值 从所述第一图像中筛选出包裹称重异常的目标图像作为训练样本图像之前，还 包括：识别所述包裹在当前分拨节点上是否存在分拨重量数据；若不存在，则 获取所述包裹在当前分拨点之前的历史分拨节点上的历史分拨重量数据，并根 据所述历史分拨重量数据计算出初始异常判断阈值；若存在，则获取所述包裹 在当前分拨点的实时分拨重量数据和在所述历史分拨节点上的历史分拨重量数 据，并根据所述历史分拨重量数据和所述实时分拨重量数据计算包裹称重异常 阈值。6.可选地，在本发明第一方面的第二种实现方式中，在所述对所述训练样本 图像中的快件进行分类标注，得到标注数据之前，还包括：判断所述第一图像 对应分辨率是否高于预设分辨率阈值；若是，则剔除所述第一图像中预先标注 的区域不符合预设条件的图像数据，得到训练样本图像，其中，所述第一图像 中标注区域的密度大于密度阈值。7.可选地，在本发明第一方面的第三种实现方式中，所述对所述训练样本图 像进行数据增广，以得到数据增广后的目标数据集，包括：获取所述训练样本 图像对应像素的初始标注信息；构建标注生成网络，并基于所述初始标注数据 和所述标注生成网络，生成目标标注信息；将所述目标标注信息输入预设风格 迁移网络，得到所述训练样本图像对应的虚拟图像；基于所述标注生成网络和 所述风格迁移网络，生成图像数据增广网络，并基于所述训练样本图像和所述 初始标注信息，通过预设判别器的损失函数，训练所述图像数据增广网络，得 到数据增广模型；将所述训练样本图像输入所述数据增广模型进行数据增广， 以得到数据增广后的目标数据集。8.可选地，在本发明第一方面的第四种实现方式中，所述将所述训练样本集 和所述标注文件输入预置googlenet模型进行训练，得到图像分类模型，包括： 将所述训练样本集输入到预置googlenet模型，得到模型输出结果；根据所述 模型输出结果，利用损失函数计算所述googlenet模型的损失；根据所述损失 调整所述googlenet模型中未被冻结的权重参数，直至达到收敛条件，得到图 像分类模型。9.可选地，在本发明第一方面的第五种实现方式中，所述将所述第二图像输 入所述图像分类模型进行分类预测，得到多个所述第二图像对应的重量异常类 别，包括：将所述第二图像输入所述图像分类模型进行分类预测，得到所述第 二图像对应的多个标签类别以及各个标签类别的概率；判断所述各个标签类别 的概率是否大于预设概率阈值，并将所述概率满足目标要求的标签类别确定为 所述第二图像对应的图像类别。10.可选地，在本发明第一方面的第六种实现方式中，在所述将所述第二图像 输入所述图像分类模型进行分类预测，得到多个所述第二图像对应的重量异常 类别之后，还包括：将所述第二图像输入预设快件识别模型，得到所述第二图 像中各快件对应的重量异常快件图像；提取所述重量异常快件的快件单号；根 据所述快件单号对生成重量异常快件记录，并将所述重量异常快件记录上传至 预设快件管理端。11.本发明第二方面提供了一种快件重量异常的识别装置，包括：筛选模块， 用于获取预先拍摄的快件分拣场景中的多个对包裹进行称重的第一图像，并基 于预设异常判断阈值从所述第一图像中筛选出包裹称重异常的目标图像作为训 练样本图像；标注模块，用于对所述训练样本图像中的快件进行分类标注，得 到标注数据，其中，所述标注数据包括标签类型；数据增广模块，用于对所述 训练样本图像进行数据增广，以得到数据增广后的目标数据集；训练模块，用 于将所述目标数据集按照预设比例分为训练样本集和验证样本集，并将所述训 练样本集和所述标注文件输入预置googlenet模型进行训练，得到图像分类模 型；预测模块，用于采集实时抓拍的快件称重场景中的多个第二图像，并将所 述第二图像输入所述图像分类模型进行分类预测，得到多个所述第二图像对应 的重量异常类别。12.可选地，在本发明第二方面的第一种实现方式中，所述快件重量异常的识 别装置还包括：识别模块，用于识别所述包裹在当前分拨节点上是否存在分拨 重量数据；计算模块，用于若不存在，则获取所述包裹在当前分拨点之前的历 史分拨节点上的历史分拨重量数据，并根据所述历史分拨重量数据计算出初始 异常判断阈值；用于若存在，则获取所述包裹在当前分拨点的实时分拨重量数 据和在所述历史分拨节点上的历史分拨重量数据，并根据所述历史分拨重量数 据和所述实时分拨重量数据计算包裹称重异常阈值。13.可选地，在本发明第二方面的第二种实现方式中，所述快件重量异常的识 别装置还包括：判断模块，用于判断所述第一图像对应分辨率是否高于预设分 辨率阈值；剔除模块，用于若是，则剔除所述第一图像中预先标注的区域不符 合预设条件的图像数据，得到训练样本图像，其中，所述第一图像中标注区域 的密度大于密度阈值。14.可选地，在本发明第二方面的第三种实现方式中，所述数据增广模块具体 用于：获取所述训练样本图像对应像素的初始标注信息；构建标注生成网络， 并基于所述初始标注数据和所述标注生成网络，生成目标标注信息；将所述目 标标注信息输入预设风格迁移网络，得到所述训练样本图像对应的虚拟图像； 基于所述标注生成网络和所述风格迁移网络，生成图像数据增广网络，并基于 所述训练样本图像和所述初始标注信息，通过预设判别器的损失函数，训练所 述图像数据增广网络，得到数据增广模型；将所述训练样本图像输入所述数据 增广模型进行数据增广，以得到数据增广后的目标数据集。15.可选地，在本发明第二方面的第四种实现方式中，所述训练模块具体用于： 将所述训练样本集输入到预置googlenet模型，得到模型输出结果；根据所述 模型输出结果，利用损失函数计算所述googlenet模型的损失；根据所述损失 调整所述googlenet模型中未被冻结的权重参数，直至达到收敛条件，得到图 像分类模型。16.可选地，在本发明第二方面的第五种实现方式中，所述预测模块包括：预 测单元，用于将所述第二图像输入所述图像分类模型进行分类预测，得到所述 第二图像对应的多个标签类别以及各个标签类别的概率；确定单元，用于判断 所述各个标签类别的概率是否大于预设概率阈值，并将所述概率满足目标要求 的标签类别确定为所述第二图像对应的图像类别。17.可选地，在本发明第二方面的第六种实现方式中，所述快件重量异常的识 别装置还包括：输入模块，用于将所述第二图像输入预设快件识别模型，得到 所述第二图像中各快件对应的重量异常快件图像；提取模块，用于提取所述重 量异常快件的快件单号；上传模块，用于上传根据所述快件单号对生成重量异 常快件记录，并将所述重量异常快件记录上传至预设快件管理端。18.本发明第三方面提供了一种快件重量异常的识别设备，包括：存储器和至 少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器 通过线路互连；19.所述至少一个处理器调用所述存储器中的所述指令，以使得所述快件重量 异常的识别设备执行上述的快件重量异常的识别方法的各个步骤。20.本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储 介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的快件重量 异常的识别方法的各个步骤。21.本发明提供的技术方案中，通过对获取的多个对包裹进行称重的第一图像 进行筛选，得到训练样本图像；对训练样本图像中的快件进行分类标注，得到 标注数据；对训练样本图像进行数据增广，得到目标数据集；将目标数据集和 标注文件输入预置googlenet模型进行训练，得到图像分类模型；采集实时抓 拍的快件称重场景中的第二图像，并将第二图像输入图像分类模型进行分类预 测，得到多个第二图像对应的重量异常类别。本方案通过对快件图像进行识别 检测，解决了现有技术中对重量异常的快件的检测效率和检测准确率低下的问 题。附图说明22.图1为本发明提供的快件重量异常的识别方法的第一个实施例示意图；23.图2为本发明提供的快件重量异常的识别方法的第二个实施例示意图；24.图3为本发明提供的快件重量异常的识别方法的第三个实施例示意图；25.图4为本发明提供的快件重量异常的识别装置的第一个实施例示意图；26.图5为本发明提供的快件重量异常的识别装置的第二个实施例示意图；27.图6为本发明提供的快件重量异常的识别设备的一个实施例示意图。具体实施方式28.本发明实施例提供了一种快件重量异常的识别方法、装置、设备及存储介 质，本发明的技术方案中，首先通过对获取的多个对包裹进行称重的第一图像 进行筛选，得到训练样本图像；对训练样本图像中的快件进行分类标注，得到 标注数据；对训练样本图像进行数据增广，得到目标数据集；将目标数据集和 标注文件输入预置googlenet模型进行训练，得到图像分类模型；采集实时抓 拍的快件称重场景中的第二图像，并将第二图像输入图像分类模型进行分类预 测，得到多个第二图像对应的重量异常类别。本方案通过对快件图像进行识别 检测，解决了现有技术中对重量异常的快件的检测效率和检测准确率低下的问 题。29.本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、ꢀ“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述 特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以 便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此 外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例 如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚 地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方 法、产品或设备固有的其它步骤或单元。30.为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发 明实施例中快件重量异常的识别方法的第一个实施例包括：31.101、获取预先拍摄的快件分拣场景中的多个对包裹进行称重的第一图像， 并基于预设异常判断阈值从第一图像中筛选出包裹称重异常的目标图像作为训 练样本图像；32.本实施例中，可以理解的是，本发明的执行主体可以为快件重量异常的识 别装置，还可以是终端或者服务器，具体此处不做限定。本发明实施例以服务 器为执行主体为例进行说明。33.在本实施例中，首先通过摄像机或其他设备拍摄快件分拣场景中的多个对 包裹进行称重的第一图像。如在传送带上的快件，快件的形状有长方形、圆形、 不规则形状等。然后服务器去读取储存的第一图像，将其作为训练样本图像。34.102、对训练样本图像中的快件进行分类标注，得到标注数据，其中，标注 数据包括标签类型；35.本实施例中，将训练样本图像输入预置的图像标注软件中以进行展示。优 选labelme软件作为图像标注软件。采用人工的方式，通过交互设备，使用首 位连接的闭合线条选中图像中的快件。服务器根据闭合线条所对应的位置坐标 圈定训练样本图像中的快件区域，得到包含标注快件区域范围的图像，即标注 信息。36.103、对训练样本图像进行数据增广，以得到数据增广后的目标数据集；37.本实施例中，通过获取目标图像及其目标标注数据；构建标注生成网络和 风格迁移网络；以标注生成网络的输出作为风格迁移网络的输入，将标注生成 网络与风格迁移网络合并成图像数据增广网络，并基于目标图像及其目标标注， 采用基于生成器和判别器的损失函数，训练图像数据增广网络；利用训练好的 图像数据增广网络，生成待增广的目标图像及其目标标注所对应的虚拟图像和 虚拟标注，作为待增广的目标图像及其目标标注的数据增广，以得到数据增广 后的目标数据集。38.104、将目标数据集按照预设比例分为训练样本集和验证样本集，并将训练 样本集和标注文件输入预置googlenet模型进行训练，得到图像分类模型；39.本实施例中，将训练样本集输入到预置googlenet模型，注意力机制模块 被插入到卷积层(即特征提取器)和全连接层(即分类器)之间，用于分别在通道 和空间两个维度对卷积层提取的特征进行调整，再将调整好的特征图输入到残 差网络的全连接层，以使对分类任务更有用的特征得到增强、对分类任务用处 较小的特征受到抑制。然后，利用损失函数计算googlenet模型的损失，损失 的反向传播采用基于动量的随机梯度下降的方法，以加速收敛，动量因子为 momentum＝0.9。40.根据损失调整图像分类模型中未被冻结的权重参数包括：根据模型输出结 果和平衡因子，基于第一学习率调整未被冻结的卷积层的权重参数；根据模型 输出结果和平衡因子，基于第二学习率调整全连接层的权重参数；其中，第一 学习率小于第二学习率；平衡因子为训练数据集中各分类标签标注的样本数与 训练数据集的样本总数的比例。41.105、采集实时抓拍的快件称重场景中的多个第二图像，并将第二图像输入 图像分类模型进行分类预测，得到多个第二图像对应的重量异常类别。42.本实施例中，调用图像分类模型对实时抓拍的快件称重场景中的多个第二 图像进行分类识别处理，得到图像对应的重量异常类别的过程如下：调用图像 分类模型对第二图像进行识别，得到第二图像对应的多个参考类别以及各个参 考类别的概率；将概率满足目标要求的参考类别确定为第二图像对应的重量异 常类别。43.其中，调用图像分类模型对第二图像进行识别，得到第二图像对应的多个 参考类别以及各个参考类别的概率的过程为：将第二图像输入图像分类模型， 基于图像分类模型对第二图像进行识别，得到第二图像对应的多个参考类别以 及各个参考类别的概率。概率满足目标要求的参考类别可以是概率最大的参考 类别，也可以是其他参考类别，本技术实施例对此不加以限定。44.示例性地，将第二图像输入图像分类模型，由图像分类模型对第二图像进 行识别，得到目标图像对应的多个参考类别以及各个参考类别的概率分别为： 第一参考类别，80％，第二参考类别15％，第三参考类别，5％。由于第一参考 类别的概率最大，因此将第一参考类别确定为目标图像对应的重量异常类别。45.本发明实施例中，通过对获取的多个对包裹进行称重的第一图像进行筛选， 得到训练样本图像；对训练样本图像中的快件进行分类标注，得到标注数据； 对训练样本图像进行数据增广，得到目标数据集；将目标数据集和标注文件输 入预置googlenet模型进行训练，得到图像分类模型；采集实时抓拍的快件称 重场景中的第二图像，并将第二图像输入图像分类模型进行分类预测，得到多 个第二图像对应的重量异常类别。本方案通过对快件图像进行识别检测，解决 了现有技术中对重量异常的快件的检测效率和检测准确率低下的问题。46.请参阅图2，本发明实施例中快件重量异常的识别方法的第二个实施例包括：47.201、识别包裹在当前分拨节点上是否存在分拨重量数据；48.本实施例中，为解决现有技术中对重量异常的快件的检测效率和检测准确 率低下的问题，首先将待进行重量检测的快件按序排列，生成待称重序列。49.具体地，在快件的运送过程中，会有多个环节需要对快件进行重量检测、 核查操作以便随时掌握快件的重量状态，以便后续进行查询；例如在各分拨点 进行分拨时进行重量检测，在末端派送前进行重量检测等，得到重量检测的数 据后，根据检测的快件的单号，将重量数据作为历史重量数据保存至快件数据 库中。后续根据快件数据库中的历史重量数据，可以在快件出现如物品破损等 异常状况时可以确定其货损的责任方等信息。50.202、若不存在，则获取包裹在当前分拨点之前的历史分拨节点上的历史分 拨重量数据，并根据历史分拨重量数据计算出初始异常判断阈值；51.本实施例中，所述的历史重量数据指的可以是当前进行重量异常检测的时 间节点前全部的历史重量数据，在对待称重序列中的快件进行重量检测时，一 般会采用如机械手等机械设备将待称重序列中的快件依序放置至称重台上进行 称重，获取当前快件在本节点的快件重量；此外，在称重前或称重的同时，扫 描快件上的二维码或者感应标签等标识标签获取该快件对应的单号，根据该快 件对应的单号在快件数据库中查询出该快件在本次重量检测前进行重量检测操 作时的历史重量数据，其中，对于一件待称重快件，该历史重量数据为多个。52.获取预置的异常判断规则，基于前述获取到的历史重量数据，根据该异常 判断规则计算出本节点重量检测的异常判断阈值。53.203、若存在，则获取包裹在当前分拨点的实时分拨重量数据和在历史分拨 节点上的历史分拨重量数据，并根据历史分拨重量数据和实时分拨重量数据计 算包裹称重异常阈值；54.本实施例中，获取快件在当前分拨点的实时分拨重量数据和在在历史分拨 节点上的历史分拨重量数据，根据预置的无效数据值剔除规则，对第一分拨重 量数据和实时分拨重量数据中的无效数据值进行剔除，将剩余的分拨重量数据 组成第二有效历史重量数据；对第二有效历史重量数据进行排序，得到第二有 效历史重量序列；根据预置的指标筛选规则对第二有效历史重量序列中的第二 有效历史重量数据进行筛选，得到第二重量指标数据。55.具体地，在对所述第二重量指标数据进行计算时，根据预置的无效数据值 剔除规则，对实时分拨重量数据中的无效数据值进行剔除，得到有效历史重量 数据；其中，所述无效数据值包括空值和粗大误差值。56.对第二有效历史重量数据进行排序，得到第二有效历史重量序列；根据第 二有效历史重量序列中的排序顺序，提取第二有效历史重量序列中的重量数据 最大值和重量数据最大值的相邻重量数据值；判断重量数据最大值和相邻重量 数据值之间的差值是否大于预设的筛选阈值。根据预置的阈值计算规则基于第 一重量指标数据进行计算，得到第二异常判断阈值。57.204、获取预先拍摄的快件分拣场景中的多个对包裹进行称重的第一图像， 并基于预设异常判断阈值从第一图像中筛选出包裹称重异常的目标图像作为训 练样本图像；58.205、判断第一图像对应分辨率是否高于预设分辨率阈值；59.本实施例中，所述第一图像可以是已进行初步筛选的图像数据，也可以是 直接从网络环境中获取的图像数据所述目标图像数据的格式可以是jpg、png、 jpeg等常见图片格式。60.本实施例中，图像的分辨率会对所述初始图像分类模型的实际效果造成影 响，为保证训练得到初始图像分类模型的准确度，需要预先限制第一图像的分 辨率。所述第一图像需要采用现有的其余图像识别模型对其标注区域，所述图 像识别模型可以根据第一图像的类型进行选取，例如所述第一图像为人物肖像， 则所述图像识别模型可以为具有人脸识别功能的人脸识别模型，具体可根据实 际需求进行选择，此处不做限定。61.206、若是，则剔除第一图像中预先标注的区域不符合预设条件的图像数据， 得到训练样本图像，其中，第一图像中标注区域的密度大于密度阈值；62.本实施例中，所述预设条件可以是根据所述第一图像的特性确定的，例如 标注区域的拥挤程度，标注区域的遮挡情况等。进一步的，还可以通过预先训 练的图像分类数据对所述第一图像进行分类，根据所得到分类结果的置信度对 所述第一图像进行初步筛选，剔除所述第一图像中置信度较低的图像数据，以 得到训练样本图像。63.207、对训练样本图像中的快件进行分类标注，得到标注数据；64.208、对训练样本图像进行数据增广，以得到数据增广后的目标数据集；65.209、将训练样本集输入到预置googlenet模型，得到模型输出结果；66.本实施例中，将训练样本集输入到预置googlenet模型，注意力机制模块 被插入到卷积层(即特征提取器)和全连接层(即分类器)之间，用于分别在通道 和空间两个维度对卷积层提取的特征进行调整，再将调整好的特征图输入到残 差网络的全连接层，以使对分类任务更有用的特征得到增强、对分类任务用处 较小的特征受到抑制。67.具体地，记残差网络wide resnet50的conv5_x层(即第五卷积层)输出的 第一特征图为fin，其中，fin的尺寸为[c,h,w]。首先，将第一特征图fin输 入注意力机制模块中分别进行平均池化和最大池化，得到两个[c,1,1]的描述子， 然后使上述两个描述子分别经过一个共享的两层全连接层mlp后进行相加，得 到一个[c,1,1]的通道注意力图，记为mc，mc即为第一特征图fin在通道维度 上的特征参数，得到模型输出结果。[0068]210、根据模型输出结果，利用损失函数计算googlenet模型的损失；[0069]本实施例中，利用损失函数计算googlenet模型的损失，损失的反向传播 采用基于动量的随机梯度下降的方法，以加速收敛，动量因子为momentum＝0.9。[0070]然后，利用第一学习率对第四卷积层和第五卷积层中的权重参数进行调整， 该第一学习率设为0.001；利用第二学习率对注意力机制模块和残差网络的最后 的全连接层中的权重参数进行调整，该第二学习率设为0.01；冻结其他层中的 参数，不做更新。训练过程中，每迭代5轮，将参数学习率的大小减半。[0071]211、根据损失函数调整googlenet模型中未被冻结的权重参数，直至达到 收敛条件，得到图像分类模型；[0072]本实施例中，根据损失调整图像分类模型中未被冻结的权重参数包括：根 据模型输出结果和平衡因子，基于第一学习率调整未被冻结的卷积层的权重参 数；根据模型输出结果和平衡因子，基于第二学习率调整全连接层的权重参数； 其中，第一学习率小于第二学习率；平衡因子为训练数据集中各分类标签标注 的样本数与训练数据集的样本总数的比例。具体地，使用focal loss损失函数 来优化模型参数。记模型输出y＝{y1,y2,…,yn+1}，平衡因子a＝{α1,α2,…, αn+1}，集中参数为γ＝2。其中，平衡因子的取值基于训练数据集中各分类标 签标注的样本数与训练数据集的样本总数的比例进行确定。[0073]212、采集实时抓拍的快件称重场景中的多个第二图像，并将第二图像输入 图像分类模型进行分类预测，得到多个第二图像对应的重量异常类别。[0074]本实施例中步骤204、207-208、212与第一实施例中的步骤101、102-103、 105类似，此处不再赘述。[0075]本发明实施例中，通过对获取的多个对包裹进行称重的第一图像进行筛选， 得到训练样本图像；对训练样本图像中的快件进行分类标注，得到标注数据； 对训练样本图像进行数据增广，得到目标数据集；将目标数据集和标注文件输 入预置googlenet模型进行训练，得到图像分类模型；采集实时抓拍的快件称 重场景中的第二图像，并将第二图像输入图像分类模型进行分类预测，得到多 个第二图像对应的重量异常类别。本方案通过对快件图像进行识别检测，解决 了现有技术中对重量异常的快件的检测效率和检测准确率低下的问题。[0076]请参阅图3，本发明实施例中快件重量异常的识别方法的第三个实施例包括：[0077]301、获取预先拍摄的快件分拣场景中的多个对包裹进行称重的第一图像， 并基于预设异常判断阈值从第一图像中筛选出包裹称重异常的目标图像作为训 练样本图像；[0078]302、对训练样本图像中的快件进行分类标注，得到标注数据，其中，标注 数据包括标签类型；[0079]303、获取训练样本图像对应像素的初始标注信息；[0080]本实施例中，获取训练样本图像，针对每幅图像，采用图像标注方法对训 练样本图像进行逐像素二分类标注，获得初始标注图像；将每幅图像进行裁剪 缩放预处理，调整为512*512大小；将训练样本图像和人工标注的真实语义图 像组成图像对，按照预设的比例分为训练集与验证集。其中，在本实施例中， 处理后共得到预设数量个标注后的训练样本图像，并按照预设的比例(1:3)分为 训练集与验证集。[0081]上述标注生成网络包括多尺度标注生成器和带有多尺度连接的标注判别器； 其中，多尺度标注生成器用于生成多尺度的目标标注；带有多尺度连接的标注 判别器用于计算判别分数，判别初始标注和目标标注。[0082]304、构建标注生成网络，并基于初始标注数据和标注生成网络，生成目标 标注信息；[0083]本实施例中，标注生成器(g_label)和图像生成器(g_image)使用多尺度特征 连接，来自g_label的特征经过1x1卷积后转换为多尺度标注，g_image网络 特征经过spade模块分别与对应分辨率的标注特征合成，最终两个生成器(标注 生成器、图像生成器)输出成对的标注和图像。在训练过程中，标注判别器 (d_label)同样接收多尺度的标注作为输入，为g_label提供多尺度的梯度传播。 图像判别器(d_image)不仅要区分输入图像来自生成器输出还是真实数据，还要 判断图像和其标注是否一致，所以d_image使用了成对的数据输入，来自 g_label和g_image的成对输出或者来自真实分布的成对数据，即通过对抗训 练拉近了生成数据联合分布与真实联合分布的距离。[0084]305、将目标标注信息输入预设风格迁移网络，得到训练样本图像对应的虚 拟图像；[0085]本实施例中，从多维高斯分布中随机采样初始隐变量z，使用转置卷积和3ꢀ×3卷积对初始隐变量z做上采样操作，将初始隐变量z的特征尺寸扩大为4×4 大小；[0086]基于预设自适应正则化(spatially-adaptive，spade)模块将不同尺度的虚拟 标注作为输入送入图像生成器，通过对虚拟标注提取特征计算，得出反映特征 的通道、宽和高维度三个维度的参数，从空间变化的语义特征图进行图像合成。 在spade模块中，首先将语义特征图投影到低维向量空间，然后进行卷积产生 调制参数γ和β，不同于常用的批归一化方法，γ和β不是向量，而是具有空 间维度的张量，其含义为待学习的旋转(scale)和平移(shift)参数，用于控制样本 分布的方差和均值。训练产生的γ和β会与卷积特征图相乘，并加到归一化激 活元素中；再依次经过连续卷积和插值上采样层，使得特征分辨率依次扩大， 最终输出与虚拟标注具有相同底层语义结构的虚拟图像。[0087]306、基于标注生成网络和风格迁移网络，生成图像数据增广网络，并基于 训练样本图像和初始标注信息，通过预设判别器的损失函数，训练图像数据增 广网络，得到数据增广模型；[0088]本实施例中，图像数据增广网络是通过将标注生成网络生成的多尺度虚拟 标注作为风格迁移网络中虚拟标注的输入而合并得到。具体地，标注生成器 (g_label)和图像生成器(g_image)使用多尺度特征连接，来自g_label的特征 经过1x1卷积后转换为多尺度标注，g_image网络特征经过spade模块分别与对 应分辨率的标注特征合成，最终两个生成器(标注生成器、图像生成器)输出成 对的标注和图像。在训练过程中，标注判别器(d_label)同样接收多尺度的标注 作为输入，为g_label提供多尺度的梯度传播。图像判别器(d_image)不仅要区 分输入图像来自生成器输出还是真实数据，还要判断图像和其标注是否一致， 所以d_image使用了成对的数据输入，来自g_label和g_image的成对输出或 者来自真实分布的成对数据，即通过对抗训练拉近了生成数据联合分布与真实 联合分布的距离。[0089]307、将训练样本图像输入数据增广模型进行数据增广，以得到数据增广后 的目标数据集；[0090]本实施例中，通过获取目标图像及其目标标注数据；构建标注生成网络和 风格迁移网络；以标注生成网络的输出作为风格迁移网络的输入，将标注生成 网络与风格迁移网络合并成图像数据增广网络，并基于目标图像及其目标标注， 采用基于生成器和判别器的损失函数，训练图像数据增广网络；利用训练好的 图像数据增广网络，生成待增广的目标图像及其目标标注所对应的虚拟图像和 虚拟标注，作为待增广的目标图像及其目标标注的数据增广，以得到数据增广 后的目标数据集。[0091]308、将目标数据集按照预设比例分为训练样本集和验证样本集，并将训练 样本集和标注文件输入预置googlenet模型进行训练，得到图像分类模型；[0092]309、将第二图像输入图像分类模型进行分类预测，得到第二图像对应的多 个标签类别以及各个标签类别的概率；[0093]本实施例中，调用图像分类模型对第二图像进行识别，得到第二图像对应 的多个参考类别以及各个参考类别的概率的过程为：将第二图像输入图像分类 模型，基于图像分类模型对第二图像进行识别，得到第二图像对应的多个参考 类别以及各个参考类别的概率。[0094]310、判断各个标签类别的概率是否大于预设概率阈值，并将概率满足目标 要求的标签类别确定为第二图像对应的图像类别；[0095]本实施例中，判断各个标签类别的概率是否大于预设概率阈值，概率满足 目标要求的参考类别可以是概率最大的参考类别，也可以是其他参考类别，本 申请实施例对此不加以限定。[0096]示例性地，将第二图像输入图像分类模型，由图像分类模型对第二图像进 行识别，得到目标图像对应的多个参考类别以及各个参考类别的概率分别为： 第一参考类别，80％，第二参考类别15％，第三参考类别，5％。由于第一参考 类别的概率最大，因此将第一参考类别确定为目标图像对应的重量异常类别。[0097]311、将第二图像输入预设快件识别模型，得到第二图像中各快件对应的重 量异常快件图像；[0098]本实施例中，将第二图像中各快件的区域范围从第二图像中裁剪出来，从 而提取各个快件对应的对应的重量异常快件图像。具体地，提取了重量异常快 件图像后，将其输入其他模型，如快件信息获取，模型获取对应的快件信息。 在本实施例中，优选一种可识别快件上快单编号的快件信息获取模型。通过快 件信息获取模型，可识别快件上的面单上的快件编号，然后服务器根据快件编 号确定其对应的收件人、收件地址等信息。[0099]312、提取重量异常快件的快件单号；[0100]本实施例中，提取被标注为重量异常的快件单号，根据该单号生成重量异 常快件记录，并上传至快件数据库中将对应的快件信息进行更新；同时基于该 重量异常快件记录生成异常通知信息。[0101]313、根据快件单号对生成重量异常快件记录，并将重量异常快件记录上传 至预设快件管理端。[0102]本实施例中，根据该单号生成重量异常快件记录，并上传至快件数据库中 将对应的快件信息进行更新；同时基于该重量异常快件记录生成异常通知信息， 将该异常通知信息推送至快件管理系统中等到管理员进行处理。管理员可以根 据该重量异常快件记录的具体信息选择将重量异常快件记录通知发货用户。[0103]本实施例中步骤301-302、308与第一实施例中的步骤101-102、104类似， 此处不再赘述。[0104]本发明实施例中，通过对获取的多个对包裹进行称重的第一图像进行筛选， 得到训练样本图像；对训练样本图像中的快件进行分类标注，得到标注数据； 对训练样本图像进行数据增广，得到目标数据集；将目标数据集和标注文件输 入预置googlenet模型进行训练，得到图像分类模型；采集实时抓拍的快件称 重场景中的第二图像，并将第二图像输入图像分类模型进行分类预测，得到多 个第二图像对应的重量异常类别。本方案通过对快件图像进行识别检测，解决 了现有技术中对重量异常的快件的检测效率和检测准确率低下的问题。[0105]上面对本发明实施例中快件重量异常的识别方法进行了描述，下面对本发 明实施例中快件重量异常的识别装置进行描述，请参阅图4，本发明实施例中快 件重量异常的识别装置的第一个实施例包括：[0106]筛选模块401，用于获取预先拍摄的快件分拣场景中的多个对包裹进行称重 的第一图像，并基于预设异常判断阈值从所述第一图像中筛选出包裹称重异常 的目标图像作为训练样本图像；[0107]标注模块402，用于对所述训练样本图像中的快件进行分类标注，得到标注 数据，其中，所述标注数据包括标签类型；[0108]数据增广模块403，用于对所述训练样本图像进行数据增广，以得到数据增 广后的目标数据集；[0109]训练模块404，用于将所述目标数据集按照预设比例分为训练样本集和验证 样本集，并将所述训练样本集和所述标注文件输入预置googlenet模型进行训 练，得到图像分类模型；[0110]预测模块405，用于采集实时抓拍的快件称重场景中的多个第二图像，并将 所述第二图像输入所述图像分类模型进行分类预测，得到多个所述第二图像对 应的重量异常类别。[0111]本发明实施例中，通过对获取的多个对包裹进行称重的第一图像进行筛选， 得到训练样本图像；对训练样本图像中的快件进行分类标注，得到标注数据； 对训练样本图像进行数据增广，得到目标数据集；将目标数据集和标注文件输 入预置googlenet模型进行训练，得到图像分类模型；采集实时抓拍的快件称 重场景中的第二图像，并将第二图像输入图像分类模型进行分类预测，得到多 个第二图像对应的重量异常类别。本方案通过对快件图像进行识别检测，解决 了现有技术中对重量异常的快件的检测效率和检测准确率低下的问题。[0112]请参阅图5，本发明实施例中快件重量异常的识别装置的第二个实施例，该 快件重量异常的识别装置具体包括：[0113]筛选模块401，用于获取预先拍摄的快件分拣场景中的多个对包裹进行称重 的第一图像，并基于预设异常判断阈值从所述第一图像中筛选出包裹称重异常 的目标图像作为训练样本图像；[0114]标注模块402，用于对所述训练样本图像中的快件进行分类标注，得到标注 数据，其中，所述标注数据包括标签类型；[0115]数据增广模块403，用于对所述训练样本图像进行数据增广，以得到数据增 广后的目标数据集；[0116]训练模块404，用于将所述目标数据集按照预设比例分为训练样本集和验证 样本集，并将所述训练样本集和所述标注文件输入预置googlenet模型进行训 练，得到图像分类模型；[0117]预测模块405，用于采集实时抓拍的快件称重场景中的多个第二图像，并将 所述第二图像输入所述图像分类模型进行分类预测，得到多个所述第二图像对 应的重量异常类别。[0118]本实施例中，所述快件重量异常的识别装置还包括：[0119]识别模块406，用于识别所述包裹在当前分拨节点上是否存在分拨重量数据；[0120]计算模块407，用于若不存在，则获取所述包裹在当前分拨点之前的历史分 拨节点上的历史分拨重量数据，并根据所述历史分拨重量数据计算出初始异常 判断阈值；用于若存在，则获取所述包裹在当前分拨点的实时分拨重量数据和 在所述历史分拨节点上的历史分拨重量数据，并根据所述历史分拨重量数据和 所述实时分拨重量数据计算包裹称重异常阈值。[0121]本实施例中，所述快件重量异常的识别装置还包括：[0122]判断模块408，用于判断所述第一图像对应分辨率是否高于预设分辨率阈值；[0123]剔除模块409，用于若是，则剔除所述第一图像中预先标注的区域不符合预 设条件的图像数据，得到训练样本图像，其中，所述第一图像中标注区域的密 度大于密度阈值。[0124]本实施例中，所述数据增广模块403具体用于：[0125]获取所述训练样本图像对应像素的初始标注信息；[0126]构建标注生成网络，并基于所述初始标注数据和所述标注生成网络，生成 目标标注信息；[0127]将所述目标标注信息输入预设风格迁移网络，得到所述训练样本图像对应 的虚拟图像；[0128]基于所述标注生成网络和所述风格迁移网络，生成图像数据增广网络，并 基于所述训练样本图像和所述初始标注信息，通过预设判别器的损失函数，训 练所述图像数据增广网络，得到数据增广模型；[0129]将所述训练样本图像输入所述数据增广模型进行数据增广，以得到数据增 广后的目标数据集。[0130]本实施例中，所述训练模块404具体用于：[0131]将所述训练样本集输入到预置googlenet模型，得到模型输出结果；[0132]根据所述模型输出结果，利用损失函数计算所述googlenet模型的损失；[0133]根据所述损失调整所述googlenet模型中未被冻结的权重参数，直至达到 收敛条件，得到图像分类模型。[0134]本实施例中，所述预测模块405包括：[0135]预测单元4051，用于将所述第二图像输入所述图像分类模型进行分类预测， 得到所述第二图像对应的多个标签类别以及各个标签类别的概率；[0136]确定单元4052，用于判断所述各个标签类别的概率是否大于预设概率阈值， 并将所述概率满足目标要求的标签类别确定为所述第二图像对应的图像类别。[0137]本实施例中，所述快件重量异常的识别装置还包括：[0138]输入模块410，用于将所述第二图像输入预设快件识别模型，得到所述第二 图像中各快件对应的重量异常快件图像；[0139]提取模块411，用于提取所述重量异常快件的快件单号；[0140]上传模块412，用于上传根据所述快件单号对生成重量异常快件记录，并将 所述重量异常快件记录上传至预设快件管理端。[0141]本发明实施例中，通过对获取的多个对包裹进行称重的第一图像进行筛选， 得到训练样本图像；对训练样本图像中的快件进行分类标注，得到标注数据； 对训练样本图像进行数据增广，得到目标数据集；将目标数据集和标注文件输 入预置googlenet模型进行训练，得到图像分类模型；采集实时抓拍的快件称 重场景中的第二图像，并将第二图像输入图像分类模型进行分类预测，得到多 个第二图像对应的重量异常类别。本方案通过对快件图像进行识别检测，解决 了现有技术中对重量异常的快件的检测效率和检测准确率低下的问题。[0142]上面图4和图5从模块化功能实体的角度对本发明实施例中的快件重量异 常的识别装置进行详细描述，下面从硬件处理的角度对本发明实施例中快件重 量异常的识别设备进行详细描述。[0143]图6是本发明实施例提供的一种快件重量异常的识别设备的结构示意图， 该快件重量异常的识别设备800可因配置或性能不同而产生比较大的差异，可 以包括一个或一个以上处理器(central processing units，cpu)810(例如，一个 或一个以上处理器)和存储器820，一个或一个以上存储应用程序833或数据 832的存储介质830(例如一个或一个以上海量存储设备)。其中，存储器820 和存储介质830可以是短暂存储或持久存储。存储在存储介质830的程序可以 包括一个或一个以上模块(图示没标出)，每个模块可以包括对快件重量异常 的识别设备800中的一系列指令操作。更进一步地，处理器810可以设置为与 存储介质830通信，在快件重量异常的识别设备800上执行存储介质830中的 一系列指令操作，以实现上述各方法实施例提供的快件重量异常的识别方法的 步骤。[0144]快件重量异常的识别设备800还可以包括一个或一个以上电源840，一个或 一个以上有线或无线网络接口850，一个或一个以上输入输出接口860，和/或， 一个或一个以上操作系统831，例如windows serve，mac os x，unix，linux， freebsd等等。本领域技术人员可以理解，图6示出的快件重量异常的识别设 备结构并不构成对本技术提供的快件重量异常的识别设备的限定，可以包括比 图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。[0145]本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非 易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可 读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上 运行时，使得计算机执行上述快件重量异常的识别方法的步骤。[0146]所述领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述 的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程， 在此不再赘述。[0147]所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或 使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明 的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或 部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质 中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或 者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的 存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随 机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储 程序代码的介质。[0148]以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽 管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理 解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分 技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱 离本发明各实施例技术方案的精神和范围。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!