基于弱样本学习的垃圾分类方法 专利技术说明

计算;推算;计数设备的制造及其应用技术1.本技术涉及图像识别技术领域，具体地，涉及一种基于弱样本学习的垃圾分类方法。背景技术：2.过去四十年是生产力飞速发展的四十年，生产力的飞速发展让各类物品能够被大批量的生产并进入千家万户。随着我国社会经济的高速发展和城市化的不断推进，人口源源不断的往大城市聚集，各类物资在往城市聚集的同时，各类垃圾也在同步聚集。过去以焚烧和填埋为主的垃圾处理方式在人口聚集和生产力飞速发展的今天，早已显得捉襟见肘，另外，这些处理方式也存在严重的环境污染、土地占用、资源浪费等问题。3.在这样的大背景下，垃圾分类的概念应运而生。对居民而言，在垃圾分类实行过程中最大问题便是不知道垃圾的分类。政府和很多企业都先后推出过很多方法以普及相关知识，有所成效，但问题依然存在。如今一类方式是结合图像处理相关技术，通过智能垃圾桶实现。通过摄像头获取垃圾图片，由图像处理相关算法识别垃圾的类型进行识别。resnet50、vgg16、transformer等算法都先后被用于该场景。在算法模型训练中存在的重要问题是数据问题和部署问题。关于数据问题，一方面，垃圾分类是一个相对细分且单一的应用场景，标注质量较高的公开数据集很少；另一方面，如果对全部训练数据进行人工标注，费时费力且效率低下。技术实现要素：4.为了克服现有技术中的至少一个不足，本技术提供一种基于弱样本学习的垃圾分类方法。5.第一方面，提供一种基于弱样本学习的垃圾分类模型构建方法，包括：6.对属于厨余垃圾类型的多张图片进行强标注，得到基础种类数据集；7.对属于非厨余垃圾类型的多张图片进行弱标注，得到新种类数据集；非厨余垃圾类型包括可回收物垃圾类型、有害垃圾类型和其他垃圾类型；8.基于主干网络提取基础种类数据集中图片的图片特征以及新种类数据集中图片的图片特征；9.将基础种类数据集中图片的图片特征以及新种类数据集中图片的图片特征输入到相似度网络，基于鉴别器对相似度网络进行训练，得到训练后的相似度网络；10.针对每个非厨余垃圾类型，基于训练后的相似度网络计算属于非厨余垃圾类型的图片中任意两张图片之间的相似度，得到非厨余垃圾类型对应的相似度矩阵；采用相似度矩阵训练主分类器，得到训练后的主分类器；11.主干网络、训练后的相似度网络和训练后的主分类器构成基于弱样本学习的垃圾分类模型。12.在一个实施例中，基于鉴别器对相似度网络进行训练，包括：13.先冻结相似度网络，使鉴别器的对抗损失最小化，对抗损失的计算公式为：[0014][0015]其中，ld为对抗损失，m为输入图片的批处理大小，为关系特征为时的鉴别器评分，为基础种类数据集b中第i张图片和第j张图片构成的图像对的关系特征，为关系特征为时的鉴别器评分，为新种类数据集n中第i张图片和第j张图片构成的图像对的关系特征；[0016]然后冻结鉴别器，使相似度网络的关系分类损失最小化，鉴别器的对抗损失最大化，分类损失的计算公式为：[0017][0018]其中，lg为分类损失，β为权衡参数，ci,j为关系类别标签，为基础种类数据集b中第i张图片和第j张图片之间的相似度分数。[0019]在一个实施例中，采用相似度矩阵训练主分类器，训练后的主分类器，包括：[0020]采用相似度矩阵计算代价函数权重和正则化损失；[0021]根据代价函数权重计算加权分类损失；[0022]根据正则化损失和加权分类损失确定最终的分类损失，采用的计算公式为：[0023]l最终＝lcls_ω+αlreg[0024]其中，l最终为最终的分类损失，lcls_ω为加权分类损失，lreg为正则化损失，α为超参数；[0025]当最终的分类损失最小时，得到训练后的主分类器。[0026]在一个实施例中，代价函数权重，采用以下公式计算：[0027][0028]其中，ωc,i表示第i张图片的代价函数权重，为属于当前处理的非厨余垃圾类型的图片的数量，sc,i,j表示第i张图片与第j张图片的相似度分数，sc,j,i表示第j张图片与第i张图片的相似度分数；[0029]正则化损失采用以下公式计算：[0030][0031]其中，lreg为正则化损失，si,j为相似度矩阵sc中的每一个元素，h(xi)为第i张图片xi的图片特征，h(xj)为第j张图片xj的图片特征。[0032]在一个实施例中，加权分类损失，采用以下公式计算：[0033][0034]其中，lcls_ω为加权分类损失，为属于当前处理的非厨余垃圾类型的图片的数量，为第i张图片的归一化后的代价函数权重，xi为第i张图片，y(xi)表示图片xi属于其对应的垃圾类型的分类分数。[0035]第二方面，提供一种基于弱样本的垃圾分类方法，包括：[0036]将待识别垃圾图片输入到基于弱样本的垃圾分类模型中，得到待识别垃圾图片属于每个垃圾类型的分类分数；[0037]根据分类分数确定待识别垃圾图片的垃圾类型；[0038]基于弱样本的垃圾分类模型为根据权利要求1-5中任意一项权利要求得到的。[0039]第三方面，提供一种基于弱样本学习的垃圾分类模型构建装置，包括：[0040]基础种类数据集获取模块，用于对属于厨余垃圾类型的多张图片进行强标注，得到基础种类数据集；[0041]新种类数据集获取模块，用于对属于非厨余垃圾类型的多张图片进行弱标注，得到新种类数据集；非厨余垃圾类型包括可回收物垃圾类型、有害垃圾类型和其他垃圾类型；[0042]图片特征提取模块，用于基于主干网络提取基础种类数据集中图片的图片特征以及新种类数据集中图片的图片特征；[0043]相似度网络训练模块，用于将基础种类数据集中图片的图片特征以及新种类数据集中图片的图片特征输入到相似度网络，基于鉴别器对相似度网络进行训练，得到训练后的相似度网络；[0044]主分类器训练模块，用于针对每个非厨余垃圾类型，基于训练后的相似度网络计算属于非厨余垃圾类型的图片中任意两张图片之间的相似度，得到非厨余垃圾类型对应的相似度矩阵；采用相似度矩阵训练主分类器，得到训练后的主分类器；[0045]模型构成模块，用于主干网络、训练后的相似度网络和训练后的主分类器构成基于弱样本学习的垃圾分类模型。[0046]在一个实施例中，相似度网络训练模块，还用于：[0047]先冻结相似度网络，使鉴别器的对抗损失最小化，对抗损失的计算公式为：[0048][0049]其中，ld为对抗损失，m为输入图片的批处理大小，为关系特征为时的鉴别器评分，为基础种类数据集b中第i张图片和第j张图片构成的图像对的关系特征，为关系特征为时的鉴别器评分，为新种类数据集n中第i张图片和第j张图片构成的图像对的关系特征；[0050]然后冻结鉴别器，使相似度网络的关系分类损失最小化，鉴别器的对抗损失最大化，分类损失的计算公式为：[0051][0052]其中，lg为分类损失，β为权衡参数，ci,j为关系类别标签，为基础种类数据集b中第i张图片和第j张图片之间的相似度分数。[0053]在一个实施例中，主分类器训练模块，还用于：[0054]采用相似度矩阵计算代价函数权重和正则化损失；[0055]根据代价函数权重计算加权分类损失；[0056]根据正则化损失和加权分类损失确定最终的分类损失，采用的计算公式为：[0057]l最终＝lcls_ω+αlreg[0058]其中，l最终为最终的分类损失，lcls_ω为加权分类损失，lreg为正则化损失，α为超参数；[0059]当最终的分类损失最小时，得到训练后的主分类器。[0060]在一个实施例中，主分类器训练模块，还用于：[0061]代价函数权重，采用以下公式计算：[0062][0063]其中，ωc,i表示第i张图片的代价函数权重，为属于当前处理的非厨余垃圾类型的图片的数量，sc,i,j表示第i张图片与第j张图片的相似度分数，sc,j,i表示第j张图片与第i张图片的相似度分数；[0064]正则化损失采用以下公式计算：[0065][0066]其中，lreg为正则化损失，si,j为相似度矩阵sc中的每一个元素，h(xi)为第i张图片xi的图片特征，h(xj)为第j张图片xj的图片特征。[0067]相对于现有技术而言，本技术具有以下有益效果：本技术通过将数据划分为强标注数据和弱标注数据两类的方式，显著降低模型训练阶段对高质量标注数据的需求；对于弱标注的数据只需要根据其类型打标签，通过关键词爬取互联网图片可以快速获得大量有效数据，实际模型训练只需要对强标注数据进行标注，能够显著降低数据标注成本。附图说明[0068]本技术可以通过参考下文中结合附图所给出的描述而得到更好的理解，附图连同下面的详细说明一起包含在本说明书中并且形成本说明书的一部分。在附图中：[0069]图1示出了根据本技术实施例的基于弱样本学习的垃圾分类模型构建方法；[0070]图2示出了根据本技术实施例的基于弱样本的垃圾分类模型构建装置的结构框图。具体实施方式[0071]在下文中将结合附图对本技术的示例性实施例进行描述。为了清楚和简明起见，在说明书中并未描述实际实施例的所有特征。然而，应该了解，在开发任何这种实际实施例的过程中可以做出很多特定于实施例的决定，以便实现开发人员的具体目标，并且这些决定可能会随着实施例的不同而有所改变。[0072]在此，还需要说明的一点是，为了避免因不必要的细节而模糊了本技术，在附图中仅仅示出了与根据本技术的方案密切相关的装置结构，而省略了与本技术关系不大的其他细节。[0073]应理解的是，本技术并不会由于如下参照附图的描述而只限于所描述的实施形式。在本文中，在可行的情况下，实施例可以相互组合、不同实施例之间的特征替换或借用、在一个实施例中省略一个或多个特征。[0074]本技术提供一种基于弱样本学习的垃圾分类方法，在模型训练阶段，将数据划分为少数强标注的基础种类数据和多数弱标注的新种类数据，通过相似度网络和主分类器两个训练阶段完成模型训练，这使得模型对数据标注的质量需求降低，更易于利用已有的数据完成模型训练，简化数据标注工作。[0075]本技术实施例提供一种基于弱样本学习的垃圾分类模型构建方法，图1示出了根据本技术实施例的基于弱样本学习的垃圾分类模型构建方法，方法包括：[0076]步骤s1，对属于厨余垃圾类型的多张图片进行强标注，得到基础种类数据集；[0077]该步骤中，选取属于厨余垃圾类型的多张图片，对每张图片进行强标注，强标注具体可以为对图片中包含的物体的类别进行标注，标注后图片形成基础种类数据集。[0078]步骤s2，对属于非厨余垃圾类型的多张图片进行弱标注，得到新种类数据集；非厨余垃圾类型包括可回收物垃圾类型、有害垃圾类型和其他垃圾类型；[0079]该步骤中，可以采用“可回收物”“有害垃圾”和“其他垃圾”为关键词进行搜索，通过爬虫对相关图片进行爬取，对爬取到的图片进行类别标注，称为弱标注，即将图片标注为可回收物垃圾、有害垃圾或者其他垃圾，标注后的图片构成新种类数据集。需要注意的是，新种类数据集中的图片与基础种类数据集中图片无重复。[0080]步骤s3，基于主干网络提取基础种类数据集中图片的图片特征以及新种类数据集中图片的图片特征；[0081]该步骤中，采用主干网络resnet50提取图片的图片特征，将图片转化为适于模型输入的图片特征。[0082]步骤s4，将基础种类数据集中图片的图片特征以及新种类数据集中图片的图片特征输入到相似度网络，基于鉴别器对相似度网络进行训练，得到训练后的相似度网络；[0083]步骤s5，针对每个非厨余垃圾类型，基于训练后的相似度网络计算属于非厨余垃圾类型的图片中任意两张图片之间的相似度，得到非厨余垃圾类型对应的相似度矩阵；采用相似度矩阵训练主分类器，得到训练后的主分类器；[0084]该步骤中，针对每个非厨余垃圾类型，计算相似度矩阵来训练主分类器；当所有非厨余垃圾类型对主分类器训练结束后，得到训练后的主分类器。[0085]步骤s6，主干网络、训练后的相似度网络和训练后的主分类器构成基于弱样本学习的垃圾分类模型。[0086]该实施例中，通过将数据划分为强标注数据和弱标注数据两类的方式，显著降低模型训练阶段对高质量标注数据的需求；对于弱标注的数据只需要根据其类型打标签，通过关键词爬取互联网图片可以快速获得大量有效数据，实际模型训练只需要对强标注数据进行标注，能够显著降低数据标注成本。[0087]在一个实施例中，步骤s4中，基于鉴别器对相似度网络进行训练，得到训练后的相似度网络，包括：[0088]相似度网络由枚举层和全连接层组成，枚举层负责连接每一对由主干网络提取的图片特征，称为关系特征，记作r；全连接层负责对拼接起来的关系特征输出相似度分数。用二元的关系类别标签来监督关系特征的分类丢失，如果一对图片是来自于同一个种类，那么就是"相似"种类，记作1，反之则为"不相似"种类，记作0。相似度分数的计算可以采用以下公式：[0089]si,j＝p(g(xi,xj))＝p(ri,j)[0090]其中，xi和xj分别为第i张图片和第j张图片，g(xi,xj)为第i张图片和第j张图片形成的图像对的关系特征，p(ri,j)为第i张图片和第j张图片之间的相似度分数。[0091]该实施例中，在相似度网络的基础上添加鉴别器，鉴别器用于区分关系特征r的来源是基础种类数据集还是新种类数据集。鉴别器可用如下公式表示：[0092]di,j＝d(ri,j)ꢀꢀꢀ(2)[0093]其中，di,j为鉴别器评分，ri,j为第i张图片和第j张图片构成的图像对的关系特征，在鉴别时用b表示基础种类数据集，n表示新种类数据集；[0094]在训练相似度网络时，每轮迭代包括两步，先冻结相似度网络，使鉴别器的对抗损失最小化，对抗损失的计算公式为：[0095][0096]其中，ld为对抗损失，m为输入图片的批处理大小，为关系特征为时的鉴别器评分，值为1，为基础种类数据集b中第i张图片和第j张图片构成的图像对的关系特征，为关系特征为时的鉴别器评分，值为0，为新种类数据集n中第i张图片和第j张图片构成的图像对的关系特征；[0097]然后冻结鉴别器，使相似度网络的分类损失最小化，鉴别器的对抗损失最大化，采用的分类损失的计算公式为：[0098][0099]其中，lg为分类损失，β为权衡参数，通过交叉验证设置为0.1，ci,j为关系类别标签，为基础种类数据集b中第i张图片和第j张图片之间的相似度分数。[0100]在一个实施例中，步骤s5中，采用相似度矩阵训练主分类器，训练后的主分类器，包括：[0101]步骤s51，采用相似度矩阵计算代价函数权重和正则化损失；具体地，代价函数权重，采用以下公式计算：[0102][0103]其中，ωc,i表示第i张图片的代价函数权重，为属于当前处理的非厨余垃圾类型的图片的数量，sc,i,j表示第i张图片与第j张图片的相似度分数，sc,j,i表示第j张图片与第i张图片的相似度分数；[0104]正则化损失采用以下公式计算：[0105][0106]其中，lreg为正则化损失，si,j为相似度矩阵sc中的每一个元素，h(xi)为第i张图片xi的图片特征，h(xj)为第j张图片xj的图片特征。[0107]步骤s52，根据代价函数权重计算加权分类损失；具体的，加权分类损失，采用以下公式计算：[0108][0109]其中，lcls_ω为加权分类损失，为属于当前处理的非厨余垃圾类型的图片的数量，为第i张图片的归一化后的代价函数权重，xi为第i张图片，y(xi)表示图片xi属于其对应的垃圾类型的分类分数。[0110]其中，第i张图片的归一化后的代价函数权重计算公式如下：[0111][0112]步骤s53，根据正则化损失和加权分类损失确定最终的分类损失，采用的计算公式为：[0113]l最终＝lcls_ω+αlreg[0114]其中，l最终为最终的分类损失，lcls_ω为加权分类损失，lreg为正则化损失，α为超参数，通过交叉验证设置为0.1。[0115]步骤s54，当最终的分类损失最小时，得到训练后的主分类器。[0116]本技术实施例还提供一种基于弱样本的垃圾分类方法，包括：[0117]将待识别垃圾图片输入到基于弱样本的垃圾分类模型中，得到待识别垃圾图片属于每个垃圾类型的分类分数；基于弱样本的垃圾分类模型为根据前述实施例得到的模型。[0118]根据分类分数确定待识别垃圾图片的垃圾类型；这里，可以选取分类分数最大的垃圾类型最为待识别垃圾图片的垃圾类型。[0119]采用与基于弱样本的垃圾分类模型构建方法相同的发明构思，本实施例还提供与之对应的基于弱样本的垃圾分类模型构建装置，图2示出了根据本技术实施例的基于弱样本的垃圾分类模型构建装置的结构框图，装置包括：[0120]基础种类数据集获取模块21，用于对属于厨余垃圾类型的多张图片进行强标注，得到基础种类数据集；[0121]新种类数据集获取模块22，用于对属于非厨余垃圾类型的多张图片进行弱标注，得到新种类数据集；非厨余垃圾类型包括可回收物垃圾类型、有害垃圾类型和其他垃圾类型；[0122]图片特征提取模块23，用于基于主干网络提取基础种类数据集中图片的图片特征以及新种类数据集中图片的图片特征；[0123]相似度网络训练模块24，用于将基础种类数据集中图片的图片特征以及新种类数据集中图片的图片特征输入到相似度网络，基于鉴别器对相似度网络进行训练，得到训练后的相似度网络；[0124]主分类器训练模块25，用于针对每个非厨余垃圾类型，基于训练后的相似度网络计算属于非厨余垃圾类型的图片中任意两张图片之间的相似度，得到非厨余垃圾类型对应的相似度矩阵；采用相似度矩阵训练主分类器，得到训练后的主分类器；[0125]模型构成模块26，用于主干网络、训练后的相似度网络和训练后的主分类器构成基于弱样本学习的垃圾分类模型。[0126]该实施例中，通过将数据划分为强标注数据和弱标注数据两类的方式，显著降低模型训练阶段对高质量标注数据的需求；对于弱标注的数据只需要根据其类型打标签，通过关键词爬取互联网图片可以快速获得大量有效数据，实际模型训练只需要对强标注数据进行标注，能够显著降低数据标注成本。[0127]在一个实施例中，相似度网络训练模块24还用于：[0128]先冻结相似度网络，使鉴别器的对抗损失最小化，对抗损失的计算公式为：[0129][0130]其中，ld为对抗损失，m为输入图片的批处理大小，为关系特征为时的鉴别器评分，为基础种类数据集b中第i张图片和第j张图片构成的图像对的关系特征，为关系特征为时的鉴别器评分，为新种类数据集n中第i张图片和第j张图片构成的图像对的关系特征；[0131]然后冻结鉴别器，使相似度网络的关系分类损失最小化，鉴别器的对抗损失最大化，分类损失的计算公式为：[0132][0133]其中，lg为分类损失，β为一个权衡参数，ci,j为关系类别标签，为基础种类数据集b中第i张图片和第j张图片之间的相似度分数。[0134]在一个实施例中，主分类器训练模块25，还用于：[0135]采用相似度矩阵计算代价函数权重和正则化损失；[0136]根据代价函数权重计算加权分类损失；[0137]根据正则化损失和加权分类损失确定最终的分类损失，采用的计算公式为：[0138]l最终＝lcls_ω+αlreg[0139]其中，l最终为最终的分类损失，lcls_ω为加权分类损失，lreg为正则化损失，α为超参数；[0140]当最终的分类损失最小时，得到训练后的主分类器。[0141]在一个实施例中，主分类器训练模块，还用于：[0142]代价函数权重，采用以下公式计算：[0143][0144]其中，ωc,i表示第i张图片的代价函数权重，为属于当前处理的非厨余垃圾类型的图片的数量，sc,i,j表示第i张图片与第j张图片的相似度分数，sc,j,i表示第j张图片与第i张图片的相似度分数；[0145]正则化损失采用以下公式计算：[0146][0147]其中，lreg为正则化损失，si,j为相似度矩阵sc中的每一个元素，h(xi)为第i张图片xi的图片特征，h(xj)为第j张图片xj的图片特征。[0148]以上所述，仅为本技术的各种实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以所述权利要求的保护范围为准。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!