一种基于视觉的水下机器人目标自主识别方法

计算;推算;计数设备的制造及其应用技术1.本发明涉及水下机器人技术领域，具体地说是一种用于水下目标自主识别的方法。背景技术：2.水下目标识别技术在开发与利用水下资源的过程中,无论是在军事领域还是民用领域都能够起到至关重要的作用。3.首先，在目标识别的图像处理方面，由于在成像过程中由于前向散射使得成像弥散，图像模糊，而后向散射使得水下机器人摄像头获取的图像对比度较低且存在雾状模糊，而水下机器人所在水底环境对光有很大的衰减特性，造成得到的水下图像存在非均匀色彩投射问题，随着下潜深度的增加，所得到的图像颜色逐渐失真，在水下机器人上安装人工照明设备虽然可以增加图像获取距离，但由于人工光源所发出的光线同样会造成非均匀照射和周围环境的散射作用，摄像头最终所获取的图像存在被暗区域包围的亮斑。除此以外，成像系统、光源色温都对水下彩色图像的质量产生影响。综上所述，受到环境影响，所得到的水下图像大多存在对比度较差、整体亮度偏低、低对比度、亮斑、图像颜色失真、雾状模糊和环境噪点。在应用高级视觉分析方法处理水下图像的过程中将面临上述这些问题，因此研究一种能够提高对于所获取的图像的对比度与饱和度，并补偿图像颜色失真提高清晰度的图像预处理方法，对于水下机器人实现水下目标识别的是非常有必要的。4.另一方面，传统的识别算法对所预处理后的图像中待识别目标的定位情况不理想，往往表现为对目标物检测的定位精度不高且需要花费较多的时间，对水下目标的识别造成较大的影响，定位精度呈现震荡式收敛并贯穿整个过程，这就造成了水下成像的模糊，对目标物的识别精度产生影响。由于传统的识别算法在目标识别方面存在以上的种种问题，基于神经网络的特征提取进行目标识别是该领域当前比较热门的一个研究方向，利用神经网络对光学目标极强的表征能力，建立基于生物神经元网络的抽象网络模型，将水下机器人搭载的摄像头获取到的图像作为输入，引入卷积特征的概念，也就是经过卷积神经网络得到的图像的特征信息，包括通过前级的卷积层得到的浅层信息和后级的卷积层卷积得到深层信息，在输出层回归得到最终判断的结果，即水下机器人拍摄图像中目标的所属类别和检测位置。基于神经网络的特征提取的优点是可以最大程度地保留水下机器人获取的图像的特征。然而传统的卷积神经网络仅仅会忽略采集数据样本的局部信息，且对于计算机的硬件要求较高。技术实现要素：5.为了提高水下机器人对于水下目标的检测与识别精度，解决传统水下光学目标识别中存在的不足，本发明提供一种基于神经网络的水下目标识别方法，包括以下步骤：6.步骤1、对图像集合的预处理改进：对rgb空间的色彩通道进行补偿，采用暗通道先验理论降低后向散射造成的影响；7.步骤2、将预处理后的图像集合分为训练集和测试集，并将训练集图像进行处理制作图像矩阵数据集；8.步骤3、建立网络模型、优化模型：9.采用并行卷积层的复合结构神经网络，通过双通道卷积提取特征用于降低训练网络的时间成本，并在池化层后添加bn层进行批归一化用于提高模型的泛化能力；输入图像矩阵数据集训练该网络结构；10.基于lasso回归对图像矩阵数据集所训练出网络结构进行通道剪枝并进行重训练，从而获取识别速度更快的优化的网络结构；11.步骤4、对测试集数据进行识别：测试集图像输入优化的网络结构，对水下目标进行识别。12.所述原始图像为摄像头采集后经过人工标识并分类的图像。13.所述制作图像矩阵数据集包括：将训练集图像进行翻转，放缩变换后进行裁剪，得到神经网络模型训练数据集。14.所述对原始图像的预处理改进为：15.①参考jaffe-mcglamery模型建立成像数学模型：[0016][0017]其中j(x,λ)为待恢复的实际图像，et(x,λ)为水下空间中摄像头检测到的图像，x为像素点，λ∈{r,g,b}，t(x,λ)为传输函数，b∞为水下环境中的后向散射；[0018]对水下空间中摄像头检测到的图像进行归一化，使得et(x,λ)∈(0,1)；[0019]②基于蓝绿通道对获取的图像的红通道进行补偿；[0020]③基于暗通道先验理论对rgb三通道传输函数进行估计，代入成像数学模型得到复原扭曲颜色后的图像j(x,λ)。[0021]是基于rgb空间中蓝绿通道的灰度值对图像的r通道进行补偿：[0022][0023]其中，分别为图像中红色、绿色和蓝色分量的均值，er(x)、eg(x)、eb(x)为各个通道在像素点x的值，er(x)′为红色通道补偿后的值，βg与βb为绿色与蓝色补偿系数。[0024]还包括：对复原扭曲颜色后的图像j(x,λ)分别对rgb三个通道进行直方图均衡化提高图像的对比度。[0025]所述改进后的网络结构包括：[0026]数据输入层—单卷积层c1—最大池化层p1—复合卷积层c2—最大池化层p2—批归一化层bn1—复合卷积层c3—最大池化层p3—批归一化层bn2—全局平均池化层p4—全连接层f1—全连接层f2—联合损失函数层。[0027]①所述单卷积层结构采用并行的2层卷积层结构，所述复合卷积层结构采用双通道卷积提取特征，用于降低训练网络的时间成本；[0028]②所述全局平均池化层，用于通过对整个网路在结构上做正则化避免所设计的模型出现过拟和现象，并降低神经网络训练和测试计算量；[0029]③经全连接层将所选样本的分布式特征映射到样本空间后，经过数据预处理后的训练样本输入到构建的该网络结构中的数据输入层进行训练；[0030]④联合损失函数：类间特征距离采用softmax函数，同时加入centerloss和hing损失用于使得类内的特征距离最小的联合优化，并进行l1、l2正则化，通过多个损失函数的联合应用提高表征能力。[0031]是采用随机梯度下降法对网络进行循环迭代训练使损失函数不断收敛于稳定数值，直到完成设定的迭代次数。[0032]所述基于lasso回归对图像矩阵数据集所训练出网络结构进行通道剪枝，包括：[0033]针对输入图像矩阵数据集所训练出网络结构中冗余的特征通道基于lasso回归进行通道剪枝，将卷积核操作中的部分权值归零，删除模型中冗余的连接通道，得到稀疏化的网络。[0034]本发明具有以下有益效果及优点：[0035]由于对水下机器人摄像头采集图像预先进行了红色通道补偿和直方图均衡的增强处理，减少了环境中的散射引起的模糊、对比度降低等因素对原始图像的影响，提高了检测精度；由于采用复合结构卷积神经网络，通过并行卷积层的计算图像多层深度特征，能够有效降低训练学习所需的时间；由于采用lasso回归对神经网络模型进行通道剪枝，删除冗余的连接通道缩减网络的宽度，得到稀疏化的网络，提高了识别速度并缓解了模型过拟合的问题。附图说明[0036]图1是本发明的总体方法流程图；[0037]图2是一种基于联合损失函数的复合卷积神经网络结构示意图。具体实施方式[0038]为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方法做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但本发明能够以很多不同于在此描述的其他方式来实施，本领域技术人员可以在不违背发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施的限制。[0039]除非另有定义，本文所使用的所有技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。[0040]本发明提出了一种基于视觉的水下机器人目标自主识别方法，采用复合结构卷积神经网络，能够实现对摄像头获取图片特征的有效提取，并能够提高识别精度并有效降低训练学习所需的时间。主要包括以下三部分内容：1)首先改进摄像头获取的图像的预处理方法，对rgb空间的色彩通道进行补偿，采用暗通道先验理论降低后向散射造成的影响；2)将预处理后的图像集合分为训练集和测试集，并将训练集图像进行处理制作图像矩阵数据集；3-1)采用并行卷积层的复合结构神经网络，通过双通道卷积提取特征，降低训练网络的时间成本，并在池化层后添加bn层进行批归一化提高模型的泛化能力；3-2)再基于lasso回归对图像矩阵数据集所训练出网络结构进行通道剪枝，实现识别算法的加速并提高对水下目标进行识别的准确性。4)测试集图像输入优化的网络结构，对水下目标进行识别。[0041]本发明通过以下技术方案来实现上述目的：[0042]第一步：基于暗通道先验理论的图像预处理[0043]参考jaffe-mcglamery模型建立水下目标成像数学模型，水下空间中摄像头检测到的图像et(x,λ)可以描述为：[0044]et(x,λ)＝j(x,λ)t(x,λ)+b∞(1-t(x,λ))ꢀꢀꢀ(1)[0045]其中j(x,λ)为待恢复的实际图像，x为像素点，λ∈{r,g,b}，t(x,λ)为传输函数，b∞为水下环境中的后向散射，则作为恢复目标的待恢复的实际图像j(x,λ)为：[0046][0047]对水下空间中摄像头检测到的图像的各通道进行归一化处理，将待处理的原始图像转换成相应的标准形式图像，保证et(x,λ)∈(0,1)。[0048]由于在水下环境传播过程中红光相较于绿光与蓝光衰减速率更高，需要对r通道颜色进行校正，因此，基于rgb空间中蓝绿通道的灰度值对图像的r通道进行补偿：[0049]其中，分别为图像中红色、绿色和蓝色分量的均值，er(x)、eg(x)、eb(x)为各个通道在像素点x的值，er(x)′为红色通道补偿后的值，βg与βb为绿色与蓝色补偿系数。[0050]基于暗通道先验理论对rgb三通道传输函数进行估计，降低后向散射造成的影响：[0051][0052]即为所求的传输函数，通过式(2)得到复原扭曲颜色后的图像j(x,λ)：[0053][0054]其中，jr(x)，jg(x)和jb(x)分别为复原扭曲颜色后图像的rgb通道，然后，分别对图像rgb三个通道进行直方图均衡化提高图像的对比度，完成图像预处理过程。[0055]分别对图像rgb三个通道进行直方图均衡化提高图像的对比度。[0056]第二步：制作图像矩阵数据集、训练集数据[0057]将摄像头采集到的图像作为原始图像，并预先人工标识分类，将部分原始图像分别进行水平翻转，竖直翻转及随机对比度变换及亮度变换构成训练数据集，其余作为测试数据集。将训练数据集中的图片采用不同的放缩后进行裁剪，得到大小为224*224*3的输入图像矩阵数据集。将得到的输入图像矩阵数据集中的每个矩阵输入到改进后的vgg网络，进行网络模型的训练。用测试集数据进行测试。所述人工标识分类为根据当前图像中物体目标的轮廓进行的分类和标识，例如矩形类，圆形类等。[0058]第三步-1：神经网络的搭建与训练[0059]基于vgg-16模型搭建本文所用神经网络。如图2所示，改进后的vgg网络其具体结构为数据输入层—单卷积层c1—最大池化层p1—复合卷积层c2—最大池化层p2—批归一化层bn1—复合卷积层c3—最大池化层p3—批归一化层bn2—全局平均池化层p4—全连接层f1—全连接层f2—联合损失函数层。[0060]①为了加快对于摄像机获取的水底目标图片中特征数据的提取，提高所搭建vgg模型的收敛速度，改变传统vgg模型中的部分卷积层的结构，采用并行的2层卷积层结构替代原有的单卷积层结构，新的复合卷积层结构采用双通道卷积提取特征，降低训练网络的时间成本。采用并行卷积层的复合结构替代原有的卷积层顺次连接结构，并在池化层后添加bn层进行批归一化，即把激活函数的激活值映射到方差为1均值为0的区域。[0061]②在复合卷积层后添加全局平均池化层，通过对整个网路在结构上做正则化避免所设计的模型出现过拟和现象，并降低神经网络训练和测试计算量。对于将每个进入全连接层f1之前的特征图，通过取其像素点均值的方法将其转变为一个特征点，即每个特征点对应一个特征图，然后将这通过所构建的联合损失函数中对由特征点构成的特征向量进行分类。[0062]③经全连接层将所选样本的分布式特征映射到样本空间后，经过数据预处理后的训练样本输入到构建的vgg网络结构中的数据输入层进行训练，构建联合损失函数，类间特征距离采用softmax loss保证最大，同时加入centerloss和hing损失保证类内的特征距离最小的联合优化方法，并进行l1、l2正则化，通过多个损失函数的联合应用，提高联合损失函数表征能力。通过采用随机梯度下降法对网络进行循环迭代训练使损失函数不断减小，直到完成设定的迭代次数。[0063]构建联合损失函数为l：[0064][0065][0066]l＝lc-h+λ0lsꢀꢀꢀ(8)[0067]其中，i为表示所设计模型训练过程中每次输入的训练样本总数；k为表示所设计模型训练过程中softmax分类的类别数；xi∈rd，表示总计i个样本中所属类别为yi的第i个样本在全连接层的输出特征，d为该特征向量的维数；样本在全连接层的输出特征，d为该特征向量的维数；分别表示在全连接层的参数矩阵中的第yi列与第k列，与bk为对应的偏置项；为第yi类别的特征中心；λ0，λ1，λ2，λ3为损失函数权重系数。[0068]第三步-2：基于lasso回归对图像矩阵数据集所训练出网络结构进行通道剪枝，实现识别算法的加速并提高对水下目标进行识别的准确性[0069]针对输入图像矩阵数据集所训练出网络结构中冗余的特征通道基于lasso回归进行通道剪枝，将卷积核操作中的部分权值归零，删除模型中冗余的连接通道，得到稀疏化的网络，包括：①衡量剪枝单元的重要程度。②移除掉一部分不重要的剪枝单元。③对网络进行重训练。具体如下：[0070]选择lasso回归的目标函数为：[0071][0072]xi(xi1,xi2,xi3,xi4...,xik)t为模型中卷积层输入值，其中，i＝1,2,4……n，n为对应的输入卷积层的样本数，k为输入向量的特征数，wk为第k个通道的权重，yi为对应的输出值，λ为正则化参数，γk为各通道保留系数，令γ＝(γ1，γ2，γ3，γ4…，γk)t。[0073]固定wk值，求解γ并对γk中γk＝0元素对应的通道进行剪裁，随后固定γ值，利用选择好的通道来最小化重构误差，重复以上过程并增加正则化项系数λ的值，直至各通道保留系数变得稳定，最后对剪枝后的通道进行微调以恢复模型拟合能力。[0074]第四步：实现水下目标识别分类[0075]对水下机器人采集到的图片经过预处理之后获得的测试集数据，可通过通道剪枝并重新训练好的复合卷积神经网络模型给出分类结果，实现水下机器人对于环境中目标的自主识别。[0076]本发明提出一种基于视觉的水下机器人目标自主识别方法，该方法是以深度卷积神经网络为基础的识别方法，采用并行卷积层的复合结构加快对图片中特征数据的提取，并在池化层后添加bn层进行批归一化提高模型的泛化能力；同时结合基于暗通道先验理论的图像预处理策略来解决解决整体图像偏暗和后向散射造成的模糊问题。水下机器人目标自主识别方法主要分为三部分：一是水下图像基于暗通道先验理论的图像预处理；二是建立基于并行卷积层的深度卷积神经网络并进行训练；三是基于lasso回归进行通道剪枝，移除掉一部分不重要的剪枝单元并对网络进行重新训练，对剪枝后的通道进行微调以恢复神经网络模型拟合能力，训练完成得到最终水下目标自主识别网络。[0077]以上所述，仅是本发明的较佳实施例，并非对本发明作任何限制，凡是根据本发明技术实质对以上实施例所作的任何简单修改、变更以及等效结构变化，均仍属于本发明技术方案的保护范围内。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!