基于无人机低空采样的地物分类人工智能识别方法及其系统与流程 专利技术说明

计算;推算;计数设备的制造及其应用技术1.本发明涉及一种分类地物识别的方法，尤其涉及到基于无人机低空采样的地物分类人工智能识别方法及其系统。背景技术：2.地物识别是通过对地面物体进行图像采集之后进行分类识别，从而研究其分布以及产业布局，属于地理数字地图，尤其涉及城市、军事用图中的一个基础的课题。其中图像采集时至关重要的步骤，图像时识别的数据基础，尤其涉及到人工智能识别，需要对海量的图像进行拍摄。另一方面，不同时间、不同季节、不同天气条件下，对于同一地点的地物图像采集来说都需要有图像的大气校正，图像的光照度尽量统一，时间间隔尽量一致，这就造成采集的成本增加，工程耗时久往往是痛点。3.此外，不同的地物类别一般也仅服从于同一种智能算法。比如现有技术利用高光谱中的光谱维的特征波段来进行识别。然而正因为特征波段的强度会因为采集图像的光照，天气条件而不同而会有差别，因此在现实场景下具体使用训练完毕的模型进行识别预测时会有相应的错误率增加。4.第三，地物也有可能会产生变化，对于同一地理区域内的地物而言，可能会产生地物变化，比如建筑因拆除变为空地，空地因城市规划而产生建筑，海面部分不断产生人工陆地，并在陆地上产生新增的地物等等。5.因此如何综合考量并兼顾拍摄条件、算法、地物变化之间的协调、预测准确率和建模效率的提高，是一个亟待解决的技术问题。技术实现要素：6.为了解决上述问题，我们考虑如下三个解决方案，第一，使用低空飞行无人机排除大气校正因素，第二，考虑图像处理方法制造“伪”训练集；第三，针对不同的地物类别采用针对性的适用算法，进一步体现地物分类的准确性。7.鉴于上述考虑，本发明一方面提供了一种基于无人机低空采样的地物分类人工智能识别方法，其特征在于包括如下步骤：8.s1采用低空飞行无人机对地物进行多期高光谱图像维采样和图像处理；9.s2对采集的样本进行人工分类，并以此建立针对不同地物类型的典型地物智能识别模型系；10.s3按照步骤s1的方法采集并进行图像处理过的待分类地物高光谱图像维，输入步骤s2建立的地物智能识别模型系中，得到预测概率最高地物类型作为待测地物的分类。11.关于s112.s1具体包括13.s1-1研究区典型地物智能识别样本构造；14.s1-2研究区变化检测样本构造。15.其中s1-1具体包括如下步骤：16.s1-1-1数据收集：收集包含各类目标典型地表覆盖物的高分遥感影像数据，包括公开数据集与专用数据集；17.s1-1-2样本筛选：从收集的遥感影像数据中剔除质量不高的图片，包括云雾遮挡严重、光照不足、模糊等低质量图片；18.s1-1-3典型地物样本标注：使用标注工具，对典型地物进行标注，包括地物类型与位置；19.s1-1-4图像切割：对标注好的图片进行裁剪，形成统一的尺寸规格，便于模型训练；20.s1-1-5数据增广：通过对图像数据采用几何及色彩变幻两种增广操作；通过这些操作获得更多“伪”训练集，本质上能够在获得更多可用样本的同时，增加了样本的变化，从而可提高深度学习模型的抗噪声能力与泛化能力。就此不用采集同一地物分类更多不同的的高光谱图像样本，大大减少了建模的数据准备耗时；21.s1-1-6样本输出与存储：对标准样本进行统一编号，并按规定格式进行存储管理；22.优选地，步骤s1-1-2中云雾遮挡严重、光照不足、模糊的图片剔除方法包括，预设标准采样天气条件，查询拍摄时间对应的天气参数，将天气参数不符合所述预设标准采样天气条件的图片予以剔除。23.步骤s1-1-3中所述标注工具为googleearthpro或geowayfeature。24.其中s1-2具体包括如下步骤：25.s1-2-1多期高光谱图像维获取：收集包含各类典型地表覆盖物的多期高光谱图像维数据，时间间隔、光照条件要素相近；26.s1-2-2区域选择：从收集的高光谱图像维数据中选择包含各类典型地物且存在变化的区域；27.s1-2-3变化区域标注：标注出发生变化的对各类典型地物进行标注，包括发生变化的地物类型及其变化区域；28.s1-2-4图像切割与数据增广：对标注好的图片进行裁剪，形成统一的尺寸规格，便于模型训练，并同样通过对图像数据采用几何及色彩变幻两种增广操作；29.s1-2-5样本输出与存储：对标准样本进行统一编号，并按规定格式进行存储管理。30.其中，步骤s1-2-1中多期高光谱图像维获取包括如下步骤：31.将研究区划分为k个子区域，配备无人机架数kn,k＝1,2,3,4,5，n为每个子区域的无人机架数；32.在预设的气象条件下，将多架无人机沿着预定的飞行路线对各种类的地理实体的多个子区域进行高光谱采集，将所述多个子区域采集的高光谱中图像维进行拼接，形成研究区内的高光谱图像；33.优选地，所有无人机的飞行高度一致，所有无人机按照预定的飞行路线在同一时刻同时开始飞行，且在同一时间点停止一切采集。以保证采集的地物处于大致同一个时段内，防止出现一些地理实体之间采集工作明显是处于不同的两个间隔时长的时段，导致高光谱图像维数据不能准确反映同一时段的状态。34.步骤s1-1-4和s1-2-4中的裁剪的具体步骤如下：首先，对收集包含各类目标典型地表覆盖物的高分遥感影像数据标注的真值数据转换为与原始数据相同尺寸的栅格数据，并作为最后一个波段与原始影像进行叠加，而对于多期高光谱图像维则直接用于裁剪；第二，在研究区范围内设定随机点，以此为原点生成具有随机角度的裁切框，而对于真值数据转换为与原始数据相同尺寸的栅格数据额外需通过约束裁切框内包含某类真值数据的比例，对采样的正负样本比例进行约束，按照设定获取切片样本的数量进行图像随机裁剪。35.优选地，所述随机裁剪的尺寸为225×225-590×590。传统获取样本切片的方式是按照规定的切片大小，按照一定的步长规则移动裁切框从而获取切片数据，这种方式的缺点是获取切片数据数量有限，且无法保证获取正样本比例，从而导致构造样本集失衡。36.步骤s1-1-5和s1-2-4中数据增广中几何变换包括对数据进行翻转、旋转、缩放、位移，色彩变换包括改变数据的饱和度、亮度、对比度、锐度、模糊、加噪。37.步骤s1-2-3中的发生变化的具体判别包括如下步骤：将同在随机裁剪的图像的区域内的图像(包括栅格数据与原始影像进行叠加之后的图像数据和多期高光谱图像维)之间进行叠加差分得到差分图，若差分图像素总值超出预设范围则确认变化，或者在差分图内选择叠加预设几何阵列图案的模板，计算模板内像素总值，若模板内像素总值超出预设范围则确认变化，或者计算像素值分布曲线，比较无变化的分布曲线与该分布曲线之间的相似度，如果相似度超过预设值则表明无变化，否则确认变化，所述无变化的分布曲线与该分布曲线的形式是以几何阵列图案中编号排序的每一个阵列元素区域为自变量、对应的区域内像素总值为变量的折线。38.可选地，所述相似度是指比较无变化的分布曲线与该分布曲线中对应的几何阵列图案中编号排序的每一个阵列元素区域内的像素值的大小比值的对于所有阵列元素区域个数的平均值。39.可以理解的是，无变化的曲线是通过两张之间无变化的图像进行绘制的。40.关于s241.s2具体包括：42.s2-1根据典型地物智能识别样本以及变化检测样本中的标注结果将样本按照不同地物类型分为：43.(1)自然地物类型，包括林地、草地、耕地、裸地、海面、河流；44.(2)人工建筑物类型，包括房屋、道路、灯塔；45.(3)重要目标类型，包括船舰、飞机、码头、油罐；46.(4)建筑物变化类型；47.其中每一类地物都包含未变化和变化区域都分为训练集、验证集以及测试集比例为5-2:1:1-2。48.s2-2按照不同地物类型采用不同的人工智能模型进行相应地物分类识别模型系建立，具体包括：49.(5)pspnet、unet或unet++、deeplabv3+进行林地、草地、耕地、裸地、海面识别；50.(6)利用改进的d-linknet对多尺度道路、河流识别；51.(7)基于scrdet+csl进行船舰，灯塔，飞机，码头，油罐，房屋重要目标类型识别；52.(8)利用基于孪生网络scnn的stanet模型对多时期建筑物变化进行检测；53.(9)将pspnet、unet、unet++、deeplabv3+、改进的d-linknet、scrdet+csl、基于孪生网络scnn的stanet构建模型系ms＝{pspnet、unet、unet++、deeplabv3+、d-linknet+、scrdet+csl、scnn-stanet}；54.其中对林地、草地采用pspnet模型识别建模，对耕地、裸地采用unet或unet++模型识别建模，而对海面采用deeplabv3+模型识别建模。55.具体地，pspnet建模包括如下步骤：56.a-1将未变化区域的训练集输入cnn骨架网路中，获得特征图；57.a-2将a-1中的特征图输入4种不同金字塔尺度的金字塔池化模块ppm，得到连接特征；58.a-3将ppm中输出的连接特征输入卷积层得到预测图，利用验证集验证正确率以及获得损失函数值，反向传播调整ppm网络参数，直到正确率和损失函数值稳定，训练完毕。59.其中a-1使用预训练过的resnet模型来提取特征图，最终特征图尺寸为输入图像的1/8，ppm中按照4种不同金字塔尺度将特征图进行池化，通过各自卷积层获得不同的特征映射，通过上采样获得全局上下文信息，最终融合得到全局特征，并与输入的特征图连接起来获得连接特征。60.pspnet建模适合于识别对象处于复杂地物环境的特点，因此适合林地和草地，因为周边存在其他可能的复杂地物，包括人和各类标志物61.unet建模包括如下步骤：62.b-1将未变化区域的训练集输入双池化作用层，将输出端进行2×2最大池化后继续进行双池化作用和2×2的最大池化，以此循环n次，直到最后一次2×2的最大池化后形成最小尺寸特征图，再经过最后一次双池化作用连同每一次循环之后得到多个最大池化特征图；63.b-2将第n次循环双池化作用得到的特征图与第n-1次循环双池化作用并2×2反卷积之后得到的特征图进行复制、裁剪、以及拼接，其中在复制之后，裁剪是将两者之间尺寸较大者进行裁剪以适应与较小者的尺寸；然后将拼接的特征图继续双池化作用后，继续2×2反卷积，得到的特征图与第n-2循环双池化作用得到的特征图继续进行复制、裁剪、以及拼接；以此不断循环，直到第一次双池化作用得到的特征图与最后一次拼接并双池化作用得到的特征图进行复制、裁剪、以及拼接，得到最后一次拼接的特征图；64.b-3将最后一次拼接的特征图进行最后一次双池化作用，并做1×1卷积输出分割图；采用验证集验证正确率和损失函数值，反向传播调整各池化和反卷积和卷积参数，直到正确率和损失函数值稳定，训练完毕。其中，双池化作用都是3×3卷积后relu函数激活，且stride是1，padding策略是vaild，最大池化操作需要选取合适的输入大小，以防止池化之前特征图的大小是奇数而损失信息。65.unet建模适合于被识别地物周边与被识别地物之间存在明显的分界线近似前景与背景的区别的场合下。因此适用于裸地和耕地，由于裸地和耕地周围地物环境通常单一，因此容易呈现前景与背景的特点。66.unet++建模与unet区别在于第一次双池化作用以及在第n-1次循环中的双池化作用之后的特征图都进行h卷积函数反复作用并激活，从而对于第1次循环和第倒数第二次循环中得到连续的多个特征图，形成一种底层特征图个数为1、顶层个数为n+1，且从底层开始逐层增加一个特征图的的到三角形特征图结构；其中，67.倒三角的左侧一条边的多个特征图即为unet中的第一次双池化作用和后续循环中各最大池化作用得到池化图，选择这些连续的多个特征图和除最底层之外的倒三角的左侧一条边的特征图中的任一一个特征图用于进行跳跃式地与unet一致的特征复制、裁剪、拼接，所述的跳跃是指所述的任一一个特征图复制、裁剪、拼接到相同循环层上与其相邻的下一个特征图以及本循环层中2×2反卷积上来得到的特征图中，并且平行于倒三角的右侧一条边的方向上，属于倒三角中的所有多个特征图都从该方向上最底层的特征图开始依次2×2反卷积到上一层的该方向上的特征图中，用于与其左侧相邻和次相邻(如果存在)的特征图进行所述复制、裁剪、拼接，损失函数为倒三角型最上层左起第2到最后一个特征图分别与原始输入特征图之间多个交叉熵损失函数的总和。68.deeplabv3+建模过程包括：69.c-1将未变化区域的训练集输入编码模块中的dcnn模型进行atrous卷积，形成四个不同空洞率的空洞卷积和一个全局平均池化五个特征图结果，将五个特征图结果进行连接，采用1×1卷积之后进入解码模块进行编码特征采用因子4的双线性上采样；70.c-2dcnn模型进行atrous卷积结果中浅层特征在解码模块中进行1×1卷积，并与c-1中上采样结果进行连接得到图像级特征，进行3×3卷积后再进行编码特征采用因子4的双线性上采样输出识别结果，利用验证集验证正确率以及获得损失函数值，反向传播调整deeplabv3+网络参数，直到正确率和损失函数值稳定，训练完毕。71.利用编码器-解码器结构可以得到更好的物体边界，适用于具有曲折边界的大面积地物的识别，比如水体，在此是海面。72.改进的d-linknet建模过程包括：73.先建立d-linknet模型，包括：74.d-1将未变化区域的训练集在编码器中经过7×7卷积，stride为2，最大池化后三阶残差，将结果进行最大池化作用继续四阶残差，将结果进行最大池化作用继续六阶残差，将结果进行最大池化作用后最后一次三阶残差作用后进入中间部分；75.d-2进入中间部分后以级联模式堆叠的空洞卷积，用来增加网络中心部分特征的感受野并保留详细信息，其中，级联模式包括分别连续进行膨胀值为1,2,4,8，连续进行膨胀值为1,2,4,连续进行膨胀值为1,2，进行膨胀值为1的3×3的卷积，与不进行膨胀卷积的三阶残差结果一起进行加和进入解码器；76.d-3解码器中，对于加和后的结果采用转置卷积层进行双重采样，与六阶残差结果加和继续采用转置卷积层进行双重采样，然后继续与四阶残差结果加和再继续采用转置卷积层进行双重采样，接着再继续与三阶残差结果加和再最后一次采用转置卷积层进行双重采样；77.d-4将最后一次采用转置卷积层进行双重采样结果进行4×4转置卷积后进行膨胀值为1的3×3卷积，通过sigmond函数输出识别结果，利用验证集验证正确率以及获得损失函数值，反向传播调整d-linknet网络参数，直到正确率和损失函数值稳定，训练完毕；78.再进行改进，包括：79.a.d-1中7×7卷积后的结果与最后一次采用转置卷积层进行双重采样结果也进行加和；80.b.在d-1中7×7卷积之前基于迁移学习，加载vgg16预训练模型参数rgb梯度，以提升encoder的提取特征能力；81.c.在d-2中级联模式之后增加密集空洞卷积模块，为分别连续进行膨胀值为2,4,8，连续进行膨胀值为2,8连续进行膨胀值为4,8的3×3的卷积，以及不进行膨胀卷积的d-2中级联模式加和结果一起进行加和进入解码器；82.d.d-3中每一次残差结果在与采用转置卷积层进行双重采样进行加和前进行平均池化过程，并将平均池化结果加和到下一高阶的残差结果中去，以及d-2的级联模式堆叠的空洞卷积计算中去；83.e.损失函数采用自适应损失函数，解决小尺度道路样本过少的样本不平衡问题。84.scrdet+csl建模过程包括：85.e-1将未变化区域的训练集输入，首先使用resnet根据事先设定的特征图相对于原始图像的缩放因子sa提取出c2、c3、c4不同尺寸的特征图，用c3和c4两层在sf-net中分别进行16/s速度上采样以及8/s速度上采样和inception模块，再进行特征融合，得到特征图f3；其中inception模块为前一图层分别进行四组多卷积层后进行过滤器连接，其中四组多卷积层分别包括1×1卷积{192，stride 1，s}、1×3卷积{224，stride1，s}、3×1{256，stride 1，s}组成的第一组卷积层，1×1卷积{192，stride 1，s}、5×1卷积{192，stride 1，s}、1×5卷积{224，stride 1，s}、7×1卷积{224，stride1，s}、1×7{256，stride 1，s}组成的第二组卷积层，其中{}中的从左到右为像素尺寸，stride值，缩放因子，3×3平均池化{stride 1，s}其中{}中的从左到右为stride值，缩放因子、1×1卷积{128，stride1，s}组成的第三组卷积层，以及1×1卷积{384，stride，s}，其中stride和s未给出数值的为可人为设定；86.e-2然后该特征图f3经过像素注意网络和通道注意网络后，与输入的f3进行卷积运算，得到输出新的特征图a3；87.e-3将a3作为rotation branch的输入，进行rpn提取候选框，候选框映射到特征图a3中后进行roi align，然后进行目标分类与位置回归，得到最后预测的结果，利用验证集验证正确率以及获得损失函数值，反向传播调整scrdet网络参数，直到正确率和损失函数值稳定，训练完毕。88.e-4针对scrdet预测结果边界不连续问题采用环形平滑标签csl，将角度预测从回归任务转变为分类任务。89.其中e-1由sf-net模块进行完成。90.e-2由mda-net模块完成，mda-net由两部分注意力机制组成，包括像素注意力网络以及通道注意力机制(senet的结构)，对于前者，图像经过sf-net后得到的特征图f3经过inception模块使用不同的卷积核进行不同尺度的特征提取，然后经过卷积操作得到双通道的显著性映射，对目标区域进行采用注意力损失函数进行二值化处理反向传播训练，得到含有目标区域的二值化图，其中显著性高的区域赋1值，其他不重要的区域赋0值，将图像变成由0/1组成的像素点图像，将二值图进行softmax后把数值限制在[0，1]之间；[0091]对于后者，使用gap输出c个特征通道的数值分布，然后将特征的维度降低到输入的1/r，经过relu激活后再通过一个fc将维度变为原来的维度。然后通过sigmoid获得[0，1]之间归一化的权重。最后将三个部分相乘，得到新的特征图a3。[0092]对于船舰，灯塔，飞机，码头，油罐，房屋而言呈现框结构，且轮廓小，并且呈现一定角度取向地物适用于scrdet+csl补偿边界不连续问题的模型。[0093]基于孪生网络scnn的stanet模型包括如下步骤：[0094]f-1输入一对多期高光谱图像维，采用resnet50网络进行特征提取获得特征图；[0095]f-2将f-1中的特征图输入时空注意力模块bam和金字塔自注意力模块pam，分别获得时空注意力特征图和金字塔自注意力特征图；[0096]f-3将时空注意力特征图和金字塔自注意力特征图输入度量模块，计算两个特征图中每个像素对之间的距离，生成距离图d，结合真实标签m构造损失函数，利用验证集验证正确率以及获得损失函数值，反向传播调整bam和pam网络参数，直到正确率和损失函数值稳定，训练完毕，其中，bam具体包括，将提取到的特征图通过1×1卷积形成key张量、query张量、和value张量，分别整形之后形成三个整形矩阵，其中转置之后和进行矩阵乘法经softmax函数之后得到协方差矩阵，再与矩阵乘法之后得到矩阵再经整形得到整形后的矩阵y，与特征图相加和得到时空注意力特征图zbam；[0097]pam具体包括，将提取到的特征图通过1×1卷积形成4种不同尺度的金字塔结构，分别输入bam中输出四个时空注意力特征图进行连接，再进行1×1卷积后得到矩阵y，最后与特征图相加和得到金字塔注意力特征图zpam，再对zpam进行双线性插值将图像恢复到输入图像大小。[0098]通过基于孪生网络scnn的stanet模型将无变化区域和变化区域之间具体的存在明显变化的区域给识别出来。[0099]关于s3[0100]s3按照步骤s1的方法采集待分类地物高光谱图像，即预测集中的图像输入步骤s2建立的地物智能识别模型系ms中，得到预测概率最高地物类型作为待测地物的分类，并对模型系ms中的各模型识别能力进行定量评价。[0101]采用多种指标对分类结果进行定量评价，包括精确率、召回率、总体分类精度、f1值等。各评价参数的计算方法如下所示：[0102][0103][0104][0105][0106]其中tp代表判正的正样本，fn代表判负的正样本，fp为判正的负样本，tn为判负的负样本。[0107]本发明的另一方面提供一种实现上述基于无人机低空采样的地物分类人工智能识别方法的基于无人机低空采样的地物分类人工智能识别系统，其特征在于包括：[0108]基于pspnet、unet、unet++、deeplabv3+模型的自然地物类型识别模块，基于scrdet+csl船舰，灯塔，飞机，码头，油罐，房屋重要目标类型识别模块，基于d-linknet+道路、河流识别模块，以及模型选择和优化模块。[0109]有益效果[0110](1)采用低空飞行的无人机采集高光谱图像维，比遥感影像更加精确清晰地反应地物，无需大气校正；[0111](2)采用增广图像处理获得“伪”训练集，提高了样本量的获取速度，以及整体建模的效率；[0112](3)针对不同的地物分类才用了不同的是适用的人工智能模型，更未切合准确地预测待地物的类型；[0113](4)对于一些模型，采用改进的d-linknet、scrdet+csl、以及基于采用resnet50网络进行特征提取的孪生网络scnn的stanet进行建模，更加准确定反应军事地理环境中地物的分类。附图说明[0114]图1研究区典型地物智能识别样本构造流程图；[0115]图2研究区变化检测样本构造流程图；[0116]图3研究区低空无人机配置即飞行的分配示意图；[0117]图4典型地物智能识别样本构造和变化检测样本构造流程中图像切割的具体方法示意图，[0118]图5典型地物智能识别样本构造和变化检测样本构造流程中数据增广中几何变换和色彩变换示意图，[0119]图6步骤s1-2-3中的发生变化的具体判别方法示意图，[0120]图7pspnet建模流程图，[0121]图8unet建模流程图，[0122]图9四阶unet++建模流程图，[0123]图10deeplabv3+建模流程图[0124]图11d-linknet模型建模流程图，[0125]图12改进d-linknet模型流程图，[0126]图13sf-net模块结构示意图，[0127]图14mda-net模块结构示意图，[0128]图15csl结构示意图，[0129]图16基于孪生网络scnn的stanet模型建模流程图，[0130]图17时空注意力模块bam结构示意图，[0131]图18金字塔自注意力模块pam结构示意图，[0132]图19本发明实施例8的基于无人机低空采样的地物分类人工智能识别系统结构示意图。具体实施方式[0133]实施例1[0134]本实施例说明书步骤s1[0135]如图1所示，其中s1-1具体包括如下步骤：[0136]s1-1-1数据收集：收集包含各类目标典型地表覆盖物的高分遥感影像数据，包括公开数据集与专用数据集；s1-1-2样本筛选：从收集的遥感影像数据中剔除质量不高的图片，包括云雾遮挡严重、光照不足、模糊等低质量图片；[0137]s1-1-3典型地物样本标注：使用标注工具，对典型地物进行标注，包括地物类型与位置；[0138]s1-1-4图像切割：对标注好的图片进行裁剪，形成统一的尺寸规格，便于模型训练；[0139]s1-1-5数据增广：通过对图像数据采用几何及色彩变幻两种增广操作。[0140]s1-1-6样本输出与存储：对标准样本进行统一编号，并按规定格式进行存储管理。[0141]其中步骤s1-1-2中云雾遮挡严重、光照不足、模糊的图片剔除方法包括，预设标准采样天气条件，查询拍摄时间对应的天气参数，将天气参数不符合所述预设标准采样天气条件的图片予以剔除。[0142]步骤s1-1-3中所述标注工具为googleearthpro或geowayfeature。[0143]如图2所示，其中s1-2具体包括如下步骤：[0144]s1-2-1多期高光谱图像维获取：收集包含各类典型地表覆盖物的多期高光谱图像维数据，时间间隔、光照条件要素相近；[0145]s1-2-2区域选择：从收集的高光谱图像维数据中选择包含各类典型地物且存在变化的区域。[0146]s1-2-3变化区域标注：标注出发生变化的对各类典型地物进行标注，包括发生变化的地物类型及其变化区域。[0147]s1-2-4图像切割与数据增广：对标注好的图片进行裁剪，形成统一的尺寸规格，便于模型训练。同样通过对图像数据采用几何及色彩变幻两种增广操作。[0148]s1-2-5样本输出与存储：对标准样本进行统一编号，并按规定格式进行存储管理。[0149]其中，步骤s1-2-1中多期高光谱图像维获取包括如下步骤：[0150]如图3所示，将研究区划分为4个子区域，配备无人机架数4n，每个子区域的无人机驾数n＝2；[0151]在预设的气象条件下，将8架无人机在每个子区域2架的分配下，沿着预定的蛇形曲线对各种类的地理实体的多个子区域进行高光谱采集，每个子区域划分为两个次子区域专门有被分配的2架无人机分别进行高光谱采集，将所述多个子区域采集的高光谱中图像维进行拼接，形成研究区内的高光谱图像；[0152]所有无人机的飞行高度一致为120米，所有无人机按照预定的飞行路线在同一时刻同时开始飞行，且在同一时间点停止一切采集。[0153]其中图像切割如图4所示，为多期高光谱图像维中的一期图像，直接用于裁剪，在其中设定随机点，以此随机点为原点生成具有随机角度的572×572裁切框。[0154]如图5所示，数据增广中几何变换包括对数据进行翻转、旋转、缩放、位移，色彩变换包括值上下30％改变数据的饱和度、亮度、对比度、锐度、模糊、加噪。[0155]如图6所示，步骤s1-2-3中的发生变化的具体判别包括如下步骤：将同在随机裁剪的图像的区域内的地j期和第j+1期图像之间进行叠加差分得到差分图，若差分图像素总值超出预设范围即600n，n为差分图总像素数，则确认变化，或者在差分图内选择叠加9个具有编号阿拉伯数字1-9的圆圈方正图案的模板，使得编号5的圆心与差分图的中心重合，计算模板内9个圆圈内像素总值(图6中右下角九个点对应的像素值总和)，若模板内像素总值超出预设范围则确认变化。[0156]又或者计算的9个方正圆圈点为自变量，圆圈内像素总值为变量的分布曲线，比较无变化的平直分布曲线(即9个圆圈内像素比值均为1)与该分布曲线之间的相似度，如果相似度超过预设值则表明无变化，否则确认变化。所述相似度是指比较无变化的分布曲线与该分布曲线中对应的几何阵列图案中编号排序的每一个阵列元素区域内的像素总值的大小比值的对于所有阵列元素区域个数的平均值。在图6中就是黑色折线在9个自变量上的对应像素值大小与平直线对应的像素值比值总和除以九。[0157]实施例2[0158]本实施例说明s2以及pspnet建模，具体包括[0159]s2-1根据典型地物智能识别样本以及变化检测样本中的标注结果将样本按照不同地物类型分为：[0160](1)自然地物类型，包括林地、草地、耕地、裸地、海面、河流；[0161](2)人工建筑物类型，包括房屋、道路、灯塔；[0162](3)重要目标类型，包括船舰、飞机、码头、油罐；[0163](4)建筑物变化类型；[0164]其中每一类地物都包含未变化和变化区域都分为训练集、验证集以及测试集比例为3:1:1。[0165]s2-2按照不同地物类型采用不同的人工智能模型进行相应地物分类识别模型系建立，具体包括：[0166](5)pspnet、unet、deeplabv3+进行林地、草地、耕地、裸地、海面识别；[0167](6)利用改进的d-linknet对多尺度道路、河流识别；[0168](7)基于scrdet+csl进行船舰，灯塔，飞机，码头，油罐，房屋重要目标类型识别；[0169](8)利用基于孪生网络scnn的stanet模型对多时期建筑物变化进行检测。[0170]其中对林地、草地采用pspnet模型识别建模，对耕地、裸地采用unet模型识别建模，而对海面采用deeplabv3+模型识别建模；[0171](9)将pspnet、unet、unet++、deeplabv3+、改进的d-linknet、scrdet+csl、基于孪生网络scnn的stanet构建模型系ms＝{pspnet、unet、unet++、deeplabv3+、d-linknet+、scrdet+csl、scnn-stanet}。[0172]pspnet建模包括如下步骤：[0173]如图7所示，a-1将未变化区域的训练集输入cnn骨架网路中，获得特征图；[0174]a-2将a-1中的特征图输入4种不同金字塔尺度的金字塔池化模块ppm，得到连接特征；[0175]a-3将ppm中输出的连接特征输入卷积层得到预测图，利用验证集验证正确率以及获得损失函数值，反向传播调整ppm网络参数，直到正确率acc和损失函数值稳定，训练完毕。[0176]其中a-1使用预训练过的resnet模型来提取特征图，最终特征图尺寸为输入图像的1/8，ppm中按照4种不同金字塔尺度将特征图进行池化，通过各自卷积层获得不同的特征映射，通过上采样获得全局上下文信息，最终融合得到全局特征，并与输入的特征图连接起来获得连接特征。[0177]实施例3[0178]本实施例将说明unet(unet++)建模包括如下步骤：[0179]如图8所示，b-1将未变化区域的训练集输入双池化作用层，将输出端进行2×2最大池化后继续进行双池化作用和2×2的最大池化，以此循环4次，直到最后一次2×2的最大池化后形成最小尺寸特征图，再经过最后一次双池化作用连同每一次循环之后得到多个最大池化特征图；[0180]b-2将第4次循环双池化作用得到的特征图与第3次循环双池化作用并2×2反卷积之后得到的特征图进行复制、裁剪、以及拼接，其中在复制之后，裁剪是将两者之间尺寸较大者进行裁剪以适应与较小者的尺寸；然后将拼接的特征图继续双池化作用后，继续2×2反卷积，得到的特征图与第2循环双池化作用得到的特征图继续进行复制、裁剪、以及拼接；以此不断循环，直到第一次双池化作用得到的特征图与最后一次拼接并双池化作用得到的特征图进行复制、裁剪、以及拼接，得到最后一次拼接的特征图；[0181]b-3将最后一次拼接的特征图进行最后一次双池化作用，并做1×1卷积输出分割图；采用验证集验证正确率和损失函数值，反向传播调整各池化和反卷积和卷积参数，直到正确率acc和损失函数值稳定，训练完毕。[0182]其中，双池化作用都是3×3卷积后relu函数激活，且stride是1，padding策略是vaild，最大池化操作需要选取合适的输入大小，以防止池化之前特征图的大小是奇数而损失信息。[0183]其中，图8中的输入训练集的图像大小与实施例1一致，是572×572。各双池化作用形成层数以及图像大小一如图8中标注。通过b-1下采样以及b-2的上采样形成形似u的网络结构，故命名为unet。[0184]如图9所示为对应四阶unet++建模，其中每个圆圈内的带不同数字对为编号上标的x表示各下采样、上采样和复制剪切拼接之后进行的卷积操作[0185]unet++建模与unet区别在于第一次双池化作用以及在第3次循环中的双池化作用之后的特征图都进行h卷积函数反复作用并激活，从而对于第1次循环和第倒数第二次循环中得到连续的多个特征图，形成一种底层特征图个数为1、顶层个数为5，且从底层开始逐层增加一个特征图的的到三角形特征图结构。[0186]其中，倒三角的左侧一条边的多个特征图即为unet中的第一次双池化作用和后续循环中各最大池化作用得到池化图，选择这些连续的多个特征图和除最底层之外的倒三角的左侧一条边的特征图中的任一一个特征图用于进行跳跃式地与unet一致的特征复制、裁剪、拼接，所述的跳跃是指所述的任一一个特征图复制、裁剪、拼接到相同循环层上与其相邻的下一个特征图以及本循环层中2×2反卷积上来得到的特征图中，并且平行于倒三角的右侧一条边的方向上，属于倒三角中的所有多个特征图都从该方向上最底层的特征图开始依次2×2反卷积到上一层的该方向上的特征图中，用于与其左侧相邻和次相邻的特征图进行所述复制、裁剪、拼接，损失函数为倒三角型最上层左起第2到最后一个特征图分别与原始输入特征图之间多个交叉熵损失函数l的总和。[0187]实施例4[0188]本实施例说明deeplabv3+建模过程包括：[0189]如图10所示，c-1将未变化区域的训练集输入编码模块中的dcnn模型进行atrous卷积，形成四个不同空洞率的空洞卷积和一个全局平均池化五个特征图结果(其中三个膨胀率rate为6,12,18)，将五个特征图结果进行连接，采用1×1卷积之后进入解码模块进行编码特征采用因子4的双线性上采样；c-2dcnn模型进行atrous卷积结果中浅层特征在解码模块中进行1×1卷积，并与c-1中上采样结果进行连接得到图像级特征，进行3×3卷积后再进行编码特征采用因子4的双线性上采样输出识别结果，利用验证集验证正确率以及获得损失函数值，反向传播调整deeplabv3+网络参数，直到正确率和损失函数值稳定，训练完毕。[0190]实施例5[0191]本实施例说明改进d-linknet模型建模过程，如图11所示，改进的d-linknet建模过程包括：[0192]先建立d-linknet模型，包括：[0193]d-1将未变化区域的训练集在编码器中经过7×7卷积，stride为2，最大池化后三阶残差，将结果进行最大池化作用继续四阶残差，将结果进行最大池化作用继续六阶残差，将结果进行最大池化作用后最后一次三阶残差作用后进入中间部分；[0194]d-2进入中间部分后以级联模式堆叠的空洞卷积，用来增加网络中心部分特征的感受野并保留详细信息，其中，级联模式包括分别连续进行膨胀值为1,2,4,8，连续进行膨胀值为1,2,4,连续进行膨胀值为1,2，进行膨胀值为1的3×3的卷积，与不进行膨胀卷积的三阶残差结果一起进行加和进入解码器；[0195]d-3解码器中，对于加和后的结果采用转置卷积层进行双重采样，与六阶残差结果加和继续采用转置卷积层进行双重采样，然后继续与四阶残差结果加和再继续采用转置卷积层进行双重采样，接着再继续与三阶残差结果加和再最后一次采用转置卷积层进行双重采样；[0196]d-4将最后一次采用转置卷积层进行双重采样结果进行4×4转置卷积后进行膨胀值为1的3×3卷积，通过sigmond函数输出识别结果，利用验证集验证正确率以及获得损失函数值，反向传播调整ppm网络参数，直到正确率和损失函数值稳定，训练完毕；[0197]如图12所示，再进行改进，包括：[0198]a.d-1中7×7卷积后的结果与最后一次采用转置卷积层进行双重采样结果也进行加和；[0199]b.在d-1中7×7卷积之前基于迁移学习，加载vgg16预训练模型参数rgb梯度，以提升encoder的提取特征能力；[0200]c.在d-2中级联模式之后增加密集空洞卷积模块，为分别连续进行膨胀值为2,4,8，连续进行膨胀值为2,8连续进行膨胀值为4,8的3×3的卷积，以及不进行膨胀卷积的d-2中级联模式加和结果一起进行加和进入解码器(如图12右侧图所示)；[0201]d.d-3中每一次残差结果在与采用转置卷积层进行双重采样进行加和前进行平均池化过程，并将平均池化结果加和到下一高阶的残差结果中去，以及d-2的级联模式堆叠的空洞卷积计算中去；[0202]e.损失函数采用自适应损失函数，解决小尺度道路样本过少的样本不平衡问题。其中图像的尺寸大小如图11所示。[0203]实施例6[0204]本实施例说明scrdet+csl建模过程包括：[0205]如图13和14所示，e-1将未变化区域的训练集输入，首先使用resnet根据事先设定的特征图相对于原始图像的缩放因子sa提取出c2、c3、c4不同尺寸的特征图，用c3和c4两层在sf-net中分别进行16/s倍率上采样以及8/s倍率上采样和inception模块，再进行特征融合，得到特征图f3；其中inception模块为前一图层分别进行四组多卷积层后进行过滤器连接，其中四组多卷积层分别包括1×1卷积{192，stride 1，s}、1×3卷积{224，stride1，s}、3×1{256，stride 1，s}组成的第一组卷积层，1×1卷积{192，stride 1，s}、5×1卷积{192，stride 1，s}、1×5卷积{224，stride 1，s}、7×1卷积{224，stride1，s}、1×7{256，stride 1，s}组成的第二组卷积层，其中{}中的从左到右为像素尺寸，stride值，缩放因子，3×3平均池化{stride 1，s}其中{}中的从左到右为stride值，缩放因子、1×1卷积{128，stride1，s}组成的第三组卷积层，以及1×1卷积{384，stride，s}，其中stride和s未给出数值的为可人为设定；[0206]e-2然后该特征图f3经过像素注意网络和通道注意网络后，与输入的f3进行卷积运算，得到输出新的特征图a3；[0207]e-3将a3作为rotation branch的输入，进行rpn提取候选框，候选框映射到特征图a3中后进行roi align，然后进行目标分类与位置回归，得到最后预测的结果，利用验证集验证正确率以及获得损失函数值，反向传播调整ppm网络参数，直到正确率和损失函数值稳定，训练完毕。[0208]e-4针对scrdet预测结果边界不连续问题采用环形平滑标签csl，将角度预测从回归任务转变为分类任务。[0209]如图[0210]其中e-1由sf-net模块进行完成，如图13所示；e-2由mda-net模块完成，如图14所示，mda-net由两部分注意力机制组成，包括像素注意力网络以及通道注意力机制(senet的结构)，对于前者，图像经过sf-net后得到的特征图f3经过inception模块使用不同的卷积核进行不同尺度的特征提取，然后经过卷积操作得到双通道的显著性映射，对目标区域进行采用注意力损失函数进行二值化处理反向传播训练，得到含有目标区域的二值化图，其中显著性高的区域赋1值，其他不重要的区域赋0值，将图像变成由0/1组成的像素点图像，将二值图进行softmax后把数值限制在[0，1]之间；[0211]对于后者，使用gap输出c个特征通道的数值分布，然后将特征的维度降低到输入的1/r，经过relu激活后再通过一个fc将维度变为原来的维度。然后通过sigmoid获得[0，1]之间归一化的权重。最后将三个部分相乘，得到新的特征图a3。[0212]csl以一度一类为例，角度预测的最大和期望的损失分别是0.5和0.25，假如，有两个相同的长宽比1:9的同中心的矩形，角度相差0.5和0.25，则他们之间的iou只下降了0.05和0.02。这对于最后评测其实影响非常小，因此，将角度预测方式转换成分类问题是可行的。csl的具体表达式如下：[0213][0214]公式中的g(x)是窗口函数，窗口函数的半径由r来控制，使用的窗口函数主要要有四点性质：周期性、对称性、最大值为1以及单调性。满足这4点性质的窗口函数有矩阵函数、三角函数以及高斯函数等。[0215]由于窗口函数的设置，使得模型可以衡量预测标签和地面真相标签之间的角度距离，即在一定范围内越靠近真实值的预测值的损失值越小。而且通过引入周期性解决了角度周期性的问题，即使得89°和-90°两个度数变成是近邻的。这个过程如图15所示。[0216]实施例7[0217]本实施例将说明基于孪生网络scnn的stanet模型以及步骤s3,包括如下步骤：[0218]如图16所示，f-1输入一对多期高光谱图像维，采用resnet50网络进行特征提取获得特征图；f-2将f-1中的特征图输入时空注意力模块bam和金字塔自注意力模块pam，分别获得时空注意力特征图和金字塔自注意力特征图；[0219]f-3将时空注意力特征图和金字塔自注意力特征图输入度量模块，计算两个特征图中每个像素对之间的距离，生成距离图d，结合真实标签m构造损失函数，利用验证集验证正确率以及获得损失函数值，反向传播调整bam和pam网络参数，直到正确率和损失函数值稳定，训练完毕，其中，[0220]如图17所示，bam具体包括，将提取到的特征图通过1×1卷积形成key张量、query张量、和value张量，分别整形之后形成三个整形矩阵，其中转置之后和进行矩阵乘法经softmax函数之后得到协方差矩阵，再与矩阵乘法之后得到矩阵再经整形得到整形后的矩阵y，与特征图相加和得到时空注意力特征图zbam；[0221]如图18所示，pam具体包括，将提取到的特征图通过1×1卷积形成4种不同尺度的金字塔结构，分别输入bam中输出四个时空注意力特征图进行连接，再进行1×1卷积后得到矩阵y，最后与特征图相加和得到金字塔注意力特征图zpam，再对zpam进行双线性插值将图像恢复到输入图像大小。[0222]s3按照步骤s1的方法采集待分类地物高光谱图像，即预测集中的图像输入步骤s2建立的地物智能识别模型系ms中，得到预测概率最高地物类型作为待测地物的分类，并对模型系ms中的各模型识别能力进行定量评价。结果如表1所示：[0223]表1示范区典型地物分类精度详表[0224][0225]其中：1-城路；2-村路；3-大棚；4-建筑；5-非主要作物；6-水塘；7-林地；8-水稻；9-水体；10-玉米；11-草地；12-裸地；13-其他[0226]实施例8[0227]如图19所示，一种实现实施例1-7的基于无人机低空采样的地物分类人工智能识别方法的基于无人机低空采样的地物分类人工智能识别系统，其特征在于包括：[0228]基于pspnet、unet、unet++、deeplabv3+模型的自然地物类型识别模块，基于scrdet+csl船舰，灯塔，飞机，码头，油罐，房屋重要目标类型识别模块，基于d-linknet+道路、河流识别模块，以及模型选择和优化模块。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!