一种基于遥感影像的船只目标智能检测方法

计算;推算;计数设备的制造及其应用技术1.本发明涉及光学遥感影像目标检测技术领域，尤其涉及一种在复杂背景下的光学遥感影像的船只目标智能检测方法。背景技术：2.船只检测是遥感影像研究的热点领域，因其能广泛应用于水上交通监管、渔业管理以及船只救援等重要方面。过去常使用全天时、受天气影响较小的合成孔径雷达(sar)图像对船只进行检测。随着今年来光学遥感影像分辨率的不断提高，相比于sar图像，光学遥感影像能够提供更为丰富的视觉信息，从而有利于船只的定位以及检测。3.之前，光学遥感影像检测方法主要有2个步骤：首先对图像进行特征提取，再使用分类器对其进行分类。但这些方法通常仅提取了低层特征，对于海浪、云层以及岛屿等干扰没有良好的鲁棒性；人工选取特征非常耗时且强烈依赖于专业知识和数据本身的特征；且没有利用光学遥感影像丰富详细的视觉信息对船只类型进行高效精细的分类。4.随着机器学习的出现和发展，人们试图通过构建一系列机器学习公式对数据进行非线性变换，从而模仿大脑视觉皮层的抽象过程，卷积神经网络(cnn)就是受视觉皮层的深层结构启发而产生的。近年来，卷积神经网络(cnn)在图像分析领域不断取得突破性进展，通过设计、改善神经网络的结构，能够同时实现船只的检测和分类，提高准确率。技术实现要素：5.本发明提供了一种基于遥感影像的船只目标智能检测方法，主要解决的技术问题是：如何提高在复杂背景下的光学遥感影像船只目标检测精度。6.为解决上述技术问题，本发明提供一种基于遥感影像的船只目标智能检测方法，包括：7.将光学遥感影像输入到特征提取网络，得到初步的特征提取结果；8.将初步的特征提取结果中的特征图送入到基于多层垂直注意力模块的特征金字塔网络，得到精细化的特征提取结果；9.将精细后化的特征提取结果中的特征图的分辨率大小进行调整重构出金字塔结构，并将不同分辨率大小的特征图送入到分类分支前增加了一个eca注意力增强模块的head预测头中，得到最终的船只检测结果。10.可选的，所述将光学遥感影像输入到特征提取网络，得到初步的特征提取结果包括：11.将所述光学遥感影像输入到图像分类网络的主干网络，得到所述初步的特则提取结果。12.可选的，所述图像分类网络的主干网络包括swin transformer网络。13.可选的，所述head预测头采用fcos无锚框检测网络的检测头，以预测最终的船只目标类别和目标框。14.可选的，所述将初步的特征提取结果中的特征图送入到基于多层垂直注意力模块的特征金字塔网络，得到精细化的特征提取结果包括：15.特征提取网络对输入的光学遥感影像进行特征提取，经过阶段1、阶段2、阶段3、阶段4处理后，分别获得原图分辨率大小1/2(f1)、1/4(f2)、1/8(f3)、1/16(f4)的初步特征提取结果；16.将初步特征提取结果中f1、f2、f3、f4的特征图，送入到基于多层垂直注意力模块的特征金字塔网络，完成不同分辨率特征图之间信息的融合与特征的精细化提取，输出精细化的特征提取结果，输出的特征图分别记为17.可选的，所述完成不同分辨率特征图之间信息的融合与特征的精细化提取，输出精细化的特征提取结果包括：18.其中，多层垂直注意力模块的顶层只有特征提取网络提取的特征图f4一个输入，对提取的特征图f4进行1×1卷积处理得到conv1×1(f4)，再对其经过一个自注意力机制模块sa处理得到sa(conv1×1(f4))，再与特征提取网络提取的特征图f4相加，然后经过3×3卷积处理，得到本层输出19.除多层垂直注意力模块的顶层外，其他每层的输入包括特征提取网络提取的特征图fj和特征金字塔上层的融合特征图特征提取网络输出的一层特征图fj进行1×1卷积处理得到conv1×1(fj)，再经过一个自注意力机制模块sa得到sa(conv1×1(fj))，上层的融合特征图经过2倍上采样处理得到两者输入到一个跨越注意力模块ca处理得到后与特征提取网络提取的特征图fi相加，再经过3×3卷积处理，得到本层模块输出20.可选的，所述将精细后化的特征提取结果中的特征图的分辨率大小进行调整重构出金字塔结构包括：21.将多层垂直注意力模块底层输出的融合特征图导入特征金字塔的底层p1，对做尺寸为3×3，步长为2的卷积之后，特征图减小为原来的一半，得到p1，再和进行相加，得到的结果再经过尺寸为3×3，步长为1的卷积处理得到下采样结果p2；p2再和进行相加，得到的结果再经过尺寸为3×3，步长为1的卷积得到下采样结果p3；p3再和进行相加，得到的结果再经过尺寸为3×3，步长为1的卷积得到下采样结果p4，最终得到特征金字塔的输出p1、p2、p3、p4。22.本发明的有益效果是：23.本发明提供了一种基于遥感影像的船只目标智能检测方法，将光学遥感影像输入到特征提取网络得到初步的特征提取结果；对初步提取到的特征输入到基于多层垂直注意力模块的特征金字塔网络，得到更加精细化的特征提取融合结果，再经过具有eca注意力增强模块的head检测头，以实现对船只目标的分类检测和定位。相较于之前的光学遥感影像船只检测方法，本方案通过先对光学遥感影像完成初步的特征提取、然后利用基于多层垂直注意力模块的特征金字塔网络对提取到的初步提取结果进行精修，提高了船只的检测精度；并引入了eca注意力增强模块捕获跨通道交互的信息；尤其在针对复杂背景下的船只检测任务，本方案提出的基于多层垂直注意力模块的特征金字塔网络可以使模型具有更高的检测效果。附图说明24.图1为本发明实施例的光学遥感影像船只目标检测方法流程图；25.图2为本发明实施例的光学遥感影像船只目标检测网络结构图；26.图3为本发明实施例的多层垂直注意力模块(vam)结构图。具体实施方式27.为了使本发明的目的、技术方案及优点更加清楚明白，下面通过具体实施方式结合附图对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。28.本实施例提供一种基于复杂背景下基于光学遥感影像的船只目标智能检测方法，其流程如图1所示。首先，将光学遥感影像输入特征提取网络，输出初步的特征提取结果；将初步提取到的特征图输入基于跨尺度语义增强的垂直融合模块的特征金字塔网络中得到精细化的特征提取结果；将精修后的特征图送入到分类分支前增加eca注意力增强模块的head预测头，得到最终的船只检测结果。29.请参见图1，本方案具体实现过程如下：30.步骤一、特征的初步提取31.将光学遥感影像输入已经在imagenet数据集上训练好的swin transformer网络，进行特征提取，得到初步的特征提取结果。swin transformer网络特征提取效果较好，并具有感受野大、效果优的优势。swin transformer网络首先对h×w×3的输入图片进行分区得到多个块patch，之后经过如下所示的四个阶段：32.阶段1：一个patch的特征维度为4x4x3＝48的特征图一开始输入到阶段1的embedding，经过一层线性层投影到c维度，这样就得到了h/4×w/4×c，作为第一个swin transformer block的输入。阶段1由两层transformer block组成，这两层transformer block的核心一个是普通的窗口注意力msa,另一个是滑动窗口注意力msa，可以将二者视为两个模块，在每一个阶段内部就是直接堆积这两个模块。在每个msa模块和每个mlp之前使用layernorm(ln)层，并在每个msa和mlp之后使用残差连接。33.阶段2到阶段4的操作相同，先通过一个patch merging来降低要处理的数据的尺寸，也就是为了从一开始的局部信息搜索到全局信息的提取。将输入按照2x2的相邻patches合并，这样子patch块的数量就变成了h/8x w/8，特征维度就变成了4c，再跟阶段1一样使用linear embedding将4c压缩成2c(通过一个全连接层再调整通道维度为原来的两倍)，也就是说每经过一个阶段，总的数据量变为原来的1/2。然后送入swin transformer block。34.swin transformer网络的训练过程可采用现有的任意方式，此并非本发明的重点，故在此不再赘述，只需输入光学遥感影像完成特征的初步提取即可。本发明可基于如下的基于多层垂直注意力模块的特征金字塔网络，实现对初步特征完成进一步的精细化提取，从而提高复杂背景下的船只检测精度。35.步骤二、特征精细化提取融合36.基于多层垂直注意力模块的特征金字塔网络完成多尺度特征的信息融合。37.将特征提取网络输出的特征图f1、f2、f3、f4，利用特征金字塔网络完成信息融合。本实施例中特征金字塔网络采用跨尺度垂直融合模块结构，四层垂直注意力模块分别和f1、f2、f3、f4横向相连，各个垂直注意力模块之间纵向相连。38.特征提取网络对输入的光学遥感影像进行特征提取，经过阶段1、阶段2、阶段3、阶段4处理后，分别获得原图分辨率大小1/2(f1)、1/4(f2)、1/8(f3)、1/16(f4)的初步特征提取结果。39.将初步特征提取结果中f1、f2、f3、f4的特征图，送入到基于多层垂直注意力模块的特征金字塔网络，完成不同分辨率特征图之间信息的融合与特征的精细化提取，输出精细化的特征提取结果，输出的特征图分别记为40.请参见图3，其中，多层垂直注意力模块的顶层只有特征提取网络提取的特征图f4一个输入，对提取的特征图f4进行1×1卷积处理得到conv1×1(f4)，再对其经过一个自注意力机制模块sa处理得到sa(conv1×1(f4))，再与特征提取网络提取的特征图f4相加，然后经过3×3卷积处理，得到本层输出41.除多层垂直注意力模块的顶层外，其他每层的输入包括特征提取网络提取的特征图fj和特征金字塔上层的融合特征图特征提取网络输出的一层特征图fj进行1×1卷积处理得到conv1×1(fj)，再经过一个自注意力机制模块sa得到sa(conv1×1(fj))，上层的融合特征图经过2倍上采样处理得到两者输入到一个跨越注意力模块ca处理得到后与特征提取网络提取的特征图fi相加，再经过3×3卷积处理，得到本层模块输出42.底层垂直注意力模块(vam)输出的特征图导入特征金字塔(fpn)的底层p1，对p1做尺寸为3×3，步长为2的卷积之后，特征图减小为原来的一半，得到p1，再和进行相加，得到的结果再经过尺寸为3×3，步长为1的卷积得到下采样结果p2；p2再和进行相加，得到的结果再经过尺寸为3×3，步长为1的卷积得到下采样结果p3；p3再和进行相加，得到的结果再经过尺寸为3×3，步长为1的卷积得到下采样结果p4，最终得到特征金字塔(fpn)的输出p1、p2、p3、p4。43.其中，多层垂直注意力模块(vam)的运算原理如下：44.采用具有排列变换结构的多头注意力模块45.pma(q，k，v)＝mha(q+p(q)，k+p(v))；46.其中，pma表示位置编码的多头注意力，p表示位置编码。47.密集注意力da表示为：48.da(fq，fk)＝bn(fq+pma(fq，fk，fk))；49.其中bn表示特征层规范化。50.自注意力机制模块(sa)和跨越注意力模块(ca)为da的进一步扩展：51.sa(fq)＝da(fq，fq)；52.ca(fq，fk)＝da(fq，fk)＝fk→q；53.在多层垂直注意力模块(vam)中，先sa后ca，这种设计有助于提高适应性，因为sa选择地表达来自查询端的信息，ca加权平衡了双方。54.在自上而下的层次结构中，从最顶层(第四层)的vam开始运算，自适应地从高层全局查询相关信息，其最顶层模块关系式为：[0055][0056]记[0057][0058]则垂直注意力模块(vam)的输出为：[0059][0060]步骤三、带有eca注意力增强模块的head目标检测[0061]将步骤二中得到的不同分辨率大小的特征图送入到分类分支前添加eca注意力增强模块的head目标检测头得到船只的检测结果。[0062]eca注意力增强模块在避免跨维的情况下捕获跨通道交互的信息包括：[0063]将特征金字塔的输出结果pj送入head检测头分类分支前的eca注意力增强模块。首先经过全局平均池化，将得到的聚合特征送入一个可以权重共享的1d卷积进行学习，卷积结果与pj相乘得到eca注意力模块的输出结果(j＝1，2，3，4)。[0064]eca注意力增强模块中的1d卷积核k是一个超参，对于不同数量的通道数c应有不同的大小变化，k和c之间应满足下列映射以自适应选择1d卷积核大小：[0065][0066]其中是2的次方考虑到的是通道数量的设计一般都是以2的次方设计的，k应当满足：[0067][0068]其中，k表示卷积核大小，|t|odd表示距离t最近的奇数；c表示通道数；γ和b分别取2和1。[0069]为了提高复杂背景下光学遥感影像的船只目标检测精度，本方案在特征融合金字塔网络的基础上，进一步对特征融合网络进行优化，考虑到光学遥感影像中复杂的背景环境与船只目标检测结果息息相关，影响船只目标检测结果的精度，因此如何提高融合后特征的表达能力是关键。本实施例在常规特征金字塔网络的基础上进行改进，结合了多层垂直注意力模块，完成特征图的跨尺度精细化提取融合，然后输入到分类分支前添加eca注意力增强模块的head检测头完成目标检测，输出检测分类类别和目标位置。[0070]显然，本领域的技术人员应该明白，上述本发明的各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在计算机存储介质(rom/ram、磁碟、光盘)中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。所以，本发明不限制于任何特定的硬件和软件结合。[0071]以上内容是结合具体的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!