基于长距离注意力机制的卷积特征增强方法和相关装置 专利技术说明

计算;推算;计数设备的制造及其应用技术1.本发明涉及图像处理技术领域，具体是涉及基于长距离注意力机制的卷积特征增强方法和相关装置。背景技术：2.ghostnet(图像特征增强网络)构建的轻量化卷积神经网络，用于移动端或嵌入式平台，ghostnet的核心为ghost模块(图像特征增强模块)。ghost模块首先使用普通卷积(例如1×1point-wiseconvolution)产生内在特征映射，然后使用3×3深度卷积作为廉价线性操作(例如3×3depth-wiseconvolution)产生更多的冗余线性特征。因此，ghost模块产生的特征图中有一半特征是通过廉价线性操作捕获空间信息，其余一半特征仅通过1×1逐点卷积产生，且不与其他像素相互作用，这就导致捕获空间信息的能力有限，削弱了特征表征能力，可能阻碍性能的进一步提高。ghostnetv2作为ghostnet增强版本，构建ghost模块时使用了解耦全连接层注意力机制(dfc注意力增强模块)以捕捉长距离空间位置的依赖关系。ghostv2模块中的dfc注意力机制作用于ghost模块上，也就是dfc注意力机制直接作用于输入给ghost模块的原始特征图，增加dfc注意力机制将导致ghost模块体积变大，前向推理速度变慢。3.综上所述，现有的图像特征增强方法降低了图像处理速度。4.因此，现有技术还有待改进和提高。技术实现要素：5.为解决上述技术问题，本发明提供了基于长距离注意力机制的卷积特征增强方法和相关装置，解决了现有的图像特征增强方法降低了图像处理速度的问题。6.为实现上述目的，本发明采用了以下技术方案：7.第一方面，本发明提供一种基于长距离注意力机制的卷积特征增强方法，其中，包括：8.对图像的原始特征图应用点卷积，得到所述原始特征图的内在特征图；9.对所述内在特征图应用长距离注意力机制，得到初始增强特征图；10.对所述初始增强特征图和所述内在特征图应用深度卷积，得到线性增强特征图；11.依据所述线性增强特征图和所述内在特征图，得到所述图像的目标增强特征图。12.在一种实现方式中，所述对所述内在特征图应用长距离注意力机制，得到初始增强特征图，包括：13.确定所述长距离注意力机制所包括的依次连接的池化层、点卷积层、水平方向卷积层、垂直方向卷积层、上采样层；14.将所述内在特征图输入至所述池化层，得到所述池化层输出的缩小之后的所述内在特征图；15.将缩小之后的所述内在特征图输入至所述点卷积层，得到所述点卷积层输出的特征图；16.将所述点卷积层输出的特征图输入至所述水平方向卷积层，得到所述水平方向卷积层输出的水平方向增强特征图；17.将所述水平方向增强特征图输入至所述垂直方向卷积层，得到所述垂直方向卷积层输出的垂直方向增强特征图；18.对所述垂直方向增强特征图输入至所述上采样层，得到所述上采样层输出的与所述内在特征图的分辨率相匹配的采样特征图；19.依据所述采样特征图和所述内在特征图，得到初始增强特征图。20.在一种实现方式中，所述长距离注意力机制还包括标准化层，所述依据所述采样特征图和所述内在特征图，得到初始增强特征图，包括：21.将所述采样特征图输入至所述标准化层，得到所述标准化层输出的注意力权重值，所述注意力权重值位于设定区间内；22.将所述注意力权重值和所述内在特征图进行逐像素点相乘，得到初始增强特征图。23.在一种实现方式中，所述对所述初始增强特征图和所述内在特征图应用深度卷积，得到线性增强特征图，包括：24.将所述初始增强特征图和所述内在特征图进行逐像素点相加，得到相加之后的增强特征图；25.相加之后的增强特征图应用深度卷积，得到线性增强特征图。26.在一种实现方式中，所述依据所述线性增强特征图和所述内在特征图，得到所述图像的目标增强特征图，包括：27.拼接所述线性增强特征图和所述内在特征图，得到三维的目标增强特征图。28.在一种实现方式中，还包括：29.依据所述内在特征图的原有尺寸，确定所述池化层的尺寸；30.依据所述池化层的尺寸，确定所述水平方向卷积层的尺寸和所述垂直方向卷积层的尺寸。31.在一种实现方式中，还包括：32.将所述点卷积和所述深度卷积以及连接层组装成特征增强模块；33.依据设定数量的所述特征增强模块，构建特征增强网络；34.依据所述特征增强网络，构建卷积神经网络结构；35.依据所述卷积神经网络结构，进行图像处理。36.第二方面，本发明实施例还提供一种基于长距离注意力机制的卷积特征增强装置，其中，所述装置包括如下组成部分：37.点卷积模块，用于对图像的原始特征图应用点卷积，得到所述原始特征图的内在特征图；38.长距离注意力机制模块，用于对所述内在特征图应用长距离注意力机制，得到初始增强特征图；39.深度卷积模块，用于对所述初始增强特征图和所述内在特征图应用深度卷积，得到线性增强特征图；40.增强模块，用于依据所述线性增强特征图和所述内在特征图，得到所述图像的目标增强特征图。41.第三方面，本发明实施例还提供一种终端设备，其中，所述终端设备包括存储器、处理器及存储在所述存储器中并可在所述处理器上运行的基于长距离注意力机制的卷积特征增强程序，所述处理器执行所述基于长距离注意力机制的卷积特征增强程序时，实现上述所述的基于长距离注意力机制的卷积特征增强方法的步骤。42.第四方面，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有基于长距离注意力机制的卷积特征增强程序，所述基于长距离注意力机制的卷积特征增强程序被处理器执行时，实现上述所述的基于长距离注意力机制的卷积特征增强方法的步骤。43.有益效果：本发明首先对图像的原始特征图应用点卷积，得到图像的内在特征图(内在特征图为对原始特征图使用普通卷积处理后的特征图)，然后对内在特征图应用长距离注意力机制(dfc模块)，得到初始增强特征图，之后基于内在特征图对初始增强特征图应用深度卷积，进一步增强图像的特征，得到线性增强特征图(初始增强特征图是对内在特征图使用dfc注意力增强的特征图，其中dfc注意力增强模块融入了上下文信息，线性增强特征图是对初始增强特征图加内在特征图进行线性操作得到的，以提升网络性能)，最后根据线性增强特征图和内在特征图，得到图像的目标增强特征图。从上述分析，本发明的dfc模块是对内在特征图进行增强而不是对图像的原始特征图进行增强，使得dfc模块作用于ghost增强模块外部(点卷积、深度卷积构成了ghost增强模块)，也就是dfc模块和ghost增强模块构成并列关系，从而提升了增强图像特征的处理速度。附图说明44.图1为本发明的整体流程图；45.图2为本发明实施例中的ghost增强模块和dfc注意力增强模块结构图；46.图3为本发明实施例提供的终端设备的内部结构原理框图。具体实施方式47.以下结合实施例和说明书附图，对本发明中的技术方案进行清楚、完整地描述。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。48.经研究发现，ghostnet(图像特征增强网络)构建的轻量化卷积神经网络，用于移动端或嵌入式平台，ghostnet的核心为ghost模块(图像特征增强模块)。ghost模块首先使用普通卷积(例如1×1point-wise convolution)产生内在特征映射，然后使用3×3深度卷积作为廉价线性操作(例如3×3depth-wiseconvolution)产生更多的冗余线性特征。因此，ghost模块产生的特征图中有一半特征是通过廉价线性操作捕获空间信息，其余一半特征仅通过1×1逐点卷积产生，且不与其他像素相互作用，这就导致捕获空间信息的能力有限，削弱了特征表征能力，可能阻碍性能的进一步提高。ghostnetv2作为ghostnet增强版本，构建ghost模块时使用了解耦全连接层注意力机制(dfc注意力增强模块)以捕捉长距离空间位置的依赖关系。ghostv2模块中的dfc注意力机制作用于ghost模块上，也就是dfc注意力机制直接作用于输入给ghost模块的原始特征图，增加dfc注意力机制将导致ghost模块体积变大，前向推理速度变慢。49.为解决上述技术问题，本发明提供了基于长距离注意力机制的卷积特征增强方法和相关装置，解决了现有的图像特征增强方法降低了图像处理速度的问题。具体实施时，首先对图像的原始特征图应用点卷积，得到所述原始特征图的内在特征图；然后对内在特征图应用长距离注意力机制对其进行增强以得到初始增强特征图；之后对初始增强特征图和内在特征图应用深度卷积进一步增强特征以得到线性增强特征图；最后依据线性增强特征图和内在特征图，得到图像的目标增强特征图。50.示例性方法51.本实施例的基于长距离注意力机制的卷积特征增强方法可应用于终端设备中，所述终端设备可为具有图像采集功能的终端产品，比如相机等。在本实施例中，如图1中所示，所述基于长距离注意力机制的卷积特征增强方法具体包括如下步骤：52.s100，对图像的原始特征图应用点卷积，得到所述原始特征图的内在特征图。53.如图2所示，首先提取出图像的原始特征图(即图2中的输入特征图)，将原始特征图输入到点卷积算法中(图2中的conv2dblock1),conv2dblock1输出内在特征图x1。在一个实施例中conv2dblock1的尺寸为1x1。54.s200，对所述内在特征图应用长距离注意力机制，得到初始增强特征图。55.在一个实施例中，如图2所示，长距离注意力机制(dfc注意力增强模块)包括池化层(平均池化层avgpool2d)、点卷积层(conv2dblock1)、水平方向卷积层(dwconldblock31)、垂直方向卷积层(dwconldblock13)、上采样层(upsampling)、标准化层(sigmoid)。该实施例中，使用dfc注意力增强模块增强图像特征的步骤如下s201至s207：56.s201，将所述内在特征图输入至所述池化层，得到所述池化层输出的缩小之后的所述内在特征图。57.在一个实施例中，平均池化操作下采样内在特征图x1以减小其大小，使得dfc注意力增强模块中的所有操作都在较小的内在特征图x1上进行，以提升dfc注意力增强模块处理内在特征图的速度。该实施例中，平均池化层的大小为4，因此可以将内在特征图的宽度和高度都缩小为原始宽度和原始高度的1/4。在另一个实施例中，也可以根据实际对dfc注意力增强模块处理速度的需求而自定义平均池化层的尺寸。58.s202，将缩小之后的所述内在特征图输入至所述点卷积层，得到所述点卷积层输出的特征图。59.使用conv1x1的点卷积层将缩小之后的内在特征图x1∈rc×h×w转化为dfc注意力增强模块能够识别的特征图。60.s203，将所述点卷积层输出的特征图输入至所述水平方向卷积层，得到所述水平方向卷积层输出的水平方向增强特征图。61.在一个实施例中，水平方向卷积层为一维卷积，卷积核大小为1×kh，kh的值为3。62.s204，将所述水平方向增强特征图输入至所述垂直方向卷积层，得到所述垂直方向卷积层输出的垂直方向增强特征图。63.在一个实施例中，垂直方向卷积为一维卷积，卷积核大小为1×kw，kw的值为3。64.水平方向和垂直方向分别是指图像水平方向和图像垂直方向，图像为矩形状，图像相邻两边分别为水平方向和垂直方向。本实施例在水平方向进行卷积和垂直方向进行卷积，其目的将原始卷积分解为水平和垂直方向分别处理，减小计算量。65.s205，对所述垂直方向增强特征图输入至所述上采样层，得到所述上采样层输出的与所述内在特征图的分辨率相匹配的采样特征图。66.将经过水平方向和垂直方向卷积的特征图输入至上上采样层upsampling中，upsampling采用上采样插值算法将垂直方向增强特征图的分辨率调整至和内在特征图的分辨率一样的分辨率。67.s206，将所述采样特征图输入至所述标准化层sigmoid(·)，得到所述标准化层输出的注意力权重值，所述注意力权重值位于设定区间内。68.在一个实施例中，sigmoid(·)将采样特征图标准化到(0,1)，得到注意力权重值。也就是sigmoid(·)将采样特征图中的每个像素点的像素值都标准化到(0,1)内。69.s207，将所述注意力权重值和所述内在特征图进行逐像素点相乘，得到初始增强特征图。70.如图2所示，将注意力权重值和内在特征图进行逐像素点相乘⊙就得到了dfc注意力增强模块输出的增强之后的内在特征图(初始增强特征图)。71.s300，对所述初始增强特征图和所述内在特征图应用深度卷积，得到线性增强特征图。72.步骤s200经过dfc模块对内在特征图x1进行增强处理之后，再将增强处理之后的内在特征图与原始的内在特征图进行逐像素点相加⊕就得到了相加之后的增强特征图(图2中的x2)，之后再对x2应用深度卷积(dwcon2dblock3),dwcon2dblock3对x2处理之后输出线性增强特征图x3，得到的x3相对x2具有更加丰富的特征信息。73.s400，依据所述线性增强特征图和所述内在特征图，得到所述图像的目标增强特征图。74.如图2所示，线性增强特征图x3与内在特征图x1采用concat方法拼接在一起就得到了目标增强特征图y。本实施例之所以将目标增强特征图y(输出特征图)与内在特征图x1进行拼接，是为了使得目标增强特征图y与原始特征图保持相同的维数。75.在一个实施例中，将所述点卷积和所述深度卷积以及连接层组装成特征增强模块；依据设定数量的所述特征增强模块，构建特征增强网络；依据所述特征增强网络，构建卷积神经网络结构；依据所述卷积神经网络结构，进行图像处理。也就是不同的卷积神经网络模型采用invertedbottleneck设计，将两个ghost模块构建一个ghostbottleneck，然后用ghostbottleneck构建不同的卷积神经网络结构，用于图像分类、图像分割、物体检测等视觉任务中。76.综上，本发明首先对图像的原始特征图应用点卷积，得到图像的内在特征图，然后对内在特征图应用长距离注意力机制(dfc模块)，得到初始增强特征图，之后基于内在特征图对初始增强特征图应用深度卷积，进一步增强图像的特征，得到线性增强特征图，最后根据线性增强特征图和内在特征图，得到图像的目标增强特征图。从上述分析，本发明的dfc模块是对内在特征图进行增强而不是对图像的原始特征图进行增强，使得dfc模块作用于ghost增强模块外部(点卷积、深度卷积构成了ghost增强模块)，也就是dfc模块和ghost增强模块构成并列关系，从而提升了增强图像特征的处理速度。77.示例性装置78.本实施例还提供一种基于长距离注意力机制的卷积特征增强装置，所述装置包括如下组成部分：79.点卷积模块，用于对图像的原始特征图应用点卷积，得到所述原始特征图的内在特征图；80.长距离注意力机制模块，用于对所述内在特征图应用长距离注意力机制，得到初始增强特征图；81.深度卷积模块，用于对所述初始增强特征图和所述内在特征图应用深度卷积，得到线性增强特征图；82.增强模块，用于依据所述线性增强特征图和所述内在特征图，得到所述图像的目标增强特征图。83.基于上述实施例，本发明还提供了一种终端设备，其原理框图可以如图3所示。该终端设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏、温度传感器。其中，该终端设备的处理器用于提供计算和控制能力。该终端设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该终端设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于长距离注意力机制的卷积特征增强方法。该终端设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该终端设备的温度传感器是预先在终端设备内部设置，用于检测内部设备的运行温度。84.本领域技术人员可以理解，图3中示出的原理框图，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的终端设备的限定，具体的终端设备以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。85.在一个实施例中，提供了一种终端设备，终端设备包括存储器、处理器及存储在存储器中并可在处理器上运行的基于长距离注意力机制的卷积特征增强程序，处理器执行基于长距离注意力机制的卷积特征增强程序时，实现如下操作指令：86.对图像的原始特征图应用点卷积，得到所述原始特征图的内在特征图；87.对所述内在特征图应用长距离注意力机制，得到初始增强特征图；88.对所述初始增强特征图和所述内在特征图应用深度卷积，得到线性增强特征图；89.依据所述线性增强特征图和所述内在特征图，得到所述图像的目标增强特征图。90.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。91.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!