一种基于多特征反馈融合的医学影像去噪方法 专利技术说明

计算;推算;计数设备的制造及其应用技术1.本发明涉及医学影像去噪技术领域，具体涉及一种基于多特征反馈融合的医学影像去噪方法。背景技术：2.清晰干净的冠状动脉cta影像是医生临床诊断中一个重要判断依据，但对于cta影像的噪声处理仍具挑战性。运动伪影造成的噪声、噪声形成的粗颗粒伪影和脂肪堆积造成的脂肪伪影在血管壁形成局部低密度阴影等问题都导致冠状动脉血管成像不清晰。虽然传统的噪声处理方法在图像去噪方面都取得了相当好的性能，它们也存在一些缺点：需要手动设置参数，过于依赖人工；特定模型处理，不具普适性等。而一些基于机器学习的办法对于边缘信息较弱的医学噪声影像处理效果不佳，难以过滤特殊而又复杂的模糊边缘，缺少细节的处理。技术实现要素：3.本发明为了克服以上技术的不足，提供了一种降低噪声对冠状动脉cta影像的基于多特征反馈融合的医学影像去噪方法。4.本发明克服其技术问题所采用的技术方案是：5.一种基于多特征反馈融合的医学影像去噪方法，包括：6.a)采集冠状动脉cta影像，将采集的冠状动脉cta影像进行预处理，得到影像d，d∈rc×h×w，其中r为实数空间，c为影像的通道数，h为影像的高度，w为影像的宽度；7.b)建立多特征反馈融合网络，将影像d输入到多特征反馈融合网络中，输出得到特征图dq1-1；8.c)将特征图dq1-1经过卷积操作后得到特征图dq1-1-r，将特征图dq1-1-r进行下采样处理后得到特征图dq2-r-m，9.d)将特征图dq2-r-m替代步骤b)中的影像d后输入到多特征反馈融合网络中，输出得到特征图dq2-1；10.e)将特征图dq2-1经过卷积操作后得到特征图dq2-1-r，将特征图dq2-1-r进行下采样处理后得到特征图dq3-r-m，11.f)将特征图dq3-r-m替代步骤b)中的影像d后输入到多特征反馈融合网络中，输出得到特征图dq3-1；12.g)将特征图dq3-1经过卷积操作后得到特征图dq3-1-r，将特征图dq3-1-r进行下采样处理后得到特征图dq4-r-m，13.h)将特征图dq4-r-m替代步骤b)中的影像d后输入到多特征反馈融合网络中，输出得到特征图dq4-1；14.i)将特征图dq4-1经过卷积操作后得到特征图dq4-1-r，将特征图dq4-1-r输入到全局平均池化层中，将其转为1×1×c的向量dq4-1-r-g；15.j)通过公式计算得到一维卷积核的大小k，式中γ和b均为参数，将向量dq4-1-r-g输入到大小为k的卷积核中进行卷积后再输入到sigmoid函数层中，得到特征图dq4-1-r-g-sig，将特征图dq4-1-r-g-sig与特征图dq4-1-r逐通道相乘，得到加权后的特征图dq4-1-r′；16.k)将特征图dq4-1-r′进行上采样处理后依次输入到二维卷积层、dropout层、最大池化层后得到特征图dq4-1-r″，将特征图dq4-1-r″输入到反卷积层中，得到图像dq3-1-r′，将图像dq3-1-r′输入到反卷积层中，得到图像dq2-1-r′，将图像dq2-1-r′输入到反卷积层中，得到图像dq1-1-r′，，17.l)将图像dq1-1-r′进行上采样处理，得到恢复的影像d，d∈rc×h×w。18.进一步的，步骤a)中对冠状动脉cta影像进行预处理的步骤为：将采集的冠状动脉cta影像进行归一化操作，统计归一化后的cta影像的大小，将归一化后的cta影像大小尺寸缩放到512×512后输出得到影像d。19.进一步的，步骤b)包括如下步骤：20.b-1)建立由并联扩张卷积模块am及特征反馈融合模块mffm构成的多特征反馈融合网络，所述并联扩张卷积模块am由扩张率为1×1的第一空洞卷积模块、扩张率为2×2第二空洞卷积模块、扩张率为3×3第三空洞卷积模块，第一空洞卷积模块的卷积核大小为3×3，感受野为3×3，第二空洞卷积模块的卷积核大小为3×3，感受野为5×5，第三空洞卷积模块的卷积核大小为3×3，感受野为7×7，所述特征反馈融合模块mffm由大小为1×1的卷积核、第一分支、第二分支构成，所述第一分支由平均池化层、最大池化层构成，所述第二分支由全局平均池化层、全局最大池化层构成；21.b-2)将影像d分别输入到多特征反馈融合网络的并联扩张卷积模块am的第一空洞卷积模块、第二空洞卷积模块及第三空洞卷积模块中，分别得到特征图d1-1∈rc×h×w、特征图d1-2∈rc×h×w、特征图d1-3∈rc×h×w；22.b-3)将特征图d1-1∈rc×h×w、特征图d1-2∈rc×h×w、特征图d1-3∈rc×h×w分别依次输入到bn层及relu函数层后分别得到特征图d1-1-br、特征图d1-2-br、特征图d1-3-br；23.b-4)将特征图d1-1-br输入到多特征反馈融合网络的特征反馈融合模块mffm的第一分支中，特征图d1-1-br输入到第一分支的平均池化层后，得到特征图d1-1-br-a，特征图d1-1-br输入到第一分支的最大池化层后，得到特征图d1-1-br-m，将特征图d1-1-br-a与特征图d1-1-br-m相加得到特征图d1-1-br-am，将特征图d1-1-br-am输入到多特征反馈融合网络的特征反馈融合模块mffm的第二分支中，特征图d1-1-br-am输入到第二分支的全局平均池化层后，得到特征图d1-1-br-am-ga，特征图d1-1-br-am输入到第二分支的全局最大池化层后，得到特征图d1-1-br-am-gm，将特征图d1-1-br-am-ga输入到特征反馈融合模块mffm的大小为1×1的卷积核中进行卷积，得到特征图d1-1-br-am-ga-1，将特征图d1-1-br-am-gm输入到特征反馈融合模块mffm的大小为1×1的卷积核中进行卷积，得到特征图d1-1-br-am-gm-1，将d1-1-br-am-ga-1和d1-1-br-am-gm-1相加得到特征图d1-1-br-am-gam，将特征图d1-1-br-am-gam与特征图d1-1进行特征融合，得到特征图d1-1′；24.b-5)将特征图d1-2-br输入到多特征反馈融合网络的特征反馈融合模块mffm的第一分支中，特征图d1-2-br输入到第一分支的平均池化层后，得到特征图d1-2-br-a，特征图d1-2-br输入到第一分支的最大池化层后，得到特征图d1-2-br-m，将特征图d1-2-br-a与特征图d1-2-br-m相加得到特征图d1-2-br-am，将特征图d1-2-br-am输入到多特征反馈融合网络的特征反馈融合模块mffm的第二分支中，特征图d1-2-br-am输入到第二分支的全局平均池化层后，得到特征图d1-2-br-am-ga，特征图d1-2-br-am输入到第二分支的全局最大池化层后，得到特征图d1-2-br-am-gm，将特征图d1-2-br-am-ga输入到特征反馈融合模块mffm的大小为1×1的卷积核中进行卷积，得到特征图d1-2-br-am-ga-1，将特征图d1-2-br-am-gm输入到特征反馈融合模块mffm的大小为1×1的卷积核中进行卷积，得到特征图d1-2-br-am-gm-1，将d1-2-br-am-ga-1和d1-2-br-am-gm-1相加得到特征图d1-2-br-am-gam，将特征图d1-2-br-am-gam与特征图d1-2进行特征融合，得到特征图d1-2′；25.b-6)将特征图d1-3-br输入到多特征反馈融合网络的特征反馈融合模块mffm的第一分支中，特征图d1-3-br输入到第一分支的平均池化层后，得到特征图d1-3-br-a，特征图d1-3-br输入到第一分支的最大池化层后，得到特征图d1-3-br-m，将特征图d1-3-br-a与特征图d1-3-br-m相加得到特征图d1-3-br-am，将特征图d1-3-br-am输入到多特征反馈融合网络的特征反馈融合模块mffm的第二分支中，特征图d1-3-br-am输入到第二分支的全局平均池化层后，得到特征图d1-3-br-am-ga，特征图d1-3-br-am输入到第二分支的全局最大池化层后，得到特征图d1-3-br-am-gm，将特征图d1-3-br-am-ga输入到特征反馈融合模块mffm的大小为1×1的卷积核中进行卷积，得到特征图d1-3-br-am-ga-1，将特征图d1-3-br-am-gm输入到特征反馈融合模块mffm的大小为1×1的卷积核中进行卷积，得到特征图d1-3-br-am-gm-1，将d1-3-br-am-ga-1和d1-3-br-am-gm-1相加得到特征图d1-3-br-am-gam，将特征图d1-3-br-am-gam与特征图d1-3进行特征融合，得到特征图d1-3′；26.b-7)将特征图d1-1′、征图d1-2′、征图d1-3′分别依次输入到bn层及relu函数层后得到特征图d1-1-br′、特征图d1-2-br′、特征图d1-3-br′；27.b-8)将特征图d1-1-br′、特征图d1-2-br′、特征图d1-3-br′分别输入到特征反馈融合模块mffm的大小为1×1的卷积核中进行卷积，得到特征图p1-1、特征图p1-2、特征图p1-3；28.b-9)将特征图p1-1、特征图p1-2、特征图p1-3分别通过反池化操作放大至相同尺寸后再进行线性相加，得到特征图dq1-1。29.优选的，步骤c)中卷积操作的卷积核大小为3×3，步骤e)中卷积操作的卷积核大小为3×3，步骤g)中卷积操作的卷积核大小为3×3，步骤i)中卷积操作的卷积核大小为3×3。30.优选的，步骤j)中γ＝2，b＝1。31.本发明的有益效果是：运用了采用了解码-编码的网络框架，通过多特征反馈融合网络对图像进行特征提取。特征反馈融合网络由多特征反馈融合模块(mffm)和并联扩张卷积模块组成。通过并联多个不同扩张率的扩张卷积层在提取浅层特征的同时既增大特征图的感受野，又保证信息不丢失。多特征反馈融合模块(mffm)可以将进一步提取的深层特征以注意力机制的形式反馈给浅层特征，从而实现深层特征和浅层特征的深度融合。将融合后的特征图池化放大至相同尺寸可以保证输入特征图的shape不变。利用三次下采样对特征图进行解码,保留图像的详细底层结构，同时去除噪声，再将解码得到的特征图放入通道注意力模块，对特征数据进行权重相加，强化特征向量，降低噪声因子的干扰。后经上采样和跳跃连接结构生成恢复特征图，恢复特征图融合了关键像素特征，强化了特殊而又复杂的模糊边缘，降低了噪声对冠状动脉cta的影响。附图说明32.图1为本发明的方法流程图。具体实施方式33.下面结合附图1对本发明做进一步说明。34.一种基于多特征反馈融合的医学影像去噪方法，包括：35.a)采集冠状动脉cta影像，将采集的冠状动脉cta影像进行预处理，得到影像d，d∈rc×h×w，其中r为实数空间，c为影像的通道数，h为影像的高度，w为影像的宽度。36.b)建立多特征反馈融合网络，将影像d输入到多特征反馈融合网络中，输出得到特征图dq1-1。37.c)将特征图dq1-1经过卷积操作后得到特征图dq1-1-r，将特征图dq1-1-r进行下采样处理后得到特征图dq2-r-m，38.d)将特征图dq2-r-m替代步骤b)中的影像d后输入到多特征反馈融合网络中，输出得到特征图dq2-1。39.e)将特征图dq2-1经过卷积操作后得到特征图dq2-1-r，将特征图dq2-1-r进行下采样处理后得到特征图dq3-r-m，40.f)将特征图dq3-r-m替代步骤b)中的影像d后输入到多特征反馈融合网络中，输出得到特征图dq3-1。41.g)将特征图dq3-1经过卷积操作后得到特征图dq3-1-r，将特征图dq3-1-r进行下采样处理后得到特征图dq4-r-m，42.h)将特征图dq4-r-m替代步骤b)中的影像d后输入到多特征反馈融合网络中，输出得到特征图dq4-1。43.i)将特征图dq4-1经过卷积操作后得到特征图dq4-1-r，将特征图dq4-1-r输入到全局平均池化层中，将其转为1×1×c的向量dq4-1-r-g。44.j)通过公式计算得到一维卷积核的大小k，式中γ和b均为参数，将向量dq4-1-r-g输入到大小为k的卷积核中进行卷积后再输入到sigmoid函数层中，得到特征图dq4-1-r-g-sig，将特征图dq4-1-r-g-sig与特征图dq4-1-r逐通道相乘，得到加权后的特征图dq4-1-r′。45.k)将特征图dq4-1-r′进行上采样处理后依次输入到二维卷积层、dropout层、最大池化层后得到特征图dq4-1-r″，将特征图dq4-1-r″输入到反卷积层中，得到图像dq3-1-r′，将图像dq3-1-r′输入到反卷积层中，得到图像dq2-1-r′，将图像dq2-1-r′输入到反卷积层中，得到图像dq1-1-r′，，46.l)将图像dq1-1-r′进行上采样处理，得到恢复的影像d，d∈rc×h×w。首先通过归一化，统计图像大小，将图像大小尺寸缩放为相同尺寸以便后续处理。其次提出了一种多特征反馈融合网络的特征提取编码-解码器。编码层由多特征反馈融合模块(mffm)和并联扩张卷积模块组成。为防止扩张卷积核不连续导致提取特征不全面，通过并联多个不同扩张率的扩张卷积层，在不丢失过多分辨率的情况下，以不同扩张率的空洞卷积扩大感受野，在浅层特征图上获取多个不同尺度特征图的位置和细节信息。再通过mffm模块将深层特征以注意力机制的形式将更强的语义信息反馈给浅层特征，从而实现深层特征和浅层特征的深度融合，增强深浅层信息的联系。图像经过多特征反馈融合网络和3×3卷积模块提取显着特征，保留图像的详细底层结构，特征提取后通过通道注意力模块对提取的特征进行优化，随着过程的深入，噪声从中被去除，最后通过解码层从提取的特征进行反卷积操作恢复连续的图像细节依次重建达到去噪的效果。47.实施例1：48.步骤a)中对冠状动脉cta影像进行预处理的步骤为：将采集的冠状动脉cta影像进行归一化操作，统计归一化后的cta影像的大小，将归一化后的cta影像大小尺寸缩放到512×512后输出得到影像d。49.实施例2：50.步骤b)包括如下步骤：51.b-1)建立由并联扩张卷积模块am及特征反馈融合模块mffm构成的多特征反馈融合网络，所述并联扩张卷积模块am由扩张率为1×1的第一空洞卷积模块、扩张率为2×2第二空洞卷积模块、扩张率为3×3第三空洞卷积模块，第一空洞卷积模块的卷积核大小为3×3，感受野为3×3，第二空洞卷积模块的卷积核大小为3×3，感受野为5×5，第三空洞卷积模块的卷积核大小为3×3，感受野为7×7，所述特征反馈融合模块mffm由大小为1×1的卷积核、第一分支、第二分支构成，所述第一分支由平均池化层、最大池化层构成，所述第二分支由全局平均池化层、全局最大池化层构成。52.b-2)将影像d分别输入到多特征反馈融合网络的并联扩张卷积模块am的第一空洞卷积模块、第二空洞卷积模块及第三空洞卷积模块中，分别得到特征图d1-1∈rc×h×w、特征图d1-2∈rc×h×w、特征图d1-3∈rc×h×w。53.b-3)将特征图d1-1∈rc×h×w、特征图d1-2∈rc×h×w、特征图d1-3∈rc×h×w分别依次输入到bn层及relu函数层后分别得到特征图d1-1-br、特征图d1-2-br、特征图d1-3-br。54.b-4)将特征图d1-1-br输入到多特征反馈融合网络的特征反馈融合模块mffm的第一分支中，特征图d1-1-br输入到第一分支的平均池化层后，得到特征图d1-1-br-a，特征图d1-1-br输入到第一分支的最大池化层后，得到特征图d1-1-br-m，将特征图d1-1-br-a与特征图d1-1-br-m相加得到特征图d1-1-br-am，将特征图d1-1-br-am输入到多特征反馈融合网络的特征反馈融合模块mffm的第二分支中，特征图d1-1-br-am输入到第二分支的全局平均池化层后，得到特征图d1-1-br-am-ga，特征图d1-1-br-am输入到第二分支的全局最大池化层后，得到特征图d1-1-br-am-gm，将特征图d1-1-br-am-ga输入到特征反馈融合模块mffm的大小为1×1的卷积核中进行卷积，得到特征图d1-1-br-am-ga-1，将特征图d1-1-br-am-gm输入到特征反馈融合模块mffm的大小为1×1的卷积核中进行卷积，得到特征图d1-1-br-am-gm-1，将d1-1-br-am-ga-1和d1-1-br-am-gm-1相加得到特征图d1-1-br-am-gam，将特征图d1-1-br-am-gam与特征图d1-1进行特征融合，得到特征图d1-1′。55.b-5)将特征图d1-2-br输入到多特征反馈融合网络的特征反馈融合模块mffm的第一分支中，特征图d1-2-br输入到第一分支的平均池化层后，得到特征图d1-2-br-a，特征图d1-2-br输入到第一分支的最大池化层后，得到特征图d1-2-br-m，将特征图d1-2-br-a与特征图d1-2-br-m相加得到特征图d1-2-br-am，将特征图d1-2-br-am输入到多特征反馈融合网络的特征反馈融合模块mffm的第二分支中，特征图d1-2-br-am输入到第二分支的全局平均池化层后，得到特征图d1-2-br-am-ga，特征图d1-2-br-am输入到第二分支的全局最大池化层后，得到特征图d1-2-br-am-gm，将特征图d1-2-br-am-ga输入到特征反馈融合模块mffm的大小为1×1的卷积核中进行卷积，得到特征图d1-2-br-am-ga-1，将特征图d1-2-br-am-gm输入到特征反馈融合模块mffm的大小为1×1的卷积核中进行卷积，得到特征图d1-2-br-am-gm-1，将d1-2-br-am-ga-1和d1-2-br-am-gm-1相加得到特征图d1-2-br-am-gam，将特征图d1-2-br-am-gam与特征图d1-2进行特征融合，得到特征图d1-2′。56.b-6)将特征图d1-3-br输入到多特征反馈融合网络的特征反馈融合模块mffm的第一分支中，特征图d1-3-br输入到第一分支的平均池化层后，得到特征图d1-3-br-a，特征图d1-3-br输入到第一分支的最大池化层后，得到特征图d1-3-br-m，将特征图d1-3-br-a与特征图d1-3-br-m相加得到特征图d1-3-br-am，将特征图d1-3-br-am输入到多特征反馈融合网络的特征反馈融合模块mffm的第二分支中，特征图d1-3-br-am输入到第二分支的全局平均池化层后，得到特征图d1-3-br-am-ga，特征图d1-3-br-am输入到第二分支的全局最大池化层后，得到特征图d1-3-br-am-gm，将特征图d1-3-br-am-ga输入到特征反馈融合模块mffm的大小为1×1的卷积核中进行卷积，得到特征图d1-3-br-am-ga-1，将特征图d1-3-br-am-gm输入到特征反馈融合模块mffm的大小为1×1的卷积核中进行卷积，得到特征图d1-3-br-am-gm-1，将d1-3-br-am-ga-1和d1-3-br-am-gm-1相加得到特征图d1-3-br-am-gam，将特征图d1-3-br-am-gam与特征图d1-3进行特征融合，得到特征图d1-3′。57.b-7)将特征图d1-1′、征图d1-2′、征图d1-3′分别依次输入到bn层及relu函数层后得到特征图d1-1-br′、特征图d1-2-br′、特征图d1-3-br′。58.b-8)将特征图d1-1-br′、特征图d1-2-br′、特征图d1-3-br′分别输入到特征反馈融合模块mffm的大小为1×1的卷积核中进行卷积，得到特征图p1-1、特征图p1-2、特征图p1-3。59.b-9)将特征图p1-1、特征图p1-2、特征图p1-3分别通过反池化操作放大至相同尺寸后再进行线性相加，得到特征图dq1-1。60.具体的步骤d)包括如下步骤：61.d-1)将特征图dq2-r-m分别输入到多特征反馈融合网络的并联扩张卷积模块am的第一空洞卷积模块、第二空洞卷积模块及第三空洞卷积模块中，分别得到特征图d2-1∈rc×h×w、特征图d2-2∈rc×h×w、特征图d2-3∈rc×h×w。62.d-2)将特征图d2-1∈rc×h×w、特征图d2-2∈rc×h×w、特征图d2-3∈rc×h×w分别依次输入到bn层及relu函数层后分别得到特征图d2-1-br、特征图d2-2-br、特征图d2-3-br。63.d-3)将特征图d2-1-br输入到多特征反馈融合网络的特征反馈融合模块mffm的第一分支中，特征图d2-1-br输入到第一分支的平均池化层后，得到特征图d2-1-br-a，特征图d2-1-br输入到第一分支的最大池化层后，得到特征图d2-1-br-m，将特征图d2-1-br-a与特征图d2-1-br-m相加得到特征图d2-1-br-am，将特征图d2-1-br-am输入到多特征反馈融合网络的特征反馈融合模块mffm的第二分支中，特征图d2-1-br-am输入到第二分支的全局平均池化层后，得到特征图d2-1-br-am-ga，特征图d2-1-br-am输入到第二分支的全局最大池化层后，得到特征图d2-1-br-am-gm，将特征图d2-1-br-am-ga输入到特征反馈融合模块mffm的大小为1×1的卷积核中进行卷积，得到特征图d2-1-br-am-ga-1，将特征图d2-1-br-am-gm输入到特征反馈融合模块mffm的大小为1×1的卷积核中进行卷积，得到特征图d2-1-br-am-gm-1，将d2-1-br-am-ga-1和d2-1-br-am-gm-1相加得到特征图d2-1-br-am-gam，将特征图d2-1-br-am-gam与特征图d2-1进行特征融合，得到特征图d2-1′。64.d-4)将特征图d2-2-br输入到多特征反馈融合网络的特征反馈融合模块mffm的第一分支中，特征图d2-2-br输入到第一分支的平均池化层后，得到特征图d2-2-br-a，特征图d2-2-br输入到第一分支的最大池化层后，得到特征图d2-2-br-m，将特征图d2-2-br-a与特征图d2-2-br-m相加得到特征图d2-2-br-am，将特征图d2-2-br-am输入到多特征反馈融合网络的特征反馈融合模块mffm的第二分支中，特征图d2-2-br-am输入到第二分支的全局平均池化层后，得到特征图d2-2-br-am-ga，特征图d2-2-br-am输入到第二分支的全局最大池化层后，得到特征图d2-2-br-am-gm，将特征图d2-2-br-am-ga输入到特征反馈融合模块mffm的大小为1×1的卷积核中进行卷积，得到特征图d2-2-br-am-ga-1，将特征图d2-2-br-am-gm输入到特征反馈融合模块mffm的大小为1×1的卷积核中进行卷积，得到特征图d2-2-br-am-gm-1，将d2-2-br-am-ga-1和d2-2-br-am-gm-1相加得到特征图d2-2-br-am-gam，将特征图d2-2-br-am-gam与特征图d2-2进行特征融合，得到特征图d2-2′。65.d-5)将特征图d2-3-br输入到多特征反馈融合网络的特征反馈融合模块mffm的第一分支中，特征图d2-3-br输入到第一分支的平均池化层后，得到特征图d2-3-br-a，特征图d2-3-br输入到第一分支的最大池化层后，得到特征图d2-3-br-m，将特征图d2-3-br-a与特征图d2-3-br-m相加得到特征图d2-3-br-am，将特征图d2-3-br-am输入到多特征反馈融合网络的特征反馈融合模块mffm的第二分支中，特征图d2-3-br-am输入到第二分支的全局平均池化层后，得到特征图d2-3-br-am-ga，特征图d2-3-br-am输入到第二分支的全局最大池化层后，得到特征图d2-3-br-am-gm，将特征图d2-3-br-am-ga输入到特征反馈融合模块mffm的大小为1×1的卷积核中进行卷积，得到特征图d2-3-br-am-ga-1，将特征图d2-3-br-am-gm输入到特征反馈融合模块mffm的大小为1×1的卷积核中进行卷积，得到特征图d2-3-br-am-gm-1，将d2-3-br-am-ga-1和d2-3-br-am-gm-1相加得到特征图d2-3-br-am-gam，将特征图d2-3-br-am-gam与特征图d2-3进行特征融合，得到特征图d2-3′。66.d-6)将特征图d2-1′、征图d2-2′、征图d2-3′分别依次输入到bn层及relu函数层后得到特征图d2-1-br′、特征图d2-2-br′、特征图d2-3-br′。67.d-7)将特征图d2-1-br′、特征图d2-2-br′、特征图d2-3-br′分别输入到特征反馈融合模块mffm的大小为1×1的卷积核中进行卷积，得到特征图p2-1、特征图p2-2、特征图p2-3。68.d-8)将特征图p2-1、特征图p2-2、特征图p2-3分别通过反池化操作放大至相同尺寸后再进行线性相加，得到特征图dq2-1。69.具体的步骤f)包括如下步骤：70.f-1)将特征图dq3-r-m分别输入到多特征反馈融合网络的并联扩张卷积模块am的第一空洞卷积模块、第二空洞卷积模块及第三空洞卷积模块中，分别得到特征图d3-1∈rc×h×w、特征图d3-2∈rc×h×w、特征图d3-3∈rc×h×w。71.f-2)将特征图d3-1∈rc×h×w、特征图d3-2∈rc×h×w、特征图d3-3∈rc×h×w分别依次输入到bn层及relu函数层后分别得到特征图d3-1-br、特征图d3-2-br、特征图d3-3-br。72.f-3)将特征图d3-1-br输入到多特征反馈融合网络的特征反馈融合模块mffm的第一分支中，特征图d3-1-br输入到第一分支的平均池化层后，得到特征图d3-1-br-a，特征图d3-1-br输入到第一分支的最大池化层后，得到特征图d3-1-br-m，将特征图d3-1-br-a与特征图d3-1-br-m相加得到特征图d3-1-br-am，将特征图d3-1-br-am输入到多特征反馈融合网络的特征反馈融合模块mffm的第二分支中，特征图d3-1-br-am输入到第二分支的全局平均池化层后，得到特征图d3-1-br-am-ga，特征图d3-1-br-am输入到第二分支的全局最大池化层后，得到特征图d3-1-br-am-gm，将特征图d3-1-br-am-ga输入到特征反馈融合模块mffm的大小为1×1的卷积核中进行卷积，得到特征图d3-1-br-am-ga-1，将特征图d3-1-br-am-gm输入到特征反馈融合模块mffm的大小为1×1的卷积核中进行卷积，得到特征图d3-1-br-am-gm-1，将d3-1-br-am-ga-1和d3-1-br-am-gm-1相加得到特征图d3-1-br-am-gam，将特征图d3-1-br-am-gam与特征图d3-1进行特征融合，得到特征图d3-1′。73.f-4)将特征图d3-2-br输入到多特征反馈融合网络的特征反馈融合模块mffm的第一分支中，特征图d3-2-br输入到第一分支的平均池化层后，得到特征图d3-2-br-a，特征图d3-2-br输入到第一分支的最大池化层后，得到特征图d3-2-br-m，将特征图d3-2-br-a与特征图d3-2-br-m相加得到特征图d3-2-br-am，将特征图d3-2-br-am输入到多特征反馈融合网络的特征反馈融合模块mffm的第二分支中，特征图d3-2-br-am输入到第二分支的全局平均池化层后，得到特征图d3-2-br-am-ga，特征图d3-2-br-am输入到第二分支的全局最大池化层后，得到特征图d3-2-br-am-gm，将特征图d3-2-br-am-ga输入到特征反馈融合模块mffm的大小为1×1的卷积核中进行卷积，得到特征图d3-2-br-am-ga-1，将特征图d3-2-br-am-gm输入到特征反馈融合模块mffm的大小为1×1的卷积核中进行卷积，得到特征图d3-2-br-am-gm-1，将d3-2-br-am-ga-1和d3-2-br-am-gm-1相加得到特征图d3-2-br-am-gam，将特征图d3-2-br-am-gam与特征图d3-2进行特征融合，得到特征图d3-2′。74.f-5)将特征图d3-3-br输入到多特征反馈融合网络的特征反馈融合模块mffm的第一分支中，特征图d3-3-br输入到第一分支的平均池化层后，得到特征图d3-3-br-a，特征图d3-3-br输入到第一分支的最大池化层后，得到特征图d3-3-br-m，将特征图d3-3-br-a与特征图d3-3-br-m相加得到特征图d3-3-br-am，将特征图d3-3-br-am输入到多特征反馈融合网络的特征反馈融合模块mffm的第二分支中，特征图d3-3-br-am输入到第二分支的全局平均池化层后，得到特征图d3-3-br-am-ga，特征图d3-3-br-am输入到第二分支的全局最大池化层后，得到特征图d3-3-br-am-gm，将特征图d3-3-br-am-ga输入到特征反馈融合模块mffm的大小为1×1的卷积核中进行卷积，得到特征图d3-3-br-am-ga-1，将特征图d3-3-br-am-gm输入到特征反馈融合模块mffm的大小为1×1的卷积核中进行卷积，得到特征图d3-3-br-am-gm-1，将d3-3-br-am-ga-1和d3-3-br-am-gm-1相加得到特征图d3-3-br-am-gam，将特征图d3-3-br-am-gam与特征图d3-3进行特征融合，得到特征图d3-3′。75.f-6)将特征图d3-1′、征图d3-2′、征图d3-3′分别依次输入到bn层及relu函数层后得到特征图d3-1-br′、特征图d3-2-br′、特征图d3-3-br′。76.f-7)将特征图d3-1-br′、特征图d3-2-br′、特征图d3-3-br′分别输入到特征反馈融合模块mffm的大小为1×1的卷积核中进行卷积，得到特征图p3-1、特征图p3-2、特征图p3-3。77.f-8)将特征图p3-1、特征图p3-2、特征图p3-3分别通过反池化操作放大至相同尺寸后再进行线性相加，得到特征图dq3-1。78.具体的步骤h)包括如下步骤：79.h-1)将特征图dq4-r-m分别输入到多特征反馈融合网络的并联扩张卷积模块am的第一空洞卷积模块、第二空洞卷积模块及第三空洞卷积模块中，分别得到特征图d4-1∈rc×h×w、特征图d4-2∈rc×h×w、特征图d4-3∈rc×h×w。80.h-2)将特征图d4-1∈rc×h×w、特征图d4-2∈rc×h×w、特征图d4-3∈rc×h×w分别依次输入到bn层及relu函数层后分别得到特征图d4-1-br、特征图d4-2-br、特征图d4-3-br。81.h-3)将特征图d4-1-br输入到多特征反馈融合网络的特征反馈融合模块mffm的第一分支中，特征图d4-1-br输入到第一分支的平均池化层后，得到特征图d4-1-br-a，特征图d4-1-br输入到第一分支的最大池化层后，得到特征图d4-1-br-m，将特征图d4-1-br-a与特征图d4-1-br-m相加得到特征图d4-1-br-am，将特征图d4-1-br-am输入到多特征反馈融合网络的特征反馈融合模块mffm的第二分支中，特征图d4-1-br-am输入到第二分支的全局平均池化层后，得到特征图d4-1-br-am-ga，特征图d4-1-br-am输入到第二分支的全局最大池化层后，得到特征图d4-1-br-am-gm，将特征图d4-1-br-am-ga输入到特征反馈融合模块mffm的大小为1×1的卷积核中进行卷积，得到特征图d4-1-br-am-ga-1，将特征图d4-1-br-am-gm输入到特征反馈融合模块mffm的大小为1×1的卷积核中进行卷积，得到特征图d4-1-br-am-gm-1，将d4-1-br-am-ga-1和d4-1-br-am-gm-1相加得到特征图d4-1-br-am-gam，将特征图d4-1-br-am-gam与特征图d4-1进行特征融合，得到特征图d4-1′。82.h-4)将特征图d4-2-br输入到多特征反馈融合网络的特征反馈融合模块mffm的第一分支中，特征图d4-2-br输入到第一分支的平均池化层后，得到特征图d4-2-br-a，特征图d4-2-br输入到第一分支的最大池化层后，得到特征图d4-2-br-m，将特征图d4-2-br-a与特征图d4-2-br-m相加得到特征图d4-2-br-am，将特征图d4-2-br-am输入到多特征反馈融合网络的特征反馈融合模块mffm的第二分支中，特征图d4-2-br-am输入到第二分支的全局平均池化层后，得到特征图d4-2-br-am-ga，特征图d4-2-br-am输入到第二分支的全局最大池化层后，得到特征图d4-2-br-am-gm，将特征图d4-2-br-am-ga输入到特征反馈融合模块mffm的大小为1×1的卷积核中进行卷积，得到特征图d4-2-br-am-ga-1，将特征图d4-2-br-am-gm输入到特征反馈融合模块mffm的大小为1×1的卷积核中进行卷积，得到特征图d4-2-br-am-gm-1，将d4-2-br-am-ga-1和d4-2-br-am-gm-1相加得到特征图d4-2-br-am-gam，将特征图d4-2-br-am-gam与特征图d4-2进行特征融合，得到特征图d4-2′。83.h-5)将特征图d4-3-br输入到多特征反馈融合网络的特征反馈融合模块mffm的第一分支中，特征图d4-3-br输入到第一分支的平均池化层后，得到特征图d4-3-br-a，特征图d4-3-br输入到第一分支的最大池化层后，得到特征图d4-3-br-m，将特征图d4-3-br-a与特征图d4-3-br-m相加得到特征图d4-3-br-am，将特征图d4-3-br-am输入到多特征反馈融合网络的特征反馈融合模块mffm的第二分支中，特征图d4-3-br-am输入到第二分支的全局平均池化层后，得到特征图d4-3-br-am-ga，特征图d4-3-br-am输入到第二分支的全局最大池化层后，得到特征图d4-3-br-am-gm，将特征图d4-3-br-am-ga输入到特征反馈融合模块mffm的大小为1×1的卷积核中进行卷积，得到特征图d4-3-br-am-ga-1，将特征图d4-3-br-am-gm输入到特征反馈融合模块mffm的大小为1×1的卷积核中进行卷积，得到特征图d4-3-br-am-gm-1，将d4-3-br-am-ga-1和d4-3-br-am-gm-1相加得到特征图d4-3-br-am-gam，将特征图d4-3-br-am-gam与特征图d4-3进行特征融合，得到特征图d4-3′。84.h-6)将特征图d4-1′、征图d4-2′、征图d4-3′分别依次输入到bn层及relu函数层后得到特征图d4-1-br′、特征图d4-2-br′、特征图d4-3-br′。85.h-7)将特征图d4-1-br′、特征图d4-2-br′、特征图d4-3-br′分别输入到特征反馈融合模块mffm的大小为1×1的卷积核中进行卷积，得到特征图p4-1、特征图p4-2、特征图p4-3。86.h-8)将特征图p4-1、特征图p4-2、特征图p4-3分别通过反池化操作放大至相同尺寸后再进行线性相加，得到特征图dq4-1。87.实施例3：88.步骤c)中卷积操作的卷积核大小为3×3，步骤e)中卷积操作的卷积核大小为3×3，步骤g)中卷积操作的卷积核大小为3×3，步骤i)中卷积操作的卷积核大小为3×3。步骤j)中γ＝2，b＝1。89.最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!