一种基于多尺度融合残差网络的单幅图像去雨方法

计算;推算;计数设备的制造及其应用技术1.本发明涉及图像处理领域，具体为一种基于多尺度融合残差网络的单幅图像去雨方法。背景技术：2.在图像处理中图像去雨十分重要，常见的几种去雨方法如下：3.先验知识图像去雨方法：先验知识实现图像的去雨是在像素块中分别对背景层和雨层采用高斯混合模型先验，高斯混合模型又称gmm模型，其本质是利用组合多个高斯分布来描述数据信息分布，图像分解与先验信息的组合使用，可以实现较高质量的图像去雨效果。4.基于稀疏编码字典学习和分类器的去雨方法：我们用稀疏编码对原数据进行预处理，将处理后的数据放入一个卷积神经网络去进行学习。学习的过程中，它假设雨水和背景的特征是可分的，并且通过不断对字典和编码进行优化，最终把一个图片分成了一个字典的两个编码之和，这两个编码分别代表雨水的编码和背景的编码。输入一幅雨图，通过一个平滑滤波器分离成高频成分和低频成分，然后对高频成分也就是原始图像中的雨纹信息以及背景纹理信息进行处理，进行patch提取以及字典学习，再进行字典的划分，基于稀疏编码图像分解得到雨成分和无雨成分，将处理得到的无雨成分与之前的低频成分进行加和，得到去雨之后的结果图像。5.先验知识图像去雨不足的地方：去雨效果显著，但是在去雨过后图像的背景信息被过度磨平，遗漏了部分图像细节，图像变的模糊不清，因此基于先验的图像去雨质量有待提升，且计算过程复杂，执行效率较低，并且对于饱和降雨像素的处理还未解决。6.基于稀疏编码字典学习和分类器的不足：当背景与雨水极其相似时，它仍是没办法区分两者，去雨效果在某些特定场景下会失效，为此提供了一种基于多尺度融合残差网络的单幅图像去雨方法。技术实现要素：7.本发明的目的是针对现有技术的缺陷，提供一种基于多尺度融合残差网络的单幅图像去雨方法，以解决上述背景技术提出的问题。8.为实现上述目的，本发明提供如下技术方案：一种基于多尺度融合残差网络的单幅图像去雨方法，具体步骤如下：9.s1、确立训练网络的数据集；10.s2、对于图像的特征提取进行大量提取块的组合实验；11.s3、确立初步的网络结构；12.s4、初始化权重，准备训练；13.s5、对于损失函数的选择，根据经验并结合试验确定损失函数的组合mse和ssim；14.s6、使用国际化的优化器，sgd随机梯度下降算法；15.s7、利用数据集进行网络训练，反复迭代，确定网络的整体结构，寻找最优的准确率；16.s8、使用公认的权威数据集rain100h,rain100l,rain12进行效果测试；17.s9、将合成后的雨图送进卷积神经网络进行前向传播，前向传播过程中会经过卷积层进行特征提取，之后经过归化层进行数据映射，最后通过激活函数来进行非线性映射，提高网络的拟合能力；18.s10、获取去雨图像后与无雨图像(标签label)计算损失；19.s11、得到损失函数后进行反向梯度计算；20.s12、结合学习率进行反向权重更新，学习率一开始按照国际化区域标准设置，随着训次数的迭代，学习率不断下降，每当权重更新后，代表一次训练结束；21.s13、重复s9-s12步操作，继续输入合成数据训练网络，直到loss值趋于平稳，网络收敛；22.s14、训练好的参数被保存下来，测试阶段直接加载保存的模型，然后对输入真实雨图进行前向传播，此时不再进行反向传播，因为无需去更新、保存权重，直接经过计算得到最终的去雨图像。23.作为本发明的一种优选技术方案，所述s7中的网络训练则采用了xavier权重初始化方式，即网络中每一层输出的方差应该和其他输出的方差尽量相等，总的网络训练时间为8个小时。24.作为本发明的一种优选技术方案，所述s7中的网络训练受限于算力条件的影响，网络训练过程中batchsize的取值为4，经过了70轮的训练网络收敛，并且训练时初始学习率设置为0.01，学习率随迭代轮数递减，每20轮超参数lr衰减为原先的1/10。25.作为本发明的一种优选技术方案，所述s2中的组合实验在硬件设备为nvidia geforce gtx 1080ti的计算机集群上进行。26.本发明的有益效果是：本方法以卷积神经网络为基础，巧妙结合多尺度、残差、多分支思想、层级连接思想，设计出层级相连多尺度多分支残差去雨网络；该网络使用不同尺度的卷积核实现多维度特征提取，通过层级相连的方式实现递进多层次学习，可学习更加复杂的特征，从而可以解决背景和雨水相似的情况，在去雨效果上，从定性和定量上都远远超过gmm算法，这大大的提高了图像的质量，同时网络不是过深，训练成本不是太高，本方法具有一定的优越性。27.采用了融合残差、多尺度、多分支思想，实现了一个新的基于深度学习的去雨网络框架，通过端到端无监督的技术，节省了数据处理的时间，提高了实验效率，并且运用本方法的去雨网络，可以获得不错的去雨效果，这个去雨网络，在图像去雨领域具有独创性。附图说明28.图1为本发明的流程图；29.图2为本发明确定网络的整体结构的模块图。具体实施方式30.下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易被本领域人员理解，从而对本发明的保护范围做出更为清楚明确的界定。31.实施例：请参阅图1-2，本发明提供一种技术方案：一种基于多尺度融合残差网络的单幅图像去雨方法，具体步骤如下：32.s1、确立训练网络的数据集；33.s2、对于图像的特征提取进行大量提取块的组合实验；34.s3、确立初步的网络结构；35.s4、初始化权重，准备训练；36.s5、对于损失函数的选择，根据经验并结合试验确定损失函数的组合mse和ssim；37.s6、使用国际化的优化器，sgd随机梯度下降算法；38.s7、利用数据集进行网络训练，反复迭代，确定网络的整体结构，寻找最优的准确率；39.s8、使用公认的权威数据集rain100h,rain100l,rain12进行效果测试；40.s9、将合成后的雨图送进卷积神经网络进行前向传播，前向传播过程中会经过卷积层进行特征提取，之后经过归化层进行数据映射，最后通过激活函数来进行非线性映射，提高网络的拟合能力；41.s10、获取去雨图像后与无雨图像(标签label)计算损失；42.s11、得到损失函数后进行反向梯度计算；43.s12、结合学习率进行反向权重更新，学习率一开始按照国际化区域标准设置，随着训次数的迭代，学习率不断下降，每当权重更新后，代表一次训练结束；44.s13、重复s9-s12步操作，继续输入合成数据训练网络，直到loss值趋于平稳，网络收敛；45.s14、训练好的参数被保存下来，测试阶段直接加载保存的模型，然后对输入真实雨图进行前向传播，此时不再进行反向传播，因为无需去更新、保存权重，直接经过计算得到最终的去雨图像。46.s7中的网络训练则采用了xavier权重初始化方式，即网络中每一层输出的方差应该和其他输出的方差尽量相等，总的网络训练时间为8个小时；网络训练受限于算力条件的影响，网络训练过程中batchsize的取值为4，经过了70轮的训练网络收敛，并且训练时初始学习率设置为0.01，学习率随迭代轮数递减，每20轮超参数lr衰减为原先的1/10。47.s2中的组合实验在硬件设备为nvidia geforce gtx 1080ti的计算机集群上进行。48.对于现有的去雨框架进行创新，设计出基于层级相连的多尺度多分支卷积神经网络图像去雨网络，通过对多尺度残差子模块进行卷积核大小的选择与成熟的堆叠测试，选取了最优结果下的组合，并且应用在整体了融合残差思想的去雨网络上。49.对于去雨效果如下表1、2所示：50.51.表1四种图像去雨算法在两种合成测试集上的psnr(db)对比[0052][0053]表2四种图像去雨算法在两种合成测试集上的ssim对比[0054]从评价指标上来看，本方法比其他两种算法具有更高的psnr和ssim值。不管在大雨还是小雨场景中，本方法得到的去雨图像去雨效果更明显，保真度更高，视觉效果更加清晰自然。其它几种算法都存在去雨不彻底或去雨后背景被过度平滑等问题。[0055]本方法以卷积神经网络为基础，巧妙结合多尺度、残差、多分支思想、层级连接思想，设计出层级相连多尺度多分支残差去雨网络；该网络使用不同尺度的卷积核实现多维度特征提取，通过层级相连的方式实现递进多层次学习，可学习更加复杂的特征，从而可以解决背景和雨水相似的情况，在去雨效果上，从定性和定量上都远远超过gmm算法，这大大的提高了图像的质量，同时网络不是过深，训练成本不是太高，本方法具有一定的优越性。[0056]以上实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!