极低光原始图像的去噪方法及装置

计算;推算;计数设备的制造及其应用技术1.本发明涉及图像处理的技术领域，尤其涉及一种极低光原始图像的去噪 方法，以及极低光原始图像的去噪装置。背景技术：2.随着拍摄、储存以及显示设备的快速发展，人们对图像质量的要求越来 越高。基于rgb图像的去噪研究渐渐不能满足现实世界的需要，作为原始数 据的raw(原始)图像显然更有研究价值。作为现实世界的通用格式，rgb 图像在存储、显示方面的便捷性又不言而喻。因此，研究从raw噪声图像到 rgb干净图像之间的映射关系，是打破瓶颈的科学而有效的方法。3.以往的去噪和去马赛克过程常常是分开进行的，并在isp中依次实现。 在从成像传感器获得原始数据之后，传统的图像处理流水线应用一系列模块， 例如白平衡、去马赛克、去噪、锐化、色彩空间转换、伽马校正等。但是去 马赛克的过程本身就会产生一定的误差，这会使去噪过程复杂化。此外，因 为raw图像的噪声更加符合我们常用的统计学模型，目前应用不同技术实现 的基于raw图像的联合去噪和去马赛克研究取得了显著的成效。4.在某些极端的条件下，这些效果则很有限。最近，对于极低光环境下raw 图像的联合去噪去马赛克问题，一些方法取得了突破性的进展。这些方法主 要是数据驱动的学习方法，其中深度卷积神经网络被训练在由噪声raw图像 和相应的干净rgb图像组成的成对数据集上。但是，这些研究在颜色准确、 细腻程度以及泛化能力方面还存在很大的局限性。5.这些研究所使用的网络模型多数是比较简单且常用的网络模型，目前效 果最好的是使用unet进行训练。unet在图像分割、自然语言处理、图像处 理等领域有着广泛的应用。但是同样，它也存在着上述所说的一些缺陷，因 此有大量学者尝试对其改进。oktay o等人提出了一个attention gate的即 插即用模块，并将其引入unet.通过有选择性的学习输入图像中相互关联的区 域，抑制不相关区域的显著性，得到了更精准的图像分割结果。zhou z等人 重新设计了skip connection，以在解码器子网络上聚合语义尺度不同的特征， 通过将不同深度的u-net的有效集成，大大地提升了unet的泛化能力 (unet++)。6.这些改进虽然提升了网络的性能但也使得网络更加的复杂，额外引入了 大量的参数。7.尽管摄影设备发展迅速，但在极端弱光环境下拍摄高清raw图像一直是 一个难以解决的问题。现有方法利用神经网络自动学习极低光噪声raw图像 到长曝光rgb图像的映射，对极低光图像进行联合去噪和去马赛克，但在其 他数据集上的表现则非常有限。技术实现要素：8.为克服现有技术的缺陷，本发明要解决的技术问题是提供了一种极低光 原始图像的去噪方法，其能够提高联合去噪和去马赛克方法对极弱光图像的 泛化能力，在不损失性能的情况下大大减少了参数数量，鲁棒性更好。9.本发明的技术方案是：这种极低光原始图像的去噪方法，其包括以下步 骤：10.(1)向系统输入一个极低光原始图像；11.(2)图像重构，将单通道原始图像重构成分辨率为原来图像1/4的 rgbg四通道图像；12.(3)黑电平归一化；13.(4)以指定倍数的放大比率增强信号；14.(5)输入sunet++神经网络；15.(6)输出一个分辨率与输入神经网络的图像相同的rgb*4的十二通 道图像；16.(7)将输出图像重构成分辨率与原系统输入图像相同的rgb三通道 图像；17.(8)输出一个亮度正常的rgb图像。18.本发明在unet++的基础上，引入可分离卷积操作，提出了一个新的 sunet++网络模型，通过使用多倍的可分离卷积操作替代部分常规卷积操作， 不仅缓解了unet++参数过多的问题，同时还增强了性能，因此能够提高联合 去噪和去马赛克方法对极弱光图像的泛化能力，在不损失性能的情况下大大 减少了参数数量，鲁棒性更好。19.还提供了极低光原始图像的去噪装置，该装置包括：20.输入模块，其配置来向系统输入一个极低光原始图像；21.第一重构模块，其配置来将单通道原始图像重构成分辨率为原来图像 1/4的rgbg四通道图像；22.归一化模块，其配置来黑电平归一化；23.放大模块，其配置来以指定倍数的放大比率增强信号；24.网络输入模块，其配置来输入sunet++神经网络；25.网络输出模块，其配置来输出一个分辨率与输入神经网络的图像相同 的rgb*4的十二通道图像；26.第二重构模块，其配置来将输出图像重构成分辨率与原系统输入图像 相同的rgb三通道图像；27.输出模块，其配置来输出一个亮度正常的rgb图像。附图说明28.图1为本发明的极低光原始图像的去噪方法的流程图。29.图2为本发明的sunet++网络结构拓扑图。30.图3为本发明的γ-α组合操作流程图。31.图4为本发明的α-β组合操作流程图。32.图5为对比算法sid的γ-α’组合操作流程图。33.图6示出了以输入通道4为例α操作中参数数量的变化。34.图7为实施数据集内容介绍。35.图8为极低光图像的联合去噪去马赛克主观结果对比。具体实施方式36.如图1所示，这种极低光原始图像的去噪方法，其包括以下步骤：37.(1)向系统输入一个极低光原始图像；38.(2)图像重构，将单通道原始图像重构成分辨率为原来图像1/4的 rgbg四通道图像；39.(3)黑电平归一化；40.(4)以指定倍数的放大比率增强信号；41.(5)输入sunet++神经网络；42.(6)输出一个分辨率与输入神经网络的图像相同的rgb*4的十二通 道图像；43.(7)将输出图像重构成分辨率与原系统输入图像相同的rgb三通道 图像；44.(8)输出一个亮度正常的rgb图像。45.本发明在unet++的基础上，引入可分离卷积操作，提出了一个新的 sunet++网络模型，通过使用多倍的可分离卷积操作替代部分常规卷积操作， 不仅缓解了unet++参数过多的问题，同时还增强了性能，因此能够提高联合 去噪和去马赛克方法对极弱光图像的泛化能力，在不损失性能的情况下大大 减少了参数数量，鲁棒性更好。46.优选地，所述步骤(1)中，输入图像是一个尺寸任意、通道数为1的 bayer模式raw图像，记做h*w*1。47.优选地，所述步骤(2)中，按照rgbg的格式将其拆分为一个空间分辨 率减半的4通道张量48.优选地，所述步骤(4)中，指定倍数为100或300，以便消除黑色像素。49.优选地，所述步骤(5)中，将处理后的数据作为sunet++模型的输入； 所述步骤(6)中，输出一个和网络模型输入分辨率相同的12通道的张量 50.优选地，所述步骤(7)中，将步骤(6)的结果打包整理成一个与原系 统输出入分辨率相同的rgb图像h*w*3。51.优选地，所述步骤(5)中，在sunet++模型中间的核心三角区中，ni,j表 示第i层的第j个节点，fi,j表示由其他节点得到ni,j的操作的集合，其中正整 数i、j满足i+j≤6，且在(1≤i≤5,1≤j≤5)范围内取值；当j＝1时，ni,j由ni-1,j经 过操作α和γ得到；当j》1时，ni,j由ni-1,j和ni+1,j-1经过操作α和β得到；52.操作fi,j表示为公式(1)：[0053][0054]由fi,j所得到的ni,j表示为公式(2)：[0055][0056]α表示一个标准单元操作，由一组普通卷积和m组可分离卷积组成；[0057]γ表示最大池化操作；当j＝1时，ni-1,1经过操作fi,j得到ni,j；β表示包 括反卷积、上采样和融合操作在内的一组操作；节点ni+1,j-1经过尺度 为原通道数为一半的反卷积、下采样，并融合节点ni,j-1后，再经过一 个基本单元操作α得到ni,j；当j》1时，ni,j由ni-1,j和ni+1,j-1经过操作α和 β得到。[0058]优选地，所述步骤(5)中，n1,5是一个尺寸为的张量，其经过 一个尺寸为12的卷积核的常规卷积得到一个尺寸为的张量，作为网 络的输出。[0059]优选地，所述步骤(5)中，使用m组可分离卷积代替一组常规卷积，假 设卷积操作的输入通道数为输出通道数为卷积核大小为k*k，经过 一系列操作得到的一组常规卷积操作的参数数量为替换掉一组 常规卷积的m组可分离卷积操作的参数数量为其参数按照公式(3)、 (4)计算：[0060][0061][0062]本领域普通技术人员可以理解，实现上述实施例方法中的全部或部分步 骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算 机可读取存储介质中，该程序在执行时，包括上述实施例方法的各步骤，而 所述的存储介质可以是：rom/ram、磁碟、光盘、存储卡等。因此，与本发明 的方法相对应的，本发明还同时包括一种极低光原始图像的去噪装置，该装 置通常以与方法各步骤相对应的功能模块的形式表示。该装置包括：[0063]输入模块，其配置来向系统输入一个极低光原始图像；[0064]第一重构模块，其配置来将单通道原始图像重构成分辨率为原来图像 1/4的rgbg四通道图像；[0065]归一化模块，其配置来黑电平归一化；[0066]放大模块，其配置来以指定倍数的放大比率增强信号；[0067]网络输入模块，其配置来输入sunet++神经网络；[0068]网络输出模块，其配置来输出一个分辨率与输入神经网络的图像相同 的rgb*4的十二通道图像；[0069]第二重构模块，其配置来将输出图像重构成分辨率与原系统输入图像 相同的rgb三通道图像；[0070]输出模块，其配置来输出一个亮度正常的rgb图像。[0071]以下更详细地说明本发明。[0072]本发明提出了一种新的端到端的学习方法，其流程如图1所示。通过学 习从极低光噪声raw图像到长时间曝光干净rgb图像的映射，来直接处理 极低光噪声raw图像的联合去噪去马赛克问题。向训练好的模型输入一个亮 度很低、布满噪声的真实相机raw图像，可以输出一个亮度正常、干净无噪 声的高清rgb图像。[0073]系统的输入数据是一个尺寸任意、通道数为1的bayer模式raw图像(记 做h*w*1)；按照rgbg的格式将其拆分为一个空间分辨率减半的4通道张 量接下来按照指定的放大比率缩放数据(例如，x100或x300)， 以便消除黑色像素；再然后，将处理后的数据作为sunet++模型的输入，并 输出一个和网络模型输入分辨率相同的12通道的张量最后， 再将该结果打包整理成一个与原系统输出入分辨率相同的rgb图像 (h*w*3)。[0074]主要步骤：[0075]s1向系统输入一个极低光raw图像[0076]s2图像重构，将单通道raw图像重构成分辨率为原来图像1/4的rgbg 四通道图像[0077]s3黑电平归一化[0078]s4以指定倍数的放大比率增强信号[0079]s5输入sunet++神经网络[0080]s6输出一个分辨率与输入神经网络的图像相同的rgb*4的十二通道图 像[0081]s7将输出图像重构成分辨率与原系统输入图像相同的rgb三通道图像s8输出一个亮度正常的rgb图像[0082]5.2sunet++网络结构[0083]在上述s5步骤中，sunet++神经网络的方法是本发明提出的重要成果， 其中的主要步骤阐述如下：[0084]本发明在unet++的基础上，引入可分离卷积操作，提出了一个新的 sunet++网络模型，通过使用多倍的可分离卷积操作替代部分常规卷积操作， 不仅缓解了unet++参数过多的问题，同时还增强了性能。[0085]模型的整体结构如图2所示。在中间的核心三角区中，ni,j表示第i层的 第j个节点，fi,j表示由其他节点得到ni,j的操作的集合，其中正整数i、j满足 i+j≤6，且在(1≤i≤5,1≤j≤5)范围内取值。当j＝1时，ni,j由ni-1,j经过操作α和γ 得到；当j》1时，ni,j由ni-1,j和ni+1,j-1经过操作α和β得到。[0086]即，操作fi,j表示为：[0087][0088]由fi,j所得到的ni,j表示为：[0089][0090]α表示一个标准单元操作，由一组普通卷积和m组可分离卷积组成；γ表 示最大池化操作。当j＝1时，ni-1,1经过操作fi,j得到ni,j的情况如图3所示。β表 示包括反卷积、上采样和融合操作在内的一组操作。节点ni+1,j-1经过尺度为原 通道数为一半的反卷积、下采样，并融合节点ni,j-1后，再经过一个基本单元操 作α得到ni,j。当j》1时，ni,j由ni-1,j和ni+1,j-1经过操作α和β得到的情况如图4 所示。[0091]网络的输入是一个尺寸为的张量，经过一系列操作得到 的节点ni,j是一个尺寸为的张量。因此，n1,5是一个尺寸为的张量，其经过一个尺寸为12的卷积核的常规卷积得到一个尺寸为的张量，作为网络的输出。[0092]5.3深度可分离卷积部分参数[0093]如图3与图5对比所示，本发明使用m组可分离卷积代替一组常规卷积。 为了简单，本文仅阐述变化区域的参数情况，以输入通道为4的张量为例， 图6展示了α操作后参数个数的变化。[0094]假设卷积操作的输入通道数为输出通道数为卷积核大小为k*k， 经过一系列操作得到的一组常规卷积操作的参数数量为在本发 明的改进中，替换掉一组常规卷积的m组可分离卷积操作的参数数量为其参数计算公式为：[0095][0096][0097]为了验证所提出的网络结构的有效性，将本发明提出的方法分别在sid 和eld数据集上进行了测试。表1显示了所有对比算法在sid和eld数 据集上的定量结果(psnr/ssim)。可以看出，以sid为代表的最新方法在 sid数据集上表现出良好的效果，但在eld数据集上的性能较差。将unet++ 引入sid去噪架构的改进方法后，其在sid数据集上的性能略有下降，但在 eld数据集上的性能得到了显着提升，这说明unet++在这种环境下的应用确 实提高了模型的泛化能力。将本发明所提出的sunet++方法引入sid去噪架 构的改进方法后，比原来的sid方法有了一定的提升，在eld数据集上的性 能有了明显的提升。[0098]从图6的缩略图中，可以观察到sid方法取得了很好的效果。然而，当 专注于极端的小细节时，它仍然有很多噪声。从详细的对比图可以看出，本 方法有了很大的改进。[0099]本发明在sunet++中使用了m组深度可分离卷积来替代unet++中的 一组传统卷积。为简单起见，只考虑变化区域的参数，即只考虑操作α和α'的 参数变化。将描述的通道数代入公式，计算出使用一组常规卷积运算的参数 为4.2m，使用2组深度可分离卷积运算的参数为0.96m，参数减少到原来的 22.9％。如果只使用一组深度可分离的卷积运算，这个数字甚至可以下降到 11.5％，而结果与一组传统的卷积运算相似，为了获得更好的效果，使用了双 倍的可分离卷积操作(见表2)。[0100]主要步骤如下：[0101]s1模型训练。将7.1中所描述的大量真实世界成对训练数据(由短曝光 极低光图像和长曝光正常亮度图像组成)送进训练系统。按照7.3的配置方法 进行6000轮训练。[0102]s2模型测试。将7.1中所描述的真实世界测试数据(极低光raw图像) 送进测试系统。按照7.2的对比方法进行测试。[0103]7.1数据集[0104]在索尼a7s2相机拍摄的sid数据集和eld数据集上评估了本发明所提 出的sunet++方法。sid数据集包含2697个短曝光raw图像和231个对应 的长曝光参考raw图像。那些具有不同快门速度(即不同亮度)的图像被组 成了多组成对数据，如图5所示。这些数据被划分为训练集(包括1865组 成对数据)、测试集(包括598组成对数据)、验证集(包括234组成对数 据)。eld数据集包含49张短曝光raw图像和10张长曝光对应raw图 像。eld数据集仅用作测试集。每组成对数据中，长短曝光时间倍数比率在 100到300之间。[0105]7.2对比算法[0106]在sid和eld数据集上将本发明提出的方法与传统处理方法、bm3d 方法和sid方法进行比较。本发明的基于sunet++的联合去马赛克和去噪方 法是基于sid方法进行改进的，通过修改传统卷积网络来提高sid方法的效 率。本发明在sid方法中使用unet++替换了传统的cnn，并通过使用深度可 分离卷积进一步利用sunet++作为本方案。这些方法表示为sid+unet++和our sunet++。[0107]7.3实验配置[0108]本发明使用l1损失和adam优化器，在sid数据集的训练集上，从零 开始训练网络。可分离卷积操作前的参数m取2，即使用两个可分离卷积替 代一个常规卷积。在训练期间，网络输入是原始的短曝光raw图像；以在 srgb空间中的真实数据是相应的长曝光时间图像(由一个raw图像处理库 libraw处理过的参考图像)作为ground truth；将原始图像和参考图像之间曝光 时间的倍数差作为放大因子(例如，x100，x250，或x300)。在每次训练迭代 中，随机裁剪一个512×512的补丁用于训练并利用翻转、旋转等操作来随机 增强数据。初始学习率设定为0.0001，在2000次迭代后学习率降为0.00001， 训练一共进行6000次迭代。[0109]表1[0110][0111]表2[0112][0113]以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限 制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变 化与修饰，均仍属本发明技术方案的保护范围。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!