图像降噪方法、训练方法、装置、电子设备及存储介质与流程

电子通信装置的制造及其应用技术1.本发明涉及图像处理技术领域，特别是涉及一种图像降噪方法、训练方法、装置、电子设备及存储介质。背景技术：2.传统降噪算法是使用双边滤波算法利用预先设计的滤波核，对噪声图像进行卷积操作，从而得到降噪后的图像。这种降噪方式需要假设噪声的呈现形态满足高斯分布或满足一定的数学分布，在一张无噪声的图像上合成噪声，然后通过改变高斯分布的方差，从而改变噪声强度。在实际应用中，这种假设满足一定数学分布的噪声形态无法满足真实的情况，导致传统算法在应用到实际产品中出现不能完全降噪的普遍现象。3.传统降噪算法在实际应用中为了达到降噪目的，会进行较多参数的调教，这些调教会带来降噪效果的一定提高，同时也会为图像引入较多肉眼可见的问题，如涂抹感、颗粒感等。传统降噪算法在降噪效果和产生的副作用之间需要做大量后期调教，工作量大，对建模经验工作人员的要求较高，对于多线产品的开发成本较高，而且经过充分调教的传统降噪算法在实际应用中，仍然无法完全消去算法本身带来的负面效果。技术实现要素：4.鉴于上述问题，提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种图像降噪方法、训练方法、装置、电子设备及存储介质。5.依据本发明实施例的第一方面，提供了一种图像降噪方法，包括：6.确定待降噪图像对应的图像传感器，并确定所述待降噪图像的拍摄参数；7.获取与所述图像传感器和所述拍摄参数对应的图像降噪模型，所述图像降噪模型是基于所述图像传感器所获取的样本图像对训练得到的，所述样本图像对包括原始图像和合成图像；8.通过所述图像降噪模型对所述待降噪图像进行降噪处理，得到降噪后的图像。9.依据本发明实施例的第二方面，提供了一种图像降噪模型的训练方法，包括：10.从电子设备中获取与目标图像传感器对应的至少一个原始图像和至少一个合成图像，根据所述至少一个原始图像和所述至少一个合成图像确定至少一个样本图像对，其中，每个样本图像对的拍摄参数相同；11.基于拍摄参数满足同一设定条件的至少一个样本图像对，对卷积神经网络模型进行训练，得到与所述目标图像传感器和所述设定条件对应的图像降噪模型。12.依据本发明实施例的第三方面，提供了一种样本图像对获取方法，包括：13.关闭图像处理器isp中的部分功能模块，并确定采集原始图像和合成图像的目标图像传感器，所述部分功能模块包括锐化模块和降噪模块；14.通过所述目标图像传感器和所述图像处理器isp获取目标场景的原始图像；15.在与所述原始图像相同拍摄参数下，通过所述目标图像传感器和所述图像处理器isp获取所述目标场景的多帧图像，对所述多帧图像进行合成，得到合成图像；16.将所述原始图像和所述合成图像确定为所述样本图像对。17.依据本发明实施例的第四方面，提供了一种图像降噪装置，包括：18.图像信息确定模块，用于确定待降噪图像对应的图像传感器，并确定所述待降噪图像的拍摄参数；19.模型获取模块，用于获取与所述图像传感器和所述拍摄参数对应的图像降噪模型，所述图像降噪模型是基于所述图像传感器所获取的样本图像对训练得到的，所述样本图像对包括原始图像和合成图像；20.图像降噪模块，用于通过所述图像降噪模型对所述待降噪图像进行降噪处理，得到降噪后的图像。依据本发明实施例的第五方面，提供了一种图像降噪模型的训练装置，包括：21.图像对获取模块，用于从电子设备中获取与目标图像传感器对应的至少一个原始图像和至少一个合成图像，根据所述至少一个原始图像和所述至少一个合成图像确定至少一个样本图像对，其中，每个样本图像对的拍摄参数相同；22.模型训练模块，用于基于拍摄参数满足同一设定条件的至少一个样本图像对，对卷积神经网络模型进行训练，得到与所述目标图像传感器和所述设定条件对应的图像降噪模型。23.依据本发明实施例的第六方面，提供了一种样本图像对获取装置，包括：24.设置模块，用于关闭图像处理器isp中的部分功能模块，并确定采集原始图像和合成图像的目标图像传感器，所述部分功能模块包括锐化模块和降噪模块；25.原始图像获取模块，用于通过所述目标图像传感器和所述图像处理器isp获取目标场景的原始图像；26.合成图像获取模块，用于在与所述原始图像相同拍摄参数下，通过所述目标图像传感器和所述图像处理器isp获取所述目标场景的多帧图像，对所述多帧图像进行合成，得到合成图像；27.样本图像对确定模块，用于将所述原始图像和所述合成图像确定为所述样本图像对。28.依据本发明实施例的第七方面，提供了一种电子设备，包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如第一方面中所述的图像降噪方法，或者实现如第二方面中所述的图像降噪模型的训练方法，或者实现如第三方面所述的样本图像对获取方法。29.依据本发明实施例的第八方面，提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的图像降噪方法，或者实现如第二方面所述的图像降噪模型的训练方法，或者实现如第三方面所述的样本图像对获取方法。30.本发明实施例提供的图像降噪方法、训练方法、装置、电子设备及存储介质，通过确定待降噪图像对应的图像传感器，并确定待降噪图像的拍摄参数，获取与图像传感器和拍摄参数对应的图像降噪模型，通过该图像降噪模型对待降噪图像进行降噪处理，得到降噪后的图像。由于图像降噪模型是基于所述图像传感器所获取的样本图像对训练得到的，而样本图像对中的原始图像是真实场景的噪声图像，不需要假设噪声形态满足一定的数学分布，通过样本图像对训练得到的图像降噪模型可以提高图像降噪的效果，而且不会带来副作用。31.上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。附图说明32.通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。33.图1是本发明实施例提供的一种图像降噪方法的步骤流程图；34.图2a是本发明实施例中的待降噪图像的示例图；35.图2b是本发明实施例中对图2a所示的待降噪图像进行降噪后的图像的示例图；36.图3是本发明实施例提供的一种图像降噪模型的训练方法的步骤流程图；37.图4是本发明实施例提供的一种样本图像对获取方法的步骤流程图；38.图5是本发明实施例提供的一种图像降噪装置的结构框图；39.图6是本发明实施例提供的一种图像降噪模型的训练装置的结构框图；40.图7是本发明实施例提供的一种样本图像对获取装置的结构框图。具体实施方式41.下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。42.图1是本发明实施例提供的一种图像降噪方法的步骤流程图，该方法可以应用于手机、平板电脑或数码相机等电子设备中，如图1所示，该方法可以包括：43.步骤101，确定待降噪图像对应的图像传感器，并确定所述待降噪图像的拍摄参数。44.在手机等电子设备中的相机包括多个图像传感器时，对于每个图像传感器，会有不同的噪声形态，为了更好的对每个图像传感器获取到的图像进行降噪，预先对每个图像传感器在拍摄参数满足不同的设定条件下分别训练不同的图像降噪模型。因此，在对待降噪图像进行降噪时，需要选择合适的图像降噪模型来进行降噪，这就要确定获取待降噪图像的图像传感器，并确定待降噪图像的拍摄参数，以便于确定与图像传感器和拍摄参数对应的图像降噪模型。45.其中，所述拍摄参数包括曝光时间、感光度(iso)和isp参数中的至少一个。iso是感光度的意思，也是国际标准化组织(international standardization organization)的缩写，同时国际标准化组织对感光度做了量化规定。感光度是衡量底片对于光的灵敏程度，由敏感度测量学及测量数个数值来决定，国际标准化组织标准为iso 6。对于光较不敏感的底片，需要曝光更长的时间以达到跟较敏感底片相同的成像，因此通常被称为慢速底片。高度敏感的底片因而称为快速底片。46.步骤102，获取与所述图像传感器和所述拍摄参数对应的图像降噪模型，所述图像降噪模型是基于所述图像传感器所获取的样本图像对训练得到的，所述样本图像对包括原始图像和合成像。47.其中，所述合成图像是对在与所述原始图像相同拍摄参数和相同场景下获得的多张图像进行合成得到的。48.在电子设备中可以配置与图像传感器和拍摄参数满足不同的设定条件所对应的多个图像降噪模型，在确定待降噪图像的拍摄参数后，可以确定拍摄参数所对应的设定条件，并从预先配置的多个图像降噪模型中获取与所述图像传感器和确定的设定条件所对应的图像降噪模型，后续可以使用该图像降噪模型对待降噪图像进行降噪处理。49.在训练与图像传感器和设定条件对应的图像降噪模型时，使用的多个样本图像对的拍摄参数在该设定条件内，每个样本图像对的拍摄参数相同。样本图像对可以通过即将正式上市销售的手机、相机、pad、电脑等电子设备进行采集，样本图像对还可以通过工程机进行采集。示例地，厂家做出的一些成品、半成品的尚未正式上市销售的手机、相机、pad、电脑等电子设备，都可以统称为“工程机”。下面以工程机为例，对本技术实施例的图像降噪方法进行说明。50.在一些实施例中，在采集样本图像对时，需要工程机等电子设备关闭isp(image signal processor，图像处理器)中的部分功能模块。示例地，该部分功能模块例如为锐化模块和降噪模块，这样可以避免锐化模块和降噪模块进行非线性处理改变噪声形态，以提高训练完成的图像降噪模型在真实场景中的降噪效果。本技术实施例不对该部分功能模块做限定，本领域的技术人员可以根据实际需求确定该部分功能模块。工程机等电子设备通过图像传感器和isp获取目标场景的原始图像，将原始图像存储至第一存储位置；通过图像传感器和isp获取目标场景在与原始图像相同拍摄参数下的多帧图像，确定该多帧图像的均值图像，将该均值图像作为合成图像，将合成图像存储至第二存储位置。可以分别从工程机等电子设备的第一存储位置和第二存储位置导出原始图像和合成图像，按照导出顺序，将每个原始图像和对应的合成图像组成样本图像对，得到多个样本图像对，基于这多个样本图像对对图像降噪模型进行训练，得到与所述图像传感器和设定条件对应的图像降噪模型。51.在本发明的一个实施例中，所述获取与所述图像传感器和所述拍摄参数对应的图像降噪模型，包括：在所述拍摄参数包括感光度时，确定所述待降噪图像的感光度所属的感光度范围；获取与所述图像传感器和所述感光度范围对应的图像降噪模型。52.其中，所述感光度范围是预先设置的与不同的图像降噪模型所对应的感光度范围，每个图像降噪模型是基于所述图像传感器所获取的且感光度在一定感光度范围内的样本图像对训练而成的。由于噪声会随着感光度的增大而增大，为了训练得到合适的图像降噪模型，可以将电子设备的最大感光度范围划分为多个小的感光度范围，即每个设定条件即每个感光度范围，对于划分后的每个感光度范围分别基于对应的样本图像对训练相应的图像降噪模型。53.在拍摄参数包括感光度时，基于待降噪图像的感光度与预先设置的多个感光度范围，确定待降噪图像的感光度所属的感光度范围。例如，待降噪图像的感光度为1500，预先设置的多个感光度范围分别为0-1000、1000-2000、2000-3000，则可以确定待降噪图像的感光度所属的感光度范围为1000-2000。在确定待降噪图像的感光度所属的感光度范围后，从预先配置的多个图像降噪模型中获取与所述图像传感器和该感光度范围对应的图像降噪模型，后续使用该图像降噪模型对待降噪图像进行降噪。54.步骤103，通过所述图像降噪模型对所述待降噪图像进行降噪处理，得到降噪后的图像。55.在获取到与图像传感器和拍摄参数对应的图像降噪模型后，将所述待降噪图像输入图像降噪模型，通过图像降噪模型对待降噪图像进行降噪处理，得到降噪后的图像。56.其中，所述图像降噪模型包括编码器和解码器，所述编码器包括卷积层、池化层和反卷积层，所述解码器包括卷积层、池化层和反卷积层。每个编码器和解码器通过卷积层、池化层和反卷积层进行组合连接。在将待降噪图像输入图像降噪模型后，通过编码器对待降噪图像进行编码处理，得到特征图，再通过解码器对特征图进行解码处理，得到降噪后的图像。57.以图2a所示的待降噪图像为例，通过图像降噪模型对该待降噪图像进行降噪处理，得到降噪后的图像，如图2b所示，可见，经过图像降噪模型对待降噪图像进行降噪处理后，得到的降噪后的图像的效果较好，没有引入涂抹感、颗粒感等副作用。58.本实施例提供的图像降噪方法，通过确定待降噪图像对应的图像传感器，并确定待降噪图像的拍摄参数，获取与图像传感器和拍摄参数对应的图像降噪模型，通过该图像降噪模型对待降噪图像进行降噪处理，得到降噪后的图像，由于图像降噪模型是基于所述图像传感器所获取的样本图像对训练得到的，而样本图像对中的原始图像是真实场景的噪声图像，不需要假设噪声形态满足一定的数学分布，通过样本图像对训练得到的图像降噪模型可以提高图像降噪的效果，而且不会带来副作用。59.在上述技术方案的基础上，还包括：关闭图像处理器isp中的部分功能模块，并确定采集原始图像和合成图像的目标图像传感器，所述部分功能模块包括锐化模块和降噪模块。60.由于图像处理器isp中的锐化模块和降噪模块对图像进行非线性的处理，会改变噪声的形态，影响训练得到的图像降噪模型在真实场景中的降噪效果，所以需要关闭图像处理器isp中的锐化模块和降噪模块，之后通过图像传感器和isp获取待降噪图像，这样可以提高图像降噪模型的降噪效果。61.在上述技术方案的基础上，在所述通过所述图像降噪模型对所述待降噪图像进行降噪处理，得到降噪后的图像之后，还包括：对所述降噪后的图像进行锐化处理。62.通过图像降噪模型对待降噪图像进行降噪处理后，对降噪后的图像进行锐化处理，以补偿降噪后图像的轮廓，增强降噪后图像的边缘及灰度跳变的部分，使降噪后图像变得更加清晰。63.图3是本发明实施例提供的一种图像降噪模型的训练方法的步骤流程图，该方法可以应用于服务器等电子设备中，如图3所示，该方法可以包括：64.步骤301，从电子设备中获取与目标传感器对应的至少一个原始图像和至少一个合成图像，根据所述至少一个原始图像和所述至少一个合成图像确定至少一个样本图像对，其中，每个样本图像对的拍摄参数相同。65.其中，每个样本图像对的拍摄参数相同，且合成图像是对在与所述原始图像相同拍摄参数和相同场景下获得的多张图像进行合成得到的，所述至少一个样本图像对是所述电子设备中的所述目标图像传感器获取的。所述电子设备与执行图像降噪模型的训练方法的电子设备可以不是同一设备，所述电子设备可以是工程机，因为工程机对底层软件定制化的空间很大。66.可以通过电子设备的目标图像传感器采集至少一个原始图像和至少一个合成图像，并从该电子设备中获取与该目标图像传感器对应的至少一个原始图像和至少一个合成图像。67.在本发明的一个实施例中，所述从电子设备中获取与目标传感器对应的至少一个原始图像和至少一个合成图像，包括：从所述电子设备的第一存储位置获取所述至少一个原始图像，并从所述电子设备的第二存储位置获取所述至少一个合成图像。68.通过电子设备来采集用于训练图像降噪模型的样本图像对，可以在电子设备中安装一个定制化的应用程序(app)，通过该应用程序自动来采集样本图像对，在采集样本图像对前，需要设置导出图像的节点，即设置原始图像的第一存储位置，并设置合成图像的第二存储位置，从而该应用程序将获取到的原始图像存储至第一存储位置，将合成图像存储至第二存储位置，应用程序在获取到一张原始图像后，在相同拍摄参数下获取多帧图像，并将该多帧图像合成为合成图像，之后再获取下一张原始图像和合成图像。在对图像降噪模型进行训练时，从电子设备的第一存储位置获取至少一个原始图像，从电子设备的第二存储位置获取至少一个合成图像，第一存储位置中的原始图像和第二存储位置的合成图像是对应存储的，即第一存储位置中的第一张原始图像与第二存储位置的第一张合成图像是相同场景相同拍摄参数的图像，这两张图像组成样本图像对，从而将获取到的至少一个原始图像与至少一个合成图像组成多个样本图像对。69.在本发明的一个实施例中，关闭图像处理器isp中的部分功能模块，并确定采集原始图像和合成图像的目标图像传感器，所述部分功能模块包括锐化模块和降噪模块；70.将通过所述目标图像传感器和所述图像处理器isp获取到的目标场景的图像确定为所述原始图像；通过所述目标图像传感器和所述isp获取所述目标场景在相同拍摄参数下的多帧图像，对所述多帧图像进行合成，将合成后的图像确定为所述合成图像。71.其中，所述拍摄参数包括曝光时间、感光度和isp参数中的至少一个。72.手机、平板电脑、数码相机等电子设备拍摄图像产生噪声的来源主要有两部分，一部分来自于电子电路、图像传感器在有电流通过时产生的，另一部分来自于图像传感器的传感器增益(sensor gain)和isp的iso增益(gain)对手机电路中电流的放大作用。这两部分噪声很难满足高斯分布以及其他假设，真实噪声分布更加复杂，形态变化更丰富。为了使得噪声数据完全符合真实场景的情况，本发明实施例使用一款定制化app对手机等电子设备拍照管线中某些特定的节点进行保存，得到来自电子设备原生的包含噪声的图像，这样能够规避掉对噪声进行建模的很多假设，这些假设的不准确往往对降噪有负面作用，能够完全拟合真实场景下的噪声规则，降噪效果更好。73.在一些实施例中，通过电子设备采集样本图像前，需要关闭isp中的锐化模块和降噪模块，这样可以防止锐化模块和降噪模块改变噪声形态使后续神经网络训练得到的图像降噪模型无法在真实情况下良好降噪。还需要确定电子设备中采集原始图像和合成图像的目标图像传感器，以便于训练与目标图像传感器相对应的图像降噪模型。示例地，确定采集原始图像和合成图像的目标图像传感器包括：设置电子设备中导出图像的节点，即设置原始图像的第一存储位置，作为节点1，并设置合成图像的第二存储位置，作为节点2。节点1是图像经图像传感器流入isp后通过多帧降噪算法但仍然有噪声的图像，即原始图像，节点2是多帧(如200帧)相同场景的图像经过isp后固定感光度、isp参数和曝光时间中的一个或多个采集到的相同拍摄参数的多帧图像的合成图像，该合成图像噪声水平非常低，可以认为是纯净图像，即无噪声图像，从而节点1导出的原始图像和节点2导出的合成图像作为一对神经网络的训练图像，即样本图像对。74.在电子设备的上述设置完成后，可以使用电子设备中设置的目标图像传感器采集样本图像对。电子设备通过所述目标图像传感器采集到一帧或少量的几帧(如5帧)图像后，图像流入isp，isp对该图像进行处理，把目标图像传感器采集到的图像的原始数据转换为显示支持的格式，在有少量的几帧时对该少量的几帧图像进行多帧降噪，多帧降噪后仍然存在噪声，将该含有真实场景中的噪声的图像确定为原始图像，将原始图像存储至第一存储位置，为了便于处理，可以将原始图像保存为yuv格式。电子设备通过所述目标图像传感器在相同拍摄参数下采集与所述原始图像相同目标场景的多帧图像，多帧图像的帧数大于前述的少量的几帧图像的帧数，多帧图像例如可以为200帧，目标图像传感器采集到的多帧图像依次流入isp，isp依次对多帧图像进行处理，将多帧图像分别转换为显示支持的格式，之后电子设备将isp处理后的多帧图像合成，将合成后的图像确定为合成图像，将该合成图像存储至第二存储位置，为了便于处理，可以将合成图像保存为yuv格式。采集到一个目标场景在相同拍摄参数下的原始图像和合成图像后，可以采集下一对原始图像和合成图像，这时可以改变拍摄参数拍摄相同目标场景的下一对原始图像和合成图像，也可以使用相同拍摄参数采集下一目标场景的下一对原始图像和合成图像，或者，还可以在改变拍摄参数后采集下一目标场景的下一对原始图像和合成图像，这样每采集到一对原始图像和合成图像后按照这样的方式采集下一对原始图像和合成图像，直到采集到足够训练图像降噪模型的样本图像对。在采集不同的图像对时，可以通过调节实验室灯箱亮度，按照一定感光度规则采集不同感光度的图像对。原始图像和合成图像的所有拍摄参数均相同，即原始图像和合成图像的曝光时间、感光度和isp参数均相同。75.在本发明的一个实施例中，将所述多帧图像的均值图像确定为所述合成图像。76.手机等电子设备中的图像传感器因尺寸的限制，在单次拍摄过程中无法有效获取足够进光量，导致单次拍摄的图像无法完全规避噪声。噪声在每一个图像像素上的数学期望是零，意味着同一场景，如果可以在同样的拍摄参数(如曝光时间、iso和isp参数等中的一个或多个)下得到多张场景完全一致的静态场景图像，再对这些图像进行求均值运算，将这样得到的均值图像确定为合成图像，如果拍摄的图像数量足够多，则经过计算得到的合成图像中，每一个独立像素的噪声数学期望近似等于零，从全图角度来说，能够近似得到一张非常干净的噪声水平极低的合成图像。将这张合成图像作为原始图像对应的真值图，为卷积神经网络模型提供训练素材。77.在采集一个样本图像对(原始图像-合成图像)的过程中，需锁定曝光时间、iso、isp参数等拍摄参数，并且关闭isp芯片中的部分功能模块，该部分功能模块例如为锐化模块和降噪模块。曝光时间和iso会对噪声的强度有直接影响，在一些实施例中，要保证在采集过程中，单个场景当中的原始图像和用来合成合成图像的所有帧的曝光时间、感光度和isp参数等拍摄参数均一致。这样原始图像和合成图像在亮度、色彩以及其他维度等维度可以对齐，而不同的维度只是噪声信息的有无。78.本发明实施例通过采集真实场景下带有噪声的原始图像，并将多帧图像的均值图像确定为合成图像，这样得到的原始图像和合成图像都是符合真实场景的图像，不必假设噪声满足一定的数学分布，从而训练得到的图像降噪模型能够具有更好的降噪效果。79.步骤302，基于拍摄参数满足同一设定条件的至少一个样本图像对，对卷积神经网络模型进行训练，得到与所述目标图像传感器和所述设定条件对应的图像降噪模型。80.其中，所述卷积神经网络模型包括编码器和解码器，所述编码器包括卷积层、池化层和反卷积层，所述解码器包括卷积层、池化层和反卷积层。81.由于噪声会随着拍摄参数的不同而改变，所以可以预先设置多个设定条件，对于每个设定条件，训练一个对应的图像降噪模型。获取拍摄参数满足同一设定条件的至少一个样本图像对，使用至少一个样本图像对，对卷积神经网络模型进行训练，得到与目标图像传感器和设定条件对应的图像降噪模型。82.在本发明的一个实施例中，基于拍摄参数满足同一设定条件的至少一个样本图像对，对卷积神经网络模型进行训练，得到与所述目标图像传感器和所述设定条件对应的图像降噪模型，包括：83.在所述拍摄参数包括感光度时，基于属于同一感光度范围的至少一个样本图像对，对卷积神经网络模型进行训练，得到与所述目标图像传感器和所述感光度范围对应的图像降噪模型。84.按照感光度范围对获取到的样本图像进行分类，得到属于每个感光度范围的至少一个样本图像对，并使用属于同一感光度范围的至少一个样本图像对，对卷积神经网络进行训练，得到与目标图像传感器和感光度范围对应的图像降噪模型。85.在本发明的一个实施例中，所述方法包括：包括：获取按照感光度步长采集的多个样本图像对，确定所述多个样本图像对对应的感光度范围；分别通过与各感光度范围对应的多个样本图像对，对卷积神经网络模型进行训练，得到与各感光度范围对应的图像降噪模型。86.其中，所述至少一个样本图像对的感光度是按照感光度步长进行采集的。采集训练数据的样本图像对，需按照一定的规则进行采集，由于噪声会随着感光度(iso)的增大而增大，因此需要设定采集感光度的感光度步长，从感光度等于零到电子设备最大支持的感光度全部覆盖。例如可以将100作为感光度的感光度步长，对一个iso最大值是6400的手机采集样本图像对，iso采集规则如表1所示。87.表1iso采集规则[0088][0089]所述设定条件为设定的感光度范围。由于噪声会随着感光度(iso)的增大而增大，为了避免一个模型不能完全覆盖所有感光度的情况，可以将电子设备的最大感光度范围划分为多个小的感光度范围，并针对每个感光度范围分别训练一个对应的图像降噪模型，模型训练的规则可以如表2所示，当然，也可以采用其他的训练规则，例如为了使得模型降噪效果更好，可以每隔500确定一个iso范围。[0090]表2模型训练规则[0091]iso范围卷积神经网络模型0-1000模型11000-2000模型22000-3000模型33000-4000模型44000-5000模型55000-6400模型6[0092]如果在采集目标图像传感器的样本图像对时未按照每个感光度范围分别采集，可以对采集到的样本图像对按照感光度范围进行分类，将属于同一感光度范围的样本图像对分为一类，并使用同类的多个样本图像对训练一个卷积神经网络模型，得到目标图像传感器和感光度范围对应的图像降噪模型。[0093]卷积神经网络模型的结构主要包含编码器和解码器，每个编码器(encoder)和解码器(decoder)通过卷积层、池化层和反卷积层进行组合连接。卷积神经网络模型可以使用梯度下降法训练，采用l1损失作为模型的损失函数。模型经过50次以上的迭代，可以较好收敛，在进行降噪时可以得到较好的降噪效果。[0094]本实施例提供的图像降噪模型的训练方法，通过从电子设备中获取与目标图像传感器对应的至少一个原始图像和至少一个合成图像，根据至少一个原始图像和至少一个合成图像确定至少一个样本图像对，基于拍摄参数满足同一设定条件的至少一个样本图像对，对卷积神经网络模型进行训练，得到与目标图像传感器和设定条件对应的图像降噪模型，由于每个样本图像对的拍摄参数相同，原始图像是真实场景含有噪声的图像，不需要假设噪声形态满足一定的数学分布，通过样本图像对训练得到的图像降噪模型可以提高图像降噪的效果，而且不会带来副作用。[0095]图4是本发明实施例提供的一种样本图像对获取方法的步骤流程图，该方法可以应用于手机、平板电脑等电子设备中，如图4所示，该方法可以包括：[0096]步骤401，关闭图像处理器isp中的部分功能模块，并确定采集原始图像和合成图像的目标图像传感器，所述部分功能模块包括锐化模块和降噪模块。[0097]在一些实施例中，在采集样本图像前，需要关闭isp中的锐化模块和降噪模块，这样可以防止锐化模块和降噪模块改变噪声形态使后续神经网络训练得到的图像降噪模型无法在真实情况下良好降噪。还需要确定采集原始图像和合成图像的目标图像传感器，以便于训练与目标图像传感器相对应的图像降噪模型。[0098]步骤402，通过所述目标图像传感器和所述图像处理器isp获取目标场景的原始图像。[0099]通过所述目标图像传感器采集到一帧或少量的几帧(如5帧)图像后，图像流入isp，isp对该图像进行处理，把目标图像传感器采集到的图像的原始数据转换为显示支持的格式，在有少量的几帧时对该少量的几帧图像进行多帧降噪，多帧降噪后仍然存在噪声，将该含有真实场景中的噪声的图像确定为原始图像。[0100]步骤403，在与所述原始图像相同拍摄参数下，通过所述目标图像传感器和所述图像处理器isp获取所述目标场景的多帧图像，对所述多帧图像进行合成，得到合成图像。[0101]通过所述目标图像传感器在相同拍摄参数(即曝光时间、感光度和isp参数均相同)下采集与所述原始图像相同目标场景的多帧图像，多帧图像的帧数大于前述的少量的几帧图像的帧数，多帧图像例如可以为200帧，目标图像传感器采集到的多帧图像依次流入isp，isp依次对多帧图像进行处理，将多帧图像分别转换为显示支持的格式，之后电子设备将isp处理后的多帧图像合成，即计算多帧图像的均值图像，将均值图像确定为合成图像。在拍摄的图像数量足够多(如图像数量大于100)时，经过计算得到的合成图像中，每一个独立像素的噪声数学期望近似等于零，从全图角度来说，能够近似得到一张非常干净的噪声水平极低的合成图像。[0102]步骤404，将所述原始图像和所述合成图像确定为所述样本图像对。[0103]由于合成图像的噪声水平极低，将在相同拍摄参数、相同目标场景下采集到的原始图像和合成图像确定为样本图像对，可以为卷积神经网络模型提供训练素材。[0104]本实施例提供的样本图像对获取方法，通过关闭isp中的部分功能模块，并确定采集原始图像和合成图像的目标图像传感器，通过目标图像传感器和isp获取目标场景的原始图像，在与原始图像相同拍摄参数下，通过目标图像传感器和isp获取目标场景的多帧图像，对多帧图像进行合成，得到合成图像，将原始图像和合成图像确定为样本图像对。由于关闭isp中的部分功能模块后采集样本图像对，可以避免isp中的部分功能模块改变噪声形态使得模型无法在真实情况下良好降噪；而且原始图像为真实场景中含有噪声的图像，不需要假设噪声形态满足一定的数学分布，通过这样的样本图像对训练得到的图像降噪模型可以提高图像降噪的效果，而且不会带来副作用。[0105]需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。[0106]图5是本发明实施例提供的一种图像降噪装置的结构框图，如图5所示，该图像降噪装置可以包括：[0107]图像信息确定模块501，用于确定待降噪图像对应的图像传感器，并确定所述待降噪图像的拍摄参数；[0108]模型获取模块502，用于获取与所述图像传感器和所述拍摄参数对应的图像降噪模型，所述图像降噪模型是基于所述图像传感器所获取的样本图像对训练得到的，所述样本图像对包括原始图像和合成图像；[0109]图像降噪模块503，用于通过所述图像降噪模型对所述待降噪图像进行降噪处理，得到降噪后的图像。[0110]可选的，所述图像降噪模型包括编码器和解码器，所述编码器包括卷积层、池化层和反卷积层，所述解码器包括卷积层、池化层和反卷积层。[0111]可选的，所述拍摄参数包括曝光时间、感光度和isp参数中的至少一个。[0112]可选的，所述模型获取模块包括：[0113]感光度范围确定单元，用于在所述拍摄参数包括感光度时，确定所述待降噪图像的感光度所属的感光度范围；[0114]模型获取单元，用于获取与所述图像传感器和所述感光度范围对应的图像降噪模型。[0115]可选的，所述合成图像是对在与所述原始图像相同拍摄参数和相同场景下获得的多张图像进行合成得到的。[0116]可选的，所述装置还包括：[0117]isp功能关闭模块，用于关闭图像处理器isp中的部分功能模块，并确定采集原始图像和合成图像的目标图像传感器，所述部分功能模块包括锐化模块和降噪模块。[0118]可选的，所述装置还包括：[0119]锐化处理模块，用于在所述通过所述图像降噪模型对所述待降噪图像进行降噪处理，得到降噪后的图像之后，对所述降噪后的图像进行锐化处理。[0120]本实施例提供的图像降噪装置，通过图像信息确定模块确定待降噪图像对应的图像传感器，并确定待降噪图像的拍摄参数，模型获取模块获取与图像传感器和拍摄参数对应的图像降噪模型，图像降噪模块通过该图像降噪模型对待降噪图像进行降噪处理，得到降噪后的图像，由于图像降噪模型是基于所述图像传感器所获取的样本图像对训练得到的，而样本图像对中的原始图像是真实场景的噪声图像，不需要假设噪声形态满足一定的数学分布，通过样本图像对训练得到的图像降噪模型可以提高图像降噪的效果，而且不会带来副作用。[0121]图6是本发明实施例提供的一种图像降噪模型的训练装置的结构框图，如图6所示，该图像降噪模型的训练装置可以包括：[0122]图像对获取模块601，用于从电子设备中获取与目标图像传感器对应的至少一个原始图像和至少一个合成图像，根据所述至少一个原始图像和所述至少一个合成图像确定至少一个样本图像对，其中，每个样本图像对的拍摄参数相同；[0123]模型训练模块602，用于基于拍摄参数满足同一设定条件的至少一个样本图像对，对卷积神经网络模型进行训练，得到与所述目标图像传感器和所述设定条件对应的图像降噪模型。[0124]可选的，所述图像对获取模块包括：[0125]图像获取单元，用于从所述电子设备的第一存储位置获取所述至少一个原始图像，并从所述电子设备的第二存储位置获取所述至少一个合成图像。[0126]可选的，关闭图像处理器isp中的部分功能模块，并确定采集原始图像和合成图像的目标图像传感器，所述部分功能模块包括锐化模块和降噪模块；[0127]将通过所述目标图像传感器和所述图像处理器isp获取到的目标场景的图像确定为所述原始图像；通过所述目标图像传感器和所述图像处理器isp获取所述目标场景在相同拍摄参数下的多帧图像，对所述多帧图像进行合成，将合成后的图像确定为所述合成图像。[0128]可选的，将所述多帧图像的均值图像确定为所述合成图像。[0129]可选的，所述拍摄参数包括曝光时间、感光度和isp参数中的至少一个。[0130]可选的，所述模型训练模块具体用于：[0131]在所述拍摄参数包括感光度时，基于属于同一感光度范围的至少一个样本图像对，对卷积神经网络模型进行训练，得到与所述目标图像传感器和所述感光度范围对应的图像降噪模型。[0132]可选的，所述装置包括：[0133]感光度范围确定模块，用于获取按照感光度步长采集的多个样本图像对，确定所述多个样本图像对对应的感光度范围；[0134]感光度对应模型训练模块，用于分别通过与各感光度范围对应的多个样本图像对，对卷积神经网络模型进行训练，得到与各感光度范围对应的图像降噪模型。[0135]可选的，所述卷积神经网络模型包括编码器和解码器，所述编码器包括卷积层、池化层和反卷积层，所述解码器包括卷积层、池化层和反卷积层。[0136]本实施例提供的图像降噪模型的训练装置，通过图像对获取模块从电子设备中获取与目标图像传感器对应的至少一个原始图像和至少一个合成图像，根据至少一个原始图像和至少一个合成图像确定至少一个样本图像对，模型训练模块基于拍摄参数满足同一设定条件的至少一个样本图像对，对卷积神经网络模型进行训练，得到与目标图像传感器和设定条件对应的图像降噪模型，由于每个样本图像对的拍摄参数相同，原始图像是真实场景含有噪声的图像，不需要假设噪声形态满足一定的数学分布，通过样本图像对训练得到的图像降噪模型可以提高图像降噪的效果，而且不会带来副作用。[0137]图7是本发明实施例提供的一种样本图像对获取装置的结构框图，如图7所示，该样本图像对获取装置可以包括：[0138]设置模块701，用于关闭图像处理器isp中的部分功能模块，并确定采集原始图像和合成图像的目标图像传感器，所述部分功能模块包括锐化模块和降噪模块；[0139]原始图像获取模块702，用于通过所述目标图像传感器和所述图像处理器isp获取目标场景的原始图像；[0140]合成图像获取模块703，用于在与所述原始图像相同拍摄参数下，通过所述目标图像传感器和所述图像处理器isp获取所述目标场景的多帧图像，对所述多帧图像进行合成，得到合成图像；[0141]样本图像对确定模块704，用于将所述原始图像和所述合成图像确定为所述样本图像对。[0142]本实施例提供的样本图像对获取装置，通过设置模块关闭isp中的部分功能模块，并确定采集原始图像和合成图像的目标图像传感器，原始图像获取模块通过目标图像传感器和isp获取目标场景的原始图像，合成图像获取模块在与原始图像相同拍摄参数下，通过目标图像传感器和isp获取目标场景的多帧图像，对多帧图像进行合成，得到合成图像，样本图像对确定模块将原始图像和合成图像确定为样本图像对，由于关闭isp中的部分功能模块后采集样本图像对，可以避免isp中的部分功能模块改变噪声形态使得模型无法在真实情况下良好降噪，而且原始图像为真实场景中含有噪声的图像，不需要假设噪声形态满足一定的数学分布，通过这样的样本图像对训练得到的图像降噪模型可以提高图像降噪的效果，而且不会带来副作用。[0143]对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。[0144]进一步地，根据本发明的一个实施例，提供了一种电子设备，所述电子设备包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现前述实施例的图像降噪方法或者图像降噪模型的训练方法。[0145]根据本发明的一个实施例，还提供了一种计算机可读存储介质，所述计算机可读存储介质包括但不限于磁盘存储器、cd-rom、光学存储器等，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现前述实施例的图像降噪方法或者图像降噪模型的训练方法。[0146]本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。[0147]本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。[0148]本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。[0149]这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。[0150]这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。[0151]尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。[0152]最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。[0153]以上对本发明所提供的一种图像降噪方法、训练方法、装置、电子设备及存储介质，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!