噪声模型的估计方法和装置、图像处理方法和装置与流程

计算;推算;计数设备的制造及其应用技术1.本技术涉及计算机技术领域，特别是涉及一种噪声模型的估计方法、图像处理方法、噪声模型的估计装置、图像处理装置、电子设备和计算机可读存储介质。背景技术：2.在图像信号处理(isp，image signal processing)系统中，图像输入信息会先以raw数据的形式存储下来，该raw数据为最原始的信息。正因为这个优势，在raw域降噪得到了越来越多的重视。然而，为了在raw域的降噪实现更好的效果，往往需要对raw数据进行噪声模型的估计(noise profile)。3.传统的噪声模型的估计方法，通常是从不同噪声分布模型的角度估算出噪声模型，存在估计出的噪声模型不准确的问题。技术实现要素：4.本技术实施例提供了一种噪声模型的估计方法、图像处理方法、噪声模型的估计装置、图像处理装置、电子设备和计算机可读存储介质，可以提高估计出的噪声模型的准确性。5.第一方面，本技术提供了一种噪声模型的估计方法。所述方法包括：6.获取在无光环境下相机以不同增益值采集的多个第一raw图像，根据所述多个第一raw图像，确定出读取噪声模型；7.在有光环境下，通过所述读取噪声模型输出各个第二raw图像的读取噪声；各个所述第二raw图像是所述相机以不同增益值采集得到；8.基于各个所述第二raw图像，以及各个所述第二raw图像对应的读取噪声，确定出散粒噪声模型；9.基于所述读取噪声模型和所述散粒噪声模型，得到所述相机采集的raw图像的目标噪声模型。10.第二方面，本技术还提供了一种噪声模型的估计装置。所述装置包括：11.读取噪声模型确定模块，用于获取在无光环境下相机以不同增益值采集的多个第一raw图像，根据所述多个第一raw图像，确定出读取噪声模型；12.散粒噪声模型确定模块，用于在有光环境下，通过所述读取噪声模型输出各个第二raw图像的读取噪声；各个所述第二raw图像是所述相机以不同增益值采集得到；基于各个所述第二raw图像，以及各个所述第二raw图像对应的读取噪声，确定出散粒噪声模型；13.目标噪声模型确定模块，用于基于所述读取噪声模型和所述散粒噪声模型，得到所述相机采集的raw图像的目标噪声模型。14.第三方面，本技术还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：15.获取在无光环境下相机以不同增益值采集的多个第一raw图像，根据所述多个第一raw图像，确定出读取噪声模型；16.在有光环境下，通过所述读取噪声模型输出各个第二raw图像的读取噪声；各个所述第二raw图像是所述相机以不同增益值采集得到；17.基于各个所述第二raw图像，以及各个所述第二raw图像对应的读取噪声，确定出散粒噪声模型；18.基于所述读取噪声模型和所述散粒噪声模型，得到所述相机采集的raw图像的目标噪声模型。19.第四方面，本技术还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：20.获取在无光环境下相机以不同增益值采集的多个第一raw图像，根据所述多个第一raw图像，确定出读取噪声模型；21.在有光环境下，通过所述读取噪声模型输出各个第二raw图像的读取噪声；各个所述第二raw图像是所述相机以不同增益值采集得到；22.基于各个所述第二raw图像，以及各个所述第二raw图像对应的读取噪声，确定出散粒噪声模型；23.基于所述读取噪声模型和所述散粒噪声模型，得到所述相机采集的raw图像的目标噪声模型。24.第五方面，本技术还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：25.获取在无光环境下相机以不同增益值采集的多个第一raw图像，根据所述多个第一raw图像，确定出读取噪声模型；26.在有光环境下，通过所述读取噪声模型输出各个第二raw图像的读取噪声；各个所述第二raw图像是所述相机以不同增益值采集得到；27.基于各个所述第二raw图像，以及各个所述第二raw图像对应的读取噪声，确定出散粒噪声模型；28.基于所述读取噪声模型和所述散粒噪声模型，得到所述相机采集的raw图像的目标噪声模型。29.上述噪声模型的估计方法、装置、电子设备、计算机可读存储介质和计算机程序产品，电子设备获取在无光环境下相机以不同增益值采集的多个第一raw图像，以及根据多个第一raw图像确定出读取噪声模型，则通过该读取噪声模型可以获取到相机在无光环境下所产生的客观存在的读取噪声。而在有光环境下，先通过读取噪声模型输出各个第二raw图像的读取噪声，再基于各个第二raw图像和各个第二raw图像对应的读取噪声，可以确定出有光环境下的散粒噪声模型。那么，基于无光环境下的读取噪声模型和有光环境下的散粒噪声模型，可以准确地估计出相机采集raw图像的目标噪声模型，通过该目标噪声模型可以更准确地估计出相机采集的raw图像的噪声。30.第六方面，本技术提供了一种图像处理方法。所述方法包括：31.获取相机采集的原始raw图像；32.通过目标噪声模型，确定出所述原始raw图像的目标噪声，并基于所述目标噪声对所述原始raw图像进行处理，得到目标raw图像；其中，所述目标噪声模型是根据上述的噪声模型的估计方法得到。33.第七方面，本技术还提供了一种图像处理装置。所述装置包括：34.获取模块，用于获取相机采集的原始raw图像；35.处理模块，用于通过目标噪声模型，确定出所述原始raw图像的目标噪声，并基于所述目标噪声对所述原始raw图像进行处理，得到目标raw图像；其中，所述目标噪声模型是根据权利要求1至8中任一项所述的方法得到。36.第八方面，本技术还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：37.获取相机采集的原始raw图像；38.通过目标噪声模型，确定出所述原始raw图像的目标噪声，并基于所述目标噪声对所述原始raw图像进行处理，得到目标raw图像；其中，所述目标噪声模型是根据上述的噪声模型的估计方法得到。39.第九方面，本技术还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：40.获取相机采集的原始raw图像；41.通过目标噪声模型，确定出所述原始raw图像的目标噪声，并基于所述目标噪声对所述原始raw图像进行处理，得到目标raw图像；其中，所述目标噪声模型是根据上述的噪声模型的估计方法得到。42.第十方面，本技术还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：43.获取相机采集的原始raw图像；44.通过目标噪声模型，确定出所述原始raw图像的目标噪声，并基于所述目标噪声对所述原始raw图像进行处理，得到目标raw图像；其中，所述目标噪声模型是根据上述的噪声模型的估计方法得到。45.上述图像处理方法、装置、电子设备、计算机可读存储介质和计算机程序产品，电子设备获取相机采集的原始raw图像；通过上述的噪声模型的估计方法得到的目标噪声模型，可以更准确地确定出该原始raw图像的目标噪声，从而可以基于该更准确的目标噪声对原始raw图像进行更处理，得到更清晰的目标raw图像。附图说明46.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。47.图1为一个实施例中噪声模型的估计方法的流程图；48.图2为一个实施例中电子设备在无光环境下采集的第一raw图像；49.图3为一个实施例中第一raw图像的其中一个通道的图像；50.图4为一个实施例中增益值和r通道的尺度参数的关系曲线示意图；51.图5为一个实施例中增益值和gr通道的尺度参数的关系曲线示意图；52.图6为一个实施例中增益值和gb通道的尺度参数的关系曲线示意图；53.图7为一个实施例中增益值和b通道的尺度参数的关系曲线示意图；54.图8为一个实施例中标准色卡的示意图；55.图9为一个实施例中增益值和r通道的散粒噪声参数的关系曲线示意图；56.图10为一个实施例中增益值和gr通道的散粒噪声参数的关系曲线示意图；57.图11为一个实施例中增益值和gb通道的散粒噪声参数的关系曲线示意图；58.图12为一个实施例中增益值和b通道的散粒噪声参数的关系曲线示意图；59.图13为一个实施例中图像处理方法的流程图；60.图14为一个实施例中目标raw图像的示意图；61.图15为一个实施例中噪声模型的估计装置的结构框图；62.图16为一个实施例中图像处理装置的结构框图；63.图17为一个实施例中电子设备的内部结构图。具体实施方式64.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。65.在一个实施例中，如图1所示，提供了一种噪声模型的估计方法，本实施例以该方法应用于电子设备进行举例说明，电子设备可以是终端，也可以是服务器，上述方法还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。其中，终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。66.本实施例中，该方法包括以下步骤：67.步骤102，获取在无光环境下相机以不同增益值采集的多个第一raw图像，根据多个第一raw图像，确定出读取噪声模型。68.电子设备包括相机，相机包括镜头、图像传感器和马达等器件。增益值是图像传感器中的感光元件的放大倍数。raw图像是图像传感器将捕捉到的光信号转化为数字信号的原始数据。第一raw图像为相机在无光环境下采集到的原始图像数据。读取噪声模型是用于输出图像的读取噪声的模型。69.需要说明的是，第一raw图像是不经过任何线性处理的原始图像数据，因此在相机记录数据的处理流程(pipeline)中，可以打开去坏点的功能。70.可以理解的是，在相机或者电子设备的电子学系统中，将图像传感器捕捉的光子信号转为输出图像的数字信息，也即在有光环境下，将光信号转换为电信号，在这个过程中产生的噪声可以分为读取噪声和散粒噪声。71.在光子的传播过程中，会带来一些光子噪声。然而，在没有光子输入时，相机系统也会由暗电平波动、数模转换等方面的影响产生读取噪声。也就是说，在无光环境下拍摄得到的第一raw图像的数据也并不为零，而是在暗电平附近波动。读取噪声是相机在无光环境下所产生的客观存在的噪声。散粒噪声(shot noise)通信设备中的有源器件(如电真空管)中，由于电子发射不均匀性所引起的噪声。读取噪声模型是用于输出图像的读取噪声的模型。72.可选地，电子设备将相机的镜头贴于吸光纸上，并且置于全黑环境中，控制相机以不同增益值采集多个第一raw图像，导出多个第一raw图像。可以理解的是，增益值是感光元件的放大倍数，和输出的第一raw图像有较大关系，因此不同的增益值，会直接影响到噪声数值，需要以不同增益值采集多个第一raw图像，以获得更全面更准确的数据。73.可选地，电子设备还可以控制相机以不同增益值，以及不同的曝光时长采集多个第一raw图像。该曝光时长作为随机动态的参量。不同的曝光时长会造成相机发热，在一定程度上影响到噪声水平，但是为了采集到全面的数据，需要以不同曝光时长采集第一raw图像，从而更准确地计算出读取噪声模型。74.其中，相机的增益值越高，则第一raw图像的亮度越亮；曝光时长越大，则第一raw图像的亮度越亮。75.如图2所示为电子设备在无光环境下采集的第一raw图像。76.可以理解的是，raw域有r、gr、gb和b四个通道。如图3所示为第一raw图像的其中一个通道的图像。77.步骤104，在有光环境下，通过读取噪声模型输出各个第二raw图像的读取噪声；各个第二raw图像是相机以不同增益值采集得到。78.第二raw图像是相机在有光环境下采集到的原始图像数据。同样的，第二raw图像是不经过任何线性处理的原始图像数据，因此在相机记录数据的处理流程(pipeline)中，可以打开去坏点的功能。79.在有光环境下，控制相机以不同增益值采集多个第二raw图像，将各个第二raw图像输入读取噪声模型，可以输出各个第二raw图像的读取噪声。80.步骤106，基于各个第二raw图像，以及各个第二raw图像对应的读取噪声，确定出散粒噪声模型。81.散粒噪声模型是输出图像的散粒噪声的模型。82.可选地，电子设备可以获取各个第二raw图像的像素点数据，基于各个第二raw图像的像素点数据确定出均值和方差，基于第二raw图像的均值和方差和对应的读取噪声，拟合出均值和方差之间的曲线，并确定出该曲线的斜率；基于该斜率和相机的增益值，确定出散粒噪声模型。83.步骤108，基于读取噪声模型和散粒噪声模型，得到相机采集的raw图像的目标噪声模型。84.目标噪声模型是估计出相机采集的raw图像的噪声的模型。85.可选地，电子设备将读取噪声模型和散粒噪声模型组合，得到目标噪声模型。86.上述噪声模型的估计方法，电子设备获取在无光环境下相机以不同增益值采集的多个第一raw图像，以及根据多个第一raw图像确定出读取噪声模型，则通过该读取噪声模型可以获取到相机在无光环境下所产生的客观存在的读取噪声。而在有光环境下，先通过读取噪声模型输出各个第二raw图像的读取噪声，再基于各个第二raw图像和各个第二raw图像对应的读取噪声，可以确定出有光环境下的散粒噪声模型。那么，基于无光环境下的读取噪声模型和有光环境下的散粒噪声模型，可以准确地估计出相机采集raw图像的目标噪声模型，通过该目标噪声模型可以更准确地估计出相机采集的raw图像的噪声。87.在一个实施例中，根据多个第一raw图像，确定出读取噪声模型，包括：对于每个第一raw图像对应的增益值，获取增益值对应的第一raw图像的噪声分布参数；噪声分布参数用于模拟出第一raw图像的读取噪声；基于增益值和噪声分布参数之间的对应关系，生成读取噪声模型。88.噪声分布参数是表征噪声的分布情况的参数。噪声分布参数具体可以包括尺度参数和形状参数中的至少一种。形状参数表示噪声的分布种类，尺度参数是噪声的分布曲线的尺度。89.对于每个第一raw图像对应的增益值，电子设备获取该增益值对应的第一raw图像的噪声分布参数，则一个第一raw图像对应的增益值，可以得到一个噪声分布参数。那么，基于各个增益值和对应的噪声分布参数之间的对应关系，可以拟合出增益值和对应的噪声分布参数的关系曲线，将该关系曲线作为读取噪声模型。90.可以理解的是，电子设备将raw图像输入读取噪声模型中，该读取噪声模型获取该raw图像对应的增益值，根据该关系曲线确定该增益值对应的噪声分布参数，通过该噪声分布参数可以模拟出该raw图像的读取噪声，输出该读取噪声。91.在本实施例中，对于每个第一raw图像对应的增益值，获取增益值对应的第一raw图像的噪声分布参数，该噪声分布参数用于模拟出第一raw图像的读取噪声，则基于增益值和噪声分布参数之间的对应关系，可以生成准确的读取噪声模型。92.在一个实施例中，对于每个第一raw图像对应的增益值，获取增益值对应的第一raw图像的噪声分布参数，包括：对于每个第一raw图像对应的增益值，获取多组噪声分布参数，并将多组噪声分布参数分别代入预设的噪声分布模型中，得到多个候选的噪声分布模型；从多个候选的噪声分布模型中确定出目标噪声分布模型，并将目标噪声分布模型的噪声分布参数，作为增益值对应的第一raw图像的噪声分布参数。93.预设的噪声分布模型可以是tukey-lambda。tukey-lambda是一个分布族，我多个相似噪声分布模型的集合。电子设备将不同的噪声分布参数输入该分布组中，可以得到不同的噪声分布模型。而无光环境下采集的第一raw图像不具有稳定性，因此需要采用不同的噪声分布参数构建出多个候选的噪声分布模型，从而确定出面部噪声分布模型。94.可选地，对于每个第一raw图像对应的增益值，遍历预设选择范围内的多组噪声分布参数，将每一组噪声分布参数分别代入预设的噪声分布模型中，可以得到一个候选的噪声分布模型；将各个候选的噪声分布模型分别与第一raw图像进行比较，基于比较结果确定出目标噪声分布模型。95.其中，电子设备确定各个候选的噪声分布模型分别与第一raw图像的差异值，基于各个差异值确定出目标噪声分布模型。具体地，对于每个候选的噪声分布模型，电子设备将候选的噪声分布模型中预设的各个像素点的灰度值与第一raw图像中对应的像素点的灰度值进行比较，确定出每个对应像素点的差值，并将各个像素点的差值相加，得到候选的噪声分布模型和第一raw图像之间的差异值。96.在一种实施方式中，电子设备可以将差异值最小的候选的噪声分布模型作为目标噪声分布模型。在另一种实施方式中，电子设备可以将差异值次小的候选的噪声分布模型作为目标噪声分布模型。在其他实施方式中，电子设备还可以采用其他方式确定目标噪声分布模型，在此不做限定。97.可选地，噪声分布参数包括尺度参数和形状参数中的至少一种，而不同增益值对应的形状参数比较稳定，因此可以获取增益值对应的第一raw图像的噪声分布参数中的尺度参数。98.在本实施例中，对于每个第一raw图像对应的增益值，获取多组噪声分布参数，并将多组噪声分布参数分别代入预设的噪声分布模型中，得到多个候选的噪声分布模型。那么，电子设备可以从多个候选的噪声分布模型中确定出准确的目标噪声分布模型，并将目标噪声分布模型的噪声分布参数，作为增益值对应的第一raw图像的噪声分布参数，从而提高生成的读取噪声模型的准确性。99.在一个实施例中，对于每个第一raw图像对应的增益值，获取增益值对应的第一raw图像的噪声分布参数，包括：对于每个第一raw图像对应的增益值，获取增益值对应的第一raw图像中每个通道的噪声分布参数；基于增益值和噪声分布参数之间的对应关系，生成读取噪声模型，包括：基于增益值和每个通道的噪声分布参数之间的对应关系，生成每个通道的第一通道噪声模型；基于各个第一通道噪声模型，得到读取噪声模型。100.可以理解的是，图像的raw域包括r、gr、gb和b通道，每个通道中感光元件的感光性、工艺制作等方面会存在一些差异，故不同通道对光子感应不一致。因此，电子设备获取增益值对应的第一raw图像中每个通道的噪声分布参数，从而更准确地确定出每个通道的噪声模型。101.第一通道噪声模型是用于输出图像在raw域一个通道的读取噪声的模型。102.raw域包括r、gr、gb和b通道，则可以对应生成4个通道的第一通道噪声模型，分别是r通道的第一通道噪声模型、gr通道的第一通道噪声模型、gb通道的第一通道噪声模型和b通道的第一通道噪声模型。103.可选地，对于每个通道，电子设备基于各个增益值和该通道的噪声分布参数之间的对应关系，可以拟合出增益值和该通道的噪声分布参数的关系曲线，将该关系曲线作为该通道的第一通道噪声模型。104.可以理解的是，电子设备将raw图像输入指定通道的第一通道噪声模型中，该指定通道的第一通道噪声模型获取该raw图像对应的增益值，根据该增益值和指定通道的噪声分布参数之间的关系曲线，确定该增益值对应的指定通道的噪声分布参数，通过该噪声分布参数可以模拟出该raw图像的指定通道的读取噪声，输出该指定通道的读取噪声。105.图4为一个实施例中增益值和r通道的尺度参数的关系曲线示意图。图5为一个实施例中增益值和gr通道的尺度参数的关系曲线示意图。图6为一个实施例中增益值和gb通道的尺度参数的关系曲线示意图。图7为一个实施例中增益值和b通道的尺度参数的关系曲线示意图。在图4、图5、图6和图7中，横坐标均是尺度参数，纵坐标均是增益值。106.可选地，电子设备将各个第一通道噪声模型组合，可以得到读取噪声模型。107.在本实施例中，电子设备获取增益值对应的第一raw图像中每个通道的噪声分布参数，从而基于增益值和每个通道的噪声分布参数之间的对应关系，更准确地分别生成每个通道的第一通道噪声模型，基于各个第一通道噪声模型可以得到更准确的读取噪声模型，从而得到更准确的目标噪声模型，避免由于不同通道中感光元件的感光性、工艺制作等方面存在差异而导致生成的目标噪声模型准确性低的问题。108.在一个实施例中，对于每个第一raw图像对应的增益值，获取增益值对应的第一raw图像中每个通道的噪声分布参数，包括：对于每个第一raw图像对应的增益值，获取多组噪声分布参数，并将多组噪声分布参数分别代入预设的噪声分布模型中，得到多个候选的噪声分布模型；从多个候选的噪声分布模型中确定出每个通道的目标噪声分布模型，并将每个通道的目标噪声分布模型的噪声分布参数，作为增益值对应的第一raw图像的各个通道的噪声分布参数。109.在一个实施例中，基于各个第二raw图像，以及各个第二raw图像对应的读取噪声，确定出散粒噪声模型，包括：对于每个第二raw图像对应的增益值，基于各个第二raw图像，以及各个第二raw图像对应的读取噪声，获取增益值对应的散粒噪声参数；基于增益值和散粒噪声参数之间的对应关系，生成散粒噪声模型。110.第二raw图像为相机在有光环境下采集到的原始图像数据。散粒噪声参数是散粒噪声模型的参数。111.可选地，对于每个第二raw图像对应的增益值，可以获得该增益值对应的散粒噪声参数；那么，基于多组数据，每组数据包括增益值和对应的散粒噪声参数，则可以拟合出增益值和散粒噪声参数之间的关系曲线，将该关系曲线作为散粒噪声模型；其中，该关系曲线可以表征增益值和散粒噪声参数之间的对应关系。112.在本实施例中，对于每个第二raw图像对应的增益值，电子设备基于各个第二raw图像，以及各个第二raw图像对应的读取噪声，获取增益值对应的散粒噪声参数，从而可以基于增益值和散粒噪声参数之间的对应关系，准确地生成散粒噪声模型。113.在一个实施例中，第二raw图像包括多个色块；基于各个第二raw图像，以及各个第二raw图像对应的读取噪声，获取增益值对应的散粒噪声参数，包括：将每个色块划分为多个小块，获取每个色块对应的数据集；每组数据集包括多个数据对，每个数据对包括每个小块中各像素点的第一raw数据的均值和方差；获取各个第二raw图像对应的读取噪声；对于一组数据集，以数据集中每个小块的均值作为横坐标、方差作为纵坐标，并将读取噪声作为截距，拟合出均值和方差的候选曲线；基于各个候选曲线，确定出目标曲线，并将目标曲线的斜率作为增益值对应的散粒噪声参数。114.在有光环境下，电子设备拍摄标准图卡，得到第二raw图像；其中，标准图卡中包括多个不同颜色的色块。如图8所示为一个实施例中的标准图卡的示意图，该标准图卡包括24个不同颜色的色块，则电子设备拍摄该标准图卡得到的第二raw图像也包括有24个不同颜色的色块。115.可选地，对于每个第二raw图像对应的增益值，电子设备将该第二raw图像中每个色块划分为多个小块，分别计算出每个小块中各像素点的第一raw数据的均值和方差，每个小块对应一对数据对，可以得到每个色块对应的数据集。116.对于一组数据集{m,v}，以数据集中每个小块的均值作为横坐标m、方差v作为纵坐标，并将该第二raw图像的读取噪声base作为截距，可以拟合出均值和方差的候选曲线。117.可以理解的是，第二raw图像包括多个色块，每个色块对应一组数据集，每组数据集可以拟合出均值和方差的候选曲线，则第二raw图像可以得到多个候选曲线。118.在一种实施方式中，电子设备可以从各个候选曲线中确定斜率最小的候选曲线作为目标曲线。在另一种实施方式中，电子设备可以从各个候选曲线中确定最平滑的候选曲线作为目标曲线。在其他实施方式中，电子设备还可以采用其他方式确定目标曲线，在此不做限定。119.在本实施例中，电子设备将每个色块划分为多个小块，获取每个色块对应的数据集；每组数据集包括多个数据对，每个数据对包括每个小块中各像素点的第一raw数据的均值和方差；获取各个第二raw图像对应的读取噪声；对于一组数据集，以数据集中每个小块的均值作为横坐标、方差作为纵坐标，并将读取噪声作为截距，拟合出均值和方差的候选曲线；从而可以从各个候选曲线中确定出更准确的目标曲线，并将目标曲线的斜率作为增益值对应的散粒噪声参数，提高了散粒噪声参数的准确性。120.在一个实施例中，每个小块中各像素点的第一raw数据的获取方式，包括：获取每个小块中各个像素点的第二raw数据；将每个第二raw数据经过黑电平降噪处理，得到第一raw数据。121.第二raw数据是第二raw图像中的原始raw数据。第一raw数据是经过黑电平降噪处理过的raw数据。122.定义图像数据为0时对应的信号电平，调节黑电平不影响信号的放大倍数，而仅仅是对信号进行上下平移。如果向上调节黑电平，图像将变暗，如果向下调节黑电平图像将变亮。123.黑电平(也称绝对黑电平)设定，也就是黑色的最低点。黑色的最低点，即crt(cathode ray tube，阴极射线显像管)显像管内射出的电子束能量，低于让磷质发光体(萤光物质)开始发光的基本能量时，屏幕上所显示的就是最低位置的黑。124.黑电平也即暗电平，是相机系统中客观存在的暗电平噪声。125.可选地，电子设备将每个第二raw数据减去黑电平的噪声值，得到第一raw数据。126.可以理解的是，电子设备将各个第二raw数据经过黑电平降噪处理，可以降低各个第二raw数据的噪声，得到更准确的第一raw数据，避免采用未经黑电平降噪处理过的raw数据进行计算而导致误差较大的问题，可以更准确地计算出每个小块中各像素点的第一raw数据的均值和方差。127.在一个实施例中，目标噪声模型可以是：noiselevel＝k*(signal-bl)+base。其中，noiselevel是目标噪声模型输出的目标噪声，k是散粒噪声参数，signal表示raw图像的像素值，bl表示黑电平的噪声值，k*(signal-bl)是raw图像的散粒噪声，base是raw图像的读取噪声。128.在一个实施例中，对于每个第二raw图像对应的增益值，基于各个第二raw图像，以及各个第二raw图像对应的读取噪声，获取增益值对应的散粒噪声参数，包括：对于每个第二raw图像对应的增益值，基于各个第二raw图像每个通道的raw数据，以及各个第二raw图像在每个通道对应的读取噪声，获取增益值对应的每个通道的散粒噪声参数；基于增益值和散粒噪声参数之间的对应关系，生成散粒噪声模型，包括：基于增益值和每个通道的散粒噪声参数之间的对应关系，生成每个通道的第二通道噪声模型；基于各个第二通道噪声模型，得到散粒噪声模型。129.可以理解的是，图像的raw域包括r、gr、gb和b通道，每个通道中感光元件的感光性、工艺制作等方面会存在一些差异，故不同通道对光子感应不一致。因此，电子设备获取增益值对应的第二raw图像中每个通道的raw数据和每个通道的读取噪声，从而更准确地获取增益值对应的每个通道的散粒噪声参数。130.第二通道噪声模型是用于输出图像在raw域一个通道的散粒噪声的模型。131.raw域包括r、gr、gb和b通道，则可以对应生成4个通道的第二通道噪声模型，分别是r通道的第二通道噪声模型、gr通道的第二通道噪声模型、gb通道的第二通道噪声模型和b通道的第二通道噪声模型。132.可选地，对于每个通道，电子设备基于增益值和每个通道的散粒噪声参数之间的对应关系，可以拟合出增益值和该通道的散粒噪声参数的关系曲线，将该关系曲线作为该通道的第二通道噪声模型。133.图9为一个实施例中增益值和r通道的散粒噪声参数的关系曲线示意图。图10为一个实施例中增益值和gr通道的散粒噪声参数的关系曲线示意图。图11为一个实施例中增益值和gb通道的散粒噪声参数的关系曲线示意图。图12为一个实施例中增益值和b通道的散粒噪声参数的关系曲线示意图。在图9、图10、图11和图12中，横坐标均是散粒噪声参数，纵坐标均是增益值。134.可选地，电子设备将各个第一通道噪声模型组合，可以得到读取噪声模型。135.在本实施例中，电子设备获取增益值对应的每个通道的散粒噪声参数，从而基于增益值和每个通道的散粒噪声参数之间的对应关系，更准确地分别生成每个通道的第二通道噪声模型，基于各个第二通道噪声模型可以得到更准确的散粒噪声模型，从而得到更准确的目标噪声模型，避免由于不同通道中感光元件的感光性、工艺制作等方面存在差异而导致生成的目标噪声模型准确性低的问题。136.在一个实施例中，基于各个第二raw图像每个通道的raw数据，以及各个第二raw图像在每个通道对应的读取噪声，获取增益值对应的每个通道的散粒噪声参数，包括：将每个色块划分为多个小块，对于第二raw图像的每个通道，获取每个色块对应的数据集；每组数据集包括多个数据对，每个数据对包括每个小块中各像素点的第一raw数据的均值和方差；对于每个图像，获取每个通道对应的读取噪声；在每个通道中，对于一组数据集，以数据集中每个小块的均值作为横坐标、方差作为纵坐标，并将读取噪声作为截距，拟合出均值和方差的候选曲线；基于每个通道的各个候选曲线，确定出每个通道的目标曲线，并将每个通道的目标曲线的斜率作为增益值对应的每个通道的散粒噪声参数。137.在一个实施例中，如图13所示，提供了一种图像处理方法，本实施例以该方法应用于电子设备进行举例说明，电子设备可以是终端，也可以是服务器，上述方法还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。138.在本实施例中，该图像处理方法包括以下步骤：139.步骤1302，获取相机采集的原始raw图像。140.步骤1304，通过目标噪声模型，确定出原始raw图像的目标噪声，并基于目标噪声对原始raw图像进行处理，得到目标raw图像；其中，目标噪声模型是根据上述的噪声模型的估计方法得到。141.电子设备将原始raw图像输入目标噪声模型，通过该目标噪声模型可以是出乎该原始raw图像的目标噪声，并基于目标噪声对原始raw图像进行处理，得到目标raw图像。其中，目标噪声可以包括读取噪声和散粒噪声。142.其中，电子设备对原始raw图像进行处理，包括以下至少一种处理操作：降噪处理、锐化处理、去马赛克(ai-demosaic)处理。143.需要说明的是，电子设备还可以基于目标噪声对原始raw图像进行其他的处理，在此不做限定。144.如图14所示为一个实施例中目标raw图像的示意图。其中，目标raw图像是基于目标噪声对原始raw图像进行处理得到的，目标噪声是通过目标噪声模型确定出的，目标噪声模型是根据上述的噪声模型的估计方法得到的。145.可选地，电子设备可以对目标噪声模型进行训练，得到训练完成的目标噪声模型，并通过训练完成的目标噪声模型，确定出原始raw图像的目标噪声。146.上述图像处理方法，电子设备获取相机采集的原始raw图像；通过上述的噪声模型的估计方法得到的目标噪声模型，可以更准确地确定出该原始raw图像的目标噪声，从而可以基于该更准确的目标噪声对原始raw图像进行更处理，得到更清晰的目标raw图像。147.并且，电子设备基于更准确的目标噪声，在对原始raw图像进行处理时，可以提升图像的解析力，有效地提高对图像细节的提取，同时实现图像的降噪和细节增强，得到细节更加清晰的目标raw图像。148.应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。149.基于同样的发明构思，本技术实施例还提供了一种用于实现上述所涉及的噪声模型的估计方法的噪声模型的估计装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个噪声模型的估计装置实施例中的具体限定可以参见上文中对于噪声模型的估计方法的限定，在此不再赘述。150.在一个实施例中，如图15所示，提供了一种噪声模型的估计装置，包括：读取噪声模型确定模块1502、散粒噪声模型确定模块1504和目标噪声模型确定模块1506，其中：151.读取噪声模型确定模块1502，用于获取在无光环境下相机以不同增益值采集的多个第一raw图像，根据多个第一raw图像，确定出读取噪声模型。152.散粒噪声模型确定模块1504，用于在有光环境下，通过读取噪声模型输出各个第二raw图像的读取噪声；各个第二raw图像是相机以不同增益值采集得到；基于各个第二raw图像，以及各个第二raw图像对应的读取噪声，确定出散粒噪声模型。153.目标噪声模型确定模块1506，用于基于读取噪声模型和散粒噪声模型，得到相机采集的raw图像的目标噪声模型。154.上述噪声模型的估计装置，电子设备获取在无光环境下相机以不同增益值采集的多个第一raw图像，以及根据多个第一raw图像确定出读取噪声模型，则通过该读取噪声模型可以获取到相机在无光环境下所产生的客观存在的读取噪声。而在有光环境下，先通过读取噪声模型输出各个第二raw图像的读取噪声，再基于各个第二raw图像和各个第二raw图像对应的读取噪声，可以确定出有光环境下的散粒噪声模型。那么，基于无光环境下的读取噪声模型和有光环境下的散粒噪声模型，可以准确地估计出相机采集raw图像的目标噪声模型，通过该目标噪声模型可以更准确地估计出相机采集的raw图像的噪声。155.在一个实施例中，上述读取噪声模型确定模块1502还用于对于每个第一raw图像对应的增益值，获取增益值对应的第一raw图像的噪声分布参数；噪声分布参数用于模拟出第一raw图像的读取噪声；基于增益值和噪声分布参数之间的对应关系，生成读取噪声模型。156.在一个实施例中，上述读取噪声模型确定模块1502还用于对于每个第一raw图像对应的增益值，获取多组噪声分布参数，并将多组噪声分布参数分别代入预设的噪声分布模型中，得到多个候选的噪声分布模型；从多个候选的噪声分布模型中确定出目标噪声分布模型，并将目标噪声分布模型的噪声分布参数，作为增益值对应的第一raw图像的噪声分布参数。157.在一个实施例中，上述读取噪声模型确定模块1502还用于对于每个第一raw图像对应的增益值，获取增益值对应的第一raw图像中每个通道的噪声分布参数；基于增益值和每个通道的噪声分布参数之间的对应关系，生成每个通道的第一通道噪声模型；基于各个第一通道噪声模型，得到读取噪声模型。158.在一个实施例中，上述散粒噪声模型确定模块1504还用于对于每个第二raw图像对应的增益值，基于各个第二raw图像，以及各个第二raw图像对应的读取噪声，获取增益值对应的散粒噪声参数；基于增益值和散粒噪声参数之间的对应关系，生成散粒噪声模型。159.在一个实施例中，第二raw图像包括多个色块；上述散粒噪声模型确定模块1504还用于将每个色块划分为多个小块，获取每个色块对应的数据集；每组数据集包括多个数据对，每个数据对包括每个小块中各像素点的第一raw数据的均值和方差；获取各个第二raw图像对应的读取噪声；对于一组数据集，以数据集中每个小块的均值作为横坐标、方差作为纵坐标，并将读取噪声作为截距，拟合出均值和方差的候选曲线；基于各个候选曲线，确定出目标曲线，并将目标曲线的斜率作为增益值对应的散粒噪声参数。160.在一个实施例中，上述散粒噪声模型确定模块1504还用于获取每个小块中各个像素点的第二raw数据；将每个第二raw数据经过黑电平降噪处理，得到第一raw数据。161.在一个实施例中，上述散粒噪声模型确定模块1504还用于对于每个第二raw图像对应的增益值，基于各个第二raw图像每个通道的raw数据，以及各个第二raw图像在每个通道对应的读取噪声，获取增益值对应的每个通道的散粒噪声参数；基于增益值和每个通道的散粒噪声参数之间的对应关系，生成每个通道的第二通道噪声模型；基于各个第二通道噪声模型，得到散粒噪声模型。162.基于同样的发明构思，本技术实施例还提供了一种用于实现上述所涉及的图像处理方法的噪声模型的估计装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个图像处理装置实施例中的具体限定可以参见上文中对于图像处理方法的限定，在此不再赘述。163.在一个实施例中，如图16所示，提供了一种图像处理装置，包括：获取模块1602和处理模块1604，其中：164.获取模块1602，用于获取相机采集的原始raw图像。165.处理模块1604，用于通过目标噪声模型，确定出原始raw图像的目标噪声，并基于目标噪声对原始raw图像进行处理，得到目标raw图像；其中，目标噪声模型是根据上述的噪声模型的估计方法得到。166.上述图像处理装置，电子设备获取相机采集的原始raw图像；通过上述的噪声模型的估计方法得到的目标噪声模型，可以更准确地确定出该原始raw图像的目标噪声，从而可以基于该更准确的目标噪声对原始raw图像进行更处理，得到更清晰的目标raw图像。167.上述噪声模型的估计装置或图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。168.在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图17所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过wifi、移动蜂窝网络、nfc(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种噪声模型的估计方法或图像处理方法。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置。显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。169.本领域技术人员可以理解，图17中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。170.本技术实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行噪声模型的估计方法的步骤、或图像处理方法的步骤。171.本技术实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行噪声模型的估计方法、或图像处理方法的步骤。172.需要说明的是，本技术所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。173.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-only memory，rom)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(reram)、磁变存储器(magnetoresistive random access memory，mram)、铁电存储器(ferroelectric random access memory，fram)、相变存储器(phase change memory，pcm)、石墨烯存储器等。易失性存储器可包括随机存取存储器(random access memory，ram)或外部高速缓冲存储器等。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器(static random access memory，sram)或动态随机存取存储器(dynamic random access memory，dram)等。本技术所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本技术所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。174.以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。175.以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术的保护范围应以所附权利要求为准。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!