一种图像降噪方法、及图像降噪模组与流程

计算;推算;计数设备的制造及其应用技术1.本发明涉及图像处理领域，特别地，涉及一种图像降噪方法。背景技术：2.在视频监控领域，对于成像设备的图像效果要求越来越高。严重的图像噪声会影响视觉直观感受。3.当前应用较为广泛的传统图像降噪算法，例如bm3d(block-matching and 3d filtering)算法，其原理为：4.首先将一帧图像分割成尺寸较小的像素片，选定一参考片后，搜索与参考片相似的像素片，将相似的像素片组成第一相似块；5.然后将所有第一相似块进行3d变换，得到3d块；6.将3d块按照设定的阈值进行筛选，以除去图像噪声，得到去噪后的3d块；7.将去噪后的3d块进行3d逆变换，得到第二相似块；8.最后将所有第二相似块进行加权平均后还原到图像中。9.该算法的核心在于采用了不同的去噪策略，即，通过搜索相似块并在变换域进行滤波，对第二相似块中每个像素点进行加权，从而得到最终去噪效果。10.无论是bm3d算法，还是其他各种传统图像降噪算法，都很难兼顾各种不同照度下的图像噪点。11.随着深度学习技术的发展，深度学习降噪算法在近年来得到了极大的发展，但是深度学习降噪算法对场景的适应性要求较高，需要根据实际使用情况专门设计合理的网络结构，并通过一定的训练手段得到合适的参数。技术实现要素：12.本发明提供了一种图像降噪方法，以降低不同照度下的图像中的图像噪声。13.本发明提供的一种图像降噪方法，该方法包括，14.将待降噪图像依次进行j次卷积编码，得到特征编码；15.将特征编码依次进行j次卷积解码，得到与所述待降噪图像像素尺寸相同的降噪图像；16.其中，17.对特征编码进行第一次卷积解码，得到本次卷积解码结果，18.将与本次卷积解码结果具有相同像素尺寸的卷积编码结果、以及所述本次卷积解码结果，进行与本次卷积解码相邻的下一次卷积解码，依次递推，直至进行第j次卷积解码，19.j为大于等于1的自然数。20.较佳地，该方法进一步包括，21.基于待降噪图像提取该图像中的感兴趣区域，得到感兴趣区域图像，22.将感兴趣区域图像作为待降噪图像，执行所述将待降噪图像依次进行j次卷积编码，得到特征编码的步骤、以及将特征编码依次进行j次卷积解码的步骤，得到感兴趣区域图像的降噪图像；23.将待降噪图像的降噪图像与该待降噪图像中感兴趣区域图像的降噪图像融合；24.所述将待降噪的第一输入图像依次进行j次卷积编码之前，进一步包括，25.将图像进行下采样，得到m个下采样图像，26.所述将待降噪的第一输入图像依次进行j次卷积编码，得到特征编码，包括，27.将所述待降噪图像、以及m个下采样图像并行地分别进行卷积编码，分别得到m+1个特征编码，其中，每个图像按照设定的卷积编码步长，依次进行j次卷积编码，所述特征编码为j次卷积编码后的特征编码，28.所述将特征编码依次进行j次卷积解码，得到与所述待降噪图像像素尺寸相同的降噪图像，包括，29.将m+1个特征编码并行地分别进行卷积解码，分别得到卷积解码后的图像，其中，每个特征编码按照相同的卷积解码步长，依次进行j次卷积解码，30.将每个下采样图像卷积解码后的图像进行上采样，得到m个上采样图像，31.将待降噪图像的卷积解码后的图像、以及m个上采样图像进行融合，得到与所述待降噪图像像素尺寸相同的降噪图像；32.其中，m为大于等于1的自然数。33.较佳地，所述将与本次卷积解码结果具有相同像素尺寸的卷积编码结果、以及所述本次卷积解码结果，进行与本次卷积解码相邻的下一次卷积解码，依次递推，直至进行第j次卷积解码，包括，34.对第一次卷积解码所得到的第一卷积解码结果、以及第j-1次卷积编码所得到的第j-1卷积编码结果进行第二次卷积解码，得到第二卷积解码结果，35.对第二卷积解码结果、以及第j-2次卷积编码所得到的第j-2卷积编码结果进行第三次卷积解码，得到第三卷积解码结果；36.依次递推，37.直至对第j-1卷积解码结果、以及第一次卷积编码所得到的第一卷积编码结果进行第j次卷积解码，得到第j卷积解码结果。38.较佳地，所述依次进行j次卷积编码，包括：每次卷积编码时，依次进行卷积、以及增强残差处理；39.所述依次进行j次卷积解码，包括：每次卷积解码时，依次进行增强残差、以及反卷积处理；40.其中，增强残差处理包括q次卷积处理，q为大于等于1的自然数。41.较佳地，所述q为偶数，所述q次卷积处理包括，42.将用于增强残差处理的第一输入数据依次进行q次卷积，43.其中，44.第一输入数据依次进行第一次卷积、和第二次卷积，得到第二卷积结果，45.第二卷积结果、以及第一输入数据依次进行第三次卷积和第四次卷积，得到第四卷积结果，46.第四卷积结果、以及第二卷积结果、第一输入数据依次进行第五次卷积和第六次卷积，得到第六卷积结果，47.依次递推，48.第p次卷积的结果、以及第p-2k次卷积的结果、第一输入数据依次进行第p+1次卷积和第p+2次卷积，得到第p+2卷积结果，49.…50.直至p+2等于q时，得到第q卷积结果；51.p为偶数，p-2k大于1，k为大于等于1的自然数。52.较佳地，所述m为3或4，所述j为2至6的自然数，所述q为4至8的自然数；53.所述卷积编码步长的大小，使得：本次卷积编码所得到卷积编码结果的像素尺寸，是上一次卷积编码所得到卷积编码结果的像素尺寸的一半，54.所述j-1次卷积解码步长的大小，使得：本次卷积解码所得到卷积解码结果的像素尺寸，是上一次卷积解码所得到卷积解码结果的像素尺寸的2倍；55.所述第j次卷积解码步长的大小，使得：本次卷积解码所得到卷积解码结果的像素尺寸，与输入图像像素尺寸相同。56.本发明还提供一种用于图像降噪的降噪模组，该降噪模组用于：57.将待降噪图像依次进行j次卷积编码，得到特征编码；58.将特征编码依次进行j次卷积解码，得到与所述待降噪图像像素尺寸相同的降噪图像；59.其中，60.对特征编码进行第一次卷积解码，得到本次卷积解码结果，61.将与本次卷积解码结果具有相同像素尺寸的卷积编码结果、以及所述本次卷积解码结果，进行与本次卷积解码相邻的下一次卷积解码，依次递推，直至进行第j次卷积解码，62.j为大于等于1的自然数。63.较佳地，所述降噪模组还用于：64.基于待降噪图像提取该图像中的感兴趣区域，得到感兴趣区域图像，65.将感兴趣区域图像作为待降噪图像，进行降噪处理，得到感兴趣区域图像的降噪图像；66.将待降噪图像的降噪图像与该待降噪图像中感兴趣区域图像的降噪图像融合；67.所述降噪模组为训练后的深度学习模型模块，该深度学习模型模块包括，用于目标图像降噪的第一子网络，以及用于目标图像中感兴趣区域降噪的第二子网络，68.其中，69.第一子网络将所述待降噪图像处理成该待降噪图像的降噪图像；70.所述第二子网络将基于所述待降噪图像所提取的感兴趣区域图像处理成感兴趣区域图像的降噪图像，71.所述第一子网络与第二子网络网络结构相同，72.每个子网络包括m个通道，每个通道包括j个卷积编码模块以及j个卷积解码模块，73.每个通道中：j个卷积编码模块依次相连接，j个卷积解码模块依次相连接，其中，第j卷积编码模块的第j卷积编码结果输出至第一卷积解码模块，并且，除第一卷积解码模块之外的其余卷积解码模块中的任一卷积解码模块，与，除第j卷积编码模块之外的其余卷积编码模块中的任一卷积编码模块相连，该卷积编码模块的卷积编码结果与该卷积解码模块的另一输入具有相同像素尺寸；74.m为大于等于1的自然数。75.较佳地，所述降噪模组还包括，76.感兴趣区域提取模块，用于提取待降噪图像中的感兴趣区域图像，77.子网络图像融合模块，用于将来自第一子网络的降噪图像与第二子网络的降噪图像融合；78.所述除第一卷积解码模块之外的其余卷积解码模块中的任一卷积解码模块，与，除第j卷积编码模块之外的其余卷积编码模块中的任一卷积编码模块相连，包括，79.第j-1卷积编码模块的第j-1卷积编码结果输入至第二卷积解码模块，80.第j-2卷积编码模块的第j-2卷积编码结果输入至第三卷积解码模块，81.依次递推，82.直至第一卷积编码模块的第一卷积编码结果输入至第j卷积解码模块。83.较佳地，所述卷积编码模块包括，依次相连的卷积子模块以及增强残差子模块，所述卷积解码模块包括，依次相连的增强残差子模块以及反卷积子模块，84.其中，85.增强残差子模块包括q个依次相连的卷积层，86.其中，87.输入增强残差子模块的第一输入数据依次输入至第一卷积层、和第二卷积层，得到第二卷积结果，88.第二卷积结果、以及第一输入数据依次输入第三卷积层和第四卷积层，得到第四卷积结果，89.第四卷积结果、以及第二卷积结果、第一输入数据依次进行第五卷积层和第六卷积层，得到第六卷积结果，90.依次递推，91.第p次卷积的结果、以及第p-2k次卷积的结果、第一输入数据依次进行第p+1卷积层和第p+2卷积层，得到第p+2卷积结果，92.…93.直至p+2等于q时，得到第q卷积结果；94.p为偶数，p-2k大于1，k为大于等于1的自然数。95.本发明还提高一种基于深度学习模型的图像降噪方法，该方法包括，在训练后的深度学习模型侧，96.训练后的深度学习模型接收待降噪图像，并进行处理，得到降噪图像；97.其中，98.所述深度学习模型采用至少包括有不同照度下所采集的目标图像数据的训练样本数据，进行训练。99.较佳地，所述训练样本数据包括，由目标输入图像与目标参考图像组成的目标图像对，由色卡输入图像与色卡参考图像组成的色卡图像对，100.其中，101.输入图像为短帧图像，参考图像为长帧图像，所述短帧图像和长帧图像按照包括第一曝光时间、以及第二曝光时间的曝光周期被采集，第一曝光时间与第二曝光时间不相等，曝光时间长的图像为长帧图像，将曝光时间短的图像为短帧图像；102.目标输入图像的像素尺寸与色卡输入图像的像素尺寸相同，103.目标参考图像的像素尺寸与色卡参考图像的像素尺寸相同。104.较佳地，相邻两曝光周期内，第一曝光时间和第二曝光时间的曝光交替次序相同，105.所述图像对从所采集的视频数据中截取，所截取的长帧图像与所截取的短帧图像具有相同的时间信息，位移差小于等于设定的位移差阈值，106.所述图像对中的输入图像和参考图像分别具有设定的目标框，其中，输入图像目标框的位置、参考图像目标框的位置分别按照相同的扰动参数偏移，所述扰动参数包括，图像上下左右四个方向中的一个随机方向、以及随机的偏移量。107.较佳地，所述目标输入图像中的目标框的位置、目标参考图像中的目标框的位置分别按照第一扰动参数偏移；108.所述色卡输入图像中的目标框的位置、色卡参考图像中的目标框的位置分别按照第二扰动参数偏移。109.较佳地，述训练样本数据中，不同照度下、以及不同的图像曝光增益下的图像对数量趋于一致，其中，图像曝光增益从初始的图像曝光增益开始，等步长递增，直至到达设定的图像曝光增益阈值为止，所述图像曝光增益阈值根据图像质量确定；110.所述目标图像对中所包括的图像为单一目标图像，所述单一目标图像分别为该目标主视方向上的图像、左视方向上的图像、右视方向上的图像、俯视方向上的图像、仰视方向上的图像；所述目标按照设定的移动速度阈值移动。111.较佳地，所述目标为人脸，用于采集所述人脸的图像采集设备安装于与地面具有一定高度的高度位置，所采集的目标与图像采集设备在地面的投影位置之间具有设定的距离，所采集的人脸图像中瞳孔之间的距离达到设定的像素数量阈值，112.所述图像采集设备具有不同的设备型号。113.较佳地，所述深度学习模型包括，114.用于目标图像降噪的第一子网络，以及用于目标图像中感兴趣区域降噪的第二子网络，115.其中，116.所述待降噪图像输入至第一子网络，第一子网络输出第一降噪图像；117.所述深度学习模型还包括，118.基于所述待降噪图像所提取的感兴趣区域图像输入至第二子网络，第二子网络输出第二降噪图像。119.较佳地，所述第一子网络与第二子网络网络结构相同，每个子网络包括，m个通道，120.所述待降噪图像下采样为m-1个下采样图像，待降噪图像、以及该m-1个下采样图像分别输入至第一子网络中的m个通道，将来自通道的每个下采样图像的输出图像进行上采样，得到m-1个上采样图像，将来自通道的待降噪图像的输出图像、以及m-1个上采样图像进行融合，得到第一降噪图像；121.所述感兴趣区域图像下采样为m-1个下采样图像，感兴趣区域图像、以及该m-1个下采样图像分别输入至第二子网络中的m个通道，将来自通道的每个下采样图像的输出图像进行上采样，得到m-1个上采样图像，将来自通道的感兴趣区域图像的输出图像、以及该m-1个上采样图像进行融合，得到第二降噪图像；122.m为大于等于1的自然数；123.所述第一降噪图像与所述第二降噪图像进行融合，融合后的图像为最终降噪结果。124.较佳地，所述每个通道包括j个卷积编码模块以及j个卷积解码模块，125.每个通道中：j个卷积编码模块依次相连接，j个卷积解码模块依次相连接，其中，第j卷积编码模块的第j卷积编码结果输出至第一卷积解码模块，并且，除第一卷积解码模块之外的其余卷积解码模块中的任一卷积解码模块，与，除第j卷积编码模块之外的其余卷积编码模块中的任一卷积编码模块相连，该卷积编码模块的卷积编码结果与该卷积解码模块的另一输入具有相同像素尺寸。126.较佳地，所述除第一卷积解码模块之外的其余卷积解码模块中的任一卷积解码模块，与，除第j卷积编码模块之外的其余卷积编码模块中的任一卷积编码模块相连，包括，127.第j-1卷积编码模块的第j-1卷积编码结果输入至第二卷积解码模块，128.第j-2卷积编码模块的第j-2卷积编码结果输入至第三卷积解码模块，129.依次递推，130.直至第一卷积编码模块的第一卷积编码结果输入至第j卷积解码模块；131.j为大于等于1的自然数。132.较佳地，所述卷积编码模块包括，依次相连的卷积子模块以及增强残差子模块，所述卷积解码模块包括，依次相连的增强残差子模块以及反卷积子模块，133.所述增强残差子模块包括q个依次相连的卷积层，134.其中，135.输入增强残差子模块的第一输入数据依次输入至第一卷积层、和第二卷积层，得到第二卷积结果，136.第二卷积结果、以及第一输入数据依次输入第三卷积层和第四卷积层，得到第四卷积结果，137.第四卷积结果、以及第二卷积结果、第一输入数据依次进行第五卷积层和第六卷积层，得到第六卷积结果，138.依次递推，139.第p次卷积的结果、以及第p-2k次卷积的结果、第一输入数据依次进行第p+1卷积层和第p+2卷积层，得到第p+2卷积结果，140.…141.直至p+2等于q时，得到第q卷积结果；142.p为偶数，p-2k大于1，k为大于等于1的自然数。143.较佳地，所述深度学习模型按照如下方式进行训练：144.接收外部输入的当前批次训练样本数据，145.计算当前批次训练样本数据的多维度混合损失函数，146.在当前多维度混合损失函数达到设定的损失阈值时，结束训练，保存当前深度学习模型中的网络参数，得到训练后的深度学习模型，否则，接收下一批次的训练样本数据，返回执行所述计算当前批次训练样本数据的多维度混合损失函数的步骤，147.其中，148.每批次训练样本数据中所包括的目标图像对的数量、和色卡图像对的数量为随机数，149.多维度混合损失函数为第一子网络的损失函数与第二子网络的损失函数之和，150.所述第一子网络的损失函数为：第一子网络各通道中数值1与该通道的结构相似度指数之差的第一累加结果，与，第一子网络各通道的最小绝对值偏差损失之和，151.所述第二子网络的损失函数为：第二子网络各通道中数值1与该通道的结构相似度指数之差的第二累加结果，与，第二子网络各通道的最小绝对值偏差损失之和；152.结构相似度指数根据降噪图像与无噪点的图像，计算当前批次训练样本数据的相似度均值而得到，153.最小绝对值偏差损失根据降噪图像与无噪点的图像，计算当前批次训练样本数据的最小绝对值偏差损失之均值而得到。154.较佳地，所述第一累加结果为累加的第一加权结果，该第一加权结果为：第一子网络各通道的第一加权系数加权该通道中数值1与该通道的结构相似度指数之差的加权结果；155.所述第一子网络各通道的最小绝对值偏差损失之和为累加的第二加权结果，该第二加权结果为：第一子网络各通道第二加权系数加权该通道的最小绝对值偏差损失的加权结果；156.所述第二累加结果为累加的第三加权结果，该第三加权结果为：第二子网络各通道第三加权系数加权该通道中数值1与该通道的结构相似度指数之差的加权结果，157.所述第二子网络各通道的最小绝对值偏差损失之和为累加的第四加权结果，该第四加权结果为：第二子网络各通道的第四加权系数加权该通道的最小绝对值偏差损失的加权结果。158.本发明还提供一种用于图像降噪的深度学习模型模组，所述深度学习模型模组，用于将待降噪图像经过训练后的深度学习模型处理，得到降噪图像；159.其中，160.所述深度学习模型采用至少包括有不同照度下所采集的目标图像数据的训练样本数据，进行训练。161.本发明提供的图像降噪方法，可以以基于深度学习模型的方式，通过采用至少包括有不同照度下所采集的目标图像数据的训练样本数据所训练的深度学习模型，对待降噪图像进行降噪处理，对场景的适应性高，能够兼顾不同照度下的图像噪点的降噪，提高了差异化噪点的降噪能力，改善了图像质量；进一步地，采用深度学习模型采用的双重子网络，使得在训练过程中可以根据各子网络各通道的多维度混合损失函数来进行训练，有利于提高训练效率，便于深度学习模型参数的参数调整；训练后的深度学习模型分别对目标图像的整体和感兴趣区域进行降噪，这样，既提高了目标图像的整体降噪效果，又使得目标图像中的关键区域图像得以降噪处理，避免了将图像中的边界细节当成噪点取出，使得图像降噪处理更加细腻，有利于图像的边界细节保护，融合后的降噪图像有利于更进一步地提高图像质量。附图说明162.图1为本技术实施例深度学习模型网络结构的一种示意图。163.图2为通用的增强残差处理的一种示意图。164.图3为包括有多个通道的深度学习模型的网络结构的一种示意图。165.图4为采集图像的一种示意图。166.图5为图像中目标框增加扰动的一种示意图。167.图6为本技术深度学习网络模型的一种结构示意图。168.图7为人脸感兴趣区域的一种示意图。169.图8为一子网络的网络架构的一种示意图。170.图9为卷积编码模块的一种示意图。171.图10为卷积解码模块的一种示意图。172.图11为本实施例增强残差子模块的一种示意图。173.图12为用于深度学习模型训练的一种装置示意图。174.图13为用于图像降噪的深度学习模型模组的一种示意图。具体实施方式175.为了使本技术的目的、技术手段和优点更加清楚明白，以下结合附图对本技术做进一步详细说明。176.不同照度下，所采集图像中的噪点具有不同程度的噪点，噪点形态分布也各不相同，存在较大的差异性，不仅影响视觉效果，也降低了图像识别的准确率。申请人发现，使用传统图像处理方法进行图像降噪时，容易将图像中目标的边界细节当成噪点去除，对细节的保护较差。鉴于用于图像降噪的深度学习模型无需手动设计特征，同时其所依赖的大批量训练样本也可以通过监控设备较为容易地获取，因此对于解决图像降噪的问题具有优势。177.本技术对于用于图像降噪的深度学习模型，采用至少包括有不同照度下所采集的目标图像数据的训练样本数据，进行训练，将训练后的深度学习模型的网络参数进行保存。待降噪图像输入训练后的深度学习模型进行处理，得到降噪图像，从而能够降低不同照度下的图像中的图像噪声。178.为了获得较佳的降噪效果，本技术实施例还对深度学习模型本身的网络结构进行了改进。参见图1所示，图1为本技术实施例深度学习模型网络结构的一种示意图。在该网络结构中，待降噪图像依次进行j次卷积编码，得到特征编码；特征编码依次进行j次卷积解码，得到与所述待降噪图像像素尺寸相同的输出图像；179.其中，180.对特征编码进行第一次卷积解码，得到本次卷积解码结果，181.将与本次卷积解码结果具有相同像素尺寸的卷积编码结果、以及所述本次卷积解码结果，进行与本次卷积解码相邻的下一次卷积解码，依次递推，直至进行第j次卷积解码，182.j为大于等于1的自然数。183.在每次卷积编码过程中，依次进行卷积、以及增强残差处理，每次卷积解码时，依次进行增强残差、以及反卷积处理。参见图2所示，图2为增强残差处理的一种示意图。用于增强残差处理的第一输入数据依次进行q次卷积，其中，184.第一输入数据依次进行第一次卷积、和第二次卷积，得到第二卷积结果，185.第二卷积结果、以及第一输入数据依次进行第三次卷积和第四次卷积，得到第四卷积结果，186.第四卷积结果、以及第二卷积结果、第一输入数据依次进行第五次卷积和第六次卷积，得到第六卷积结果，187.依次递推，188.第p次卷积的结果、以及第p-2k次卷积的结果、第一输入数据依次进行第p+1次卷积和第p+2次卷积，得到第p+2卷积结果，189.…190.直至p+2等于q时，得到第q卷积结果，191.p为偶数，p-2k大于1，k为大于等于1的自然数。192.较佳地，为了获得具有低维度信息的待降噪图像的高维度特征向量，可以通过通道拉伸来使得输入图像长宽尺寸减少、厚度增加，故而可以对待降噪图像进行下采样，以得到m个下采样图像。193.参见图3所示，图3为包括有多个通道的深度学习模型的网络结构的一种示意图。待降噪图像通过下采样模块下采样为m个下采样图像，所述待降噪图像、以及m个下采样图像并行地分别进行卷积编码，分别得到m+1个特征编码，m+1个特征编码并行地分别进行卷积解码，分别得到卷积解码后的图像，其中，每个特征编码按照相同的卷积解码步长，依次进行j次卷积解码，每个下采样图像卷积解码后的图像可以通过上采样模块进行上采样，得到m个上采样图像，待降噪图像的卷积解码后的图像、以及m个上采样图像通过通道图像融合模块进行融合，得到与所述待降噪图像像素尺寸相同的输出图像；194.其中，m为大于等于1的自然数。195.所应理解的是，下采样模块、上采样模块的数量可以分别是m个，这样，每个采样模块分别进行相应处理；也可以是下采样模块、上采样模块的数量可以分别是1个。196.本技术提供的图像降噪方法，能够适应于不同照度下图像的降噪处理，深度学习模型本身的网络结构的改进，既有利于提高训练的效率，又提高了深度学习模型本身对图像的降噪性能。197.以下以人脸图像的降噪为例来进行说明，所应理解的是，本技术不仅限于人脸图像，包括其他内容的任何图像也可适用，例如，车牌图像，指纹图像等等。198.为了获取高质量的、用于降噪的深度学习模型的训练样本数据，在接近真实场景中采集人脸图像数据。鉴于所采集的目标为人脸，故而将图像采集设备固定于距离地面设定高度的位置，采集距离图像采集设备在地面的投影位置具有设定距离的人脸，调整图像采集设备的焦距，使得人脸图像中瞳孔之间的距离达到设定的像素数量阈值，参见图4所示，图像采集设备安装与距离地面2～3米的高度位置，所采集的目标与图像采集设备在地面的投影位置之间距离10-15米，调整图像采集设备的焦距，使得人脸图像中瞳孔之间的距离达到30～40个像素。199.较佳地，调节图像采集设备工作于宽动态强度模式，例如，宽动态强度可设置为50db；按照曝光周期采集图像数据，其中，在同一曝光周期内，包括第一曝光时间、以及第二曝光时间，较佳地，相邻两曝光周期按照第一曝光时间、第二曝光时间交替，例如，第一曝光周期内按照第一曝光时间、第二曝光时间的顺序采集图像数据，与第一曝光周期相邻的第二曝光周期内也按照第一曝光时间、第二曝光时间的顺序采集图像数据，换言之，整个采集过程中按照第一曝光时间、第二曝光时间交替的方式进行采集，这样，同一曝光周期内分别得到以第一曝光时间所采集的第一图像，以第二曝光时间所采集的第二图像，其中，第一图像与第二图像具有相同的时间信息，并且图像亮度尽可能接近。200.第一曝光时间与第二曝光时间不相等。为便于描述，将曝光时间较长的图像称为长帧图像，将曝光时间较短的图像称为短帧图像。由于长、短帧图像的曝光时间之和不能超过设定的曝光时间阈值，例如，1/25s，所以实际在采集图像数据的过程中，长帧图像的曝光时间是短帧图像的曝光时间的2～4倍，例如，长帧图像的曝光时间为1/50s，短帧图像的曝光时间小于等于1/100s，这样，可使得长帧图像与短帧图像之间图像曝光增益的差值保持在6-12db之间。201.为了模拟真实场景中的各种人脸的角度，采集单个场景单个人脸5个视图方向的图像数据，分别为人脸的主视方向上的图像、左视方向上的图像、右视方向上的图像、俯视方向上的图像、仰视方向上的图像，以分别获得包括有正面脸部图像、左侧脸部图像、右侧脸部图像、俯视脸部图像、仰视脸部图像。202.在数据的采集过程中，如果人脸移动过快，会使得长帧图像中的人脸出现运动模糊，在短帧图像中，由于运动物体会存在一定的位移差，缓慢移动的人脸有利于尽可能地减小位移差，所以需要保持人脸的移动速度到达设定的移动速度阈值，例如，人脸移动速度约0.01米/秒，从而能够保证长帧图像中人脸的清晰，减少短帧图像中的位移差，提高深度学习模型的学习效率。其中，位移差是指运动物体在长帧图像中物体轮廓像素点与短帧图像中物体轮廓像素点之间的像素坐标位置的差值。203.由于不同照度下的噪点表现形式受到环境光强度影响，因此，采集不同照度下的长短帧图像数据，例如，通过调节场景中的光源来采集不同照度下的长短帧图像数据。实际采集过程中，从初始的图像曝光增益开始，可以按照等步长递增的图像曝光增益进行采集，直至到达设定的图像曝光增益阈值为止，其中，图像曝光增益阈值根据图像质量确定，这是因为图像曝光增益较大时，短帧的人脸破坏较为严重，尤其在人体运动情形下五官辨识度较差，且具有严重的拖尾效应，这样的训练样本会导致后期训练的模型降噪效果有限。204.为了丰富样本数据，较佳地，使用了不同型号的图像采集设备采集人脸图像数据。为了防止在训练过程中网络参数偏向于数量较多的照度而对于其他照度的效果产生消极影响，在不同照度下、和不同的图像增益下，所采集图像的数量比例趋近一致，例如，下表中示出了在不同照度下和不同的图像曝光增益下所采集图像的数量相同，其中，长帧和短帧的图像数量相同：[0205][0206]为了使得人脸图像在降噪的过程中能够颜色保真，需要在训练样本数据中加入色卡图像数据。采用和采集人脸数据一样的设备，按照与人脸图像采集相同的方式采集色卡图像，即，图像采集设备工作于宽动态强度模式，按照第一曝光时间和第二曝光时间组成的曝光周期，采集不同照度下和不同的图像曝光增益下的色卡图像。[0207]对所采集的图像数据进行预处理：[0208]对于所采集的视频数据，截取长短帧对应的视频帧，截取前可以调整长短帧的视频帧为同一时刻。由于长短帧位移差会使得训练的模型学习到位移差特征，从而使得被降噪的图像(短帧图像)可能存在局部区域的形变，故而要避免截取位移差大于设定位移差阈值的图像数据，即，所截取的长短帧之间的位移差小于等于设定的位移差阈值；[0209]针对人脸图像的降噪处理任务，所采集的人脸长帧图像与人脸短帧图像按照时间信息一一对应，即，某一时间的长帧图像对应有该时间的短帧图像。标记目标框(人脸框)的位置，例如，人脸框范围可设置为300*300个像素。为了增加训练样本数据的丰富性，增加人脸框位置随机扰动，规则是：人脸框位置随机选择上下左右四个方向中的一个方向进行偏移，偏移量为预先设置的数组中的随机值。参见图5所示，图5为图像中目标框增加扰动的一种示意图。每帧人脸长帧图像和其对应的人脸短帧图像中的人脸框使用相同的第一扰动参数，也就是说，第一扰动参数同时赋值给人脸长帧图像和其对应的人脸短帧图像中的人脸框。这样增强数据的优势在于，每个人脸对应的背景信息是不重叠的，减少了深度学习模型在训练过程中迅速过拟合的可能性；[0210]对于所采集的色卡图像，与所采集的人脸图像进行相同的处理，即，所采集的色卡长帧图像与色卡短帧图像按照时间信息一一对应，按照人脸框标记目标框(色卡框)的位置。每帧色卡长帧图像和其对应的色卡短帧图像中的目标框使用相同的第二扰动参数，使得目标框的位置按照上下左右四个方向中的一个随机方向、随机的偏移量进行偏移。[0211]这样，经过预处理后，得到训练样本数据，该训练样本数据包括有：人脸长帧图像及其对应的人脸短帧图像、以及色卡长帧图像及其对应的色卡短帧图像，其中，色卡图像像素尺寸与人脸图像像素尺寸相同，图像中的目标框使用随机的扰动参数进行扰动，扰动参数包括上下左右四个方向中的一个随机方向、以及随机的偏移量。[0212]基于训练样本数据，将人脸长帧图像作为目标参考图像，其对应的人脸短帧图像作为目标输入图像，将色卡长帧图像作为色卡参考图像，其对应的色卡短帧图像作为色卡输入图像，目标输入图像与目标参考图像为目标图像对，色卡输入图像与色卡参考图像为色卡图像对，将一批次图像数据输入至深度学习模型，以对深度学习模型进行训练。同一批次图像数据中所包括的目标图像对和色卡图像对的数量随机，各批次图像数据所包括的图像对数量可以不同，例如，批次1的图像对数量为16，批次2的图像对数量为8。[0213]参见图6所示，图6为本技术深度学习网络模型的一种结构示意图。该深度学习网络模型包括两个子网络，分别是用于脸部感兴趣区域降噪的第二子网络(face-roi-net)和用于脸部降噪的第一子网络(face-net)。其中，face-net的输入为待降噪图像，即，原始人脸图像数据(包括人脸图像对、以及色卡图像对)，输出为经过face-net网络降噪后的人脸图像；face-roi-net的输入为基于待降噪图像提取的roi区域图像，即，原始人脸感兴趣区域图像数据，输出为经过face-roi-net网络降噪后的人脸感兴趣区域图像。[0214]较佳地，将降噪后的人脸图像(第一降噪图像)、以及降噪后的人脸感兴趣区域图像(第二降噪图像)进行融合，以进一步提高降噪的效果。如图6所示，通过子网络图像融合模块将第一降噪图像和第二降噪图像融合，融合后的图像为最终的降噪图像。[0215]参见图7所示，图7为人脸感兴趣区域的一种示意图。人脸感兴趣区域可根据人脸特征点进行定位。如图中的圆点为人脸检测特征点，方框为roi区域。roi区域可根据五官的特征点选择眼睛、鼻子、嘴巴区域，并可以给予不同roi区域不同的权重，也可以根据整张人脸轮廓的特征点选择脸部的整体，或者采取其他的选择策略。[0216]face-roi-net子网络和face-net子网络采用统一的网络架构。参见图8所示，图8为一子网络的网络架构的一种示意图。子网络中共包含m个通道，每个通道包括卷积编码模块和卷积解码模块，卷积编码模块和卷积解码模块的数量相等，每个通道中卷积编码模块、卷积解码模块的连接结构相同。为了平衡降噪的效果和整体的复杂性，较佳地，卷积编码模块、卷积解码模块的数量为2-4个，通道的数量为3-4个。[0217]为了便于说明，以3个通道的子网络为例进行阐述。参见图8所示，具有3个通道、每个通道具有3个卷积编码模块和卷积解码模块的子网络结构的一种示意图。输入图像1(原始输入图像)经过两次下采样后得到两个下采样后的输入图像，这样输入图像1、以及下采样后的输入图像2、输入图像3共有3个输入图像分别输入至各自通道，经过各通道处理后，将各通道图像数据融合，得到降噪图像；每个通道中具有3个卷积编码模块、3个卷积编码模块，卷积编码模块按照卷积编码步长对其输入进行卷积编码，相当于按照滤波步长进行滤波，卷积解码模块按照卷积解码步长对其输入进行卷积解码，相当于恢复数据，通过卷积编码-卷积解码的处理，从而达到降噪的效果。[0218]3个卷积编码模块依次相连接，3个卷积解码模块依次相连接，最后一个卷积编码模块的输出与第一个卷积解码模块的输入相连接，第2个卷积编码模块的输入(第1个卷积编码模块的输出)与第2个卷积解码模块的输出(第3个卷积编码模块的输入)、第3个卷积编码模块的输入(第2个卷积编码模块的输出)和第2个卷积解码模块的输入((第1个卷积编码模块的输出)相连接，也就是说，每隔一卷积编码层就用一条跳线将卷积编码层连接到对称的卷积解码层，因此可以直接进行正向和反向传播。例如：[0219]输入图像1的像素尺寸为256×256，通过2次下采样得到128×128的输入图像2、和64×64的输入图像3两个输入尺寸的图像，鉴于步长太大会导致信息损失，较佳地，卷积编码模块按照1/2倍编码步长进行卷积编码，卷积解码码模块按照2倍卷积解码步长进行卷积解码，这样，[0220]第一通道中的第一卷积编码模块、第二卷积编码模块、第三卷积编码模块将输入图像1卷积编码为特征编码1，其中，第一卷积编码模块为128×128×32的卷积网络，所得到的卷积编码结果的像素尺寸为128×128×32，第二卷积编码模块为64×64×64的卷积网络，所得到的卷积编码结果的像素尺寸为64×64×64，第三卷积编码模块为32×32×128的卷积网络，所得到的卷积编码结果(特征编码1)的像素尺寸为32×32×128；特征编码1输入至第一卷积解码模块，依次经过第一卷积解码模块、第二卷积解码模块、第三卷积解码模块将第一特征卷积编码进行卷积解码，得到输出图像1，其中，第一卷积解码模块为64×64×64的卷积网络，所得到的卷积解码结果的像素尺寸为64×64×64，第二卷积解码模块为128×128×32的卷积网络，所得到的卷积解码结果的像素尺寸为128×128×32，第三卷积解码模块为256×256×1的卷积网络，所得到的卷积解码结果(输入图像1的输出图像1)的像素尺寸为256×256×1，这样，输出图像1的像素尺寸与输入图像1的像素尺寸相同，[0221]类似地，[0222]第二通道中的第一卷积编码模块、第二卷积编码模块、第三卷积编码模块将输入图像2卷积编码为第二特征卷积编码，其中，第一卷积编码模块为64×64×32的卷积网络，所得到的卷积编码结果的像素尺寸为64×64×32，第二卷积编码模块为32×32×64的卷积网络，所得到的卷积编码结果的像素尺寸为32×32×64，第三卷积编码模块为16×16×128的卷积网络，所得到的卷积编码结果(特征编码2)的像素尺寸为16×16×128；特征编码2输入至第一卷积解码模块，依次经过第一卷积解码模块、第二卷积解码模块、第三卷积解码模块将特征编码2进行卷积解码，得到输出图像2，其中，第一卷积解码模块为32×32×64的卷积网络，所得到的卷积解码结果的像素尺寸为32×32×64，第二卷积解码模块为64×64×32的卷积网络，所得到的卷积解码结果的像素尺寸为64×64×32，第三卷积解码模块为128×128×1的卷积网络，所得到的卷积解码结果的像素尺寸为128×128×1，这样，输出图像2的像素尺寸与输入图像2的像素尺寸相同，[0223]第三通道中的第一卷积编码模块、第二卷积编码模块、第三卷积编码模块将第三输入图像卷积编码为特征编码3，其中，第一卷积编码模块为32×32×32的卷积网络，所得到的卷积编码结果的像素尺寸为32×32×32，第二卷积编码模块为16×16×64的卷积网络，所得到的卷积编码结果的像素尺寸为16×16×64，第三卷积编码模块为8×8×128的卷积网络，所得到的卷积编码结果(特征编码3)的像素尺寸为8×8×128；特征编码3输入至第一卷积解码模块，依次经过第一卷积解码模块、第二卷积解码模块、第三卷积解码模块，将特征编码3进行卷积解码，得到输出图像3，其中，第一卷积解码模块为16×16×64的卷积网络，所得到的卷积解码结果的像素尺寸为16×16×64，第二卷积解码模块为32×32×32的卷积网络，所得到的卷积解码结果的像素尺寸为32×32×32，第三卷积解码模块为64×64×1的卷积网络，所得到的卷积解码结果的像素尺寸为64×64×1，这样，输出图像3的像素尺寸与输入图像3的像素尺寸相同。[0224]子网络的各个通道的权值共享，以减小网络的训练难度。输出图像2、输出图像3通过上采样得到与输出图像1像素尺寸一样的图像，最后融合三个通道的输出图像，从而得到降噪图像。[0225]参见图9所示，图9为卷积编码模块的一种示意图。卷积编码模块由1个卷积层和1个增强残差子模块(en-res block)构成，卷积编码模块的输入数据依次经过卷积层、增强残差子模块处理后输出。[0226]参见图10所示，图10为卷积解码模块的一种示意图。卷积解码模块由1个增强残差子模块(en-res block)和1个反卷积层构成，卷积解码模块的输入数据依次经过增强残差子模块、反卷积层处理后输出。[0227]增强残差子模块是为人脸降噪任务设计的模块，用于增强图像中的局部残差，参见图11所示，图11为增强残差子模块的一种示意图。根据消融实验数据，卷积层的数量为4-8个，本实施例以6个卷积层为例。6个卷积层依次相连接，并且，第一卷积层的输入和第二卷积层的输出(第三卷积层的输入)相连接、第三卷积层的输入和第四卷积层的输出(第五卷积层的输入)相连接、第五卷积层的输入和第六卷积层的输出相连接，即，每隔2个卷积层用一条跳线相连接，以进行特征矩阵的相加。另外，为了增强整个增强残差子模块的特征传递性，第一卷积层的输入和第四卷积层的输出(第五卷积层的输入)相连接、第二卷积层的输出(第三卷积层的输入)和第六卷积层的输出相连接、第一卷积层的输入和第六卷积层的输出相连接，即，在每隔2个卷积层用一条跳线相连接的卷积层：每隔4个卷积层用一条跳线相连接，每隔6个卷积层用一条跳线相连接，依次类推，进行特征矩阵的相加。[0228]基于深度学习模型，将训练样本数据中目标图像对、以及色卡图像对输入至深度学习模型，以对深度学习模型进行训练。每输入一批次训练样本数据，计算该批次训练样本的多维度混合损失函数，反复输入不同批次训练样本数据，直至多维度混合损失函数达到设定的损失阈值。[0229]多维度混合损失函数为：脸部子网络的损失函数与脸部感兴趣区域子网络的损失函数之和，用数学式表达为：[0230]loss＝lossface+lossface-roiꢀꢀ(1)[0231]其中，[0232]lossface为脸部子网络的损失函数；[0233]lossface-roi为脸部感兴趣区域子网络的损失函数。[0234]lossface为：脸部子网络所有通道的、各通道中数值1与脸部子网络中该通道结构相似度指数之差的第一累加结果，与，脸部子网络各通道的最小绝对值偏差损失之和，用数学式表达为：[0235][0236]较佳地，lossface为：脸部子网络所有通道的、通道i的第一加权系数加权数值1与该通道结构相似度指数之差的第一加权结果，与，通道i的第二加权系数加权该通道最小绝对值偏差损失的第二加权结果的累加，用数学式表达为：[0237][0238]lossface-roi为：脸部感兴趣区域子网络所有通道的、各通道中数值1与该通道结构相似度指数之差的第二累加结果，与，脸部感兴趣区域子网络各通道的最小绝对值偏差损失之和，用数学式表达为：[0239][0240]较佳地，lossface-roi为脸部感兴趣子网络所有通道的、通道i的第三加权系数加权数值1与脸部感兴趣区域子网络结构相似度指数之差第三加权结果，与，通道i的第四加权系数加权该通道最小绝对值偏差损失的第四加权结果的累加，用数学式表达为：[0241][0242]其中，[0243]i为第i通道数；[0244]m为子网络通道总数；[0245]ssim为结构相似度指数，取值范围在0～1之间，根据各通道的降噪图像与无噪点的图像，计算当前批次训练样本数据的相似度均值，l1为最小绝对值偏差损失，根据各通道降噪图像与无噪点的图像，计算当前批次训练样本数据的最小绝对值偏差损失的均值，其中，对于下采样图像而言，所述降噪图像为上采样图像。a、b、c、d分别为第一加权系数、第二加权系数、第三加权系数、第四加权系数。[0246]参见图12所示，图12为用于深度学习模型训练的一种装置示意图。训练样本数据输入至第一子网络，基于当前输入的训练样本数据通过roi提取模块提取roi区域图像，并输入至第二子网络，第一子网络损失函数计算模块根据第一子网络输出的降噪图像和输入的无噪点图像计算第一子网络损失函数，第二子网络损失函数计算模块根据第二子网络输出的降噪后的roi图像和输入的无噪点roi图像计算第二子网络损失函数，损失函数计算模块将来自第一子网络损失函数计算模块的第一子网络损失函数、以及来自第二子网络损失函数计算模块的第二子网络损失函数累加，得到多维度混合损失函数，当多维度混合损失函数达到设定的损失阈值时，则停止训练，否则，读取下一批次的训练样本数据。[0247]当训练完毕后的模型需要在监控设备中使用的时候，需要将模型移植到设备中进行仿真，并进行相应的集成测试。[0248]本实施例中，采用包括有不同照度下的目标图像的训练样本数据来对深度学习模型训练，有利于提高深度学习模型对各种差异化的噪点的降噪能力；深度学习模型采用了双重子网络，在训练过程中根据各子网络各通道的多维度混合损失函数来进行训练，有利于提高训练效率，便于深度学习模型参数的参数调整；训练后的深度学习模型分别对目标图像的整体和roi区域进行降噪，这样，既提高了目标图像的整体降噪效果，又使得目标图像中的关键区域图像得以降噪处理，使得图像降噪处理更加细腻，融合后的降噪图像有利于进一步提高图像质量。[0249]参见图13所示，图13为用于图像降噪的深度学习模型模组的一种示意图。该模组包括有存储器和处理器，所述存储器存储有计算机程序，所述处理器被配置为执行所述计算机程序以实现所述图像降噪处理。[0250]存储器可以包括随机存取存储器(random access memory，ram)，也可以包括非易失性存储器(non-volatile memory，nvm)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。[0251]上述的处理器可以是通用处理器，包括中央处理器(central processing unit，cpu)、网络处理器(network processor，np)等；还可以是数字信号处理器(digital signal processing，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。[0252]本发明实施例还提供了一种计算机可读存储介质，所述存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现如所述图像降噪处理。[0253]对于装置/网络侧设备/存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。[0254]在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。[0255]以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!