图像分辨率的重建方法及其装置、电子设备及存储介质与流程

计算;推算;计数设备的制造及其应用技术1.本发明涉及金融科技领域，具体而言，涉及一种图像分辨率的重建方法及其装置、电子设备及存储介质。背景技术：2.图像分辨率是指单位英寸内包含像素的个数，作为评价图像质量的指标，其数值越高，图像质量越优。当前，金融机构中存在大量需要图像的业务场景(例如，需要人脸识别的业务等)，并且对采集图像的清晰度具有不同要求，而不同设备采集的图像清晰度不一致，很容易导致出现业务失败等问题。3.相关技术中，图像重建方式包括：基于卷积神经网络的图像超分辨率方法，该方法中存在三个卷积层，分别实现提取低分辨率图像特征信息并映射至高维，高维特征向量的映射与图像重建；edsr(enhanced deep super-resolution network，增强深度超分辨率网络)方法，该方法可以优化残差块结构，去除规范化模块，通过堆叠65个卷积层，加深网络深度，有效提升图像重建效果。4.然而，基于卷积神经网络的图像超分辨率方法需要先将低分辨率图像通过双三次插值的方法上采样至高分辨率图像尺寸，在预处理时会丢失图像特征信息，不利于提取像素与像素之间的联系，并且由于仅使用三个卷积层，会导致无法提取丰富的高频信息与纹理信息，在资源满足甚至资源充沛的情况下，无法保证图像重建质量。edsr方法仅仅通过简单的堆叠卷积层，会导致模型参数极具增加，对于资源受限的设备无法使用该方法进行图像重建，并且采用的该方法重建后图像仍存在图像模糊问题。此外，现有的图像重建方式只满足于某一种设备的资源限制，无法实现一个重建模型满足具有不同资源的设备的要求。5.针对上述的问题，目前尚未提出有效的解决方案。技术实现要素：6.本发明实施例提供了一种图像分辨率的重建方法及其装置、电子设备及存储介质，以至少解决相关技术中无法保证重建后的图像分辨率满足业务需求的技术问题。7.根据本发明实施例的一个方面，提供了一种图像分辨率的重建方法，包括：采用预设生成器，提取待处理图像的图像特征信息，并基于所述图像特征信息，将所述待处理图像重建为目标分辨率图像；采用第一判别器，对所述目标分辨率图像进行下采样，得到原始图像；采用第二判别器，提取所述原始图像的特征信息，并基于所述特征信息，构建特征图；基于第三判别器和预设损失策略，计算所述特征图的损失值，并在所述损失值小于第一预设阈值的情况下，确定所述目标分辨率图像的分辨率达到图像重建要求的分辨率。8.可选地，所述预设生成器包括：所述预设生成器的第一模块、所述预设生成器的第二模块、所述预设生成器的第三模块，其中，第一类设备采用所述预设生成器的第一模块对所述待处理图像进行重建，第二类设备采用所述预设生成器的第一模块和第二模块对所述待处理图像进行重建，第三类设备采用所述预设生成器的第一模块、第二模块和第三模块对所述待处理图像进行重建。9.可选地，在将所述待处理图像重建为目标分辨率图像之前，还包括：获取多张不同分辨率的样本图像；基于所述样本图像，训练所述第一判别器，在所述第一判别器的第一损失函数值小于第二预设阈值的情况下，确定所述第一判别器训练完成；在确定所述第一判别器训练完成的情况下，训练所述预设生成器的第一模块。10.可选地，训练所述预设生成器的第一模块的步骤，包括：基于第一损失函数以及所述第一判别器，训练初始生成器，得到训练后的所述初始生成器；采用训练后的所述初始生成器，生成分辨率图像，并基于所述第二判别器，获取与所述分辨率图像的对应的下采样特征图；采用所述第一损失函数，计算所述下采样特征图在预设时间段内的最高损失值与最低损失值之间的差值；在所述差值小于第三预设阈值的情况下，基于所述第三判别器，采用第三损失函数对所述下采样特征图进行评估，在得到的评估差值小于第四预设阈值的情况下，确定所述预设生成器的第一模块训练完成。11.可选地，基于第一损失函数以及所述第一判别器，训练所述初始生成器的步骤，包括：采用所述第一损失函数，计算所述初始生成器的第二损失函数值；在所述第二损失函数值小于第五预设阈值的情况下，采用所述第一判别器，训练所述初始生成器，得到训练后的所述初始生成器。12.可选地，采用训练后的所述初始生成器，生成分辨率图像，并基于所述第二判别器，获取与所述分辨率图像的对应的下采样特征图的步骤，包括：采用训练后的所述初始生成器，生成分辨率图像；对所述分辨率图像进行下采样，得到下采样图像；采用第二损失函数，对所述下采样图像进行评估，得到评估值；在所述评估值小于第六预设阈值的情况下，基于所述第二判别器，提取所述下采样图像的下采样特征图。13.可选地，在确定所述预设生成器的第一模块训练完成之后，还包括：锁定所述预设生成器的第一模块的第一训练参数；结合所述第一训练参数，重复采用所述预设生成器的第一模块的训练策略，对所述预设生成器的第二模块进行训练。14.可选地，在对所述预设生成器的第二模块进行训练之后，还包括：锁定所述第一训练参数以及所述预设生成器的第二模块的第二训练参数；结合所述第一训练参数以及所述第二训练参数，重复采用所述预设生成器的第一模块的训练策略，对所述预设生成器的第三模块进行训练。15.根据本发明实施例的另一方面，还提供了一种图像分辨率的重建装置，包括：重建单元，用于采用预设生成器，提取待处理图像的图像特征信息，并基于所述图像特征信息，将所述待处理图像重建为目标分辨率图像；下采样单元，用于采用第一判别器，对所述目标分辨率图像进行下采样，得到原始图像；构建单元，用于采用第二判别器，提取所述原始图像的特征信息，并基于所述特征信息，构建特征图；计算单元，用于基于第三判别器和预设损失策略，计算所述特征图的损失值，并在所述损失值小于第一预设阈值的情况下，确定所述目标分辨率图像的分辨率达到图像重建要求的分辨率。16.可选地，所述预设生成器包括：所述预设生成器的第一模块、所述预设生成器的第二模块、所述预设生成器的第三模块，其中，第一类设备采用所述预设生成器的第一模块对所述待处理图像进行重建，第二类设备采用所述预设生成器的第一模块和第二模块对所述待处理图像进行重建，第三类设备采用所述预设生成器的第一模块、第二模块和第三模块对所述待处理图像进行重建。17.可选地，所述重建装置还包括：第一获取模块，用于在将所述待处理图像重建为目标分辨率图像之前，获取多张不同分辨率的样本图像；第一训练模块，用于基于所述样本图像，训练所述第一判别器，在所述第一判别器的第一损失函数值小于第二预设阈值的情况下，确定所述第一判别器训练完成；第二训练模块，用于在确定所述第一判别器训练完成的情况下，训练所述预设生成器的第一模块。18.可选地，所述第二训练模块包括：第一训练子模块，用于基于第一损失函数以及所述第一判别器，训练初始生成器，得到训练后的所述初始生成器；第一生成子模块，用于采用训练后的所述初始生成器，生成分辨率图像，并基于所述第二判别器，获取与所述分辨率图像的对应的下采样特征图；第一计算子模块，用于采用所述第一损失函数，计算所述下采样特征图在预设时间段内的最高损失值与最低损失值之间的差值；第一确定子模块，用于在所述差值小于第三预设阈值的情况下，基于所述第三判别器，采用第三损失函数对所述下采样特征图进行评估，在得到的评估差值小于第四预设阈值的情况下，确定所述预设生成器的第一模块训练完成。19.可选地，所述第一训练子模块包括：第二计算子模块，用于采用所述第一损失函数，计算所述初始生成器的第二损失函数值；第二训练子模块，用于在所述第二损失函数值小于第五预设阈值的情况下，采用所述第一判别器，训练所述初始生成器，得到训练后的所述初始生成器。20.可选地，所述第一生成子模块包括：第二生成子模块，用于采用训练后的所述初始生成器，生成分辨率图像；第一下采样子模块，用于对所述分辨率图像进行下采样，得到下采样图像；第一评估子模块，用于采用第二损失函数，对所述下采样图像进行评估，得到评估值；第一提取子模块，用于在所述评估值小于第六预设阈值的情况下，基于所述第二判别器，提取所述下采样图像的下采样特征图。21.可选地，所述重建装置还包括：第一锁定模块，用于在确定所述预设生成器的第一模块训练完成之后，锁定所述预设生成器的第一模块的第一训练参数；第三训练模块，用于结合所述第一训练参数，重复采用所述预设生成器的第一模块的训练策略，对所述预设生成器的第二模块进行训练。22.可选地，所述重建装置还包括：第二锁定模块，用于在对所述预设生成器的第二模块进行训练之后，锁定所述第一训练参数以及所述预设生成器的第二模块的第二训练参数；第四训练模块，用于结合所述第一训练参数以及所述第二训练参数，重复采用所述预设生成器的第一模块的训练策略，对所述预设生成器的第三模块进行训练。23.根据本发明实施例的另一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行上述所述的图像分辨率的重建方法。24.根据本发明实施例的另一方面，还提供了一种电子设备，包括一个或多个处理器和存储器，所述存储器用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现上述所述的图像分辨率的重建方法。25.在本公开中，采用预设生成器，提取待处理图像的图像特征信息，并基于图像特征信息，将待处理图像重建为目标分辨率图像，采用第一判别器，对目标分辨率图像进行下采样，得到原始图像，采用第二判别器，提取原始图像的特征信息，并基于特征信息，构建特征图，基于第三判别器和预设损失策略，计算特征图的损失值，并在损失值小于第一预设阈值的情况下，确定目标分辨率图像的分辨率达到图像重建要求的分辨率。在本技术中，可以在采用预设生成器将待处理图像重建为目标分辨率图像之后，通过第一判别器对该目标分辨率图像进行下采样，并通过第二判别器，提取下采样后的原始图像的特征图，采用第三判别器和预设损失策略，计算特征图的损失值，并在损失值小于预设阈值的情况下，确定该目标分辨率图像的分辨率达到图像重建要求的分辨率，能够保证重建后的图像分辨率满足业务需求，并且可以保证使用不同类型的设备采集的图像的分辨率也均满足业务需求，进而解决了相关技术中无法保证重建后的图像分辨率满足业务需求的技术问题。附图说明26.此处所说明的附图用来提供对本发明的进一步理解，构成本技术的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：27.图1是根据本发明实施例的一种可选的图像分辨率的重建方法的流程图；28.图2是根据本发明实施例的一种可选的生成器结构的示意图；29.图3是根据本发明实施例的一种可选的生成器第一阶段结构的示意图；30.图4是根据本发明实施例的一种可选的生成器第二阶段结构的示意图；31.图5是根据本发明实施例的一种可选的生成器第三阶段结构的示意图；32.图6是根据本发明实施例的一种可选的判别器结构的示意图；33.图7是根据本发明实施例的一种可选的图像分辨率的重建装置的示意图；34.图8是根据本发明实施例的一种用于图像分辨率的重建方法的电子设备(或移动设备)的硬件结构框图。具体实施方式35.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。36.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。37.为便于本领域技术人员理解本发明，下面对本发明各实施例中涉及的部分术语或名词做出解释：38.图像分辨率：单位英寸内包含像素的个数。39.低分辨率图像：图像分辨率低，模糊甚至失真的图像。40.高分辨率图像：图像分辨率高，色彩丰富，无模糊的图像。41.超分辨率图像：由低分辨率图像重建的，与原始高分辨率图像尺寸一致的图像。42.需要说明的是，本公开中的图像分辨率的重建方法及其装置可用于金融科技领域在对图像分辨率进行重建的情况下，也可用于除金融科技领域之外的任意领域在对图像分辨率进行重建的情况下，本公开中对图像分辨率的重建方法及其装置的应用领域不做限定。43.需要说明的是，本公开所涉及的相关信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于展示的数据、分析的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。例如，本系统和相关用户或机构间设置有接口，在获取相关信息之前，需要通过接口向前述的用户或机构发送获取请求，并在接收到前述的用户或机构反馈的同意信息后，获取相关信息。44.本发明下述各实施例可应用于各种对图像分辨率进行重建的系统/应用/设备中。本发明提供了一种多段式单图像超分辨率算法，可以通过训练获取满足不同类型设备要求的重建图像的算法。本发明中重建的生成器的不同阶段具有不同参数量，第一阶段参数量较低，能够满足资源受限的设备(即能够处理少量数据的设备)；第二阶段可以使用残差结构，加深网络深度，能够满足资源较丰富的设备(即能够处理的较多数据的设备)；第三阶段可以使用稠密结构，增强了特征提取能力，能够满足资源丰富的设备(即能够处理大量数据的设备)。同时，本发明对判别器结构进行了分段，分别对生成器的不同阶段进行评估，能够实现全面的、综合的、多方面的对比，有效地提高了图像重建质量。45.下面结合各个实施例来详细说明本发明。46.实施例一47.根据本发明实施例，提供了一种图像分辨率的重建方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。48.图1是根据本发明实施例的一种可选的图像分辨率的重建方法的流程图，如图1所示，该方法包括如下步骤：49.步骤s101，采用预设生成器，提取待处理图像的图像特征信息，并基于图像特征信息，将待处理图像重建为目标分辨率图像。50.步骤s102，采用第一判别器，对目标分辨率图像进行下采样，得到原始图像。51.步骤s103，采用第二判别器，提取原始图像的特征信息，并基于特征信息，构建特征图。52.步骤s104，基于第三判别器和预设损失策略，计算特征图的损失值，并在损失值小于第一预设阈值的情况下，确定目标分辨率图像的分辨率达到图像重建要求的分辨率。53.通过上述步骤，可以采用预设生成器，提取待处理图像的图像特征信息，并基于图像特征信息，将待处理图像重建为目标分辨率图像，采用第一判别器，对目标分辨率图像进行下采样，得到原始图像，采用第二判别器，提取原始图像的特征信息，并基于特征信息，构建特征图，基于第三判别器和预设损失策略，计算特征图的损失值，并在损失值小于第一预设阈值的情况下，确定目标分辨率图像的分辨率达到图像重建要求的分辨率。在本发明实施例中，可以在采用预设生成器将待处理图像重建为目标分辨率图像之后，通过第一判别器对该目标分辨率图像进行下采样，并通过第二判别器，提取下采样后的原始图像的特征图，采用第三判别器和预设损失策略，计算特征图的损失值，并在损失值小于预设阈值的情况下，确定该目标分辨率图像的分辨率达到图像重建要求的分辨率，能够保证重建后的图像分辨率满足业务需求，并且可以保证使用不同类型的设备采集的图像的分辨率也均满足业务需求，进而解决了相关技术中无法保证重建后的图像分辨率满足业务需求的技术问题。54.下面结合上述各步骤对本发明实施例进行详细说明。55.在本发明实施例中，一种可选的，预设生成器包括：预设生成器的第一模块、预设生成器的第二模块、预设生成器的第三模块，其中，第一类设备采用预设生成器的第一模块对待处理图像进行重建，第二类设备采用预设生成器的第一模块和第二模块对待处理图像进行重建，第三类设备采用预设生成器的第一模块、第二模块和第三模块对待处理图像进行重建。56.在本发明实施例中，可以通过对抗神经网络结构(如，ragan(相对平均)结构)，重建生成器(即预设生成器)，本实施例中的预设生成器用于将低分辨率图像重建为高分辨率图像，为了满足不同类型设备的需求，可以将生成器分为三个阶段(即可以将预设生成器分为三个模块，包括：预设生成器的第一模块、预设生成器的第二模块、预设生成器的第三模块)，通过控制每一个阶段(即预设生成器的每一个模块)的参数量和计算量，以类型满足不同设备的需求，对于轻量级的设备(即第一类设备，能够处理少量数据的设备)可以仅使用生成器的第一阶段重建图像(即第一类设备采用预设生成器的第一模块对待处理图像进行重建)，对于资源较丰富的设备(即第二类设备，能够处理的较多数据的设备)，可以使用生成器的第二阶段与第一阶段共同重建图像(即第二类设备采用预设生成器的第一模块和第二模块对待处理图像进行重建)，对于资源丰富的设备(即第三类设备，能够处理大量数据的设备)可以选择使用第三阶段，第二阶段与第一阶段共同重建高质量图像(即第三类设备采用预设生成器的第一模块、第二模块和第三模块对待处理图像进行重建)。57.图2是根据本发明实施例的一种可选的生成器结构的示意图，如图2所示，生成器可以分为三个阶段，第一阶段通过重建单元可以将低分辨率图像重建为第一阶段生成的高分辨率图像，第二阶段通过重建单元可以将低分辨率图像重建为第二阶段生成的高分辨率图像，第三阶段通过重建单元可以将低分辨率图像重建为第三阶段生成的高分辨率图像。58.本实施例中，第一阶段用于资源受限的设备(即第一类设备)，图3是根据本发明实施例的一种可选的生成器第一阶段结构的示意图，如图3所示，为了降低参数量和计算量，可以使用先扩张后压缩的残差块结构，其中，残差块结构可以由两个3*3的卷积层(即两个conv卷积层)和一个relu激活函数构成，残差块结构之间可以通过残差(用+表示)连接，并通过一个1x1conv卷积层连接所有残差块结构，该1x1conv卷积层可用于对其它维数的卷积层进行升维。59.本实施例中，第二阶段用于资源较丰富的设备(即第二类设备)，图4是根据本发明实施例的一种可选的生成器第二阶段结构的示意图，如图4所示，该第二阶段结构使用残差结构(与第一阶段结构中通过一个1x1conv卷积层连接所有残差块结构相同)，通过增加网络深度方式，可以提取大量图像特征信息，从而重建高质量图像。60.本实施例中，第三阶段用于资源丰富的设备(即第三类设备)，图5是根据本发明实施例的一种可选的生成器第三阶段结构的示意图，如图5所示，该第三阶段结构使用稠密网络结构(连接多个第二阶段的残差结构)，通过稠密网络结构，可以获取大量的图像特征信息，每一个稠密块都会将内部每一个卷积层特征信息进行合并，由最后一个1*1卷积层(例如，1x1conv卷积层)进行筛选，最终将每一个稠密块提取的特征信息再进行一次3*3卷积层筛选，通过二次筛选有效特征信息，能够重建高质量图像。61.可选的，在将待处理图像重建为目标分辨率图像之前，还包括：获取多张不同分辨率的样本图像；基于样本图像，训练第一判别器，在第一判别器的第一损失函数值小于第二预设阈值的情况下，确定第一判别器训练完成；在确定第一判别器训练完成的情况下，训练预设生成器的第一模块。62.在本发明实施例中，判别器可用于将高分辨率图像重建为低分辨率图像以及为重建质量进行评分，可以将判别器设置成三个阶段(在本实施例中，判别器第一阶段对应于第一判别器、判别器第二阶段对应于第二判别器、判别器第三阶段对应于第三判别器)，分别使用第一损失函数(如，l1损失函数)、第二损失函数(如，l2损失函数)和第三损失函数(如，ragan损失函数)对重建后图像与真实图像进行判别，图6是根据本发明实施例的一种可选的判别器结构的示意图，如图6所示，可以将高/超分辨率图像，通过第一阶段进行第一阶段损失判断，通过第二阶段进行第二阶段损失判断，通过第三阶段进行第三阶段损失判断。63.在本发明实施例中，可以使用高分辨率图像与低分辨率图像(即不同分辨率的样本图像)对判别器第一阶段进行训练(即通过获取的多张不同分辨率的样本图像训练第一判别器)，在第一判别器的第一损失函数值小于第二预设阈值(例如，可以设第二预设阈值为6)的情况下，确定第一判别器训练完成，以保证判别器第一阶段可以下采样至低分辨率图像，并在确定第一判别器训练完成的情况下，开始训练预设生成器的第一模块。64.可选的，训练预设生成器的第一模块的步骤，包括：基于第一损失函数以及第一判别器，训练初始生成器，得到训练后的初始生成器；采用训练后的初始生成器，生成分辨率图像，并基于第二判别器，获取与分辨率图像的对应的下采样特征图；采用第一损失函数，计算下采样特征图在预设时间段内的最高损失值与最低损失值之间的差值；在差值小于第三预设阈值的情况下，基于第三判别器，采用第三损失函数对下采样特征图进行评估，在得到的评估差值小于第四预设阈值的情况下，确定预设生成器的第一模块训练完成。65.在本发明实施例中，训练预设生成器的第一模块的步骤如下：可以使用第一损失函数(如，l1损失函数)以及第一判别器，训练初始生成器，采用训练后的初始生成器，生成分辨率图像，并基于第二判别器，获取与分辨率图像的对应的下采样特征图(即使用判别器第二阶段对判别器第一阶段下采样的图(即对分辨率图像下采样的图)，进行特征图提取，得到下采样特征图)，可以通过第一损失函数，计算该下采样特征图在预设时间段内(例如，训练预设生成器的第一模块的时间段内)的最高损失值与最低损失值之间的差值，在差值小于第三预设阈值(例如，0.3)的情况下，可以基于第三判别器，采用第三损失函数(如，ragan损失函数)对下采样特征图进行评估，在得到的评估差值小于第四预设阈值(如，0.2)的情况下，确定预设生成器的第一模块训练完成(即生成器第一阶段训练完毕，可用于资源受限的设备)。66.可选的，基于第一损失函数以及第一判别器，训练初始生成器的步骤，包括：采用第一损失函数，计算初始生成器的第二损失函数值；在第二损失函数值小于第五预设阈值的情况下，采用第一判别器，训练初始生成器，得到训练后的初始生成器。67.在本发明实施例中，可以采用第一损失函数，对初始生成器进行初始训练，在计算得到该初始生成器的第二损失函数值小于第五预设阈值(如，5)的情况下，初始训练完毕，可以采用第一判别器，继续训练初始生成器，得到训练后的初始生成器。68.可选的，采用训练后的初始生成器，生成分辨率图像，并基于第二判别器，获取与分辨率图像的对应的下采样特征图的步骤，包括：采用训练后的初始生成器，生成分辨率图像；对分辨率图像进行下采样，得到下采样图像；采用第二损失函数，对下采样图像进行评估，得到评估值；在评估值小于第六预设阈值的情况下，基于第二判别器，提取下采样图像的下采样特征图。69.在本发明实施例中，可以用训练后的初始生成器，生成分辨率图像，之后，可以对分辨率图像进行下采样，得到下采样图像，采用第二损失函数(如，l2损失函数)，对下采样图像进行评估，得到评估值，在评估值小于第六预设阈值(如，可设为10)的情况下，可以采用第二判别器，提取下采样图像的下采样特征图(其中，第二判别器可以使用vgg16网络中第13层卷积层的损失函数，并在激活函数前提取出下采样特征图)。70.可选的，在确定预设生成器的第一模块训练完成之后，还包括：锁定预设生成器的第一模块的第一训练参数；结合第一训练参数，重复采用预设生成器的第一模块的训练策略，对预设生成器的第二模块进行训练。71.在本发明实施例中，在训练生成器第二阶段之前，可以先将生成器第一阶段得到的第一训练参数锁定，结合第一训练参数，重复采用预设生成器的第一模块的训练策略，对预设生成器的第二模块进行训练，第二阶段使用的判别器可以为训练生成器第一阶段时的判别器，该第二阶段训练过程中的损失值限定值不变，当训练完毕后，生成器第一阶段和第二阶段可用于资源较丰富的设备中。72.可选的，在对预设生成器的第二模块进行训练之后，还包括：锁定第一训练参数以及预设生成器的第二模块的第二训练参数；结合第一训练参数以及第二训练参数，重复采用预设生成器的第一模块的训练策略，对预设生成器的第三模块进行训练。73.在本发明实施例中，在训练生成器第三阶段之前，可以先将生成器第一阶段得到的第一训练参数和第二阶段得到的第二训练参数锁定，结合第一训练参数以及第二训练参数，重复采用预设生成器的第一模块的训练策略，对预设生成器的第三模块进行训练，第三阶段使用的判别器可以为训练生成器第二阶段时的判别器，该第三阶段训练过程中的损失值限定值不变，当训练完毕后，生成器第一阶段、第二阶段和第三阶段可用于资源丰富的设备中，至此生成器训练完毕。74.步骤s101，采用预设生成器，提取待处理图像的图像特征信息，并基于图像特征信息，将待处理图像重建为目标分辨率图像。75.在本发明实施例中，可以采用训练好的预设生成器，提取待处理图像的图像特征信息，并基于图像特征信息，将待处理图像重建为目标分辨率图像(该目标分辨率图像是指满足业务需求的高分辨率图像)。76.步骤s102，采用第一判别器，对目标分辨率图像进行下采样，得到原始图像。77.在本发明实施例中，可以采用第一判别器，对目标分辨率图像逐步下采样至为原低分辨率图像尺寸(即原始图像)。78.步骤s103，采用第二判别器，提取原始图像的特征信息，并基于特征信息，构建特征图。79.在本发明实施例中，可以采用第二判别器提取原始图像的特征信息(例如，可以使用vgg16网络，并选取其前13层，提取判别器第一阶段得到的原始图像的特征信息)，并基于特征信息，构建特征图。80.步骤s104，基于第三判别器和预设损失策略，计算特征图的损失值，并在损失值小于第一预设阈值的情况下，确定目标分辨率图像的分辨率达到图像重建要求的分辨率。81.在本发明实施例中，可以通过第三判别器和预设损失策略(例如，通过vgg19网络计算损失值)，计算特征图的损失值，并在损失值小于第一预设阈值(可根据实际情况具体设置)的情况下，确定目标分辨率图像的分辨率达到图像重建要求的分辨率。82.下面结合另一种可选的具体实施方式进行详细说明。83.本实施例提供了一种多段式单图像超分辨率重建算法，可以将低分辨率图像重建为高分辨率图像，可用于重建模糊的、包含噪音等类型的图像。例如，本实施例可以使用对抗神经网络结构(如，ragan结构)重建生成器和判别器，其中，生成器用于将低分辨率图像重建为高分辨率图像，判别器用于将高分辨率图像重建为低分辨率图像，整体结构可以设置为纺锤型。84.本实施例中，可以将判别器将设置成三阶段，分别使用不同类型的损失函数(如，l2，l1和ragan损失函数)对重建后图像与真实图像进行判别，并分别对损失函数设置限制额，当损失值高于限制额，将重新使用生成器重建图像，直至满足限制额。85.本实施例中的生成器结构具体如下：86.生成器用于将低分辨率图像重建为高分辨率图像，为了满足不同类型设备的需求，可以将生成器分为三个阶段，通过控制每一个阶段的参数量和计算量保证满足不同类型设备的需求，对于轻量级的设备可以仅使用生成器第一阶段重建图像，对于资源较丰富的设备，可以使用第二阶段与第一阶段共同重建图像，对于资源丰富的设备可以选择使用第三阶段，第二阶段与第一阶段共同重建高质量图像。87.本实施例中，第一阶段用于资源受限的设备，为了降低参数量和计算量，可以使用先扩张后压缩的残差块结构，该残差块可以由两个3*3的卷积层和一个relu激活函数，通过残差连接构成。88.第二阶段用于资源较丰富的设备，该结构可以使用残差结构，通过增加网络深度方式，提取大量图像特征信息，从而重建高质量图像。89.第三阶段用于资源丰富的设备，该结构可以使用稠密网络结构，通过稠密网络结构，获取大量的图像特征信息，每一个稠密块都会将内部每一个卷积层特征信息进行合并，由最后一个1*1卷积层进行筛选，最终将每一个稠密块提取的特征信息再进行一次3*3卷积层筛选，通过二次筛选有效特征信息，可以重建更高质量图像。90.本实施例中的判别器结构具体如下：91.判别器用于将高分辨率图像重建为低分辨率图像以及对重建后的图像进行评分，判别器可以设置成三个阶段，分别使用不同损失函数对重建后图像与真实图像进行判别。92.本实施例中，判别器第一阶段可以使用10层5*5的卷积层，逐步下采样至为原低分辨率图像尺寸，第二阶段可以使用vgg16网络，选取其前13层，提取第一阶段得到的图像的特征图，第三阶段可以将第二阶段提取的特征图通过vgg19网络进行判别，判别得到的图像为真实高分辨率图像的概率。93.本实施例对生成器和判别器的训练方式如下：94.(1)使用高分辨率图像与低分辨率图像对判别器第一阶段进行训练，保证判别器第一阶段可以下采样至低分辨率图像，在计算的损失函数值在预设阈值之内，则判别器训练完毕。95.(2)使用第一损失函数(如，l1损失函数)对生成器第一阶段进行训练，直到损失函数值降低至预设阈值以下，否则继续训练。96.(3)随后使用判别器第一阶段对生成器第一阶段进行训练，使用第二损失函数(如，l2损失函数)对高分辨率图像和超分辨率图像下采样的图像进行评估，损失值应不高于预设阈值，否则继续训练。97.(4)使用判别器第二阶段对判别器第一阶段下采样的图，进行特征图提取，可以使用的损失函数是vgg16网络中第13层卷积层，并在激活函数前提取特征图，之后，通过第一损失函数对其进行评估，训练过程中当损失值波动幅度在预设阈值以内(最高损失值减去最低损失值)，停止训练并进入下一步，否则继续训练。98.(5)使用判别器第三阶段对判别器第二阶段的特征图进行概率评估，并使用第三损失函数(如，ragan损失函数)进行评估，损失函数波动在预设阈值以内，则训练完毕，至此生成器第一阶段训练完毕，可用于资源受限的设备。99.(6)训练生成器第二阶段，可以先将生成器第一阶段得到的参数锁定，随后重复(2)至(5)，使用的判别器可以为训练生成器第一阶段时的判别器，此时损失值限定值不变，当训练完毕后，生成器第一阶段和第二阶段可用于资源较丰富的设备中。100.(7)训练生成器第三阶段，可以先将生成器第一，二阶段得到的参数锁定，随后重复(2)至(5)，使用的判别器可以为训练生成器第二阶段时的判别器，此时损失值限定值不变，当训练完毕后，生成器第一阶段、第二阶段和第三阶段可用于资源丰富的设备中，至此生成器训练完毕。101.本发明实施例中，为了满足不同类型设备的需求，提出一种多段式单图像超分辨率重建算法，通过该算法可以训练出满足不同类型设备的图像重建方法，能够保证不同类型设备采集的图像均满足不同业务场景需求。102.实施例二103.本实施例中提供的一种图像分辨率的重建装置包含了多个实施单元，每个实施单元对应于上述实施例一中的各个实施步骤。104.图7是根据本发明实施例的一种可选的图像分辨率的重建装置的示意图，如图7所示，该重建装置可以包括：重建单元70，下采样单元71，构建单元72，计算单元73，其中，105.重建单元70，用于采用预设生成器，提取待处理图像的图像特征信息，并基于图像特征信息，将待处理图像重建为目标分辨率图像；106.下采样单元71，用于采用第一判别器，对目标分辨率图像进行下采样，得到原始图像；107.构建单元72，用于采用第二判别器，提取原始图像的特征信息，并基于特征信息，构建特征图；108.计算单元73，用于基于第三判别器和预设损失策略，计算特征图的损失值，并在损失值小于第一预设阈值的情况下，确定目标分辨率图像的分辨率达到图像重建要求的分辨率。109.上述重建装置，可以通过重建单元70采用预设生成器，提取待处理图像的图像特征信息，并基于图像特征信息，将待处理图像重建为目标分辨率图像，通过下采样单元71采用第一判别器，对目标分辨率图像进行下采样，得到原始图像，通过构建单元72采用第二判别器，提取原始图像的特征信息，并基于特征信息，构建特征图，通过计算单元73基于第三判别器和预设损失策略，计算特征图的损失值，并在损失值小于第一预设阈值的情况下，确定目标分辨率图像的分辨率达到图像重建要求的分辨率。在本发明实施例中，可以在采用预设生成器将待处理图像重建为目标分辨率图像之后，通过第一判别器对该目标分辨率图像进行下采样，并通过第二判别器，提取下采样后的原始图像的特征图，采用第三判别器和预设损失策略，计算特征图的损失值，并在损失值小于预设阈值的情况下，确定该目标分辨率图像的分辨率达到图像重建要求的分辨率，能够保证重建后的图像分辨率满足业务需求，并且可以保证使用不同类型的设备采集的图像的分辨率也均满足业务需求，进而解决了相关技术中无法保证重建后的图像分辨率满足业务需求的技术问题。110.可选的，预设生成器包括：预设生成器的第一模块、预设生成器的第二模块、预设生成器的第三模块，其中，第一类设备采用预设生成器的第一模块对待处理图像进行重建，第二类设备采用预设生成器的第一模块和第二模块对待处理图像进行重建，第三类设备采用预设生成器的第一模块、第二模块和第三模块对待处理图像进行重建。111.可选的，重建装置还包括：第一获取模块，用于在将待处理图像重建为目标分辨率图像之前，获取多张不同分辨率的样本图像；第一训练模块，用于基于样本图像，训练第一判别器，在第一判别器的第一损失函数值小于第二预设阈值的情况下，确定第一判别器训练完成；第二训练模块，用于在确定第一判别器训练完成的情况下，训练预设生成器的第一模块。112.可选的，第二训练模块包括：第一训练子模块，用于基于第一损失函数以及第一判别器，训练初始生成器，得到训练后的初始生成器；第一生成子模块，用于采用训练后的初始生成器，生成分辨率图像，并基于第二判别器，获取与分辨率图像的对应的下采样特征图；第一计算子模块，用于采用第一损失函数，计算下采样特征图在预设时间段内的最高损失值与最低损失值之间的差值；第一确定子模块，用于在差值小于第三预设阈值的情况下，基于第三判别器，采用第三损失函数对下采样特征图进行评估，在得到的评估差值小于第四预设阈值的情况下，确定预设生成器的第一模块训练完成。113.可选的，第一训练子模块包括：第二计算子模块，用于采用第一损失函数，计算初始生成器的第二损失函数值；第二训练子模块，用于在第二损失函数值小于第五预设阈值的情况下，采用第一判别器，训练初始生成器，得到训练后的初始生成器。114.可选的，第一生成子模块包括：第二生成子模块，用于采用训练后的初始生成器，生成分辨率图像；第一下采样子模块，用于对分辨率图像进行下采样，得到下采样图像；第一评估子模块，用于采用第二损失函数，对下采样图像进行评估，得到评估值；第一提取子模块，用于在评估值小于第六预设阈值的情况下，基于第二判别器，提取下采样图像的下采样特征图。115.可选的，重建装置还包括：第一锁定模块，用于在确定预设生成器的第一模块训练完成之后，锁定预设生成器的第一模块的第一训练参数；第三训练模块，用于结合第一训练参数，重复采用预设生成器的第一模块的训练策略，对预设生成器的第二模块进行训练。116.可选的，重建装置还包括：第二锁定模块，用于在对预设生成器的第二模块进行训练之后，锁定第一训练参数以及预设生成器的第二模块的第二训练参数；第四训练模块，用于结合第一训练参数以及第二训练参数，重复采用预设生成器的第一模块的训练策略，对预设生成器的第三模块进行训练。117.上述的重建装置还可以包括处理器和存储器，上述重建单元70，下采样单元71，构建单元72，计算单元73等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。118.上述处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来确定目标分辨率图像的分辨率达到图像重建要求的分辨率。119.上述存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)，存储器包括至少一个存储芯片。120.本技术还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：采用预设生成器，提取待处理图像的图像特征信息，并基于图像特征信息，将待处理图像重建为目标分辨率图像，采用第一判别器，对目标分辨率图像进行下采样，得到原始图像，采用第二判别器，提取原始图像的特征信息，并基于特征信息，构建特征图，基于第三判别器和预设损失策略，计算特征图的损失值，并在损失值小于第一预设阈值的情况下，确定目标分辨率图像的分辨率达到图像重建要求的分辨率。121.根据本发明实施例的另一方面，还提供了一种计算机可读存储介质，计算机可读存储介质包括存储的计算机程序，其中，在计算机程序运行时控制计算机可读存储介质所在设备执行上述的图像分辨率的重建方法。122.根据本发明实施例的另一方面，还提供了一种电子设备，包括一个或多个处理器和存储器，存储器用于存储一个或多个程序，其中，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现上述的图像分辨率的重建方法。123.图8是根据本发明实施例的一种用于图像分辨率的重建方法的电子设备(或移动设备)的硬件结构框图。如图8所示，电子设备可以包括一个或多个(图中采用102a、102b，……，102n来示出)处理器102(处理器102可以包括但不限于微处理器mcu或可编程逻辑器件fpga等的处理装置)、用于存储数据的存储器104。除此以外，还可以包括：显示器、输入/输出接口(i/o接口)、通用串行总线(usb)端口(可以作为i/o接口的端口中的一个端口被包括)、网络接口、键盘、电源和/或相机。本领域普通技术人员可以理解，图8所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，电子设备还可包括比图8中所示更多或者更少的组件，或者具有与图8所示不同的配置。124.上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。125.在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。126.在本技术所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。127.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。128.另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。129.所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。130.以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!