视频修复的处理方法、装置以及电子设备

计算;推算;计数设备的制造及其应用技术1.本发明涉及图像修复技术领域，尤其涉及一种视频修复的处理方法、装置以及电子设备。背景技术：2.随着视频采集硬件与视频数量呈几何级数增长，因各种因素造成的视频信息缺损修复、或擦除视频特定目标的需求也不断增长。目前对视频修复擦除任务有需求的场景包括卫星遥感视频去雾、历史影像作品缺损修复、视频后期去行人和遮挡物、视频去水印字幕、电影特效制作以及特定场景下消除特定人物目标等。尽管序列图像不完整信息修复在各个领域有巨大的研究价值和应用价值，但其任务本身的一些技术难点导致其发展较为缓慢且落地应用较为滞后。随着深度学习技术在计算机视觉领域的不断发展，使得数字序列图像的缺损修复可以通过深度神经网络完成。3.现有技术中针对视频修复中存在的修复结果语义信息不连续，提出了一种基于卷积神经网络的生成对抗网络视频修复方法。该方法设计2种网络模型:单帧修复模型和序列修复模型。其中单帧修复模型采用单帧堆叠式生成器和空间判别器；而序列修复模型采用序列堆叠式生成器和时空判别器。但现有神经网络处理待修复视频时，大多数采用卷积神经网络的对有效时空信息进行特征提取并对缺损信息进行循环迭代式修复，且卷积操作设计时的归纳偏置为理解局部视觉信息，时域感受野较小，这导致其无法有效利用全局信息，且信息在长时间序列间传递容易丢失。4.针对相关技术中的视频修复方式容易导致修复结果不准确且效率较低的问题，尚未提出有效地解决方案。技术实现要素：5.本发明实施例提供了一种视频修复的处理方法、装置以及电子设备，以至少解决相关技术中的视频修复方式容易导致修复结果不准确且效率较低的技术问题。6.根据本发明实施例的一个方面，提供了一种视频修复的处理方法，包括：step1、建立神经网络，并设置所述神经网络中的卷积层与全连接层的初始化参数；step2、基于所述神经网络得到待修复视频对应的已修复视频，其中，基于所述神经网络得到待修复视频对应的已修复视频包括：提取所述待修复视频中的图像信息，并将所述图像信息转化为多个图像特征块；基于滑动窗口的深度自注意力变换网络计算出所有的所述图像特征块之间的相关性量化得分，并根据所述相关性量化得分与所述初始化参数对所述图像特征块进行重新编码，得到修复后的图像特征块；将所述修复后的图像特征块映射回所述待修复视频，得到所述已修复视频；step3、确定所述已修复视频与标准视频之间的损失函数，并基于所述损失函数更新所述初始化参数；step4、重复执行step2与step3，直至所述损失函数收敛至预定值，得到目标神经网络；step5、利用所述目标神经网络对所述待修复视频进行视频修复。7.可选地，所述图像信息的特征图尺寸为第一预设倍数的所述待修复视频的尺寸，所述图像信息的通道数为预设通道数。8.可选地，将所述图像信息转化为多个图像特征块，包括：采用线性变换和排列重组的方式，将所述图像信息编码为多个所述图像特征块。9.可选地，所述图像特征块的尺寸为第二预设倍数的所述特征图尺寸，所述图像特征块的编码维度为预设编码维度。10.可选地，所述损失函数采用以下方式表示：其中，loss为所述损失函数，yt为所述已修复视频对应的所述标准视频的第t帧，为所述已修复视频的第t帧，t为所述已修复视频的总帧数。11.可选地，基于所述损失函数更新所述初始化参数，包括：确定所述损失函数对应的所述初始化参数的梯度；根据梯度下降法对所述梯度进行处理，得到更新后的所述初始化参数。12.可选地，基于滑动窗口的深度自注意力变换网络计算出所有的所述图像特征块之间的相关性量化得分，包括：根据深度自注意力变换网络，得到每个三维窗口内任意两个所述图像特征块之间的所述相关性量化得分；根据滑动窗口的方式，确定所有的所述图像特征块之间的所述相关性量化得分。13.根据本发明实施例的另一个方面，还提供了一种应用于上述中任一项所述方法的视频修复的处理装置，包括：建立模块，用于建立神经网络，并设置所述神经网络中的卷积层与全连接层的初始化参数；第一处理模块，用于基于所述神经网络得到待修复视频对应的已修复视频，其中，基于所述神经网络得到待修复视频对应的已修复视频包括：提取所述待修复视频中的图像信息，并将所述图像信息转化为多个图像特征块；基于滑动窗口的深度自注意力变换网络计算出所有的所述图像特征块之间的相关性量化得分，并根据所述相关性量化得分与所述初始化参数对所述图像特征块进行重新编码，得到修复后的图像特征块；将所述修复后的图像特征块映射回所述待修复视频，得到所述已修复视频；第二处理模块，用于确定所述已修复视频与标准视频之间的损失函数，并基于所述损失函数更新所述初始化参数；第三处理模块，用于重复执行step2与step3，直至所述损失函数收敛至预定值，得到目标神经网络；修复模块，用于利用所述目标神经网络对所述待修复视频进行视频修复。14.根据本发明实施例的另一个方面，还提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行上述中任一项所述方法的步骤。15.根据本发明实施例的另一个方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，所述指令被处理器执行时实现上述中任一项所述方法的步骤。16.本发明实施例中，step1、建立神经网络，并设置神经网络中的卷积层与全连接层的初始化参数；step2、基于神经网络得到待修复视频对应的已修复视频，其中，基于神经网络得到待修复视频对应的已修复视频包括：提取待修复视频中的图像信息，并将图像信息转化为多个图像特征块；基于滑动窗口的深度自注意力变换网络计算出所有的图像特征块之间的相关性量化得分，并根据相关性量化得分与初始化参数对图像特征块进行重新编码，得到修复后的图像特征块；将修复后的图像特征块映射回待修复视频，得到已修复视频；step3、确定已修复视频与标准视频之间的损失函数，并基于损失函数更新初始化参数；step4、重复执行step2与step3，直至损失函数收敛至预定值，得到目标神经网络；step5、利用目标神经网络对待修复视频进行视频修复。也就是说，本发明实施例舍弃常用的卷积神经网络作为骨干网络，采用完全由自注意力模块和全连接层构成的深度自注意力变换网络进行特征提取和有效信息搜寻重建，并加入滑动窗口的方式提升效率，进而解决了相关技术中的视频修复方式容易导致修复结果不准确且效率较低的问题，达到了有效提升视频修复的效果与效率的技术效果。附图说明17.此处所说明的附图用来提供对本发明的进一步理解，构成本技术的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：18.图1为本发明实施例提供的一种视频修复的处理方法的流程图；19.图2为本发明可选实施例提供的一种深度自注意力变换网络的示意图；20.图3为本发明可选实施例提供的一种神经网络的示意图；21.图4为本发明实施例提供的一种视频修复的处理装置的示意图；22.图5测试结果图。具体实施方式23.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。24.需要说明的是，本发明的说明书和权利要求书及附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于限定特定顺序。25.为了实现对信息不完整视频的修复，本发明实施例提供一种视频修复的处理方法，图1为本发明实施例提供的一种视频修复的处理方法的流程图，如图1所示，本技术实施例提供的视频修复的处理方法包括以下步骤：26.step1、建立神经网络，并设置神经网络中的卷积层与全连接层的初始化参数；27.上述初始化参数包括但不限于全连接层(神经元)的个数、分级数、卷积核大小等。28.需要说明的是，上述神经网络的结构至少包括：单层二维卷积编码器、二维特征图像块编码、视频修复模块、单层二位卷积、二维特征图像块反编码、单层二维卷积解码器，其中，视频修复模块包括滑动窗口深度自注意力变换计算以及与其连接的单层二位卷积。单层二维卷积编码器用于提取待修复视频中的图像信息；二维特征图像块编码，与单层二维卷积编码器连接，用于将图像信息转化为多个图像特征块；上述视频修复模块，与二维特征图像块编码连接，用于基于滑动窗口的深度自注意力变换网络计算出所有的图像特征块之间的相关性量化得分，并根据相关性量化得分与初始化参数对图像特征块进行重新编码，得到修复后的图像特征块；二维特征图像块反编码与单层二维卷积解码器，用于将修复后的图像特征块映射回待修复视频，得到已修复视频。另外，单层二位卷积的一侧与视频修复模块，另一侧与二维特征图像块反编码连接。29.上述单层二维卷积编码器是由单层二维卷积构成的编码器；上述单层二维卷积解码器是由单层二维卷积构成的解码器。另外，二维特征图像块反编码和单层二维卷积解码器操作组成与二维特征图像块编码和单层二维卷积编码器的输入输出相反。30.step2、基于神经网络得到待修复视频对应的已修复视频，其中，基于神经网络得到待修复视频对应的已修复视频包括：提取待修复视频中的图像信息，并将图像信息转化为多个图像特征块；基于滑动窗口的深度自注意力变换网络计算出所有的图像特征块之间的相关性量化得分，并根据相关性量化得分与初始化参数对图像特征块进行重新编码，得到修复后的图像特征块；将修复后的图像特征块映射回待修复视频，得到已修复视频；31.在一种可选的实施方式中，可以将待修复视频输入神经网络，由该神经网络对待修复视频进行处理并输出待修复视频对应的已修复视频。32.图2为本发明可选实施例提供的一种深度自注意力变换网络的示意图，如图2所示，输入序列经过位置编码进入编码器后被送入多头注意力模块，再经过一个残差连接与正规化后，最后送入前向全连接层构成的残差连接模块，这个过程就是一次完整的深度自注意力变换网络编码。33.对于一次深度自注意力变换网络编码过程来说，重点在于注意力模块(attention)的计算，可由下式表示：[0034][0035]其中，q、k、v分别为来自输入序列的线性映射，q表示查询、k和v表示键-值对，dk表示k的维度，softmax表示归一化指数函数。其中，归一化指数函数输出的矩阵即为注意力分布矩阵，矩阵中每个值对应着q、k任意两位置间的注意力信息，在视频修复任务中即可代表不同时空位置中两个图像特征块之间的关联程度。多头注意力即为对相同输入进行多组不同的线性映射分别计算自注意力，再将其输出串接为设计尺寸，这可以使模型关注不同尺度的注意力信息。[0036]对视频修复任务来说，原始深度自注意力变换网络的输入通常为多帧编码特征图在通道维度堆叠，这会使输入序列过长，二次计算复杂度的存在使得原始模型计算负载过高，长序列处理能力不佳。为解决该问题，本发明提出加入滑动窗口方法，将图像特征块间的自注意力计算限制在三维窗口内，并通过滑动窗口建立窗口之间的信息互通，以达到降低计算复杂度，提升效率的目的。[0037]具体来说，经过编码的多帧待修复图像特征尺寸为t×h×w×c，其中，t代表总帧数；t×h×w代表特征图像特征块的个数；c代表每个图像特征块的编码维度。通过设计p×p个三维窗口并用其对原输入进行分割，每个窗口包含个图像特征块。这时块之间的自注意力计算由t×h×w之间的计算变为之间的计算，复杂度大大降低。此外，为了增强窗口间的信息交流，经过一次使用常规窗口自注意力模块的计算后，衔接一次将窗口滑动的自注意力模块的计算。设置滑动尺寸为即根据该尺寸改变窗口分割特征块的位置。一次常规窗口自注意力模块和一次窗口滑动的自注意力模块二者共同构成了滑动窗口的深度自注意力变换网络，利用其可以实现一次完整的基于滑动窗口深度自注意力变换计算。最后只需将这里提出的包含窗口的自注意力模块替代上述的普通自注意力模块。[0038]step3、确定已修复视频与标准视频之间的损失函数，并基于损失函数更新初始化参数；[0039]step4、重复执行step2与step3，直至损失函数收敛至预定值，得到目标神经网络；[0040]可选地，在基于损失函数更新初始化参数之后，由于神经网络的初始化参数已经被修正，此时可以再次基于神经网络得到待修复视频对应的已修复视频，进而确定已修复视频与标准视频之间的损失函数，并基于损失函数更新初始化参数，如此重复执行多次，直至损失函数收敛至预定值，将该神经网络作为目标神经网络，其中，该目标神经网络用于对待修复视频进行视频修复。[0041]需要说明的是，通过损失函数更新初始化参数，以使损失函数值最小。通过上述实施方式可以不断更新神经网络中的初始化参数，得到新的神经网络，并不断训练新的神经网络，直至已修复视频与标准视频之间的损失函数收敛至预定值，得到可以对待修复视频进行视频修复的目标神经网络。[0042]上述预定值可以根据应用场景的需要而灵活设置，在此不作任何限定。[0043]step5、利用目标神经网络对待修复视频进行视频修复。[0044]本发明实施例中，step1、建立神经网络，并设置神经网络中的卷积层与全连接层的初始化参数；step2、基于神经网络得到待修复视频对应的已修复视频，其中，基于神经网络得到待修复视频对应的已修复视频包括：提取待修复视频中的图像信息，并将图像信息转化为多个图像特征块；基于滑动窗口的深度自注意力变换网络计算出所有的图像特征块之间的相关性量化得分，并根据相关性量化得分与初始化参数对图像特征块进行重新编码，得到修复后的图像特征块；将修复后的图像特征块映射回待修复视频，得到已修复视频；step3、确定已修复视频与标准视频之间的损失函数，并基于损失函数更新初始化参数；step4、重复执行step2与step3，直至损失函数收敛至预定值，得到目标神经网络；step5、利用目标神经网络对待修复视频进行视频修复。也就是说，本发明实施例舍弃常用的卷积神经网络作为骨干网络，采用完全由自注意力模块和全连接层构成的深度自注意力变换网络进行特征提取和有效信息搜寻重建，并加入滑动窗口的方式提升效率，进而解决了相关技术中的视频修复方式容易导致修复结果不准确且效率较低的问题，达到了有效提升视频修复的效果与效率的技术效果。[0045]在一种可选的实施方式中，上述图像信息的特征图尺寸为第一预设倍数的待修复视频的尺寸，图像信息的通道数为预设通道数。[0046]需要说明的是，第一预设倍数包括但不限于等；预设通道数包括但不限于128、256等。[0047]在一种可选的实施方式中，将图像信息转化为多个图像特征块，包括：采用线性变换和排列重组的方式，将图像信息编码为多个图像特征块。[0048]在上述实施方式中，可以利用线性变换和排列重组的方式将图像信息编码为多个图像特征块，从而实现图像信息转化为图像特征块。[0049]在一种可选的实施方式中，上述图像特征块的尺寸为第二预设倍数的特征图尺寸，图像特征块的编码维度为预设编码维度。[0050]需要说明的是，第二预设倍数包括但不限于等；预设编码维度包括但不限于180等。[0051]在一种可选的实施方式中，上述损失函数采用以下方式表示：其中，loss为损失函数，yt为已修复视频对应的标准视频的第t帧，为已修复视频的第t帧，t为已修复视频的总帧数。[0052]在上述实施方式中，利用上述损失函数可以计算出已修复视频与标准视频之间的损失函数值，进而可以更新神经网络中对应的参数，从而便于实现损失函数收敛至预定值。[0053]在一种可选的实施方式中，基于损失函数更新初始化参数，包括：确定损失函数对应的初始化参数的梯度；根据梯度下降法对梯度进行处理，得到更新后的初始化参数。[0054]在上述实施方式中，通过计算损失函数相对于所有可训练参数的梯度，并利用梯度下降法更新所有参数，以使损失函数值最小。[0055]在一种可选的实施方式中，基于滑动窗口的深度自注意力变换网络计算出所有的图像特征块之间的相关性量化得分，包括：根据深度自注意力变换网络，得到每个三维窗口内任意两个图像特征块之间的相关性量化得分；根据滑动窗口的方式，确定所有的图像特征块之间的相关性量化得分。[0056]在上述实施方式中，将深度自注意力变换网络计算出任意两个图像特征块之间的相关性量化得分限制在三维窗口内，并通过滑动窗口的方式计算出所有的图像特征块之间的相关性量化得分，可以达到降低计算复杂度，提升效率的目的。[0057]下面以对视频目标分割数据集(denly-annotated video segmentation，davis)视频数据库进行视频修复为实例，对本实施例进行举例说明，其具体实施方式包括以下步骤：[0058]步骤1：如图3所示构建神经网络，并以随机数初始化所有卷积和全连接层的参数。单层二维卷积构成的编码器输出特征图尺寸为输入的1/4，通道数为128。二维特征图像块编码采用线性变换和排列重组，将特征图编码为图像特征块，输出尺寸为输入的1/2，特征块编码维度为180。视频修复模块的个数可根据灵活调整，以4个为例，每个模块由3次基于滑动窗口深度自注意力变换计算组成，并衔接单层卷积操作和残差连接以提高网络训练效率和精确性。图像特征块反编码与解码器操作组成与图像特征块编码和编码器输入输出相反，可将高维经过修复的特征图映射回图像层。[0059]步骤2：前向传播。对于一个输入的待修复视频，通过单层二维卷积编码器和二维特征图像块编码，将红绿蓝三通道视频帧中的图像信息进行特征提取，输出180通道高维特征块。[0060]接着视频修复模块中的滑动窗口深度自注意力计算会得到每个三维窗口内任意两个图像特征块之间的相关性量化得分，并再通过滑动窗口方法，进而知道所有的输入图像特征块之间的相关性量化得分。通过这些得分，全连接网络的参数会对特征进行重新编码并输出修复后的特征。[0061]最后经过图像特征块反编码和解码器，将已修复的高维特征映射回三通道的视频帧，得到最后的已修复视频。[0062]步骤3：反向传播。令为待t帧修复视频，为输出t帧已修复视频，y1t＝{y1,y2,l yt}为t帧真实无缺损视频，视频修复方法为f(x)，则修复过程前向传播可由下式表示：[0063][0064]而与y1t之间的损失函数计算可由下式表示：[0065][0066]由此计算前向传播的输出与真实未缺损视频帧之间的损失函数，并以此计算其相对于所有可训练参数的梯度，并用梯度下降法更新所有参数，以使损失函数值最小。[0067]步骤4：对数据库中所有的视频样本重复进行步骤2和步骤3，直至损失函数收敛至相对稳定值。[0068]步骤5：利用上述步骤训练的视频修复算法前向传播对davis测试集进行视频修复。计算与真实视频之间的平均峰值信噪比值和结构相似性值，分别达到31.01和95.77％。[0069]需要说明的是，采用本发明的上述实施方式可以取得以下有益效果：[0070](1)使用滑动窗口的深度自注意力变换网络可以有效对视频输入的时域全局信息进行特征提取，并对有效相关信息进行搜索和匹配。[0071](2)利用滑动窗口的深度自注意力变换网络的视频修复算法，显著提升了视频修复结果的准确性和效率。[0072]本发明实施例还提供了一种应用于上述中任一项方法的视频修复的处理装置，图4为本发明实施例提供的一种视频修复的处理装置的示意图，如图4所示，本技术实施例提供的视频修复的处理装置包括：建立模块41、第一处理模块43、第二处理模块45、第三处理模块47和修复模块49。下面对该视频修复的处理装置进行详细说明。[0073]建立模块41，用于建立神经网络，并设置神经网络中的卷积层与全连接层的初始化参数；第一处理模块43，连接至上述建立模块41，用于基于神经网络得到待修复视频对应的已修复视频，其中，基于神经网络得到待修复视频对应的已修复视频包括：提取待修复视频中的图像信息，并将图像信息转化为多个图像特征块；基于滑动窗口的深度自注意力变换网络计算出所有的图像特征块之间的相关性量化得分，并根据相关性量化得分与初始化参数对图像特征块进行重新编码，得到修复后的图像特征块；将修复后的图像特征块映射回待修复视频，得到已修复视频；第二处理模块45，连接至上述第一处理模块43，用于确定已修复视频与标准视频之间的损失函数，并基于损失函数更新初始化参数；第三处理模块47，连接至上述第二处理模块45，用于重复执行step2与step3，直至损失函数收敛至预定值，得到目标神经网络；修复模块49，连接至上述第三处理模块47，用于利用目标神经网络对待修复视频进行视频修复。[0074]在上述实施例中，该视频修复的处理装置可以采用建立模块41建立神经网络，并设置神经网络中的卷积层与全连接层的初始化参数；再利用第一处理模块43基于神经网络得到待修复视频对应的已修复视频，其中，基于神经网络得到待修复视频对应的已修复视频包括：提取待修复视频中的图像信息，并将图像信息转化为多个图像特征块；基于滑动窗口的深度自注意力变换网络计算出所有的图像特征块之间的相关性量化得分，并根据相关性量化得分与初始化参数对图像特征块进行重新编码，得到修复后的图像特征块；将修复后的图像特征块映射回待修复视频，得到已修复视频；然后利用第二处理模块45确定已修复视频与标准视频之间的损失函数，并基于损失函数更新初始化参数；第三处理模块47，用于重复执行step2与step3，直至损失函数收敛至预定值，得到目标神经网络；最后通过修复模块49利用目标神经网络对待修复视频进行视频修复。也就是说，本发明实施例舍弃常用的卷积神经网络作为骨干网络，采用完全由自注意力模块和全连接层构成的深度自注意力变换网络进行特征提取和有效信息搜寻重建，并加入滑动窗口的方式提升效率，进而解决了相关技术中的视频修复方式容易导致修复结果不准确且效率较低的问题，达到了有效提升视频修复的效果与效率的技术效果。[0075]此处需要说明的是，上述建立模块41、第一处理模块43、第二处理模块45、第三处理模块47和修复模块49对应于方法实施例中的步骤step1至step5，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述方法实施例所公开的内容。[0076]可选地，上述图像信息的特征图尺寸为第一预设倍数的待修复视频的尺寸，图像信息的通道数为预设通道数。[0077]需要说明的是，第一预设倍数包括但不限于等；预设通道数包括但不限于128、256等。[0078]可选地，上述第一处理模块43包括：编码单元，用于采用线性变换和排列重组的方式，将图像信息编码为多个图像特征块。[0079]在上述实施方式中，可以利用线性变换和排列重组的方式将图像信息编码为多个图像特征块，从而实现图像信息转化为图像特征块。[0080]可选地，上述图像特征块的尺寸为第二预设倍数的特征图尺寸，图像特征块的编码维度为预设编码维度。[0081]需要说明的是，第二预设倍数包括但不限于等；预设编码维度包括但不限于180等。[0082]可选地，上述损失函数采用以下方式表示：其中，loss为损失函数，yt为已修复视频对应的标准视频的第t帧，为已修复视频的第t帧，t为已修复视频的总帧数。[0083]在上述实施方式中，利用上述损失函数可以计算出已修复视频与标准视频之间的损失函数值，进而可以更新神经网络中对应的参数，从而便于实现损失函数收敛至预定值。[0084]可选地，上述第二处理模块45包括：确定单元，用于确定损失函数对应的初始化参数的梯度；第一处理单元，用于根据梯度下降法对梯度进行处理，得到更新后的初始化参数。[0085]在上述实施方式中，通过计算损失函数相对于所有可训练参数的梯度，并利用梯度下降法更新所有参数，以使损失函数值最小。[0086]可选地，上述第一处理模块43包括：第二处理单元，用于根据深度自注意力变换网络，得到每个三维窗口内任意两个图像特征块之间的相关性量化得分；第三处理单元，用于根据滑动窗口的方式，确定所有的图像特征块之间的相关性量化得分。[0087]在上述实施方式中，将深度自注意力变换网络计算出任意两个图像特征块之间的相关性量化得分限制在三维窗口内，并通过滑动窗口的方式计算出所有的图像特征块之间的相关性量化得分，可以达到降低计算复杂度，提升效率的目的。[0088]根据本发明实施例的另一个方面，还提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，处理器被配置为执行上述中任一项方法的步骤。[0089]可选地，本发明实施例提供了一种电子设备，该电子设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现以下步骤：step1、建立神经网络，并设置神经网络中的卷积层与全连接层的初始化参数；step2、基于神经网络得到待修复视频对应的已修复视频，其中，基于神经网络得到待修复视频对应的已修复视频包括：提取待修复视频中的图像信息，并将图像信息转化为多个图像特征块；基于滑动窗口的深度自注意力变换网络计算出所有的图像特征块之间的相关性量化得分，并根据相关性量化得分与初始化参数对图像特征块进行重新编码，得到修复后的图像特征块；将修复后的图像特征块映射回待修复视频，得到已修复视频；step3、确定已修复视频与标准视频之间的损失函数，并基于损失函数更新初始化参数；step4、重复执行step2与step3，直至损失函数收敛至预定值，得到目标神经网络；step5、利用目标神经网络对待修复视频进行视频修复。[0090]根据本发明实施例的另一个方面，还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有指令，指令被处理器执行时实现上述中任一项方法的步骤。[0091]可选地，在本实施例中，上述计算机可读存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中，和/或位于移动终端群中的任意一个移动终端中，上述计算机可读存储介质包括存储的程序。[0092]可选地，在程序运行时控制计算机可读存储介质所在设备执行以下功能：step1、建立神经网络，并设置神经网络中的卷积层与全连接层的初始化参数；step2、基于神经网络得到待修复视频对应的已修复视频，其中，基于神经网络得到待修复视频对应的已修复视频包括：提取待修复视频中的图像信息，并将图像信息转化为多个图像特征块；基于滑动窗口的深度自注意力变换网络计算出所有的图像特征块之间的相关性量化得分，并根据相关性量化得分与初始化参数对图像特征块进行重新编码，得到修复后的图像特征块；将修复后的图像特征块映射回待修复视频，得到已修复视频；step3、确定已修复视频与标准视频之间的损失函数，并基于损失函数更新初始化参数；step4、重复执行step2与step3，直至损失函数收敛至预定值，得到目标神经网络；step5、利用目标神经网络对待修复视频进行视频修复。[0093]以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!