一种基于深度信息的图像修复方法

计算;推算;计数设备的制造及其应用技术1.本发明属于图像修复领域，具体提供一种基于深度信息的图像修复方法。背景技术：2.图像修复技术主要用于修复图像内的损坏区域，随着图像修复技术应用到图像编辑、复原、编码、合成、超分辨率等越来越多的图像处理任务中，人们对其研究的关注度也越来越高，希望能够达到的修复效果也越来越好。3.图像破损区域的元素或物体根据深度信息的不同可能存在于不同的深度平面，如果采用深度学习的端到端方法一般能取得较好的效果，但是算法复杂度高，并且对计算处理器的要求较高；而其他传统的基于人工特征匹配法的修复方法，将破损区域当成单一平面进行修复，在各深度平面的分界处往往会产生模糊以及不连续的问题，严重影响修复效果。技术实现要素：4.本发明的目的在于针对上述背景技术存在的问题，提出一种深度信息辅助的图像修复方法，能够有效提升图像修复的质量。5.为实现上述目的，本发明采用的技术方案如下：一种基于深度信息的图像修复方法，其特征在于，包括以下步骤：步骤1. 采用待修复破损图像的深度图像作为先验信息；步骤2. 构建平面分割模型；步骤2.1找到破损图像中的破损位置；步骤2.2 根据深度信息确定待修复破损图像中破损区域的深度平面数n；步骤3. 构建区域修复模型；根据待修复破损图像中破损区域的深度平面数n，当n=1时，采用单平面的修复，完成图像修复；当n》1时，采用多平面的修复，完成图像修复。6.进一步的，步骤2.2中，具体过程为：步骤2.2.1 设定类间距离阈值r，以及最小类别数占总类别数的比例阈值σ；步骤2.2.2 提取破损区域的深度信息并赋值为深度矩阵d，再将深度矩阵d展开成列向量并将其中元素按从小到大进行排序，得到深度列向量d；步骤2.2.3 将深度列向量d中第1个元素存入第1个类集合c1中，并依次遍历深度列向量d中其它元素：针对第i个元素，计算元素值与当前类集合cj中元素均值的差值；若差值小于类间距离阈值r，则将此元素划分到当前类集合cj中；否则，创建第j+1个类集合cj+1，并将此元素存入类集合cj+1中；i=2,3,...,p，p为深度列向量d中元素总数；步骤2.2.4 统计每一个类集合中元素的个数，并进行判决：针对第j个类集合cj，若类集合中元素个数小于σ×p，则判定为无效类集合；否则，判定为有效类集合；统计有效类集合的数量作为待修复破损图像中破损区域的深度平面数n。7.进一步的，步骤3中，单平面的修复具体为：步骤3.1.1将待修复破损图像分为未破损区域φ和破损区域ω，利用二值形态学方法提取破损边界δω；步骤3.1.2对于破损边界δω上的每一个参考点，分别设置修复优先级：其中，p为破损边界上的参考点，p(p)为参考点p对应位置的修复优先级；α为预设修复因子；c(p)为待修复块的置信项：其中，φ表示待修复破损图像中的未破损区域，表示以参考点p为中心的待修复块，以及；d(p)为待修复块的数据项：其中，表示参考点p对应的法线向量，表示参考点p对应的等照线向量，β为归一化因子；e(p)为待修复块的边缘项：其中，为sobel水平算子对待修复块的卷积结果，为sobel竖直算子对待修复块的卷积结果；步骤3.1.3设置深度阈值de，对修复优先级最大的参考点对应的待修复块进行修复；遍历待修复破损图像中与待修复块大小相同且不存在破损点的样本块，针对每一个样本块，计算样本块平均深度信息与待修复块平均深度信息，并计算二者的差值d0：其中，表示待修复块的平均深度信息，表示样本块的平均深度信息；若差值d0大于深度阈值de，则跳过当前样本块；否则，计算当前样本块与待修复块的最小差方和误差：其中，n为待修复块中未破损像素点个数，rpi、gpi、bpi分别表示待修复块中第i个未破损像素点在rgb三个通道上的像素值，rqi、gqi、bqi分别表示当前样本块中第i个未破损像素点在rgb三个通道上的像素值；选取最小的样本块作为最优匹配块贴到待修复块的位置；步骤3.1.4更新破损边界δω，重新计算破损边界上每一个参考点的修复优先级，再对修复优先级最大的参考点对应的待修复块进行修复；其中，置信项c(p)更新公式为：其中，表示上一阶段修复的参考点，表示上一阶段修复的待修复块；步骤3.1.5 重复步骤3.1.3~3.1.4，直到破损区域不存在破损边界，完成修复并得到修复结果。8.进一步的，步骤3中，多平面的修复具体为：步骤3.2.1多平面的分割；根据待修复破损图像中破损区域的深度平面数n，利用ostu方法寻找n-1个分界阈值，将破损区域划分为n个深度平面；步骤3.2.2深度平面“粗修复”；选取破损区域中任一深度平面作为当前深度平面，对当前深度平面进行“粗修复”，具体为：采用二值形态学方法计算当前深度平面与其他深度平面的分界线，以分界线的两个端点为参考点，分别计算参考点八领域的像素值均值作为参考值，再计算两个参考值的均值作为修复像素值填充到分界线所有位置，完成一层“粗修复”；重复此过程，直至当前深度平面不存在与其他深度平面的分界线，则完成当前深度平面的“粗修复”；步骤3.2.3深度平面“精修复”；对破损区域中经过“粗修复”的当前深度平面进行“精修复”，具体为：将“粗修复”后的深度平面中第1~第5层“粗修复”的修复区域作为缓冲区域，其他区域作为待“精修复”区域；将待“精修复”区域作为破损区域，其他深度平面视为未破损区域，进行单平面的修复；步骤3.2.4 对破损区域的每一个深度平面完成步骤3.2.2的“粗修复”和步骤3.2.3的“精修复”，得到修复结果。9.与现有技术相比，本发明是有益效果在于：本发明提出了一种基于深度信息的图像修复方法，通过构建基于深度信息的平面分割模型，实现图像修复种类的划分，分为“单平面的修复”与“多平面的修复”两种情况，并匹配各自的修复方式；在“单平面的修复”中，将样本块与待修复块的平均深度信息作为约束项加入最优匹配块的判定准则当中，提升了最优匹配块选取的准确性，降低了搜索时间；在“多平面的修复”中，根据深度信息划分形成多个深度平面，首先对深度平面进行逐层“粗修复”，再对“粗修复”后深度平面进行单平面的“精修复”，保证了分界线的连续性和深度平面的修复质量；综上，本发明把深度信息作为先验信息引入后，能够有效降低各修复平面间的影响，显著提高图像修复的质量，并且能够在一定程度上降低修复时间、进而提高效率。附图说明10.图1为本发明基于深度信息的图像修复方法的流程示意图。11.图2为实施例中“跳伞的人”的原始图像。12.图3为实施例中“跳伞的人”的破损图像。13.图4为实施例中对比例1对如图3所示破损图像的修复结果。14.图5为实施例中对比例2对如图3所示破损图像的修复结果。15.图6为实施例中对比例3对如图3所示破损图像的修复结果。16.图7为实施例中本发明对如图3所示破损图像的修复结果。17.图8为实施例中“猫”的原始图像。18.图9为实施例中“猫”的破损图像。19.图10为实施例中采用单平面的修复对如图9所示破损图像的修复结果。20.图11为实施例中采用“粗修复”对如图9所示破损图像的修复结果。21.图12为实施例中对比例3对如图9所示破损图像的修复结果。22.图13为实施例中本发明对如图9所示破损图像的修复结果。23.图14为本发明实施例中“闹钟”的原始图像。具体实施方式24.为使本发明的目的、技术方案与有益效果更加清楚明白，下面结合附图和实施例对本发明做进一步详细说明。25.本实施例提供一种基于深度信息的图像修复方法，其流程如图1所示，具体包括以下步骤：步骤1.采用待修复破损图像的深度图像作为先验信息；步骤2. 构建平面分割模型；步骤2.1找到破损图像当中的破损位置；具体为：将待修复破损图像转换为灰度图像，设定破损区域判断阈值θ，找到灰度图像中的像素值小于θ的位置，即为破损区域(roi)；本实施例中θ=4；步骤2.2 确定待修复破损图像中破损区域的深度平面数n；本实施例中将待修复破损图像对应的原始图像的深度图像作为先验信息，即相应获得破损区域的深度信息；借助深度信息确定破损区域的深度平面数，具体为：步骤2.2.1 设定类间距离阈值r、以及最小类别数占总类别数的比例阈值σ（本实施例中，设置为r=10、σ=0.2）；步骤2.2.2 提取破损区域(roi)的深度信息并赋值为深度矩阵d，再将深度矩阵d展开成列向量并将其中元素按从小到大进行排序，得到深度列向量d；步骤2.2.3 将深度列向量d中第1个元素存入第1个类集合c1中，并依次遍历深度列向量d中其它元素：针对第i个元素，计算元素值与当前类集合cj中元素均值（当前类集合中所有元素的平均值）的差值；若差值小于类间距离阈值r，则将此元素划分到当前类集合cj中；否则，创建第j+1个类集合cj+1，并将此元素存入类集合cj+1中（作为第1个元素）；i=2,3,...,p，p为深度列向量d中元素总数；步骤2.2.4遍历结束后，统计每一个类集合中元素的个数，并进行判决：针对第j个类集合cj，若类集合中元素个数小于σ×p，则判定为无效类集合；否则，判定为有效类集合；统计有效类集合的数量作为待修复破损图像中破损区域的深度平面数n；步骤3. 构建区域修复模型；根据待修复破损图像中破损区域的深度平面数n，将其分为两种情况：n=1或n》1；当n=1时，本发明称为单平面的修复，类似于删除背景中的前景元素，恢复的应该是背景元素；当n》1时，本发明称为多平面的修复，破损区域既有背景又有前景元素，恢复的也应该是背景和前景元素；具体为：步骤3.1 单平面的修复；步骤3.1.1将待修复破损图像分为未破损区域φ和破损区域ω，利用二值形态学方法提取破损边界δω；具体为：产生二值图像bs（其中，1表示待修复破损图像的破损区域，0表示未破损区域），将二值图像bs经过一次3×3结构元腐蚀后得到二值图像bsn，将二值图像bs减去二值图像bsn得到破损边界δω；步骤3.1.2对于破损边界δω上的每一个参考点，分别设置修复优先级：其中，p为破损边界上的参考点，p(p)为参考点p对应位置的修复优先级；α为预设修复因子、本实施例中设置为1.33e-4；c(p)为待修复块的置信项，计算公式如下：其中，φ表示待修复破损图像中的未破损区域，表示以参考点p为中心的（m×m，m=9）待修复块，以及；d(p)为待修复块的数据项，计算公式如下：其中，表示参考点p对应的法线向量，表示参考点p对应的等照线向量，β为归一化因子（本实施例中设置为255）；e(p)为待修复块的边缘项，其值为分别用sobel水平算子和sobel竖直算子对所选取图像块的卷积之和，计算公式如下：其中，为sobel水平算子对待修复块的卷积结果，为sobel竖直算子对待修复块的卷积结果；步骤3.1.3设置深度阈值de（本实施例设置为8），对修复优先级最大的参考点对应的待修复块进行修复；遍历待修复破损图像中与待修复块大小相同且不存在破损点的样本块，针对每一个样本块，计算样本块平均深度信息与待修复块平均深度信息，并计算二者的差值d0：其中，表示待修复块的平均深度信息，表示样本块平均深度信息；若差值d0大于深度阈值de，则跳过当前样本块；否则，计算当前样本块与待修复块的最小差方和误差：其中，n为待修复块中未破损像素点个数，rpi、gpi、bpi分别表示待修复块中第i个未破损像素点在rgb三个通道上的像素值，rqi、gqi、bqi分别表示当前样本块中第i个未破损像素点在rgb三个通道上的像素值；选取最小的样本块作为最优匹配块贴到待修复块的位置，即将二值图像bs对应的待修复块的位置处的1值（破损区域）更新为0值（未破损区域）；步骤3.1.4更新破损边界δω，重新计算破损边界上每一个参考点的修复优先级，再对修复优先级最大的参考点对应的待修复块进行修复；其中，置信项c(p)更新公式为：其中，表示上一阶段修复的参考点，表示上一阶段修复的待修复块；另外，数据项d(p)和边缘项e(p)的计算过程与步骤3.1.2相同；步骤3.1.5 重复步骤3.1.3~3.1.4，直到破损区域不存在破损边界，完成修复；步骤3.2多平面的修复；步骤3.2.1多平面的分割；根据待修复破损图像中破损区域的深度平面数n，利用ostu方法寻找n-1个分界阈值，将破损区域划分为n个深度平面；步骤3.2.2深度平面“粗修复”；选取破损区域中任一深度平面作为当前深度平面，对当前深度平面进行“粗修复”，具体为：采用二值形态学方法（与步骤3.1.1相同）计算当前深度平面与其他深度平面的分界线，以分界线的两个端点为参考点，分别计算参考点八领域的像素值的均值作为参考值，再计算两个参考值的均值作为修复像素值填充到分界线所有位置，即将二值图像中分界线对应位置的1值更新为0值，完成一层“粗修复”；重复此过程，直至当前深度平面不存在与其他深度平面的分界线，完成当前深度平面的“粗修复”；以上操作都是分别在rgb三个通道上进行；步骤3.2.3深度平面“精修复”；对破损区域中经过“粗修复”的当前深度平面进行“精修复”，具体为：将“粗修复”后的深度平面中第1~第5层“粗修复”的修复区域作为缓冲区域，其他区域作为待“精修复”区域；将待“精修复”区域作为破损区域，其他深度平面视为未破损区域，进行单平面的修复；步骤3.2.4 对破损区域的每一个深度平面完成步骤3.2.2的“粗修复”和步骤3.2.3的“精修复”，得到修复结果。26.需要说明的是：破损区域判断阈值θ、类间距离阈值r、最小类别数占总类别数的比例阈值σ、深度阈值de均为经验阈值，θ的取值范围为4~6、r的取值范围为10~12、σ的取值范围为0.15~0.2、de的取值范围为8~10；待“精修复”区域的划分能够有效防止边界的不连续性。27.为了说明本发明的有效性，本实施例中采用如图2所示的“跳伞的人”对“单平面的修复”进行说明、采用如图8所示的“猫”对“多平面的修复”进行说明，同时采用criminisi(region filling and object removal by exemplar-based image inpainting)作为对比例1、改进的criminisi(基于sobel算子的criminisi改进算法)作为对比例2、photoshop作为对比例3。需要说明的是：在“单平面的修复”中，破损区域只存在一个深度平面的情况类似于实际生活中要删除某一背景中的前景元素，比如：站在白墙前的一个人，需要去掉这个人（掩盖掉），此时人所在的位置就成为了破损区域；基于此，如图2所示为“跳伞的人”原始图像，如图3所示为对应的破损图像，如图4所示为对比例1的修复结果，如图5所示为对比例2的修复结果，如图6所示为对比例3的修复结果，如图7所示为本发明的修复结果，由图可见，本发明在单平面修复的结果在视觉上明显优于其他对比例。在“多平面的修复”中，破损区域即存在前景又存在背景，故修复的目的是内容补全，使得修复结果和原始图像尽可能相似；基于此，如图8所示为“猫”原始图像，如图9所示为对应的破损图像，如图10为采用单平面修复的结果，如图11所示为采用“粗修复”的结果，如图12所示为对比例3的修复结果，如图13为本发明的修复结果，由图可见，本发明多平面修复的结果在视觉上明显优于其他对比例。另外，本实施例还采用如图14所示的“闹钟”作为测试图像进行测试，测试的psnr值如下表所示：由表可见，本发明基于深度信息的图像修复方法具有最优的性能，测试结果表明引入深度信息能够加强图像的修复效果与效率，证明了本发明方法的有效性和优越性。28.综上所述，本发明所提出的基于深度信息的图像修复方法具有出色的表现，在单平面和多平面修复的不同测试图像上，相较于其他相关的修复方法，在主观评价上得分最高，在客观评价上，综合修复效率最高，计算得到的psnr值提升1db以上。29.以上所述，仅为本发明的具体实施方式，本说明书中所公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换；所公开的所有特征、或所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以任何方式组合。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!