图像处理方法、装置、系统及电子设备与流程

计算;推算;计数设备的制造及其应用技术1.本技术涉及人工智能及图像处理技术领域，尤其涉及一种图像处理方法、装置、系统及电子设备。背景技术：2.目前，越来越多的电子设备能够对图像进行处理，例如，进行图像虚化、物体建模、手势识别和图片3d视角转换等操作。电子设备在处理图像时常常依赖图像的深度信息，而为了得到图像的深度信息，常常会在电子设备上配置深度摄像头，例如，以时间旅行法(time-of-flights,tof)深度摄像头。但受限于设备功耗、器件大小等原因，电子设备上的深度摄像头普遍器件规格低，可用功率低，进而导致深度图分辨率低，边缘不准确，空缺大，不满足后续应用或存在导致痛点问题。因此，如何提升深度图的分辨率和准确度是目前亟需解决的技术问题。技术实现要素：3.本技术实施例提供了一种图像处理方法、装置、系统及电子设备，通过分阶段将rgb图像的图像特征融入到该rgb图像对应的深度图中，对低分辨率的深度图进行重建，得到高分辨率的深度图，提升了深度图的分辨率和准确度。4.第一方面，本技术实施例提供了一种图像处理系统，系统包括处理器，第一卷积神经网络和第二卷积神经网络；5.其中，处理器，用于确定待处理的第一图像和与第一图像相关的第二图像，以及将第一图像输入至第一卷积神经网络的第一输入通道，将第二图像输入至第一卷积神经网络的第二输入通道，其中，第一图像表征的对象与第二图像表征的对象相同，第一图像的分辨率低于或等于第二图像的分辨率；6.第一卷积神经网络，用于对第一图像和第二图像进行图像融合得到第三图像，第三图像的分辨率高于第一图像的分辨率，且低于或等于第二图像的分辨率；7.处理器，还用于对第二图像进行边缘提取，得到第四图像，以及将第三图像输入至第二卷积神经网络的第三输入通道，将第四图像输入至第二卷积神经网络的第四输入通道；8.第二卷积神经网络，用于对第三图像和第四图像进行图像融合得到第五图像，第五图像的分辨率低于或等于第三图像的分辨率，且低于或等于第二图像的分辨率。9.由此，采用卷积神经网络分阶段的将rgb图像融入到该rgb图像对应的深度图中，对深度图进行重建，从而得到高分辨率的深度图，进而提升图像虚化、物体建模、手势识别精度和指令数以及3d动态图片中的效果。其中，第一阶段是将rgb图像融入到该rgb图像对应的深度图中，第二阶段是将该rgb图像的边缘图像融入到第一阶段获得的图像中，进而得到高分辨率的深度图。10.在一种可能的实现方式中，目标卷积神经网络中包括第一网络，第二网络，和第三网络，第一网络用于对进入第一目标输入通道的图像进行特征提取，得到第一目标图像特征，第二网络用于对进入第二目标输入通道的图像进行特征提取，得到第二目标图像特征，第三网络用于对第一目标图像特征，第二目标图像特征，和进入第一目标输入通道的图像进行融合，得到第三目标图像；11.其中，目标卷积神经网络为第一卷积神经网络，第一目标输入通道为第一输入通道，第二目标输入通道为第二输入通道，第三目标图像为第三图像；12.或13.目标卷积神经网络为第二卷积神经网络，第一目标输入通道为第三输入通道，第二目标输入通道为第四输入通道，第三目标图像为第五图像。14.在一种可能的实现方式中，第一网络中包括至少一个第一子网络，第一子网络包括：15.第一卷积层，用于提取进入第一目标输入通道的图像的图像特征；16.第一激活层，用于在第一卷积层输出的数据中加入非线性因素；17.第一融合层，用于使用多个并行配置的不同尺寸的第一卷积核对第一激活层输出的数据进行图像特征提取，以及使用至少一个串行配置的第二卷积核整合多个第一卷积核提取的图像特征。18.在一种可能的实现方式中，第一网络中包括多个第一子网络，多个第一子网络串行配置。19.在一种可能的实现方式中，第二网络中包括至少一个第二子网络，第二子网络包括：20.第二卷积层，用于提取进入第二目标输入通道的图像的图像特征；21.第二激活层，用于在第一卷积层输出的数据中加入非线性因素。22.在一种可能的实现方式中，第二网络中包括多个第二子网络，多个第二子网络串行配置。23.在一种可能的实现方式中，第一网络包括多个串行配置的第三子网络，第二网络包括多个串行配置的第四子网络；24.其中，多个第三子网络中至少一个网络的输入为至少一个网络的上一层网络的输出，和多个第四子网络中任一个网络的输出。25.在一种可能的实现方式中，第三网络包括：26.第二融合层，用于使用多个并行配置的不同尺寸的第三卷积核对第一网络和第二网络输出的数据进行图像特征提取，以及使用至少一个串行配置的第二卷积核整合多个第三卷积核提取的图像特征；27.第一反卷积层，用于对第二融合层输出的数据进行反卷积运算；28.第三激活层，用于用于在第一反卷积层输出的数据中加入非线性因素；29.第四卷积层，用于对第三激活层输出的数据进行特征提取；30.输出层，用于将第四卷积层输出的数据与进入第一目标输入通道的图像进行融合，得到第三目标图像。31.第二方面，本技术实施例提供了一种图像处理方法，方法包括：32.确定待处理的第一图像和与第一图像相关的第二图像，第一图像的分辨率低于第二图像的分辨率，其中，第一图像表征的对象与第二图像表征的对象相同；33.将第一图像输入至第一卷积神经网络的第一输入通道，及将第二图像输入至第一卷积神经网络的第二输入通道；34.使用第一卷积神经网络对第一图像和第二图像进行图像融合，得到第三图像，第三图像的分辨率高于第一图像的分辨率，且低于或等于第二图像的分辨率；35.对第二图像进行边缘提取，得到第四图像；36.将第三图像输入至第二卷积神经网络的第三输入通道，及将第四图像输入至第二卷积神经网络的第四输入通道；37.使用第二卷积神经网络对第三图像和第四图像进行图像融合，得到第五图像，第五图像的分辨率低于或等于第三图像的分辨率，且低于或等于第二图像的分辨率。38.在一种可能的实现方式中，使用目标卷积神经网络对第一目标图像和第二目标图像进行图像融合，得到第三目标图像，包括：39.使用目标卷积神经网络中的第一网络提取进入第一目标输入通道的图像的第一目标图像特征；40.使用目标卷积神经网络中的第二网络提取进入第二目标输入通道的图像的第二目标图像特征；41.使用目标卷积神经网络中的第三网络对第一目标图像特征，第二目标图像特征，和进入第一目标输入通道的图像进行融合，得到第三目标图像；42.其中，目标卷积神经网络为第一卷积神经网络，第一目标输入通道为第一输入通道，第二目标输入通道为第二输入通道，第三目标图像为第三图像；43.或44.目标卷积神经网络为第二卷积神经网络，第一目标输入通道为第三输入通道，第二目标输入通道为第四输入通道，第三目标图像为第五图像。45.在一种可能的实现方式中，第一网络包括多个串行配置的第三子网络，第二网络包括多个串行配置的第四子网络；46.方法还包括：47.使用多个第三子网络中至少一个网络接收至少一个网络的上一层网络输出的第一数据，和多个第四子网络中任一个网络的输出的第二数据；48.使用至少一个网络基于第一数据和第二数据进行特征提取。49.第三方面，本技术实施例提供了一种图像处理装置，装置包括：50.通信模块，用于确定待处理的第一图像和与第一图像相关的第二图像，第一图像的分辨率低于第二图像的分辨率，其中，第一图像表征的对象与第二图像表征的对象相同；51.处理模块，用于将第一图像输入至第一卷积神经网络的第一输入通道，及将第二图像输入至第一卷积神经网络的第二输入通道；52.处理模块，还用于使用第一卷积神经网络对第一图像和第二图像进行图像融合，得到第三图像，第三图像的分辨率高于第一图像的分辨率，且低于或等于第二图像的分辨率；53.处理模块，还用于对第二图像进行边缘提取，得到第四图像；54.处理模块，还用于将第三图像输入至第二卷积神经网络的第三输入通道，及将第四图像输入至第二卷积神经网络的第四输入通道；55.使用第二卷积神经网络对第三图像和第四图像进行图像融合，得到第五图像，第五图像的分辨率低于或等于第三图像的分辨率，且低于或等于第二图像的分辨率。56.在一种可能的实现方式中，处理模块，还用于：57.使用目标卷积神经网络中的第一网络提取进入第一目标输入通道的图像的第一目标图像特征；58.使用目标卷积神经网络中的第二网络提取进入第二目标输入通道的图像的第二目标图像特征；59.使用目标卷积神经网络中的第三网络对第一目标图像特征，第二目标图像特征，和进入第一目标输入通道的图像进行融合，得到第三目标图像；60.其中，目标卷积神经网络为第一卷积神经网络，第一目标输入通道为第一输入通道，第二目标输入通道为第二输入通道，第三目标图像为第三图像；61.或62.目标卷积神经网络为第二卷积神经网络，第一目标输入通道为第三输入通道，第二目标输入通道为第四输入通道，第三目标图像为第五图像。63.在一种可能的实现方式中，第一网络包括多个串行配置的第三子网络，第二网络包括多个串行配置的第四子网络；64.处理模块，还用于：65.使用多个第三子网络中至少一个网络接收至少一个网络的上一层网络输出的第一数据，和多个第四子网络中任一个网络的输出的第二数据；66.使用至少一个网络基于第一数据和第二数据进行特征提取。67.第四方面，本技术实施例提供了一种电子设备，包括：68.至少一个存储器，用于存储程序；69.至少一个处理器，用于调用存储器存储的程序，以执行第二方面中提供的方法。70.第五方面，本技术实施例提供了一种计算机存储介质，计算机存储介质中存储有指令，当指令在计算机上运行时，使得计算机执行第一二方面中提供的方法。71.第六方面，本技术实施例提供了一种包含指令的计算机程序产品，当指令在计算机上运行时，使得计算机执行第二方面中提供的方法。72.第七方面，本技术实施例提供了一种芯片，包括至少一个处理器和接口；73.至少一个处理器通过接口获取程序指令或者数据；74.至少一个处理器用于执行程序行指令，以实现第二方面中提供的方法。附图说明75.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。76.图1是本技术实施例提供的一种人工智能主体框架示意图；77.图2是本技术实施例提供的一种系统架构示意图；78.图3是本技术实施例提供的另一种系统架构示意图；79.图4是本技术实施例提供的一种卷积神经网络的结构示意图；80.图5是图4所示的卷积神经网络中融合层的结构示意图；81.图6是本技术实施例提供的一种卷积神经网络的结构示意图；82.图7是本技术实施例提供的一种图像的处理过程示意图；83.图8a是本技术实施例中提供的一种原始的深度图；84.图8b是本技术实施例中提供的一种rgb图像；85.图8c是本技术实施例中提供的经图4所示的处理过程处理后得到的高分辨率的深度图；86.图8d是相关技术中对原始的深度图处理后得到的高分辨率的深度图；87.图9是本技术实施例提供的本方案与其他方案之间的对比示意图；88.图10是本技术实施例提供的一种图像处理系统的结构示意图；89.图11是本技术实施例提供的一种图像处理方法的流程示意图；90.图12是本技术实施例提供的一种确定第三图像或第五图像的步骤示意图；91.图13是本技术实施例提供的一种预先融合各个图像的图像特征的步骤示意图；92.图14是本技术实施例提供的一种图像处理装置的结构示意图；93.图15是本技术实施例提供的一种芯片的结构示意图。具体实施方式94.为了使本技术实施例的目的、技术方案和优点更加清楚，对本技术实施例中的技术方案进行描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。95.图1示出一种人工智能主体框架示意图，该主体框架描述了人工智能系统总体工作流程，适用于通用的人工智能领域需求。96.下面从“智能信息链”(水平轴)和“it价值链”(垂直轴)两个维度对上述人工智能主题框架进行阐述。[0097]“智能信息链”反映从数据的获取到处理的一列过程。举例来说，可以是智能信息感知、智能信息表示与形成、智能推理、智能决策、智能执行与输出的一般过程。在这个过程中，数据经历了“数据—信息—知识—智慧”的凝练过程。[0098]“it价值链”从人智能的底层基础设施、信息(提供和处理技术实现)到系统的产业生态过程，反映人工智能为信息技术产业带来的价值。[0099](1)基础设施：[0100]基础设施为人工智能系统提供计算能力支持，实现与外部世界的沟通，并通过基础平台实现支撑。通过传感器与外部沟通；计算能力由智能芯片提供，其中，智能芯片可以为中央处理器(central processing unit，cpu)，网络处理器(neural-network processing units，npu)，图形处理器(graphics processing unit，gpu)，专用集成电路(application specific integrated circuit，asic)，现场可编程逻辑门阵列(field programmable gate array，fpga)等硬件加速芯片；基础平台包括分布式计算框架及网络等相关的平台保障和支持，可以包括云存储和计算、互联互通网络等。举例来说，传感器和外部沟通获取数据，这些数据提供给基础平台提供的分布式计算系统中的智能芯片进行计算。[0101](2)数据[0102]基础设施的上一层的数据用于表示人工智能领域的数据来源。数据涉及到图形、图像、语音、文本，还涉及到传统设备的物联网数据，包括已有系统的业务数据以及力、位移、液位、温度、湿度等感知数据。本方案中，数据可以为图像，如低分辨率的深度图，高分辨率的rgb图像等。[0103](3)数据处理[0104]数据处理通常包括数据训练，机器学习，深度学习，搜索，推理，决策等方式。[0105]其中，机器学习和深度学习可以对数据进行符号化和形式化的智能信息建模、抽取、预处理、训练等。[0106]推理是指在计算机或智能系统中，模拟人类的智能推理方式，依据推理控制策略，利用形式化的信息进行机器思维和求解问题的过程，典型的功能是搜索与匹配。[0107]决策是指智能信息经过推理后进行决策的过程，通常提供分类、排序、预测等功能。[0108]本方案中，数据处理可以为分阶段将rgb图像的图像特征融入到深度图中，对低分辨率的深度图进行重建，得到高分辨率的深度图的处理过程。[0109](4)通用能力[0110]对数据经过上面提到的数据处理后，进一步基于数据处理的结果可以形成一些通用的能力，比如可以是算法或者一个通用系统，例如，翻译，文本的分析，计算机视觉的处理，语音识别，图像的识别等等。本方案中，通用能力可以为计算机视觉的处理，图像的识别等。[0111](5)智能产品及行业应用[0112]智能产品及行业应用指人工智能系统在各领域的产品和应用，是对人工智能整体解决方案的封装，将智能信息决策产品化、实现落地应用，其应用领域主要包括：智能制造、智能交通、智能家居、智能医疗、智能安防、自动驾驶，平安城市，智能终端等。[0113]接下来基于上述人工智能主体框架，介绍本技术实施例中的一种系统架构。[0114]参见附图2，本技术实施例提供了一种系统架构200。数据采集设备260用于采集低分辨率的深度图，高分辨率的rgb图像等数据并存入数据库230，训练设备220基于数据库230中维护的低分辨率的深度图，高分辨率的rgb图像等数据生成目标模型/规则201。[0115]训练设备220可以基于数据库230中的数据，对神经网络进行训练，以得到的目标模型/规则201。示例性的，神经网络可以为卷积神经网络，此时目标模型/规则201则为卷积神经网络。[0116]训练设备220得到的目标模型/规则201可以应用不同的系统或设备中。在附图2中，执行设备210配置有i/o接口212，与外部设备进行数据交互，“用户”可以通过客户设备240向i/o接口212输入数据。[0117]执行设备210可以调用数据存储系统250中的数据、代码等，也可以将数据、指令等存入数据存储系统250中。[0118]计算模块211使用目标模型/规则201对输入的数据进行处理。例如，分阶段将rgb图像的图像特征融入到深度图中，对低分辨率的深度图进行重建，从而得到高分辨率的深度图，进而提升图像虚化、物体建模、手势识别精度和指令数以及3d动态图片中的效果。[0119]最后，i/o接口212将处理结果返回给客户设备240，提供给用户。例如，将得到高分辨率的深度图提供给用户。[0120]在附图2中所示情况下，用户可以手动指定输入执行设备210中的数据，例如，在i/o接口212提供的界面中操作。另一种情况下，客户设备240可以自动地向i/o接口212输入数据并获得结果，如果客户设备240自动输入数据需要获得用户的授权，用户可以在客户设备240中设置相应权限。用户可以在客户设备240查看执行设备210输出的结果，具体的呈现形式可以是显示、声音、动作等具体方式。客户设备240也可以作为数据采集端将采集到低分辨率的深度图，高分辨率的rgb图像等数据存入数据库230。[0121]值得注意的，附图2仅是本技术实施例提供的一种系统架构的示意图，图中所示设备、器件、模块等之间的位置关系不构成任何限制，例如，在附图2中，数据存储系统250相对执行设备210是外部存储器，在其它情况下，也可以将数据存储系统250置于执行设备210中。[0122]接下来，基于图2所示的系统架构，介绍本方案提供的另一种系统架构。[0123]参见附图3，本技术实施例提供了一种系统架构300。执行设备210由一个或多个服务器实现，可选的，与其它计算设备配合，例如：数据存储、路由器、负载均衡器等设备；执行设备210可以布置在一个物理站点上，或者分布在多个物理站点上。执行设备210可以使用数据存储系统250中的数据，或者调用数据存储系统250中的程序代码实现分阶段将rgb图像的图像特征融入到深度图中，对低分辨率的深度图进行重建，从而得到高分辨率的深度图，进而提升图像虚化、物体建模、手势识别精度和指令数以及3d动态图片中的效果。[0124]用户可以操作各自的用户设备(例如本地设备301和本地设备302)与执行设备210进行交互。每个本地设备可以表示任何计算设备，例如个人计算机、计算机工作站、智能手机、平板电脑、智能摄像头、智能汽车或其他类型蜂窝电话、媒体消费设备、可穿戴设备、机顶盒、游戏机等。[0125]每个用户的本地设备可以通过任何通信机制/通信标准的通信网络与执行设备210进行交互，通信网络可以是广域网、局域网、点对点连接等方式，或它们的任意组合。[0126]在另一种实现中，执行设备210的一个方面或多个方面可以由每个本地设备实现，例如，本地设备301可以为执行设备210提供本地数据或反馈计算结果。[0127]需要注意的，执行设备210的所有功能也可以由本地设备实现。例如，本地设备301实现执行设备210的的功能并为自己的用户提供服务，或者为本地设备302的用户提供服务。[0128]接下来，基于上述所描述的系统架构，对本方案中所使用的卷积神经网络进行介绍。[0129]卷积神经网络(convolutional neuron nrtwork，cnn)是一种带有卷积结构的深度神经网络，是一种深度学习(deep learning)架构，深度学习架构是指通过机器学习的算法，在不同的抽象层级上进行多个层次的学习。作为一种深度学习架构，cnn是一种前馈(feed-forward)人工神经网络，该前馈人工神经网络中的各个神经元对输入其中的图像中的重叠区域作出响应。[0130]如图4所示，卷积神经网络(cnn)100可以包括输入层110，卷积层/激活层/融合层120，其中融合层为可选的，以及神经网络层130。[0131]卷积层/激活层/融合层120：[0132]如图4所示，卷积层/激活层/融合层120可以包括如示例121-125层，其中，121层为卷积层，122层为激活层，123层为卷积层，124层为激活层，125为融合层。本方案中，121-122层用于处理rgb图像或者处理由rgb图像提取得到的边缘图像(即图4所示的待处理图像1)，123-125层用于处理低分辨率的深度图或者处理由第一阶段得到的高分辨率的深度图(即图4所示的待处理图像2)。其中，本方案中，低分辨率的深度图可以理解为原始的深度图。[0133]以卷积层121为例，卷积层121可以包括很多个卷积算子，卷积算子也称为核，其在图像处理中的作用相当于一个从输入图像矩阵中提取特定信息的过滤器，卷积算子本质上可以是一个权重矩阵，这个权重矩阵通常被预先定义，在对图像进行卷积操作的过程中，权重矩阵通常在输入图像上沿着水平方向一个像素接着一个像素(或两个像素接着两个像素……这取决于步长stride的取值)的进行处理，从而完成从图像中提取特定特征的工作。该权重矩阵的大小应该与图像的大小相关，需要注意的是，权重矩阵的纵深维度(depth dimension)和输入图像的纵深维度是相同的，在进行卷积运算的过程中，权重矩阵会延伸到输入图像的整个深度。因此，和一个单一的权重矩阵进行卷积会产生一个单一纵深维度的卷积化输出，但是大多数情况下不使用单一权重矩阵，而是应用维度相同的多个权重矩阵。每个权重矩阵的输出被堆叠起来形成卷积图像的纵深维度。不同的权重矩阵可以用来提取图像中不同的特征，例如一个权重矩阵用来提取图像边缘信息，另一个权重矩阵用来提取图像的特定颜色，又一个权重矩阵用来对图像中不需要的噪点进行模糊化……该多个权重矩阵维度相同，经过该多个维度相同的权重矩阵提取后的特征图维度也相同，再将提取到的多个维度相同的特征图合并形成卷积运算的输出。[0134]这些权重矩阵中的权重值在实际应用中需要经过大量的训练得到，通过训练得到的权重值形成的各个权重矩阵可以从输入图像中提取信息，从而帮助卷积神经网络100进行正确的预测。[0135]当卷积神经网络100有多个卷积层的时候，初始的卷积层(例如121)往往提取较多的一般特征，该一般特征也可以称之为低级别的特征；随着卷积神经网络100深度的加深，越往后的卷积层提取到的特征越来越复杂，比如高级别的语义之类的特征，语义越高的特征越适用于待解决的问题。[0136]以激活层122为例，激活层121可以包括激活函数，该激活函数可以用于加入非线性因素，以解决线性模型表达力不够的问题。对于图像，主要采用了卷积的方式来处理，也就是对每个像素点赋予一个权值，这个操作显然就是线性的。但是对于图像样本来说，其不一定是线性可分的，为了解决这个问题，可以引入非线性因素，解决线性模型所不能解决的问题。示例性的，激活函数可以选用relu函数。[0137]融合层125，可以包括多个不同尺寸的卷积核，其中，该层与卷积层类似，但该层的结构与卷积层不同。如图5所示，融合层125包括卷积核11-1n，和卷积核21，其中，卷积核11-1n为多个不同尺寸的卷积核，例如，卷积核11的尺寸为1x1，卷积核12的尺寸为3x3，卷积核13的尺寸为5x5；卷积核21的尺寸为1x1。本方案中，卷积核11-1n主要用于对输入的数据分别进行特征提取，从而获取到不同尺度的特征表示；卷积核21主要是用于对卷积核11-1n提取到的特征进行整合，然后输入到下一层。示例性的，融合层125所执行的过程可以表示为:fout＝f′1×1(f1×1(fin)+f3×3(fin)+f5×5(fin))；其中，f1×1(·),f3×3(·),f5×5(·)分别代表融合层中三个不同的卷积核获得的不同感受野下的上下文信息，f′1×1(·)用于信息整合，fin代表融合层的输入特征，fout代表融合层的输出特征。可以理解的是，如果使用相同尺寸的卷积核进行特征提取，那提取出的特征将会是固定不变的，即获取到的感受野下的上下文信息是一致的，这就难以找寻到最优的感受野下的上下文信息；而本方案中，使用多个不同尺寸的卷积核进行特征提取，则使得提取出的特征是变化的，即获取到的感受野下的上下文信息是不一致的，从而使得可以从不同的感受野下的上下文信息中，寻到最优的感受野下的上下文信息，提升了图像处理的准确度，以及提升了重建所得到的深度图的分辨率。此外，通过将融合层125设置为多个不同尺寸的卷积核，也减少了卷积层的个数，从而减少了卷积操作数，降低了系统功耗。[0138]神经网络层130：[0139]在经过卷积层/激活层/融合层120的处理后，卷积神经网络100还不足以输出所需要的输出信息。因为如前所述，卷积层/激活层/融合层120只会提取特征，并减少输入图像带来的参数。然而为了生成最终的输出信息(所需要的类信息或别的相关信息)，卷积神经网络100需要利用神经网络层130来生成一个或者一组所需要的类的数量的输出。因此，在神经网络层130中可以包括多层隐含层(如图4所示的131、132至137)以及输出层140，该多层隐含层中所包含的参数可以根据具体的任务类型的相关训练数据进行预先训练得到，例如该任务类型可以包括图像超分辨率重建。可以理解的是，隐含层的数量可以适应性的增加或减少，在此不做限定。本方案中，隐含层131和134可以为上文所述描述的融合层125。示例性的，隐含层131在接收到与rgb图像相关的数据和与原始的深度图相关的数据后，可以对接收到的数据进行整合，并输入到下一层。隐含层132和135可以为反卷积层。其中，反卷积层的前向传播过程就是卷积层的反向传播过程。隐含层133和136可以为上文所描述的激活层。隐含层137可以为上文所描述的卷积层。[0140]在神经网络层130中的多层隐含层之后，也就是整个卷积神经网络100的最后层为输出层140。该输出层140在接收到其上一层(如隐含层137)传输的数据后，可以将其接收的数据与输入层110所包含的输入层112处理后的数据相融合，进而对待处理图像2进行重建，得到第一阶段或第二阶段所需的深度图。[0141]在一个例子中，该输出层140接收的其上一层(如隐含层137)传输的数据，可以理解为是待处理图像1与待处理图像2之间的残值特征，该残值特征可以认为是两个图像之间相差的数据的特征。进一步地，输出层140将该残值特征与待处理图像2进行融合，即可以对待处理图像2进行重建，进而得到重建后的高分辨率的图像。[0142]需要说明的是，如图4所示的卷积神经网络100仅作为一种卷积神经网络的示例，在具体的应用中，卷积神经网络还可以以其他网络模型的形式存在，例如，如图6所示，在卷积层/激活层/融合层120中可以包含多组由卷积层121和激活层122组成的处理层，以及包含多组由卷积层121、激活层122和融合层组成的处理层；其中，激活层122输出的数据可以输入至其下一层的卷积层121，以及输入至卷积层123；卷积层123可以将卷积层122输入的数据与融合层125输入的数据组合进行处理，进而提升后续数据处理的准确度。[0143]可以理解的是，本方案中是采用卷积神经网络分阶段的将rgb图像融入到该rgb图像对应的深度图中，对深度图进行重建，进而得到了高分辨率的深度图。其中，第一阶段是分别对低分辨率的深度图和高分辨率的rgb图像进行特征提取，然后，将两者的图像特征进行融合(即重建深度图)，得到高分辨率的深度图；第二阶段是先提取出高分辨率的rgb图像的边缘图像，再分别对边缘图像和第一阶段重建得到的高分辨率的深度图进行特征提取，然后，将两者的图像特征进行融合(即重建深度图)，得到高分辨率的深度图。在第二阶段得到的高分辨率的深度图即为最终获得的深度图。在一个例子中，rgb图像可以理解为是一个mxnx3的彩色像素数组，其中每个彩色像素是一个三值组，这三个值分别对应一个特定空间位置处该rgb图像的红、绿和蓝分量。[0144]接下来，基于上述所描述的卷积神经网络，并结合图7分阶段对本方案中的图像处理过程进行介绍。[0145]第一阶段[0146](1)获取低分辨率的深度图,以及获取rgb图像[0147]一般地，可以采用tof相机获取低分辨率的深度图。其中，tof相机获取深度图像的原理是：通过对目标场景发射连续的近红外脉冲，然后用传感器接收由物体反射回的光脉冲；之后，通过比较发射光脉冲与经过物体反射的光脉冲的相位差，可以推算得到光脉冲之间的传输延迟进而得到物体相对于发射器的距离，最终得到一幅深度图像。在一个例子中，也可以基于结构光获取深度图。基于结构光的深度图像获取原理是：将结构光投射至场景，并由图像传感器捕获相应的带有结构光的图案。由于结构光的模式图案会因为物体的形状发生变形，因此通过模式图像在捕捉得到的图像中的位置以及形变程度利用三角原理计算即可得到场景中各点的深度信息。在一个例子中，也可以基于激光雷达获取深度图。其中，激光雷达获取深度图的基本原理是：按照一定时间间隔向空间发射激光，并记录各个扫描点的信号从激光雷达到被测场景中的物体，随后又经过物体反射回到激光雷达的相隔时间，据此推算出物体表面与激光雷达之间的距离。可以理解的是，获取低分辨率的深度图的方式有多种，具体可根据实际情况而定，在此不做限定。[0148]对于rgb图像，可以利用相机或其他图像采集装置拍摄即可以获得。在一个例子中，该rgb图像与低分辨率的深度图相对应，也可以说，该rgb图像是其对应的低分辨率的深度图的另一种表达形式，亦可以说，该rgb图像表征的对象与深度图表征的对象相同。[0149](2)将深度图和rgb图像输入至卷积神经网络[0150]本方案中，在将深度图输入至卷积神经网络前，可以通过bicubic上采样方法对原始的深度图(即低分辨率的深度图)进行处理，得到高分辨率的深度图。之后，再将高分辨率的深度图与rgb图像一起输入至卷积神经网络。示例性的，高分辨率的深度图可以为图4或6中的待处理图像2，rgb图像可以为图4或6中的待处理图像1。[0151](3)图像特征提取[0152]本方案中，卷积神经网络在分别对深度图和rgb图像进行特征提取时，可以基于编码器(即卷积方式)提取深度图的图像特征，以及基于rgb引导方式(即以红绿黄三色作为输入进行卷积的方式)提取rgb图像的图像特征。[0153](4)渐进式融合深度图的图像特征和rgb图像的图像特征[0154]本方案中，可以基于图5所示的卷积神经网络，渐进式融合深度图的图像特征和rgb图像的图像特征。对于渐进式融合，继续参阅图6，在图6中自下而上的第二个激活层122处理完毕后，将处理后的数据分别输入至卷积层121和123；其中，进入到卷积层123中的数据(即与待处理图像1相关的数据和与待处理图像2相关的数据)，依次经过卷积层123，激活层124和融合层125，即可以相互融合。继续参阅图6，在图6中自下而上的第三个激活层122处理完毕后，将处理后的数据分别输入至卷积层121和123；同样的，进入到卷积层123中的数据(即与待处理图像1相关的数据和与待处理图像2相关的数据)，依次经过卷积层123，激活层124和融合层125，即可以相互融合。经过这种渐进式融合，即可以将两个图像的图像特征相互融合。[0155]可以理解的是，在该步骤中，也可以基于图4所示的卷积神经网络融合深度图的图像特征和rgb图像的图像特征，在此不做限定。[0156](5)重建深度图[0157]继续参阅图6，待处理图像1(即rgb图像)和待处理图像2(即原始的深度图)在经过卷积神经网络中的卷积层/激活层/融合层120处理后，处理得到的数据即可以进入到神经网络层130，经过神经网络层130的处理后，即可以将重建深度图，进而得到重建后的高分辨率的深度图。[0158]至此第一阶段即结束，并进入到第二阶段。[0159]第二阶段[0160](6)获取rgb图像的边缘图像[0161]本方案中，可以对rgb图像进行边缘提取，得到边缘图像。例如，基于梯度进行边缘提取，其中，可以采用的梯度膜算子可以为roberts算子，sobel算子，prewitt算子和krisch算子等。[0162](7)将边缘图像和第一阶段得到的深度图输入至卷积神经网络[0163]本方案中，可以在将边缘图像和第一阶段得到的深度图输入至卷积神经网络一起输入至卷积神经网络。示例性的，边缘图像可以为图4或6中的待处理图像1，第一阶段得到的深度图可以为图4或6中的待处理图像2。[0164](8)图像特征提取[0165]本方案中，卷积神经网络在分别对边缘图像和第一阶段得到的深度图进行特征提取时，可以基于编码方式(即卷积方式)提取第一阶段得到的深度图的图像特征，以及基于边缘引导方式(即以灰度作为输入进行卷积的方式)提取边缘图像的图像特征。[0166](9)渐进式边缘图像的图像特征和第一阶段得到的深度图的图像特征[0167]本方案中，可以基于图6所示的卷积神经网络，渐进式融合边缘图像的图像特征和第一阶段得到的深度图的图像特征。其中，对于渐进式融合，可参见上述第一阶段中的描述，在此就不再一一赘述。[0168](10)重建深度图[0169]继续参阅图6，待处理图像1(即边缘图像)和待处理图像2(即第一阶段得到的深度图)在经过卷积神经网络中的卷积层/激活层/融合层120处理后，处理得到的数据即可以进入到神经网络层130，经过神经网络层130的处理后，即可以将重建深度图，进而得到重建后的高分辨率的深度图。[0170]至此第二阶段即结束，该第二阶段得到的重建后的高分辨率的深度图即为最终获取到的高分辨率的深度图。在一个例子中，第二阶段可以理解为是对第一阶段得到的图像的精修。[0171]可以理解的是，本方案中，第一阶段和第二阶段所采用的卷积神经网络的结构可以相同，也可以不同，具体可根据实际情况而定，在此不做限定。[0172]接下来基于上述所描述的图像处理过程，将本方案中处理得到的深度图，与其他方案中处理得到的深度图进行对比。[0173]如图8a所示，该图为原始的深度图(即低分辨率的深度图)。如图8b所示，该图为图8a中的深度图对应的rgb图像。如图8c所示，该图为通过本方案中的图像处理方式得到的高分辨率的深度图。如图8d所示，该图为通过其他方案中的图像处理方式得到的高分辨率的深度图。由图8a和5c对比可知，本方案中得到的深度图的分辨率明显高于原始的深度图的分辨率。由图8c和5d对比可知，本方案中得到的深度图的分辨率明显高于其他方案中得到的分辨率。为更好的说明本方案中得到的深度图的分辨率明显高于其他方案中得到的分辨率，下面通过数字进行对比。如图8所示，图中rmse为均方根误差(root mean squared error)的简称，由图中可以看出，在4倍超分辨率下本方案的均方根误差为1.39，而其他方案的均方根误差为1.62，本方案明显优于其他方案；在8倍超分辨率下本方案的均方根误差为2.86，而其他方案的均方根误差为3.26，本方案明显优于其他方案；在16倍超分辨率下本方案的均方根误差为5.62，而其他方案的均方根误差为6.51，本方案明显优于其他方案；在32倍超分辨率下本方案的均方根误差为8.76，而其他方案的均方根误差为12.8，本方案明显优于其他方案。此外，继续参阅图9，同一显卡(即titan xp)运行本方案和其他方案中的图像处理过程时，本方案的运行时间为39毫秒，而其他方案的运行时间为170毫秒，可见本方案的运行时间也显著低于其他方案，即本方案中通过在卷积神经网络中设置融合层减少了卷积次数，进而显著降低了图像处理的运行时间。[0174]接下来，基于上文所描述的人工智能主体框架，系统架构，卷积神经网络等，对本技术实施例提供的一种图像处理系统进行介绍。该系统是基于上文所描述的图像处理过程提出，该系统的各个组成部分所执行的步骤的部分或全部内容可以参见上文对图像处理过程的描述。[0175]请参阅图10，图10是本技术实施例提供的一种图像处理系统的结构示意图。如图10所示，该图像处理系统1000包括：处理器1011，第一卷积神经网络1012和第二卷积神经网络1013。[0176]其中，处理器1011，可以用于确定待处理的第一图像和与第一图像相关的第二图像，以及将第一图像输入至第一卷积神经网络1012的第一输入通道，将第二图像输入至第一卷积神经网络1012的第二输入通道，其中，第一图像表征的对象与第二图像表征的对象相同，第一图像的分辨率低于第二图像的分辨率。在一个例子中，处理器1011可以为图2中的执行设备210，第一卷积神经网络1012和第二卷积神经网络1013可以为图2中的目标模型/规则201。在一个例子中，第一图像可以为图7所描述的低分辨率的深度图，第二图像可以为图7所描述的rgb图像。[0177]第一卷积神经网络1012，可以用于对第一图像和第二图像进行图像融合得到第三图像，第三图像的分辨率高于第一图像的分辨率，且低于或等于第二图像的分辨率。在一个例子中，[0178]第一卷积神经网络1012可以为图4或图6所描述的卷积神经网络。在一个例子中，第三图像可以为图7所描述的第一阶段获取到的高分辨率的深度图。[0179]处理器1011，还用于对第二图像进行边缘提取，得到第四图像，以及将第三图像输入至第二卷积神经网络的第三输入通道，将第四图像输入至第二卷积神经网络的第四输入通道。在一个例子中，第四图像可以为图7所描述的第二阶段获取到的边缘图像。[0180]第二卷积神经网络1013，可以用于对第三图像和第四图像进行图像融合得到第五图像，第五图像的分辨率低于或等于第三图像的分辨率，且低于或等于第二图像的分辨率。在一个例子中，第一卷积神经网络1012可以为图4或图6所描述的卷积神经网络。在一个例子中，第五图像可以为图7所描述的第二阶段获取到的高分辨率的深度图。[0181]在一种实现方式中，目标卷积神经网络中包括第一网络，第二网络，和第三网络，第一网络用于对进入第一目标输入通道的图像进行特征提取，得到第一目标图像特征，第二网络用于对进入第二目标输入通道的图像进行特征提取，得到第二目标图像特征，第三网络用于对第一目标图像特征，第二目标图像特征，和进入第一目标输入通道的图像进行融合，得到第三目标图像。其中，目标卷积神经网络可以为第一卷积神经网络1012，此时，第一目标输入通道为第一输入通道，第二目标输入通道为第二输入通道，第三目标图像为第三图像。此外，目标卷积神经网络也可以为第二卷积神经网络1013，此时，第一目标输入通道为第三输入通道，第二目标输入通道为第四输入通道，第三目标图像为第五图像。在一个例子中，第一网络可以为图4中描述的卷积层123，激活层124和融合层125组成的网络，或者是图6中描述的由多个卷积层123，多个激活层124和多个融合层125组成的网络。第二网络可以为为图4中描述的卷积层121和激活层122组成的网络，或者是图6中描述的由多个卷积层121和多个激活层122组成的网络。第三网络可以为图4或6中描述的神经网络130。[0182]在一种实现方式中，第一网络中包括至少一个第一子网络，第一子网络包括：第一卷积层，用于提取进入第一目标输入通道的图像的图像特征；第一激活层，用于在第一卷积层输出的数据中加入非线性因素；第一融合层，用于使用多个并行配置的不同尺寸的第一卷积核对第一激活层输出的数据进行图像特征提取，以及使用至少一个串行配置的第二卷积核整合多个第一卷积核提取的图像特征。在一个例子中，第一卷积层可以为图4或6中描述的卷积层123，第一激活层可以为图4或6中描述的激活层124，第一融合层可以为图4或6中描述的融合层125。[0183]在一种实现方式中，第一网络中包括多个第一子网络，多个第一子网络串行配置。在一个例子中，第一子网络可以理解为图6中由一个卷积层123，一个激活层124和一个融合层125组成的网络。[0184]在一种实现方式中，第二网络中包括至少一个第二子网络，第二子网络包括：第二卷积层，用于提取进入第二目标输入通道的图像的图像特征；第二激活层，用于在第一卷积层输出的数据中加入非线性因素。在一个例子中，第二卷积层可以为图4或6中描述的卷积层121，第二激活层可以为图4或6中描述的激活层122。[0185]在一种实现方式中，第二网络中包括多个第二子网络，多个第二子网络串行配置。在一个例子中，第二子网络可以理解为图6中由一个卷积层121和一个激活层122组成的网络。[0186]在一种实现方式中，第一网络包括多个串行配置的第三子网络，第二网络包括多个串行配置的第四子网络。其中，多个第三子网络中至少一个网络的输入为至少一个网络的上一层网络的输出，和多个第四子网络中任一个网络的输出。在一个例子中，第三子网络可以理解为图6中由一个卷积层123，一个激活层124和一个融合层125组成的网络，第四子网络可以理解为图6中由一个卷积层121和一个激活层122组成的网络。在一个例子中，多个第三子网络中至少一个网络的输入为至少一个网络的上一层网络的输出，和多个第四子网络中任一个网络的输出，可以理解为，图6中自下而上，第二个卷积层123的输入为第二个激活层122和第一个融合层125的输入。[0187]在一种实现方式中，第三网络包括：第二融合层，用于使用多个并行配置的不同尺寸的第三卷积核对第一网络和第二网络输出的数据进行图像特征提取，以及使用至少一个串行配置的第二卷积核整合多个第三卷积核提取的图像特征；第一反卷积层，用于对第二融合层输出的数据进行反卷积运算；第三激活层，用于用于在第一反卷积层输出的数据中加入非线性因素；第四卷积层，用于对第三激活层输出的数据进行特征提取；输出层，用于将第四卷积层输出的数据与进入第一目标输入通道的图像进行融合，得到第三目标图像。在一个例子中，第三网络可以为图4或6所描述的神经网络130。示例性的，第二融合层可以为图6中所描述的隐含层131，第一反卷积层可以为图6中所描述的隐含层132，第三激活层可以为图6中所描述的隐含层133，第四卷积层可以为图6中所描述的隐含层137，输出可以为图6中所描述的输出层140。[0188]由此，本方案中是采用卷积神经网络分阶段的将rgb图像融入到该rgb图像对应的深度图中，对深度图进行重建，从而得到高分辨率的深度图，进而提升图像虚化、物体建模、手势识别精度和指令数以及3d动态图片中的效果。[0189]接下来，基于上文所描述的人工智能主体框架，系统架构，卷积神经网络等，对本技术实施例提供的一种图像处理方法进行介绍。可以理解的是，该方法是上文所描述的图像处理过程中部分或全部过程的另一种表达方式，两者是相结合的。该方法是基于上文所描述的图像处理过程提出，该方法中的部分或全部内容可以参见上文对图像处理过程的描述。[0190]请参阅图11，图11是本技术实施例提供的一种图像处理方法的流程示意图。可以理解，该方法可以通过任何具有计算、处理能力的装置、设备、平台、设备集群来执行。如图11所示，该图像处理方法包括：[0191]步骤s101、确定待处理的第一图像和与第一图像相关的第二图像，第一图像的分辨率低于第二图像的分辨率，其中，第一图像表征的对象与第二图像表征的对象相同。[0192]本方案中，可以先获取两个图像，这两个图像所表征的对象相同，例如，这两个图像均是一个物体对应的图像。在一个例子中，第一图像可以为图7所描述的低分辨率的深度图，第二图像可以为图7所描述的rgb图像。[0193]步骤s102、将第一图像输入至第一卷积神经网络的第一输入通道，及将第二图像输入至第一卷积神经网络的第二输入通道。[0194]本方案中，获取到第一图像和第二图像后，可以将它们分别输入至第一卷积神经网络的输入通道中，以使第一卷积神经网络对第一图像和第二图像分别进行处理。在一个例子中，第一卷积神经网络1012可以为图4或图6所描述的卷积神经网络。[0195]步骤s103、使用第一卷积神经网络对第一图像和第二图像进行图像融合，得到第三图像，第三图像的分辨率高于第一图像的分辨率，且低于或等于第二图像的分辨率。[0196]本方案中，可以使用第一卷积神经网络对第一图像和第二图像进行特征提取，并进行图像融合，进而得到第三图像。在一个例子中，第三图像可以为图7所描述的第一阶段获取到的高分辨率的深度图。[0197]步骤s104、对第二图像进行边缘提取，得到第四图像。[0198]本方案中，可以基于梯度边缘方式对对第二图像进行边缘提取，得到第四图像。在一个例子中，第四图像可以为图7所描述的第二阶段获取到的边缘图像。[0199]步骤s105、将第三图像输入至第二卷积神经网络的第三输入通道，及将第四图像输入至第二卷积神经网络的第四输入通道。[0200]本方案中，获取到第三图像和第四图像后，可以将它们分别输入至第二卷积神经网络的输入通道中，以使第二卷积神经网络对第三图像和第四图像分别进行处理。在一个例子中，第二卷积神经网络1012可以为图4或图6所描述的卷积神经网络。[0201]步骤s106、使用第二卷积神经网络对第三图像和第四图像进行图像融合，得到第五图像，第五图像的分辨率低于或等于第三图像的分辨率，且低于或等于第二图像的分辨率。[0202]本方案中，可以使用第二卷积神经网络对第三图像和第四图像进行特征提取，并进行图像融合，进而得到第五图像。在一个例子中，第五图像可以为图7所描述的第二阶段获取到的高分辨率的深度图。[0203]可以理解的是，本方案提供的方法中的部分或全部描述，可以参考上文有关描述，在此就不再一一赘述。[0204]由此，本方案中是采用卷积神经网络分阶段的将rgb图像融入到该rgb图像对应的深度图中，对深度图进行重建，从而得到高分辨率的深度图，进而提升图像虚化、物体建模、手势识别精度和指令数以及3d动态图片中的效果。[0205]在一个例子中，上述图11所示的步骤s103和s106中，可以采用如图12所示的方式进行图像融合。如图12所示，使用目标卷积神经网络对第一目标图像和第二目标图像进行图像融合，得到第三目标图像，包括以下步骤：[0206]步骤s201、使用目标卷积神经网络中的第一网络提取进入第一目标输入通道的图像的第一目标图像特征。其中，当目标卷积神经网络为第一卷积神经网络时，第一目标输入通道为第一输入通道。当目标卷积神经网络为第二卷积神经网络时，第一目标输入通道为第三输入通道。[0207]步骤s202、使用目标卷积神经网络中的第二网络提取进入第二目标输入通道的图像的第二目标图像特征。其中，当目标卷积神经网络为第一卷积神经网络时，第二目标输入通道为第二输入通道。当目标卷积神经网络为第二卷积神经网络时，第二目标输入通道为第四输入通道。[0208]步骤s203、使用目标卷积神经网络中的第三网络对第一目标图像特征，第二目标图像特征，和进入第一目标输入通道的图像进行融合，得到第三目标图像。其中，当目标卷积神经网络为第一卷积神经网络时，第三目标图像为第三图像。当目标卷积神经网络为第二卷积神经网络时，第三目标图像为第五图像。[0209]由此，在卷积神经网络中分别对各个图像的图像特征进行提取，并将提取后的图像特征与输入至卷积神经网络中的待处理图像进行融合，从而得到高分辨率的深度图。[0210]在一个例子中，若图11中描述的第一卷积神经网络和第二卷积神经网络为图6所示的卷积神经网络，即第一网络包括多个串行配置的第三子网络，第二网络包括多个串行配置的第四子网络，其中，第三子网络可以理解为图6中由一个卷积层123，一个激活层124和一个融合层125组成的网络，第四子网络可以理解为图6中由一个卷积层121和一个激活层122组成的网络；则如图13所示，在对图像处理时还可以包括以下步骤：[0211]步骤s301、使用多个第三子网络中至少一个网络接收至少一个网络的上一层网络输出的第一数据，和多个第四子网络中任一个网络的输出的第二数据。[0212]步骤s302、使用至少一个网络基于第一数据和第二数据进行特征提取。[0213]由此，在图像特征提取阶段预先将不同图像的图像特征进行融合，提升后期图像的融合效果。[0214]基于上述实施例中的方法，本技术实施例提供了一种图像处理装置。请参阅图14，图14是本技术实施例提供的一种图像处理装置的结构示意图。如图14所示，该图像处理装置1400可以包括：通信模块1401和处理模块1402。[0215]其中，通信模块1401，可以确定待处理的第一图像和与第一图像相关的第二图像，第一图像的分辨率低于第二图像的分辨率，其中，第一图像表征的对象与第二图像表征的对象相同。[0216]处理模块1402，可以将第一图像输入至第一卷积神经网络的第一输入通道，及将第二图像输入至第一卷积神经网络的第二输入通道。[0217]处理模块1402，还可以用于使用第一卷积神经网络对第一图像和第二图像进行图像融合，得到第三图像，第三图像的分辨率高于第一图像的分辨率，且低于或等于第二图像的分辨率。[0218]处理模块1402，还可以对第二图像进行边缘提取，得到第四图像。[0219]处理模块1402，还可以将第三图像输入至第二卷积神经网络的第三输入通道，及将第四图像输入至第二卷积神经网络的第四输入通道。[0220]处理模块1402，还可以使用第二卷积神经网络对第三图像和第四图像进行图像融合，得到第五图像，第五图像的分辨率低于或等于第三图像的分辨率，且低于或等于第二图像的分辨率。[0221]在一个例子中，通信模块1401可以为图2所描述的数据采集设备260，处理模块1402可以为图2所描述的执行设备210。第一卷积神经网络和第二卷积神经网络可以为图2所描述的目标模型/规则201。[0222]在一种实现方式中，处理模块1402，还可以使用目标卷积神经网络中的第一网络提取进入第一目标输入通道的图像的第一目标图像特征；使用目标卷积神经网络中的第二网络提取进入第二目标输入通道的图像的第二目标图像特征；使用目标卷积神经网络中的第三网络对第一目标图像特征，第二目标图像特征，和进入第一目标输入通道的图像进行融合，得到第三目标图像。[0223]其中，目标卷积神经网络为第一卷积神经网络，第一目标输入通道为第一输入通道，第二目标输入通道为第二输入通道，第三目标图像为第三图像；或目标卷积神经网络为第二卷积神经网络，第一目标输入通道为第三输入通道，第二目标输入通道为第四输入通道，第三目标图像为第五图像。[0224]在一种实现方式中，第一网络包括多个串行配置的第三子网络，第二网络包括多个串行配置的第四子网络；[0225]处理模块1402，还可以使用多个第三子网络中至少一个网络接收至少一个网络的上一层网络输出的第一数据，和多个第四子网络中任一个网络的输出的第二数据；使用至少一个网络基于第一数据和第二数据进行特征提取。[0226]应当理解的是，上述装置用于执行上述实施例中的方法，装置中相应的程序模块，其实现原理和技术效果与上述方法中的描述类似，该装置的工作过程可参考上述方法中的对应过程，此处不再赘述。[0227]基于上述实施例中的方法，本技术实施例还提供了一种芯片。请参阅图15，图15为本技术实施例提供的一种芯片的结构示意图。其中，图4和图6所示的基于卷积神经网络的算法可以在图15所示的npu芯片中实现。神经网络处理器npu 150作为协处理器挂载到主cpu(host cpu)上，由host cpu分配任务。npu的核心部分为运算电路150，通过控制器1504控制运算电路1503提取存储器中的矩阵数据并进行乘法运算。[0228]在一些实现中，运算电路1503内部包括多个处理单元(process engine,pe)。在一些实现中，运算电路1503是二维脉动阵列。运算电路1503还可以是一维脉动阵列或者能够执行例如乘法和加法这样的数学运算的其它电子线路。在一些实现中，运算电路1503是通用的矩阵处理器。[0229]举例来说，假设有输入矩阵a，权重矩阵b，输出矩阵c。运算电路从权重存储器1502中取矩阵b相应的数据，并缓存在运算电路中每一个pe上。运算电路从输入存储器1501中取矩阵a数据与矩阵b进行矩阵运算，得到的矩阵的部分结果或最终结果，保存在累加器1508accumulator中。[0230]统一存储器1506用于存放输入数据以及输出数据。权重数据直接通过存储单元访问控制器1505direct memory access controller，dmac被搬运到权重存储器1502中。输入数据也通过dmac被搬运到统一存储器1506中。[0231]biu为bus interface unit即，总线接口单元1510，用于a15i总线与dmac和取指存储器1509instruction fetch buffer的交互。[0232]总线接口单元1510(bus interface unit，简称biu)，用于取指存储器1509从外部存储器获取指令，还用于存储单元访问控制器1505从外部存储器获取输入矩阵a或者权重矩阵b的原数据。[0233]dmac主要用于将外部存储器ddr中的输入数据搬运到统一存储器1506或将权重数据搬运到权重存储器1502中或将输入数据数据搬运到输入存储器1501中。[0234]向量计算单元1507可以包括多个运算处理单元，在需要的情况下，对运算电路的输出做进一步处理，如向量乘，向量加，指数运算，对数运算，大小比较等等。在一些实现中，向量计算单元能1507将经处理的输出的向量存储到统一缓存器1506。例如，向量计算单元1507可以将非线性函数应用到运算电路1503的输出，例如累加值的向量，用以生成激活值。在一些实现中，向量计算单元1507生成归一化的值、合并值，或二者均有。在一些实现中，处理过的输出的向量能够用作到运算电路1503的激活输入，例如用于在神经网络中的后续层中的使用。[0235]控制器1504连接的取指存储器(instruction fetch buffer)1509，用于存储控制器1504使用的指令；[0236]统一存储器1506，输入存储器1501，权重存储器1502以及取指存储器1509均为on-chip存储器。外部存储器私有于该npu硬件架构。[0237]其中，图4和图6所示的卷积神经网络中各层的运算可以由矩阵计算单元212或向量计算单元1507执行。[0238]可以理解的是，在本技术实施例的描述中，“示例性的”、“例如”或者“举例来说”等词用于表示作例子、例证或说明。本技术实施例中被描述为“示例性的”、“例如”或者“举例来说”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”、“例如”或者“举例来说”等词旨在以具体方式呈现相关概念。[0239]在本技术实施例的描述中，术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，单独存在b，同时存在a和b这三种情况。另外，除非另有说明，术语“多个”的含义是指两个或两个以上。例如，多个系统是指两个或两个以上的系统，多个终端是指两个或两个以上的终端，多路视频流是指两路或两路以上的视频流。[0240]此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。[0241]可以理解的是，本技术的实施例中的处理器可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field programmable gate array，fpga)或者其他可编程逻辑器件、晶体管逻辑器件，硬件部件或者其任意组合。通用处理器可以是微处理器，也可以是任何常规的处理器。[0242]本技术的实施例中的方法步骤可以通过硬件的方式来实现，也可以由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块组成，软件模块可以被存放于随机存取存储器(random access memory，ram)、闪存、只读存储器(read-only memory，rom)、可编程只读存储器(programmable rom，prom)、可擦除可编程只读存储器(erasable prom，eprom)、电可擦除可编程只读存储器(electrically eprom，eeprom)、寄存器、硬盘、移动硬盘、cd-rom或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于asic中。[0243]在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本技术实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者通过所述计算机可读存储介质进行传输。所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质(例如固态硬盘(solid state disk，ssd))等。[0244]可以理解的是，在本技术的实施例中涉及的各种数字编号仅为描述方便进行的区分，并不用来限制本技术的实施例的范围。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!