图像的处理方法、装置及系统与流程

计算;推算;计数设备的制造及其应用技术1.本技术涉及图像处理领域，具体而言，涉及一种图像的处理方法、装置及系统。背景技术：2.在计算机视觉和计算机图像学领域里，全局光照条件的准确预测是达到真实感渲染的重要因素之一，尤其是虚拟物体植入或者进行图片合成时，更需要准确的推理得到场景中正确的光照条件，从而可以对目标物体施以逼真的光照渲染，得到真实的视觉效果。目前相关技术中提供的光照预测方法无法准确预测光照的方向、强度、颜色以及高频分量，导致光照预测效果较差。3.针对上述的问题，目前尚未提出有效的解决方案。技术实现要素：4.本技术实施例提供了一种图像的处理方法、装置及系统，以至少解决相关技术中图片的光照预测效果较差的技术问题。5.根据本技术实施例的一个方面，提供了一种图像的处理方法，包括：获取至少一张样本图像，其中，样本图像为光照全景图；采用样本图像训练神经网络模型，获取回归网络模型；采用回归网络模型对待预测图像进行光照预测，预测得到待预测图像的光照全景图参数，光照全景图参数至少包括：待预测图像中主光源的球面分布、主光源的整体光照强度和环境光强度。6.根据本技术实施例的另一个方面，还提供了一种图像的处理方法，包括：在界面中显示播放中的视频和待加入视频的目标对象，其中，视频由多帧图像构成，且每帧图像按照加载的时间戳构成图像序列；采用回归网络模型对每帧图像进行光照预测，预测得到每帧图像的光照全景图参数，其中，回归网络模型为采用作为样本的光照全景图训练神经网络模型而生成；在检测到目标对象加载到任意一帧图像时，采用该帧图像的光照全景图参数，对目标对象进行光照渲染，其中，光照全景图参数至少包括：主光源的球面分布、主光源的整体光照强度和环境光强度。7.根据本技术实施例的另一个方面，还提供了一种图像的处理方法，包括：在界面中显示图片和载入图片的目标对象；采用回归网络模型对图片进行光照预测，预测得到图片的光照全景图参数，其中，回归网络模型为采用作为样本的光照全景图训练神经网络模型而生成；采用图片的光照全景图参数，对目标对象进行光照渲染，其中，光照全景图参数至少包括：图片中主光源的球面分布、主光源的整体光照强度和环境光强度。8.根据本技术实施例的另一个方面，还提供了一种图像的处理方法，包括：云服务器接收客户端发送的预测请求，其中，预测请求至少携带有表征待预测图像的标识信息；云服务器基于标识信息获取待预测图像；云服务器采用回归网络模型对待预测图像进行光照预测，预测得到待预测图像的光照全景图参数，其中，光照全景图参数至少包括：待预测图像中主光源的球面分布、主光源的整体光照强度和环境光强度；其中，回归网络模型为采用样本图像训练神经网络模型而生成的模型，样本图像为光照全景图的至少一部分。9.根据本技术实施例的另一个方面，还提供了一种图像的处理方法，包括：接收客户端发送的待预测图像；采用回归网络模型对待预测图像进行光照预测，预测得到待预测图像的光照全景图参数，其中，光照全景图参数至少包括：待预测图像中主光源的球面分布、主光源的整体光照强度和环境光强度；利用光照全景图参数，重建得到待预测图像的光照全景图；输出光照全景图至客户端；其中，回归网络模型为采用样本图像训练神经网络模型而生成的模型，样本图像为光照全景图的至少一部分。10.根据本技术实施例的另一个方面，还提供了一种图像的处理装置，包括：获取模块，用于获取至少一张样本图像，其中，样本图像为光照全景图；训练模块，用于采用样本图像训练神经网络模型，获取回归网络模型；预测模块，用于采用回归网络模型对待预测图像进行光照预测，预测得到待预测图像的光照全景图参数，光照全景图参数至少包括：待预测图像中主光源的球面分布、主光源的整体光照强度和环境光强度。11.根据本技术实施例的另一个方面，还提供了一种图像的处理装置，包括：显示模块，用于在界面中显示播放中的视频和待加入视频的目标对象，其中，视频由多帧图像构成，且每帧图像按照加载的时间戳构成图像序列；预测模块，用于采用回归网络模型对每帧图像进行光照预测，预测得到每帧图像的光照全景图参数，其中，回归网络模型为采用作为样本的光照全景图训练神经网络模型而生成；渲染模块，用于在检测到目标对象加载到任意一帧图像时，采用该帧图像的光照全景图参数，对目标对象进行光照渲染，其中，光照全景图参数至少包括：主光源的球面分布、主光源的整体光照强度和环境光强度。12.根据本技术实施例的另一个方面，还提供了一种图像的处理装置，包括：显示模块，用于在界面中显示图片和载入图片的目标对象；预测模块，用于采用回归网络模型对图片进行光照预测，预测得到图片的光照全景图参数，其中，回归网络模型为采用作为样本的光照全景图训练神经网络模型而生成；渲染模块，用于采用图片的光照全景图参数，对目标对象进行光照渲染，其中，光照全景图参数至少包括：图片中主光源的球面分布、主光源的整体光照强度和环境光强度。13.根据本技术实施例的另一个方面，还提供了一种图像的处理装置，包括：接收模块，用于接收客户端发送的预测请求，其中，预测请求至少携带有表征待预测图像的标识信息；获取模块，用于基于标识信息获取待预测图像；预测模块，用于采用回归网络模型对待预测图像进行光照预测，预测得到待预测图像的光照全景图参数，其中，光照全景图参数至少包括：待预测图像中主光源的球面分布、主光源的整体光照强度和环境光强度；其中，回归网络模型为采用样本图像训练神经网络模型而生成的模型，样本图像为光照全景图的至少一部分。14.根据本技术实施例的另一个方面，还提供了一种图像的处理装置，包括：接收模块，用于接收客户端发送的待预测图像；预测模块，用于采用回归网络模型对待预测图像进行光照预测，预测得到待预测图像的光照全景图参数，其中，光照全景图参数至少包括：待预测图像中主光源的球面分布、主光源的整体光照强度和环境光强度；重建模块，用于利用光照全景图参数，重建得到待预测图像的光照全景图；输出模块，用于输出光照全景图至客户端；其中，回归网络模型为采用样本图像训练神经网络模型而生成的模型，样本图像为光照全景图的至少一部分。15.根据本技术实施例的另一个方面，还提供了一种计算机可读存储介质，计算机可读存储介质包括存储的程序，其中，在程序运行时控制计算机可读存储介质所在设备执行上述的图像的处理方法。16.根据本技术实施例的另一个方面，还提供了一种计算机终端，包括存储器和处理器，处理器用于运行存储器中存储的程序，其中，程序运行时执行上述的图像的处理方法。17.根据本技术实施例的另一个方面，还提供了一种图像的处理系统，包括：处理器；以及存储器，与处理器连接，用于为处理器提供处理以下处理步骤的指令：获取至少一张样本图像，其中，样本图像为光照全景图；采用样本图像训练神经网络模型，获取回归网络模型；采用回归网络模型对待预测图像进行光照预测，预测得到待预测图像的光照全景图参数，光照全景图参数至少包括：待预测图像中主光源的球面分布、主光源的整体光照强度和环境光强度。18.在本技术实施例中，可以获取至少一个光照全景图的样本图像来训练神经网络模型，并获取回归网络模型，然后采用回归网络模型对待预测图像进行光照预测，预测得到待预测图像的光照全景图参数，光照全景图参数至少包括：待预测图像中主光源的球面分布、主光源的整体光照强度和环境光强度，实现准确预测光照全景图中主光源的球面分布、主光源的整体光照强度和环境光强度。容易想到的是，可以利用多个具有光照分布的样本图像对神经网络模型进行训练，使得到的回归网络模型可以分辨出图片中主光源的球面分布、主光源的整体光照强度和环境光强度，使训练得到的回归网络模型可以分辨出图片中主光源的球面分布、主光源的整体光照强度和环境光强度，通过训练好的回归网络模型对待预测图像进行光照预测，可以使预测的光照全景图参数更加贴合实际，进而解决了相关技术中图片的光照预测效果较差的技术问题。附图说明19.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：20.图1是根据本技术实施例的一种用于实现图像的处理方法的计算机终端(或移动设备)的硬件结构框图；21.图2是根据本技术实施例1的一种图像的处理方法的流程图；22.图3是根据本技术实施例1的一个交互界面；23.图4a至图4c是根据本技术实施例1的一种场景示意图；24.图5a至图5c是根据本技术实施例1的另一种场景示意图；25.图6a至图6c是根据本技术实施例1中不同分辨率的光照全景图；26.图7是根据本技术实施例1的另一种图像的处理方法的流程图；27.图8a是根据本技术实施例1的一种深度神经网络模型的示意图；28.图8b是根据本技术实施例1的一种神经映射的整体链路的示意图；29.图9是根据本技术实施例2的一种图像的处理方法的流程图；30.图10是根据本技术实施例3的一种图像的处理方法的流程图；31.图11是根据本技术实施例4的一种图像的处理装置的示意图；32.图12是根据本技术实施例5的一种图像的处理装置的示意图；33.图13是根据本技术实施例6的一种图像的处理装置的示意图；34.图14是根据本技术实施例的一种计算机终端的结构框图；35.图15是根据本技术实施例7的一种图像的处理方法的流程图；36.图16是根据本技术实施例8的一种图像处理装置的示意图；37.图17是根据本技术实施例9的一种图像的处理方法的流程图；38.图18是根据本技术实施例10的一种图像处理装置的示意图。具体实施方式39.为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分的实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本技术保护的范围。40.需要说明的是，本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。41.首先，在对本技术实施例进行描述的过程中出现的部分名词或术语适用于如下解释：42.全景图：可以是视角涵盖地平线+/-各180°，垂直+/-各90°，长宽比例为2:1的图像。43.光照全景图：可以表示全局环境的光照强度的全景图。44.推土距离(earth mover's mover distance)：可以是指一种用于衡量两个分布间距离的度量。45.渲染：可以是利用计算机图形学技术将虚拟的三维场景(包括几何、视角、纹理材质、光照等信息)生成二维图像的过程。46.生成对抗网络：可以是利用一组生成器和判别器之间的相互博弈来进行图片生成的神经网络。47.高动态范围图像(high-dynamic range，hdr)：像素动态范围高的图像。48.低动态范围图像(low-dynamic range，ldr)：像素动态范围低的图像。49.球面高斯函数：可以是定义在单位球面上的二维高斯函数。50.球谐函数：可以是拉普拉斯方程的球坐标系形式解的角度部分，是傅里叶基函数在球面上的推广。51.目前主要目前存在两种方法来预测光照条件。第一种方法是基于参数回归的方法，可以将光照全景图用基函数进行表示从而得到一组光照参数，然后用神经网络从图片中回归光照参数，最后利用回归的这则参数从而重建出光照全景图。而另一种方法是直接生成的方法，可以直接利用神经网络生成光照全景图。但是基于参数回归的方法只能重建出粗糙的光照图，很难准确的预测光照细节尤其是高频分量；而直接生成的方法则无法准确预测光照基本属性比如光照方向，光照强度。52.为了解决上述问题，本技术提供了如下实现方案，基于球面分布的光照预测技术结合了参数回归的方法和直接生成的方法，能够准确预测出光照的方向，强度，颜色以及高频分量，能够达到领先的光照预测效果。同时，算法的物理意义清晰，具有持续改进、不断完善的空间。53.实施例154.根据本技术实施例，还提供了一种图像的处理方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。55.本技术实施例所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。图1示出了一种用于实现图像的处理方法的计算机终端(或移动设备)的硬件结构框图。如图1所示，计算机终端10(或移动设备10)可以包括一个或多个(图中采用102a、102b，……，102n来示出)处理器102(处理器102可以包括但不限于微处理器mcu或可编程逻辑器件fpga等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输装置106。除此以外，还可以包括：显示器、输入/输出接口(i/o接口)、通用串行总线(usb)端口(可以作为bus总线的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，计算机终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。56.应当注意到的是上述一个或多个处理器102和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到计算机终端10(或移动设备)中的其他元件中的任意一个内。该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。57.存储器104可用于存储应用软件的软件程序以及模块，如本技术实施例中的图像的处理方法对应的程序指令/数据存储装置，处理器102通过运行存储在存储器104内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的图像的处理方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。58.传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端10的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(network interface controller，nic)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(radio frequency，rf)模块，其用于通过无线方式与互联网进行通讯。59.显示器可以例如触摸屏式的液晶显示器(lcd)，该液晶显示器可使得用户能够与计算机终端10(或移动设备)的用户界面进行交互。60.此处需要说明的是，在一些可选实施例中，上述图1所示的计算机设备(或移动设备)可以包括硬件元件(包括电路)、软件元件(包括存储在计算机可读介质上的计算机代码)、或硬件元件和软件元件两者的结合。应当指出的是，图1仅为特定具体实例的一个实例，并且旨在示出可存在于上述计算机设备(或移动设备)中的部件的类型。61.在图1所示的运行环境下，本技术提供了如图2所示的图像的处理方法。图2是根据本技术实施例1的一种图像的处理方法的流程图。如图2所示，该方法可以包括以下步骤：62.步骤s202，获取至少一张样本图像。63.其中，样本图像为光照全景图。64.上述步骤中的样本图像可以是各种场景下的光照全景图；样本图像可以是室内灯光的光照全景图，还可以是室内自然光的光照全景图，还可以是室外阳光照射的光照全景图，还可以是室外自然光的光照全景图。65.上述步骤中的光照全景图可以是用于表示全局环境的光照强度的全景图；需要说明的是，全景图可以是视角涵盖地平线+/-各180°，垂直+/-各90°，长宽比例为2:1的图像。66.在一种可选的实施例中，为了更好的对样本图像进行处理，可以将获取到的至少一张样本图像传输给相应的处理设备进行处理，例如，直接传输给用户的计算机终端(例如，笔记本电脑、个人电脑等)进行处理，活着通过用户的计算机终端传输给云服务器进行处理。需要说明的是，由于样本图像的处理需要大量的计算资源，在本技术实施例中以处理设备为云服务器为例进行说明。67.例如，为了方便用户上传样本图像，可以提供给用户一个交互界面，如图3所示，用户可以通过点击“选择图像”按钮从已存储的大量样本图像中依次选择用于训练模型的样本图像，或批量选择多张用于训练模型的样本图像，然后通过点击“上传”按钮将用于训练模型的样本图像上传至云服务器进行训练。另外，为了方便用户确认上传至云服务器的样本图像是否为用于训练模型的样本图像，可以在“图像显示”区域中显示选择好的样本图像，在用户确认无误之后，通过点击“上传”按钮进行数据上传。68.步骤s204，采用样本图像训练神经网络模型，获取回归网络模型。69.上述步骤中的回归网络模型为采用样本图像训练好的神经网络模型。70.上述步骤中的神经网络模型可以由densenet-121(密集卷积网络)构成，还可以由其他类型的神经网络构成，此处对神经网络模型的构成方式不做任何限定。71.在一种可选的实施例中，可以对光照全景图进行处理，在光照全景图的不同位置随机抠出有限视角的局部图像，并将局部图像用于训练神经网络模型。72.在另一种可选的实施例中，可以利用各种类型的光照全景图或者光照全景图的局部图像对神经网络模型进行训练，使得神经网络模型的参数达到一定的精度，从而得到回归网络模型，使用户可以利用回归网络模型来对待预测图像进行光照预测。73.在另一种可选的实施例中，可以对样本图像进行处理，得到样本图像中主光源的整体光照强度、环境光强度以及主光源的球面分布；具体的，可以根据预设阈值对样本图像中的像素进行分类，将小于预设阈值的像素作为环境光像素，将大于或等于预设阈值的像素作为主光源像素，可以在球面上设置预设数量且均匀分布的锚点，根据主光源像素与锚点之间的距离对主光源像素对应的光照强度进行匹配求和，得到每个锚点上的光强度值，将每个锚点上的光强度值进行求和，得到主光源的整体光照强度；可以获取环境光像素对应的光照强度的均值作为环境光强度；可以将预设数量的锚点中的光强度值进行归一化处理得到主光源的球面分布；可以将得到的样本图片中主光源的整体光照强度、环境光强度以及主光源的球面分布记录在样本图像的属性中。74.需要说明的是，归一化处理可以是将每个锚点的光强度值除以整体光照强度，得到每个锚点的光强度值占整体光照强度的比例，即得到样本图像中主光源的球面分布。75.在又一种可选的实施例中，训练神经网络模型中使用的损失函数可以为球面推土损失函数或者欧式距离损失函数，这样可以使训练神经网络模型得到的主光源的球面分布与真实的球面分布更加的贴切，从而使得到主光源的球面分布在实际应用中效果更好。76.步骤s206，采用回归网络模型对待预测图像进行光照预测，预测得到待预测图像的光照全景图参数，光照全景图参数至少包括：待预测图像中主光源的球面分布、主光源的整体光照强度和环境光强度。77.在一种可选的实施例中，回归网络模型的主干网络可以是densenet-121(密集卷积网络)，回归网络模型的输出层可以为3个全连接层(fully connected or fc)，分别为光照分布的全连接层、光照强度的全连接层以及环境光强度的全连接层。78.示例性的，可以对光照全景图进行随机剪裁，得到有限视角的局部图像，然后将该局部图像输入至密集卷积网络中，通过光照分布的全连接层输出光照全景图中主光源的球面分布，通过光照强度的全连接层输出主光源的整体光照强度，通过环境光强度的全连接层输出环境光强度。其中，光照分布的全连接层为3*n个数值，光照强度的全连层为3个数值，环境光强度的全连接层为3个数值；需要说明的是，3表示颜色的rgb的三个通道，n表示锚点的数目。锚点的数目可以设置为128个。79.在另一种可选的实施例中，在云服务器输出待预测图像的光照全景图参数后，可以将待预测的光照全景图以及光照全景图参数输出至用户可操作的显示屏上，使用户可以主动的对光照全景图参数进行修改。还可以将待预测的光照全景图和修改后的光照全景图参数传输至用户可操作的显示屏上，使用户可以核查修改后的光照全景图参数是否准确，若准确，则可以在显示屏上按下确认的按钮；若不准确，则可以在显示屏上按下更改的按钮，此时，用户可以对照待预测的光照全景图继续对光照全景图参数进行修改，并将修改后的光照全景图参数发送至云服务器。80.在又一种可选的实施例中，在需要进行光照预测的场景中，可以采用回归网络模型对待预测图像进行光照预测，预测得到待预测图像的光照全景图参数，从而利用光照全景图参数对场景中的光强度进行调整，从而满足用户的需求。81.示例性的，如图4a所示，在已经制作好的床品图片中，需要添加一个枕头进行展示，但是，直接将枕头的图片添加在床品图片中会使整个画面非常不协调，因此，需要对床品图片的光照进行预测，得到床品图片的光照全景图参数，从而根据床品图片的光照全景图参数对新添加的枕头图片附近的光强度进行调整，使得整个画面非常的协调，如图5a所示，左上角的方框中示出了预测得到的床品图片的光照全景图，画面中的枕头为新添加的枕头图片。82.示例性的，如图4b所示，在拍摄好室内空间图片中，需要添加一个消防栓以进行安全学习，但是，直接将消防栓的图片添加在室内空间图片中会使得整个画面非常的不协调，因此，需要对室内空间图片的光照进行预测，得到室内空间图片的光照全景图参数，从而根据室内空间图片的光照全景图参数对新添加的消防栓附近的光强度进行调整，从而协调整个画面，如图5b所示，左上角的方框中示出了预测得到的室内空间图片的光照全景图，画面中的消防栓为新添加的消防栓图片。83.示例性的，如图4c所示，在洗漱台图片中，需要添加一个水杯，但是，直接将水杯的图片添加在室内空间图片会使得整个画面非常的不协调，因此，需要对洗漱台图片的光照进行预测，得到洗漱台图片的光照全景图参数，从而根据洗漱台图片的光照全景图参数对新添加的杯子附近的光强度进行调整，使得整个画面十分协调，如图5c所示，左上角的方框中示出了预测得到的洗漱台图片的光照全景图，画面中的水杯为新添加的水杯图片。84.通过本技术上述实施例提供的方案，可以获取至少一个光照全景图的样本图像来训练神经网络模型，并获取回归网络模型，然后采用回归网络模型对待预测图像进行光照预测，预测得到待预测图像的光照全景图参数，光照全景图参数至少包括：待预测图像中主光源的球面分布、主光源的整体光照强度和环境光强度，实现准确预测光照全景图中主光源的球面分布、主光源的整体光照强度和环境光强度。容易想到的是，可以利用多个具有光照分布的样本图像对神经网络模型进行训练，使训练得到的回归网络模型可以分辨出图片中主光源的球面分布、主光源的整体光照强度和环境光强度，通过训练好的回归网络模型对待预测图像进行光照预测，可以使预测的光照全景图参数更加贴合实际，进而解决了相关技术中图片的光照预测效果较差的技术问题。85.本技术上述实施例中，在采用样本图像训练神经网络模型，获取回归网络模型之前，该方法还包括：获取样本图像中主光源的图像数据；获取单位球面上设置的多个锚点；将主光源的图像数据与每个锚点进行匹配，并基于匹配结果，得到样本图像中主光源的球面分布。86.上述步骤中的匹配结果可以是为主光源的每个像素都分配了一个唯一的锚点。87.上述步骤中的主光源的图像数据可以是主光源像素。88.在一种可选的实施例中，可以为利用预设阈值对光照全景图进行二分类，将光照强度大于等于预设阈值的像素作为主光源像素，将光照强度小于预设阈值的像素作为环境光像素，其中，主光源像素可以表示为在单位球上离散的概率分布函数以及整体光照强度，预设阈值可以为光源阈值。可以在球面上预先定义预设数量的均匀分布的锚点，并根据锚点与主光源像素的距离为每个主光源像素分配一个唯一的锚点，该锚点的光强度值可以为其所对应的主光源像素的光照强度的求和叠加，可以假设每个锚点的光强度值是球面高斯函数，因此，可以将主光源的整体光照强度近似表示为全景高斯光照图。89.进一步地，将所有锚点的光强度值求和可以得到主光源的整体光照强度；然后对每个锚点的光强度值进行归一化处理，具体的，将每个锚点的光强度值除以主光源的整体光照强度，得到每个锚点的光强度值占整体光照强度的比例，即，定义了光源的球面离散分布概率，每个锚点表示从其所代表的方向的入射光强度值与主光源的整体光照强度的比值，从而得到待预测图像中主光源的球面分布。90.在又一种可选的实施例中，预先设定的锚点的数量可以为128个。91.本技术上述实施例中，按照光照强度提取样本图像中的像素，其中，光照强度大于等于光源阈值的像素属于主光源的图像数据，光照强度小于光源阈值的像素属于环境光的图像数据。92.上述步骤中的光源阈值可以由用户进行设置，也可以是通过实验所得到的光源阈值。93.在一种可选的实施例中，按照光照强度提取样本图像中的像素，由于主光源一般是人眼所视光照较强的光源，因此，可以将光照强度大于等于光源阈值的像素设置为主光源的图像数据；而环境光源一般是人眼所视光照较为自然或者较暗的光源，因此，可以将光照强度小于光源阈值的像素设置为环境光的图像数据。94.本技术上述实施例中，将主光源的图像数据与每个锚点进行匹配，并基于匹配结果，得到主光源的球面分布，包括：基于主光源的图像数据与每个锚点的距离进行聚类，获取与任意一个锚点匹配的主光源的图像数据；将与锚点匹配的主光源的图像数据的光照强度进行求和，得到锚点的光强度值；将每个锚点的光强度值进行归一化处理，生成样本图像中主光源的球面分布。95.上述步骤中的聚类为将物理或者抽象对象的集合分成由类似的对象组成的多个类的过程。96.在一种可选的实施例中，可以将锚点附近与该锚点的距离小于预设距离的主光源像素都聚类在该锚点上，也可以将锚点附近的预设区域中的主光源像素都聚类在该锚点上。其中，预设区域的形状和大小可以由用户自行设置；预设区域可以是直径为1cm的圆形区域，还可以是长宽为1cm的正方形区域、还可以为不规则区域，此处，对预设区域的形状和大小不做任何限定。97.在另一种可选的实施例中，可以获取与任意一个锚点匹配的主光源的像素，然后将与锚点匹配的主光源像素对应的光照强度进行求和，得到该锚点的光强度值，然后将每个锚点的光强度值除以主光源的整体光照强度，得到每个锚点的光照强度占主光源的整体光照强度的比例，即得到样本图像中主光源的球面分布。98.本技术上述实施例中，采用第一损失函数将属于主光源的像素的光照强度进行回归求和，得到样本图像中主光源的整体光照强度；采用第二损失函数将属于环境光的像素的光照强度进行回归求均值，得到样本图像中环境光的环境光强度。99.上述步骤中的第一损失函数可以是球面推土损失函数或者欧式距离损失函数，第二损失函数可以是球面推土损失函数或者欧式距离损失函数。在本技术实施例中，以球面推土损失函数为例进行说明。100.在一种可选的实施例中，可以定义一个n乘以n的距离矩阵c，矩阵c的元素c[i,j]表示锚点i跟锚点j之间的弧长。其中要优化的目标可以是n乘以n的矩阵t，矩阵t的元素t[i,j]表示转移锚点i处的光强度比值到锚点j处的概率。对矩阵按行求和，得到的是一个n维向量，也就是训练中得到的光源的球面分布概率u，对矩阵按列求和，同样得到一个n维向量，就是真实的光源的球面分布概率v。至此，可以推导得到球面推土损失函数lsml。实际上，可以通过优化网络确保预测得到的光源的球面分布概率与真实的球面分布尽量贴近。[0101]进一步地，可以利用如下公式进行表示：[0102][0103][0104]利用上述的推土损失函数将属于主光源的像素的光照强度进行回归求和，得到样本图像中主光源的整体光照强度，可以使主光源的整体光照强度更加贴合实际的整体光强度。[0105]利用上述的推土损失函数将属于环境光的像素的光照强度进行回归求均值，得到样本图像中环境光的环境光强度，可以使主光源的环境光强度更加的贴合实际的环境光强度。[0106]本技术上述实施例中，在采用回归网络模型对待预测图像进行光照预测，预测得到待预测图像的光照全景图之后，该方法还包括：利用光照全景图参数，重建得到待预测图像的光照全景图。[0107]在一种可选的实施例中，由于输入的有限视角的局部图像也蕴含了部分的场景信息，因此，可以借助输入图像的语义内容来进一步精调回归网络从而得到光照全景图。[0108]本技术上述实施例中，采用对抗网络对待预测图像的光照全景图进行优化处理，生成高精度的光照全景图。[0109]上述步骤中的对抗网络主要是利用一组生成器和判别器之间的相互博弈来进行图片生成的神经网络。[0110]本技术上述实施例中，采用对抗网络对待预测图像的光照全景图进行优化处理，生成高精度的光照全景图，包括：获取待预测图像的局部图像；采用编码器对待预测图像的局部图像进行向量化处理，得到一组潜空间向量；将潜空间向量输入到对抗网络中，并将待预测图像的光照全景图的分辨率进行叠加优化，生成高精度的光照全景图。[0111]上述步骤中的潜空间向量可以为图像语义内容的特征向量。[0112]在一种可选的实施例中，可以将输入图像送入到编码器中得到图像语义内容的特征向量，然后得到不同分辨率下的近似光照全景图，并将其作为输入条件来引导精细化的光照全景图的生成。首先生成低分辨率的精细全景图，如图6a所示；然后不断增加分辨率，如图6b和图6c所示，直到跟近似光照全景图的分辨率一致。另外，可以采用球面卷积核模块来确保生成的图像在靠近两极时不会发生生成图的变形。[0113]在另一种可选的实施例中，在对抗网络的训练过程中，采用的损失函数定义如下：[0114][0115]可以用x表示用于引导生成过程的近似光照全景图，用x’表示生成得到的更为精细的光照全景图，用y表示真实的光照全景图。[0116]其中，lfeat损失主要希望判别器d的中间层特征尽量相似，其表示如下：[0117][0118]其中lcos损失主要希望生成的x’跟真值y之间的cosin距离相似，从而确保光强的整体分布类似，其表示如下：[0119][0120]lfeat损失和lcos损失就是正常的生成器损失以及判别器损失，其作用是确保生成的x’尽量真实。[0121]本技术上述实施例中，在采用对抗网络对待预测图像的光照全景图进行优化处理，生成高精度的光照全景图之后，该方法还包括：将高精度的光照全景图作为样本图像对神经网络模型进行回归训练，优化训练神经网络模型。[0122]在一种可选的实施例中，将高精度的光照全景图作为样本图像对神经网络模型进行回归训练之后，可以优化训练神经网络模型的过程，使得神经网络模型的训练过程更加的精确，从而使得到的回归网络模型也更加的精确。[0123]下面结合图7、图8a、图8b对本技术一种优选的实施例进行详细说明，该方法可以由移动终端或服务器执行，在本技术实施例中，以该方法由服务器执行为例进行说明。如图7所示，该方法可以包括如下步骤：[0124]步骤s701，选取光照全景图中最大强度值的5％作为临界阈值，将其区分为主光源和环境光两部分；[0125]步骤s702，在单位球面上设置128个均匀分布的锚点，根据距离对光照全景图每个高于阈值的像素进行匹配求和，得到每个锚点上的光强值；[0126]具体的，主光源的强度值是全部锚点强度值之和，而环境光强则是低于临界阈值的像素值的均值。[0127]步骤s703，将128个锚点进行归一化处理得到主光源的球面分布；[0128]其中，光照全景图被分解为球面分布，整体光照强度和环境光强，这三项为光照全景图中需要预测的目标。通过分解光照全景图，可以缓解回归高动态范围图像参数的困难，从而提高回归参数的效率。[0129]步骤s704，设计深度神经网络回归球面分布、整体光照强度和环境光强度；[0130]如图8a虚线以上部分所示，可以以一定的阈值对光照全景图的每个像素进行二分类，低于阈值的像素为环境光像素，高于阈值的像素为主光源像素。主光源可以进一步表示为在单位球上离散的概率分布函数以及整体光照强度。球面上预先定义了128个均匀分布的锚点，可以根据距离远近为表示主光源的每一个像素分配一个唯一的锚点，该锚点i的光强度值等于其所对应的主光源像素的强度值的求和叠加。同时假设每个锚点的光源是球面高斯函数，因此将主光源的近似表示为“全景高斯光照图”。[0131]进一步地，将所有的128锚点的光强度值求和就得到了整体光照强度(light intensity)，然后对每个锚点的光强度值进行归一化处理(将每个锚点的光强度值除以整体光照强度)，得到了每个锚点的光强度值占整体光照强度的比例，从而得到了光源的球面离散分布概率(light distribution)，也即，光照的球面分布，其中，每个锚点表示从其所代表的方向的入射光强度与整体光照强度的比值。[0132]而对于所有的环境光像素，可以对其求平均可得环境光强度(ambient term)。[0133]图8a中虚线以下的部分可以表示训练样本和神经网络结构。如虚线以下部分所示，可以在光照全景图的不同位置随机抠出有限视角的图像作为网络输入，而网络输出则是前述步骤中得到的光源的球面分布、整体光照强度和环境光强度；网络结构的主干部分为密集卷积网络densenet-121(可以由多个密集卷积模块构成)，在经过一个全连接层之后，最后网络的输出层为3个全连接层(fully connected or fc)，分别输出光源的球面分布(3*n个数值)，整体光照强度(3个数值)和环境光强度(3个数值)。其中，3表示颜色的rgb三个通道，n表示锚点的数目，可以为128。[0134]上述网络训练中，可以利用欧式距离损失(l2 loss)来回归得到整体光照强度和环境光强度。但是对于光源的球面分布，l2损失函数存在的最大问题是其独立的惩罚每个锚点的概率值，而没有将128个锚点作为一个整体(即一个球面分布且球面上所有的锚点概率值总和为1)来考虑。[0135]因此，可以通过基于堆土距离对应的球面堆土损失函数来解决上述问题，通过将128个锚点间的球面距离作为堆土距离中的代价，从而有效地利用了球面分布的几何信息。而堆土距离本身是衡量分布间的距离，因此，锚点概率值总和为1的特性也可以得到利用。[0136]步骤s705，通过回归网络模型可以得到光源的球面分布，整体光照强度，环境光强度；[0137]步骤s706，利用球面高斯函数，可以从参数中重建出光照图。[0138]图8a所示的流程可以得到各种参数，也即，光源的球面分布，整体光照强度和环境光强度。在得到上述参数之后，假设每个锚点处的光源为球面高斯函数，从而可以直接利用参数得到全景光照条件的近似表达，也即，得到全景高斯光照图，如图8a中的“全景高斯光照图(二维表示)”和“球面高斯光照图(三维表示)”。[0139]由于有限视角的输入图像也蕴含了部分的场景信息，因此可以借助输入图像的语义内容来进一步精调回归网络得到的光照全景图。具体地，可以利用生成对抗网络来进一步引导优化生成光照全景图，从预测的参数重建出光照图，且可以将预测的参数作为引导，利用生成对抗网络来进一步生成高精度的光照图，从而能够还原出真实的高频细节。整体处理流程如图8b所示，首先将输入图像送入编码器中，得到图像的语义特征。同时可以得到不同分辨率下的全景高斯光照图，并以其作为输入条件来引导精细化的光照全景图的生成。生成对抗网络首先可以生成低分辨率的精细全景图，然后不断增加分辨率直到与全景高斯光照图的分辨率一致，从而得到高精度的光照全景图，也即，得到如图8b所示的“球面生成图像(三维表示)”和“全景生成图像(二维表示)”。[0140]需要说明的是，在不断增加分辨率生成光照全景图的过程中，可以采取球面卷积模块确保生成的图像在靠近两极时不会发生图像的变形。如图8b所示，可以采用多个不同的球面卷积模块，结合图6a至图6c可知，球面卷积模块的体积越大，则其像素点越多，因此，生成的光照全景图的分辨率越高。图8b中的球面卷积模块的数量可以根据实际情况增加或者减少，若采用了两个球面卷积模块可以得到满足处理精度的全景生成图像，则可以采用两个球面卷积模块；若采用了五个甚至更多的球面卷积模块可以得到满足处理精度的全景生成图像，则可以采用五个甚至更多的球面卷积模块。[0141]另外，生成对抗网络可以是利用一组生成器和判别器之间的相互博弈来进行图像生成的网络，也即，可以利用生成对抗网络中的生成器得到全景生成图像，并利用判断器将全景生成图像与全景真实图像进行比较，基于全景真实图像和全景生成图像的损失函数，完成对生成对抗网络进行训练的过程，从而确保生成对抗网络的处理精度。[0142]上述步骤中，结合回归网络模型和生成模型的优点，先利用回归网络准确的预测出场景中光源的球面分布、整体光照强度和环境光强度。通过归一化的球面分布，避免了光照图数值范围差异过大的影响，从提高模型回归的稳定性和精度。然后可以利用回归得到的参数重建出光照全景图并作为引导，进一步利用生成对抗网络生成高精度的光照图，高频信息也通过对抗学习得以重建。[0143]进一步地，通过光照预测技术，实现从单张图片的自动、智能的预测得到高动态分布的全局光照图，省去了植入流程中繁琐且耗时的光照效果交互调整成本。另外，全局光照等理论知识复杂且专业，设计师大多凭借多年积累的经验进行设计开发。本提案中的技术提供了高质量的光照预测工具，帮助设计师快速高效的进行3d植入等设计任务，极大提高了设计师的工作效率。[0144]需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本技术并不受所描述的动作顺序的限制，因为依据本技术，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本技术所必须的。[0145]通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更加的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本技术各个实施例所述的方法。[0146]实施例2[0147]根据本技术实施例，还提供了一种图像的处理方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。[0148]图9是根据本技术实施例2的一种图像的处理方法的流程图。如图9所示，该方法可以包括以下步骤：[0149]步骤s902，在界面中显示播放中的视频和待加入视频的目标对象。[0150]其中，视频由多帧图像构成，且每帧图像按照加载的时间戳构成图像序列。[0151]上述步骤中的界面可以为手机、电脑、平板等可以显示图像的终端设备的显示界面。[0152]上述步骤中的播放中的视频可以是之前已经录好的视频，可以是之前已经录好的广告视频，教学视频，影视视频等。[0153]上述步骤中的待加入视频的目标对象可以是需要展示的商品、特定的人、道具等。[0154]在一种可选的实施例中，界面中显示播放中的视频可以是广告视频，待加入视频的目标对象可以是广告中需要展示的商品、代言人等。[0155]在另一种可选的实施例中，界面中显示播放中的视频可以是教学视频，待加入视频的目标对象可以是主讲老师、教具等。[0156]在又一种可选的实施例中，界面中显示播放的视频可以是影视视频，待加入视频的目标对象可以是演员、道具等。[0157]步骤s904，采用回归网络模型对每帧图像进行光照预测，预测得到每帧图像的光照全景图参数。[0158]其中，回归网络模型为采用作为样本的光照全景图训练神经网络模型而生成。[0159]步骤s906，在检测到目标对象记载到任意一帧图像时，采用该帧图像的光照全景图参数，对目标对象进行光照渲染。[0160]其中，光照全景图参数至少包括：主光源的球面分布、主光源的整体光照强度和环境光强度。[0161]上述步骤中的渲染为利用计算机图形学技术将虚拟的三维场景(包括几何、视角、纹理材质、光照等信息)生成得到二维图像的过程。[0162]在一种可选的实施例中，在广告视频的应用场景中，在检测到待展示的商品记载到任一帧图像时，可以采用该帧图像的光照全景图参数对商品附近的光强进行调整，使得商品在广告视频中显示的更加真实。[0163]需要说明的是，本技术上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同，但不仅限于实施例1所提供的方案。[0164]实施例3[0165]根据本技术实施例，还提供了一种图像的处理方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。[0166]图10是根据本技术实施例3的一种图像的处理方法的流程图。如图10所示，该方法可以包括以下步骤：[0167]步骤s1002，在界面中显示图片和载入图片的目标对象。[0168]上述步骤中的显示图片可以是广告图片、海报图片、室内设计示意图等。[0169]上述步骤中的目标对象可以是需要展示的商品、明星、需要添加的家具等。[0170]在一种可选的实施例中，界面中显示图片可以是厨房图片，目标对象可以是需要销售的锅具图片等。[0171]步骤s1004，采用回归网络模型对图片进行光照预测，预测得到图片的光照全景图参数。[0172]其中，回归网络模型为采用作为样本的光照全景图训练神经网络模型而生成。[0173]步骤s1006，采用图片的光照全景图参数，对目标对象进行光照渲染。[0174]其中，光照全景图参数至少包括：图片中主光源的球面分布、主光源的整体光照强度和环境光强度。[0175]在一种可选的实施例中，采用厨房图片的光照全景参数，对添加的锅具图片进行光照渲染，可以使锅具图片在厨房图片中更真实的进行显示。[0176]需要说明的是，本技术上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同，但不仅限于实施例1所提供的方案。[0177]实施例4[0178]根据本技术实施例，还提供了一种用于实施上述图像的处理方法的图像的处理装置，如图11所示，该装置1100包括：获取模块1102、训练模块1104、预测模块1106。[0179]其中，获取模块用于获取至少一张样本图像，其中，样本图像为光照全景图；训练模块，用于采用样本图像训练神经网络模型，获取回归网络模型；预测模块，用于采用回归网络模型对待预测图像进行光照预测，预测得到待预测图像的光照全景图参数，光照全景图参数至少包括：待预测图像中主光源的球面分布、主光源的整体光照强度和环境光强度。[0180]此处需要说明的是，上述获取模块1102、训练模块1104、预测模块1106对应于实施例1中的步骤s202至步骤s206，四个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在实施例1提供的计算机终端10中。[0181]本技术上述实施例中，该装置还包括：获取模块、匹配模块。[0182]其中，获取模块还用于获取样本图像中主光源的图像数据；获取模块还用于获取单位球面上设置的多个锚点；匹配模块用于将主光源的图像数据与每个锚点进行匹配，并基于匹配结果，得到样本图像中主光源的球面分布。[0183]本技术上述实施例中，该装置还包括：提取模块。[0184]其中，提取模块用于按照光照强度提取样本图像中的像素，其中，光照强度大于等于光源阈值的像素属于主光源的图像数据，光照强度小于光源阈值的像素属于环境光的图像数据。[0185]本技术上述实施例中，匹配模块包括：聚类单元、求和单元、第一处理单元。[0186]其中，聚类单元用于基于主光源的图像数据与每个锚点的距离进行聚类，获取与任意一个锚点匹配的主光源的图像数据；求和单元用于将与锚点匹配的主光源的图像数据的光照强度进行求和，得到锚点的光强度值；第一处理单元用于将每个锚点的光强度值进行归一化处理，生成样本图像中主光源的球面分布。[0187]本技术上述实施例中，该装置还包括：求和模块、求均值模块。[0188]其中，求和模块用于采用第一损失函数将属于主光源的像素的光照强度进行回归求和，得到样本图像中主光源的整体光照强度；求均值模块用于采用第二损失函数将属于环境光的像素的光照强度进行回归求均值，得到样本图像中环境光的环境光强度。[0189]本技术上述实施例中，该装置还包括：重建模块。[0190]其中，重建模块用于利用光照全景图参数，重建得到待预测图像的光照全景图。[0191]本技术上述实施例中，该装置还包括：处理模块。[0192]其中，处理模块用于采用对抗网络对待预测图像的光照全景图进行优化处理，生成高精度的光照全景图。[0193]本技术上述实施例中，处理模块包括：获取单元、第二处理单元、优化单元。[0194]其中，获取单元用于获取待预测图像的局部图像；第二处理单元用于采用编码器对待预测图像的局部图像进行向量化处理，得到一组潜空间向量；优化单元用于将潜空间向量输入到对抗网络中，将待预测图像的光照全景图的分辨率进行叠加优化，生成高精度的光照全景图。[0195]本技术上述实施例中，该装置还包括：优化训练模块。[0196]其中，优化训练模块用于将高精度的光照全景图作为样本图像对神经网络模型进行回归训练，优化训练神经网络模型。[0197]需要说明的是，本技术上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同，但不仅限于实施例1所提供的方案。[0198]实施例5[0199]根据本技术实施例，还提供了一种用于实施上述图像的处理方法的图像的处理装置，如图12所示，该装置1200包括：显示模块1202、预测模块1204、渲染模块1206。[0200]其中，显示模块，用于在界面中显示播放中的视频和待加入视频的目标对象，其中，视频由多帧图像构成，且每帧图像按照加载的时间戳构成图像序列；预测模块，用于采用回归网络模型对每帧图像进行光照预测，预测得到每帧图像的光照全景图参数，其中，回归网络模型为采用作为样本的光照全景图训练神经网络模型而生成；渲染模块，用于在检测到目标对象加载到任意一帧图像时，采用该帧图像的光照全景图参数，对目标对象进行光照渲染，其中，光照全景图参数至少包括：主光源的球面分布、主光源的整体光照强度和环境光强度。[0201]此处需要说明的是，上述显示模块1202、预测模块1204、渲染模块1206对应于实施例2中的步骤s902至步骤s906，三个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在实施例1提供的计算机终端10中。[0202]需要说明的是，本技术上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同，但不仅限于实施例1所提供的方案。[0203]实施例6[0204]根据本技术实施例，还提供了一种用于实施上述图像的处理方法的图像的处理装置，如图13所示，该装置1300包括：显示模块1302、预测模块1304、渲染模块1306。[0205]其中，显示模块，用于在界面中显示图片和载入图片的目标对象；预测模块，用于采用回归网络模型对图片进行光照预测，预测得到图片的光照全景图参数，其中，回归网络模型为采用作为样本的光照全景图训练神经网络模型而生成；渲染模块，用于采用图片的光照全景图参数，对目标对象进行光照渲染，其中，光照全景图参数至少包括：图片中主光源的球面分布、主光源的整体光照强度和环境光强度。[0206]此处需要说明的是，上述显示模块1302、预测模块1304、渲染模块1306对应于实施例3中的步骤s1002至步骤s1006，三个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在实施例1提供的计算机终端10中。[0207]需要说明的是，本技术上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同，但不仅限于实施例1所提供的方案。[0208]实施例7[0209]根据本技术实施例，还提供了一种图像的处理方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。[0210]图15是根据本技术实施例7的一种图像的处理方法的流程图。如图15所示，该方法可以包括以下步骤：[0211]步骤s1502，云服务器接收客户端发送的预测请求。[0212]其中，预测请求至少携带有表征待预测图像的标识信息。[0213]上述步骤中的云服务器是一种简单高效、安全可靠、处理能力可弹性伸缩的计算服务器。其管理方式比物理服务器更简单高效。用户无需提前购买硬件，即可迅速创建或释放任意多台云服务器。[0214]上述步骤中的标识信息可以是待预测图像的地址信息。[0215]在一种可选的实施例中，云服务器可以根据预测请求中携带的表征待预测图像的标识信息从数据库中获取到待预测图像。[0216]上述步骤中的客户端可以是终端设备、交互平板、计算机设备等。[0217]步骤s1504，云服务器基于标识信息获取待预测图像。[0218]在一种可选的实施例中，可以根据标识信息中记载的地址信息确定待预测图像所存储的位置，然后获取到待预测图像。[0219]步骤s1506，云服务器采用回归网络模型对待预测图像进行光照预测，预测得到待预测图像的光照全景图参数。[0220]其中，光照全景图参数至少包括：待预测图像中主光源的球面分布、主光源的整体光照强度和环境光强度。[0221]其中，回归网络模型为采用样本图像训练神经网络模型而生成的模型，样本图像为光照全景图的至少一部分。[0222]在一种可选的实施例中，云服务器在对待预测图像进行光照预测之后，可以将得到的光照全景图参数反馈至客户端，使用户可以进行查看。[0223]进一步地，用户可以在客户端对光照全景图参数进行修改，并将修改后的光照全景图参数上传至云服务器，使云服务器可以根据修改后的光照全景图参数优化回归网络模型。[0224]需要说明的是，本技术上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同，但不仅限于实施例1所提供的方案。[0225]实施例8[0226]根据本技术实施例，还提供了一种用于实施上述图像的处理方法的图像的处理装置，如图16所示，该装置1600包括：接收模块1602、获取模块1604、预测模块1606。[0227]其中，接收模块，用于接收客户端发送的预测请求，其中，预测请求至少携带有表征待预测图像的标识信息；获取模块，用于基于标识信息获取待预测图像；预测模块，用于采用回归网络模型对待预测图像进行光照预测，预测得到待预测图像的光照全景图参数，其中，光照全景图参数至少包括：待预测图像中主光源的球面分布、主光源的整体光照强度和环境光强度；其中，回归网络模型为采用样本图像训练神经网络模型而生成的模型，样本图像为光照全景图的至少一部分。[0228]此处需要说明的是，上述接收模块1602、获取模块1604、预测模块1606对应于实施例7中的步骤s1502至s1506，三个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在实施例1提供的计算机终端10中。[0229]需要说明的是，本技术上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同，但不仅限于实施例1所提供的方案。[0230]实施例9[0231]根据本技术实施例，还提供了一种图像的处理方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。[0232]图17是根据本技术实施例9的一种图像的处理方法的流程图。如图17所示，该方法可以包括以下步骤：[0233]步骤s1702，接收客户端发送的待预测图像。[0234]上述步骤可以由云服务器执行，上述步骤中的客户端可以是终端设备、交互平板、计算机设备等，但不仅限于此。[0235]云服务器和客户端之间可以通过特定接口进行数据交互，客户端可以待预测图像，或，待预测图像的标识信息，或待预测图像的存储地址传入接口函数，作为一个参数，实现将待预测图像上传至云服务器的目的。[0236]例如，为了方便用户上传待预测图像，客户端可以提供一个如图3所示的交互界面，由用户在交互界面上进行操作，并选择待预测图像并进行上传，此时，待预测图像可以显示在“图像显示”区域中供用户查看。[0237]步骤s1704，采用回归网络模型对待预测图像进行光照预测，预测得到待预测图像的光照全景图参数。[0238]其中，光照全景图参数至少包括：待预测图像中主光源的球面分布、主光源的整体光照强度和环境光强度。[0239]在一种可选的实施例中，云服务器可以采用回归网络模型对待预测图像进行光照预测，将光照全景图分解成主光源的球面分布、整体光照强度和环境光强度等三个参数。[0240]步骤s1706，利用光照全景图参数，重建得到待预测图像的光照全景图。[0241]其中，回归网络模型为采用样本图像训练神经网络模型而生成的模型，样本图像为光照全景图的至少一部分。[0242]在一种可选的实施例中，云服务器在预测得到光照全景图参数之后，可以直接利用预测得到的参数自动重建光照全景图。[0243]在另一种可选的实施例中，为了重建出高精度的光照全景图，云服务器也可以采用对抗网络对待预测图像的光照全进图进行优化处理，具体处理与上述实施例相同，在此不做赘述。[0244]步骤s1708，输出光照全景图至客户端。[0245]在一种可选的实施例中，云服务器可以将重建的光照全景图返回给客户端，由客户端展示给用户查看，从而用户可以在交互界面中同时看到待预测图像和光照全景图。[0246]在另一种可选的实施例中，云服务器不仅仅可以将光照全景图返回给客户端，还可以将光照全景图参数返回给客户端，从而用户可以对光照全景图参数进行调整或修改，进一步将修改后的光照全景图参数上传至云服务器，由云服务器基于修改后的光照全景图参数重建新的光照全景图，并且云服务器可以根据修改后的光照全景图参数优化回归网络模型，达到提升云服务器性能的目的。[0247]需要说明的是，本技术上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同，但不仅限于实施例1所提供的方案。[0248]实施例10[0249]根据本技术实施例，还提供了一种用于实施上述图像的处理方法的图像的处理装置，如图18所示，该装置1800包括：接收模块1802、预测模块1804、重建模块1806、输出模块1808。[0250]其中，接收模块，用于接收客户端发送的待预测图像；预测模块，用于采用回归网络模型对待预测图像进行光照预测，预测得到待预测图像的光照全景图参数，其中，光照全景图参数至少包括：待预测图像中主光源的球面分布、主光源的整体光照强度和环境光强度；重建模块，用于利用光照全景图参数，重建得到待预测图像的光照全景图；输出模块，用于输出光照全景图至客户端；其中，回归网络模型为采用样本图像训练神经网络模型而生成的模型，样本图像为光照全景图的至少一部分。[0251]此处需要说明的是，上述接收模块1802、预测模块1804、重建模块1806、输出模块1808对应于实施例9中的步骤s1702至s1708，四个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在实施例1提供的计算机终端10中。[0252]需要说明的是，本技术上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同，但不仅限于实施例1所提供的方案。[0253]实施例11[0254]本技术的实施例可以提供一种计算机终端，该计算机终端可以是计算机终端群中的任意一个计算机终端设备。可选地，在本实施例中，上述计算机终端也可以替换为移动终端等终端设备。[0255]可选地，在本实施例中，上述计算机终端可以位于计算机网络的多个网络设备中的至少一个网络设备。[0256]在本实施例中，上述计算机终端可以执行图像的处理方法中以下步骤的程序代码：获取至少一张样本图像，其中，样本图像为光照全景图；采用样本图像训练神经网络模型，获取回归网络模型；采用回归网络模型对待预测图像进行光照预测，预测得到待预测图像的光照全景图参数，光照全景图参数至少包括：待预测图像中主光源的球面分布、主光源的整体光照强度和环境光强度。[0257]可选地，图14是根据本技术实施例的一种计算机终端的结构框图。如图14所示，该计算机终端a可以包括：一个或多个(图中仅示出一个)处理器1402、以及1404。[0258]其中，存储器可用于存储软件程序以及模块，如本技术实施例中的图像的处理方法和装置对应的程序指令/模块，处理器通过运行存储在存储器内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的图像的处理方法。存储器可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至终端a。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。[0259]处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：获取至少一张样本图像，其中，样本图像为光照全景图；采用样本图像训练神经网络模型，获取回归网络模型；采用回归网络模型对待预测图像进行光照预测，预测得到待预测图像的光照全景图参数，光照全景图参数至少包括：待预测图像中主光源的球面分布、主光源的整体光照强度和环境光强度。[0260]可选的，上述处理器还可以执行如下步骤的程序代码：获取样本图像中主光源的图像数据；获取单位球面上设置的多个锚点；将主光源的图像数据与每个锚点进行匹配，并基于匹配结果，得到样本图像中主光源的球面分布。[0261]可选的，上述处理器还可以执行如下步骤的程序代码：按照光照强度提取样本图像中的像素，其中，光照强度大于等于光源阈值的像素属于主光源的图像数据，光照强度小于光源阈值的像素属于环境光的图像数据。[0262]可选的，上述处理器还可以执行如下步骤的程序代码：基于主光源的图像数据与每个锚点的距离进行聚类，获取与任意一个锚点匹配的主光源的图像数据；将与锚点匹配的主光源的图像数据的光照强度进行求和，得到锚点的光强度值；将每个锚点的光强度值进行归一化处理，生成样本图像中主光源的球面分布。[0263]可选的，上述处理器还可以执行如下步骤的程序代码：采用第一损失函数将属于主光源的像素的光照强度进行回归求和，得到样本图像中主光源的整体光照强度；采用第二损失函数将属于环境光的像素的光照强度进行回归求均值，得到样本图像中环境光的环境光强度。[0264]可选的，上述处理器还可以执行如下步骤的程序代码：利用光照全景图参数，重建得到待预测图像的光照全景图。[0265]可选的，上述处理器还可以执行如下步骤的程序代码：采用对抗网络对待预测图像的光照全景图进行优化处理，生成高精度的光照全景图。[0266]可选的，上述处理器还可以执行如下步骤的程序代码：获取待预测图像的局部图像；采用编码器对待预测图像的局部图像进行向量化处理，得到一组潜空间向量；将潜空间向量输入到对抗网络中，将待预测图像的光照全景图的分辨率进行叠加优化，生成高精度的光照全景图。[0267]可选的，上述处理器还可以执行如下步骤的程序代码：将高精度的光照全景图作为样本图像对神经网络模型进行回归训练，优化训练神经网络模型。[0268]作为一种可选的示例，处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：在界面中显示播放中的视频和待加入视频的目标对象，其中，视频由多帧图像构成，且每帧图像按照加载的时间戳构成图像序列；采用回归网络模型对每帧图像进行光照预测，预测得到每帧图像的光照全景图参数，其中，回归网络模型为采用作为样本的光照全景图训练神经网络模型而生成；在检测到目标对象加载到任意一帧图像时，采用该帧图像的光照全景图参数，对目标对象进行光照渲染，其中，光照全景图参数至少包括：主光源的球面分布、主光源的整体光照强度和环境光强度。[0269]作为一种可选的示例，处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：在界面中显示图片和载入图片的目标对象；采用回归网络模型对图片进行光照预测，预测得到图片的光照全景图参数，其中，回归网络模型为采用作为样本的光照全景图训练神经网络模型而生成；采用图片的光照全景图参数，对目标对象进行光照渲染，其中，光照全景图参数至少包括：图片中主光源的球面分布、主光源的整体光照强度和环境光强度。[0270]作为一种可选的示例，处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：云服务器接收客户端发送的预测请求，其中，预测请求至少携带有表征待预测图像的标识信息；云服务器基于标识信息获取待预测图像；云服务器采用回归网络模型对待预测图像进行光照预测，预测得到待预测图像的光照全景图参数，其中，光照全景图参数至少包括：待预测图像中主光源的球面分布、主光源的整体光照强度和环境光强度；其中，回归网络模型为采用样本图像训练神经网络模型而生成的模型，样本图像为光照全景图的至少一部分。[0271]作为一种可选的示例，处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：接收客户端发送的待预测图像；采用回归网络模型对待预测图像进行光照预测，预测得到待预测图像的光照全景图参数，其中，光照全景图参数至少包括：待预测图像中主光源的球面分布、主光源的整体光照强度和环境光强度；利用光照全景图参数，重建得到待预测图像的光照全景图；输出光照全景图至客户端；其中，回归网络模型为采用样本图像训练神经网络模型而生成的模型，样本图像为光照全景图的至少一部分。[0272]本领域普通技术人员可以理解，图14所示的结构仅为示意，计算机终端也可以是智能手机(如android手机、ios手机等)、平板电脑、掌上电脑以及移动互联网设备(mobile internet devices，mid)、pad等终端设备。图14其并不对上述电子装置的结构造成限定。例如，计算机终端a还可包括比图14中所示更多或者更少的组件(如网络接口、显示装置等)，或者具有与图14所示不同的配置。[0273]本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(read-only memory，rom)、随机存取器(random access memory，ram)、磁盘或光盘等。[0274]实施例12[0275]本技术的实施例还提供了一种计算机可读存储介质。可选地，在本实施例中，上述存储介质可以用于保存上述实施例所提供的图像的处理方法所执行的程序代码。[0276]可选地，在本实施例中，上述存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中，或者位于移动终端群中的任意一个移动终端中。[0277]可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：获取至少一张样本图像，其中，样本图像为光照全景图；采用样本图像训练神经网络模型，获取回归网络模型；采用回归网络模型对待预测图像进行光照预测，预测得到待预测图像的光照全景图参数，光照全景图参数至少包括：待预测图像中主光源的球面分布、主光源的整体光照强度和环境光强度。[0278]可选地，存储介质还被设置为存储用于执行以下步骤的程序代码：获取样本图像中主光源的图像数据；获取单位球面上设置的多个锚点；将主光源的图像数据与每个锚点进行匹配，并基于匹配结果，得到样本图像中主光源的球面分布。[0279]可选地，存储介质还被设置为存储用于执行以下步骤的程序代码：按照光照强度提取样本图像中的像素，其中，光照强度大于等于光源阈值的像素属于主光源的图像数据，光照强度小于光源阈值的像素属于环境光的图像数据。[0280]可选地，存储介质还被设置为存储用于执行以下步骤的程序代码：基于主光源的图像数据与每个锚点的距离进行聚类，获取与任意一个锚点匹配的主光源的图像数据；将与锚点匹配的主光源的图像数据的光照强度进行求和，得到锚点的光强度值；将每个锚点的光强度值进行归一化处理，生成样本图像中主光源的球面分布。[0281]可选地，存储介质还被设置为存储用于执行以下步骤的程序代码：采用第一损失函数将属于主光源的像素的光照强度进行回归求和，得到样本图像中主光源的整体光照强度；采用第二损失函数将属于环境光的像素的光照强度进行回归求均值，得到样本图像中环境光的环境光强度。[0282]可选地，存储介质还被设置为存储用于执行以下步骤的程序代码：利用光照全景图参数，重建得到待预测图像的光照全景图。[0283]可选地，存储介质还被设置为存储用于执行以下步骤的程序代码：采用对抗网络对待预测图像的光照全景图进行优化处理，生成高精度的光照全景图。[0284]可选地，存储介质还被设置为存储用于执行以下步骤的程序代码：获取待预测图像的局部图像；采用编码器对待预测图像的局部图像进行向量化处理，得到一组潜空间向量；将潜空间向量输入到对抗网络中，将待预测图像的光照全景图的分辨率进行叠加优化，生成高精度的光照全景图。[0285]可选地，存储介质还被设置为存储用于执行以下步骤的程序代码：将高精度的光照全景图作为样本图像对神经网络模型进行回归训练，优化训练神经网络模型。[0286]作为一种可选的示例，存储介质还被设置为存储用于执行以下步骤的程序代码：在界面中显示播放中的视频和待加入视频的目标对象，其中，视频由多帧图像构成，且每帧图像按照加载的时间戳构成图像序列；采用回归网络模型对每帧图像进行光照预测，预测得到每帧图像的光照全景图参数，其中，回归网络模型为采用作为样本的光照全景图训练神经网络模型而生成；在检测到目标对象加载到任意一帧图像时，采用该帧图像的光照全景图参数，对目标对象进行光照渲染，其中，光照全景图参数至少包括：主光源的球面分布、主光源的整体光照强度和环境光强度。[0287]作为一种可选的示例，存储介质还被设置为存储用于执行以下步骤的程序代码：在界面中显示图片和载入图片的目标对象；采用回归网络模型对图片进行光照预测，预测得到图片的光照全景图参数，其中，回归网络模型为采用作为样本的光照全景图训练神经网络模型而生成；采用图片的光照全景图参数，对目标对象进行光照渲染，其中，光照全景图参数至少包括：图片中主光源的球面分布、主光源的整体光照强度和环境光强度。[0288]作为一种可选的示例，存储介质还被设置为存储用于执行以下步骤的程序代码：云服务器接收客户端发送的预测请求，其中，预测请求至少携带有表征待预测图像的标识信息；云服务器基于标识信息获取待预测图像；云服务器采用回归网络模型对待预测图像进行光照预测，预测得到待预测图像的光照全景图参数，其中，光照全景图参数至少包括：待预测图像中主光源的球面分布、主光源的整体光照强度和环境光强度；其中，回归网络模型为采用样本图像训练神经网络模型而生成的模型，样本图像为光照全景图的至少一部分。[0289]作为一种可选的示例，存储介质还被设置为存储用于执行以下步骤的程序代码：接收客户端发送的待预测图像；采用回归网络模型对待预测图像进行光照预测，预测得到待预测图像的光照全景图参数，其中，光照全景图参数至少包括：待预测图像中主光源的球面分布、主光源的整体光照强度和环境光强度；利用光照全景图参数，重建得到待预测图像的光照全景图；输出光照全景图至客户端；其中，回归网络模型为采用样本图像训练神经网络模型而生成的模型，样本图像为光照全景图的至少一部分。[0290]实施例13[0291]根据本技术实施例，还提供了一种图像的处理系统，包括：[0292]处理器；以及[0293]存储器，与处理器连接，用于为处理器提供处理以下处理步骤的指令：获取至少一张样本图像，其中，样本图像为光照全景图；采用样本图像训练神经网络模型，获取回归网络模型；采用回归网络模型对待预测图像进行光照预测，预测得到待预测图像的光照全景图参数，光照全景图参数至少包括：待预测图像中主光源的球面分布、主光源的整体光照强度和环境光强度。[0294]需要说明的是，本技术上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同，但不仅限于实施例1所提供的方案。[0295]上述本技术实施例序号仅仅为了描述，不代表实施例的优劣。[0296]在本技术的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。[0297]在本技术所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。[0298]所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。[0299]另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。[0300]所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。[0301]以上所述仅是本技术的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本技术原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本技术的保护范围。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!