一种面部信息显示方法、装置、设备和存储介质与流程

计算;推算;计数设备的制造及其应用技术1.本技术涉及人工智能技术领域，具体涉及一种面部信息显示方法、装置、设备和存储介质。背景技术：2.随着互联网的发展和智能手机的广泛普及，人们之间的通话方式产生了很大的变化，现如今，视频通话成为了人们最喜欢和最常用的一种通话方式。而随着虚拟数字场景的应用愈发广泛，现存在一种通过获取用户的表情，并结合虚拟人物形象来展示通话双方的面部信息的视频方式，以此来增强视频聊天的趣味性。3.传统的虚拟数字面部信息的获取方式依赖于大型动捕设备，需要多个摄像头或者更高要求的摄像头对用户的面部进行特征提取，但是这种方式不适用于普通的通讯设备，不方便用户的使用。技术实现要素：4.有鉴于此，本技术提供了一种面部信息显示方法、装置、设备和存储介质，用于解决传统的虚拟数字面部信息的获取方式不适用于普通的通讯设备，不方便用户的使用的缺陷。5.为实现以上目的，现提出的方案如下：6.第一方面，一种面部信息显示方法，包括：7.获取用户的视频流的每一帧图像；8.根据所述视频流的每一帧图像确定所述每一帧图像的特定人脸区域；9.根据所述每一帧图像的特定人脸区域确定所述视频流的多个表情基参数；10.根据所述多个表情基参数得到所述用户的面部信息，并将所述用户的面部信息与预先设置的卡通人物的面部模型进行结合，得到目标面部信息；11.将所述目标面部信息进行显示。12.优选地，所述根据所述视频流的每一帧图像确定所述每一帧图像的特定人脸区域，包括：13.利用预设的人脸区域模型，处理所述视频流的每一帧图像，以得到所述每一帧图像的特定人脸区域；14.其中，所述人脸区域模型为，利用已获取的人脸数据集样本中的每一帧图像作为训练样本，以所述人脸数据集样本中的每一帧图像的真实特定人脸区域作为样本标签训练得到。15.优选地，所述利用预设的人脸区域模型，处理所述视频流的每一帧图像，以得到所述每一帧图像的特定人脸区域，包括：16.利用所述人脸区域模型的系数获取模块，对每一帧图像进行系数提取，得到每一帧图像在直角坐标系下的坐标参数和每一帧图像的置信度；17.利用所述人脸区域模型的特定人脸区域得到模块，对所述每一帧图像在直角坐标系下的坐标参数和每一帧图像的置信度进行整合，得到每一帧图像的特定人脸区域。18.优选地，所述人脸数据集样本的获取过程，包括：19.利用预先设置的对抗生成网络模型生成虚假人脸数据集；20.对所述虚假人脸数据集进行数据增强处理，得到所述人脸数据集样本。21.优选地，每一帧图像在直角坐标系下的坐标参数包括：22.该图像的左上角的横坐标、该图像的左上角的纵坐标、该图像的右下角的横坐标和该图像右下角的纵坐标。23.优选地，所述根据所述每一帧图像的特定人脸区域确定所述视频流的多个表情基参数，包括：24.利用预设的表情基参数模型，处理所述每一帧图像的特定人脸区域，以得到所述视频流的多个表情基参数；25.其中，所述表情基参数模型为，利用已获取的人脸数据集样本中的每一帧图像的特定人脸区域作为训练样本，以所述人脸数据集样本的真实表情基参数作为样本标签训练得到。26.优选地，所述卡通人物的面部模型的设置过程，包括：27.根据所述每一帧图像的特定人脸区域，得到所述用户的五官比例、肤色、头发材质和发型；28.按照所述用户的五官比例、肤色、头发材质和发型得到所述卡通人物的面部模型。29.第二方面，一种面部信息显示装置，包括：30.视频流获取模块，用于获取用户的视频流的每一帧图像；31.人脸检测模块，用于根据所述视频流的每一帧图像确定所述每一帧图像的特定人脸区域；32.表情系数回归模块，用于根据所述每一帧图像的特定人脸区域确定所述视频流的多个表情基参数；33.驱动模块，根据所述多个表情基参数得到所述用户的面部信息，并将所述用户的面部信息与预先设置的卡通人物的面部模型进行结合，得到目标面部信息；34.显示模块，用于对所述目标面部信息进行显示。35.第三方面，一种面部信息显示设备，包括存储器和处理器；36.所述存储器，用于存储程序；37.所述处理器，用于执行所述程序，实现如第一方面所述的面部信息显示方法的各个步骤。38.第四方面，一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如第一方面所述的面部信息显示方法的各个步骤。39.从上述技术方案可以看出，本技术提供了一种面部信息显示方法、装置、设备和存储介质，包括获取用户的视频流的每一帧图像，根据用户的视频流的每一帧图像确定每一帧图像的特定人脸区域，根据每一帧图像的特定人脸区域确定视频流的多个表情参数，根据这多个表情参数得到该用户的面部信息，再将该用户的面部信息与预先设置好的卡通人物的面部模型进行结合，得到目标面部信息，最后将目标面部信息进行显示。该方案通过获取用户的视频流的每一帧图像，然后根据视频流的每一帧图像一步步确定最终的面部信息，再将面部信息与卡通人物面部模型进行结合，从而使得该方法可以适用于普通的通讯设备，提高了适用性，方便用户的使用。附图说明40.图1为本技术实施例提供的一种面部信息显示方法的可选流程图；41.图2和图3为本技术实施例提供的一种表情基示意图；42.图4为本技术实施例提供的面部信息显示装置示意图；43.图5为本技术实施例提供的面部信息显示设备的结构示意图。具体实施方式44.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。45.随着智能手机的普及以及互联网技术的飞速发展，虚拟数字场景的应用也愈发广泛，目前有一种通话方式，使用与用户表情、姿态相同的虚拟卡通人物模型来代替通信双方的真实面貌，即可以通过获取用户的表情或者姿态，并结合虚拟人物形象来展示通话双方的面部信息的视频方式，以此来增强视频聊天的趣味性。46.不过传统的虚拟数字面部信息的获取方式依赖于大型动捕设备，需要多个摄像头或者更高要求的摄像头对用户的面部进行特征提取，但是这种方式不适用于普通的通讯设备，不方便用户的使用。47.基于上述缺陷，本技术实施例提供了一种面部信息显示方案，接下来通过图1对本技术的面部信息显示方法进行说明，如图1所示，该方法包括：48.s1：获取用户的视频流的每一帧图像。49.本技术可以应用于包含显示界面的终端，示例如手机及计算机等设备。当用户使用这种终端设备时，利用终端设备自带的摄像头或者采集模块获取用户的视频流，其中，可以将该视频流视为由无数帧图像组成的集合。50.s2：根据视频流的每一帧图像确定每一帧图像的特定人脸区域。51.具体地，视频流的每一帧图像即为组成该视频流的多张图片，从每一张图片中可以得到每一张图像中的特定人脸区域。52.s3：根据每一帧图像的特定人脸区域确定视频流的多个表情基参数。53.针对每一帧图像而言，可以根据该图像的特定人脸区域得到该图像的多个表情基参数，可以为52个表情基参数。因此可以得到该视频流的多组表情基参数。54.s4：根据多个表情基参数得到用户的面部信息，将用户的面部信息与预先设置的卡通人物的面部模型进行结合，得到目标面部信息。55.用户可以根据自己的喜好来设置一个卡通人物的面部模型。将用户的面部信息与该卡通人物的面部模型进行结合，得到目标面部信息。56.s5：将目标面部信息进行显示。57.可以利用终端设备连接的显示屏对目标面部信息进行显示，展示在用户面前。58.从上述技术方案可以看出，本技术提供了一种面部信息显示方法、装置、设备和存储介质，包括获取用户的视频流的每一帧图像，根据用户的视频流的每一帧图像确定每一帧图像的特定人脸区域，根据每一帧图像的特定人脸区域确定视频流的多个表情参数，根据这多个表情参数得到该用户的面部信息，再将该用户的面部信息与预先设置好的卡通人物的面部模型进行结合，得到目标面部信息，最后将目标面部信息进行显示。该方案通过获取用户的视频流的每一帧图像，然后根据视频流的每一帧图像一步步确定最终的面部信息，再将面部信息与卡通人物面部模型进行结合，从而使得该方法可以适用于普通的通讯设备，提高了适用性，方便用户的使用。59.具体地，在步骤s2中，根据视频流的每一帧图像确定每一帧图像的特定人脸区域，包括：60.利用预设的人脸区域模型，处理所述视频流的每一帧图像，以得到所述每一帧图像的特定人脸区域；61.其中，所述人脸区域模型为，利用已获取的人脸数据集样本中的每一帧图像作为训练样本，以所述人脸数据集样本中的每一帧图像的真实特定人脸区域作为样本标签训练得到。62.可选的，利用预设的人脸区域模型，处理视频流的每一帧图像，以得到每一帧图像的特定人脸区域的过程，包括：63.利用人脸区域模型的系数获取模块，对每一帧图像进行系数提取，得到每一帧图像在直角坐标系下的坐标参数和每一帧图像的置信度；利用人脸区域模型的特定人脸区域得到模块，对每一帧图像在直角坐标系下的坐标参数和每一帧图像的置信度进行整合，得到每一帧图像的特定人脸区域。其中，每一帧图像在直角坐标系下的坐标参数可以包括：该图像的左上角的横坐标、该图像的左上角的纵坐标、该图像的右下角的横坐标和该图像右下角的纵坐标。另外，可以设置一个置信度阈值，根据置信度阈值确定特定人脸区域是否是确切的人脸数据，具体包括：将置信度阈值设置为0.99，当该图像的置信度大于0.99时，则认为该图像中包含了用户的全部人脸信息，当该图像的置信度小于0.99时，则认为该图像中不包含用户的全部人脸信息。置信度越低，说明该图像包含的人脸范围越小，可以认为该图像的特定人脸区域不是确切的人脸数据，因此在根据每一帧图像的特定人脸区域确定视频流的多个表情基参数时，可以将不是确切人脸数据的那帧图像删去，即得到的视频流的多个表情基参数全部属于用户自己本身的表情基参数。64.优选地，人脸数据集样本的获取方式包括以下两种：65.1)利用预先设置的对抗生成网络模型生成虚假人脸数据集；然后对虚假人脸数据集进行数据增强处理，得到人脸数据集样本。2)将现有的开源人脸检测数据集作为本技术的人脸数据集样本。66.在本技术提供的实施例中，可以利用轻量化深度学习网络模型(mobilenetv3)构建人脸区域模型对应的初始模型，其中，将轻量化深度学习网络模型的通道数(channel)减少、模块层(block)减少、线性层(linear)减少，并且控制模型输出参数数量。67.优选地，可以利用得到的人脸数据集样本对人脸区域模型进行100+次的训练，以此得到更优的人脸区域模型。其中，人脸数据集样本中可以包含超过10w的图像样本，每一帧图像样本都经过100+次的训练。在对人脸区域模型训练完成后，可以利用开源的跨平台深度学习推理框架(tnn)对该模型进行转换，最后得到的人脸区域模型可以是大小为1m内，并且推理速度达到10ms以内。68.具体地，在步骤s3中，根据每一帧图像的特定人脸区域确定视频流的多个表情基参数的过程，可以包括：69.利用预设的表情基参数模型，处理所述每一帧图像的特定人脸区域，以得到所述视频流的多个表情基参数；70.其中，所述表情基参数模型为，利用已获取的人脸数据集样本中的每一帧图像的特定人脸区域作为训练样本，以所述人脸数据集样本的真实表情基参数作为样本标签训练得到。71.其中，特定人脸区域样本的获取方式包括：可以利用live link face软件，通过对大量真人进行视频录制，从录制的视频中采集每一帧图片的52个表情基参数，并将录制的视频中的每一帧图片进行裁剪，裁剪出准确人脸区域，然后将这些人脸区域和对应的每一帧图片的52个表情基组成特定人脸区域样本。72.在表情基参数模型的训练过程中，可以利用20w+的特定人脸区域样本对表情基参数模型进行训练，最后使得该模型的回归损失减小到0.0187左右，以得到最优的表情基参数模型。73.可选的，对表情基参数模型训练完成后，同样可以利用开源的跨平台深度学习推理框架(tnn)对该模型进行转换，最后得到的表情基参数模型可以是大小为2.3m左右，并且推理速度达到15ms以内。因此，该方案可以显著提高模型运算速度，降低终端设备的性能消耗。74.在本技术的一个实施例中，可以将表情基参数理解为用户面部表情的夸张程度，一个表情基代表一个表情种类，比如表情基jawopen代表张嘴，则表情基参数即为用户的张嘴程度，表情基参数为0时可以理解为用户的表情状态为不张嘴(闭嘴)，如图2所示；当表情基参数为1时可以理解为表情状态为用户把嘴张到最大，如图3所示。75.具体地，在步骤s4中，卡通人物的面部模型的设置过程，可以包括：76.根据每一帧图像的特定人脸区域，得到用户的五官比例、肤色、头发材质和发型，然后按照用户的五官比例、肤色、头发材质和发型得到卡通人物的面部模型。77.下面对本技术实施例提供的面部信息显示装置进行描述，下文描述的面部信息显示装置与上文描述的面部信息显示方法可相互对应参照。78.结合图4，对面部信息显示装置进行介绍，如图4所示，该装置可以包括：79.视频流获取模块10，用于获取用户的视频流的每一帧图像；80.人脸检测模块20，用于根据视频流的每一帧图像确定每一帧图像的特定人脸区域；81.表情系数回归模块30，用于根据每一帧图像的特定人脸区域确定视频流的多个表情基参数；82.驱动模块40，根据多个表情基参数得到用户的面部信息，并将用户的面部信息与预先设置的卡通人物的面部模型进行结合，得到目标面部信息；83.显示模块50，用于对目标面部信息进行显示。84.可选的，在驱动模块40中，可以首先设置驱动指令，将该驱动指令以共享内存的方式存储到终端设备，该模块从终端设备中实时读取最新的驱动指令，并将驱动指令作用于预先设置的卡通人物的面部模型，可以达到实时驱动的目的。85.需要说明的是，本技术可以应用于包含显示界面的终端，示例如手机及计算机等设备。在用户授权的情况下，可以使用本技术提供的面部信息显示方法获取授权用户的面部信息或者人体生物特征。示例如，在司法机关处，使用本技术的面部信息显示方法，获取授权用户的面部信息或者人体生物特征，以进行用户登记；再如，在用户授权的情况下，面部信息显示装置使用本技术的面部信息显示方法，获取授权用户的面部信息或者人体生物特征，以进行授权用户身份识别并进行考勤登记。86.本技术提供的面部信息显示装置，可以应用于公共安全维护领域，示例如，可以应用于企业及小区等公共安全场所，为企业人员及小区住户的安全提供一定的保障。在使用本技术时，可以在具体的应用场合中，设立指示标志，以提醒用户在使用本技术的面部信息显示装置时，会采集和获取面部信息或者人体生物特征，进而可以在获得用户授权的情况下，合法的采集和获取面部信息或者人体生物特征，以实现本技术的面部信息显示装置。87.更进一步地，本技术实施例提供了一种面部信息显示设备。可选的，图5示出了面部信息显示设备的硬件结构框图，参照图5，面部信息显示设备的硬件结构可以包括：至少一个处理器01，至少一个通信接口02，至少一个存储器03和至少一个通信总线04。88.在本技术实施例中，处理器01、通信接口02、存储器03、通信总线04的数量为至少一个，且处理器01、通信接口02、存储器03通过通信总线04完成相互间的通信。89.处理器01可以是一个中央处理器cpu，或者是特定集成电路asic(application specific integrated circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路等。90.存储器03可能包含高速ram存储器，也可能还包括非易失性存储器(non-volatile memory)等，例如至少一个磁盘存储器。91.其中，存储器存储有程序，处理器可调用存储器存储的程序，程序用于执行方法实施例中描述的面部信息显示方法。92.可选的，程序的细化功能和扩展功能可参照方法实施例中的面部信息显示方法的描述。93.本技术实施例还提供一种存储介质，该存储介质可存储有适于处理器执行的程序，程序用于执行方法实施例中描述的面部信息显示方法。94.具体地，该存储介质可以是一种计算机可读存储介质，计算机可读存储介质可以是诸如闪存、eeprom(电可擦除可编程只读存储器)、eprom、硬盘或者rom之类的电子存储器。95.可选的，程序的细化功能和扩展功能可参照方法实施例中的面部信息显示方法的描述。96.另外，在本公开各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，直播设备，或者网络设备等)执行本公开各个实施例的全部或部分步骤。97.最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。98.本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。99.对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本技术。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本技术的精神或范围的情况下，在其它实施例中实现。因此，本技术将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!