智慧厨房预警方法、装置、电子设备及存储介质与流程

信号装置的制造及其应用技术1.本发明涉及视频分析技术领域，尤其涉及一种智慧厨房预警方法、装置、电子设备及存储介质。背景技术：2.传统的厨房工作人员安全作业检测主要依赖人力检查、巡检，要求施工人员依照章程遵守纪律，佩戴护具；各种监控检测设备大多是视频播放形式，依旧需要依赖人工值守和监控，鉴于人工的能力极限和视觉疲劳等因素，并不能保证实际监测效率和效果，误报、漏报情况严重。3.现有的针对厨房视频分析的装置大致分为两种：第一种将视频分析功能放置于前端硬件，及在厨房本地配置具有视频分析能力的图形处理器、中央处理器在本地进行视频分析。第二种是将视频分析放在云端，通过网络接收视频流并进行解码，传输到云端应用深度学习等算法进行视频分析。4.但是，第一种方案中部分功能需求并不要求实时性，大部分时间没有告警信息，硬件的整体使用效率不高，且将视频分析的设备放在本地这种做法硬件成本巨大。第二种方案中由于系统大部分数据没有告警信息，同样存在对于网络传输和服务器自身算力的巨大浪费。并且上述两种方案都无法支撑厨房夜间小目标(例如，老鼠、蟑螂等) 的检测，导致目标检测的准确度低。技术实现要素：5.本发明提供一种智慧厨房预警方法、装置、电子设备及存储介质，用以解决现有技术中厨房夜间小目标检测的准确度低的缺陷，提高了厨房夜间小目标检测的精度。6.本发明提供一种智慧厨房预警方法，包括：7.获取厨房内的监控图像；8.将所述监控图像输入至改进的ssd模型，输出检测结果；其中，所述改进的ssd模型是使用预先标注了检测目标的样本图像进行训练后得到的，所述改进的ssd模型的网络结构包括基础网络和附加网络；所述基础网络为改进的vgg网络，其是由卷积层、池化层和 se网络构成的卷积神经网络；所述附加网络由四层级联卷积层构成；9.根据所述检测结果进行预警。10.根据本发明提供的一种智慧厨房预警方法，所述基础网络的每个输出层后加入se网络以提取浅层特征与深层特征融合。11.根据本发明提供的一种智慧厨房预警方法，所述基础网络在 vgg网络的conv4_3层、conv7层、conv8层、conv9层、conv10 层、conv11层后拼接se网络。12.根据本发明提供的一种智慧厨房预警方法，所述基础网络的所有的隐藏层后均接relu激活函数。13.根据本发明提供的一种智慧厨房预警方法，所述基础网络的卷积核尺寸均为3×3，步长为1，填充为1。14.根据本发明提供的一种智慧厨房预警方法，所述基础网络的池化层的池化窗口为2×2，步长为2。15.根据本发明提供的一种智慧厨房预警方法，所述改进的ssd模型的训练步骤包括：16.获取白天和夜间的厨房内的监控图像作为样本图像；17.对所有的样本图像中的检测目标进行标注；18.使用标注了检测目标的样本图像对改进的ssd模型进行训练。19.本发明还提供一种智慧厨房预警装置，包括：20.获取模块，用于获取厨房内的监控图像；21.检测模块，用于将所述监控图像输入至改进的ssd模型，输出检测结果；其中，所述改进的ssd模型是使用预先标注了检测目标的样本图像进行训练后得到的，所述改进的ssd模型的网络结构包括基础网络和附加网络；所述基础网络为改进的vgg网络，其是由卷积层、池化层和se网络构成的卷积神经网络；所述附加网络由四层级联卷积层构成；22.预警模块，用于根据所述检测结果进行预警。23.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述智慧厨房预警方法的步骤。24.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述智慧厨房预警方法的步骤。25.本发明提供的智慧厨房预警方法、装置、电子设备及存储介质，采用改进的ssd模型对厨房场景下的小目标进行检测，提升了小目标的检测精度。附图说明26.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。27.图1是本发明提供的智慧厨房预警方法的流程示意图；28.图2是本发明提供的系统流程示意图；29.图3是本发明提供的端口交互示意图；30.图4是本发明提供的视频数据存储流程示意图；31.图5是本发明提供的特征库架构示意图；32.图6是本发明提供的ssd网络示意图；33.图7是本发明提供的senet与特征层拼接示意图；34.图8是本发明提供的金字塔模型示意图；35.图9是本发明提供的上采样与下采样示意图；36.图10是本发明提供的改进的ssd网络示意图；37.图11是本发明提供的智慧厨房预警装置的结构示意图；38.图12是本发明提供的电子设备的结构示意图。具体实施方式39.在厨房日常运作的场景下，实时监控工作人员的卫生用具(口罩，手套等)的佩戴情况、工作人员的异常行为检测以及工作、用餐场地的安全保障，是当前人民生命安全的重要保障。40.现有的针对厨房视频分析的装置大致分为两种：第一种将视频分析功能放置于前端硬件，及在厨房本地配置具有视频分析能力的gpu、 cpu在本地进行视频分析，这种做法较为浪费资源。其一，该方案的部分功能需求并不要求实时性，大部分时间没有告警信息，硬件的整体使用效率不高。其二，将视频分析的设备放在本地这种做法硬件成本巨大。第二种是将视频分析放在云端，通过网络接收视频流并进行解码，传输到云端应用深度学习等算法进行视频分析。这种做法由于系统大部分数据没有告警信息，同样存在对于网络传输和服务器自身算力的巨大浪费。其次，传统视频分析方案无法支撑当前厨房异常检测，如夜间小目标检测，老鼠、蟑螂等小目标且易携带细菌病毒，造成当前的防控压力。41.传统的厨房工作人员安全作业检测主要依赖人力检查、巡检，要求施工人员依照章程遵守纪律，佩戴护具；各种监控检测设备大多是视频播放形式，依旧需要依赖人工值守和监控，鉴于人工的能力极限和视觉疲劳等因素，并不能保证实际监测效率和效果，误报、漏报情况严重。在现有视频储存技术中资源调配不合理、浪费算力及产生网络传输压力等缺点。42.本发明实施例要解决的技术问题是一种基于视频分析的智慧厨房的告警系统，进行人形、体温、防控设备及不明物体识别以保障人员及食品安全。43.针对上述情况，厨房卫生管控以及自身要求更加严格，为更好的保障复产复工及职工自身的生命安全，本发明实施例提出了一种基于 ai视频分析的智慧厨房告警系统。告警系统使用改进的ssd算法针对厨房场景下小目标检测，相对传统方案更能对老鼠、蟑螂等异常小目标精准识别。同时通过在前端摄像输入设备增加云台控制器的手段，对视频进行初次处理，再将处理后的图像传输到云服务器中。在云服务器中对视频进行分析，利用深度学习算法对目标进行检测、追踪以达到告警之效果。44.针对的防护需求，采用目标边缘检测原理，结合深度学习、人形特点等因素实现厨房防控的检测预警，对于厨房内部人员的各种工作状态都能得到很好的检测效果。45.针对厨房场景下的异常类小目标，使用改进的ssd算法网络结构，实时、高精度的识别异常目标，在ssd算法的vgg网络中增加 senet网络，用以强化浅层特征，结合高层特征，以提高小目标检测的精度，针对目标模糊、目标重叠、目标遮挡下的小目标检测有很大的提升，适合在厨房场景下的小目标检测。46.本发明实施例集多种目标检测、安全防护装置检测于一体，全面考虑厨房工作场景的安全隐患类型，同时增加红外检测装置，优化了红外测温的性能，简化部署环节，具有实用性强、应用范围广、成本低、可靠性高、部署应用简单、复用性强等优势，适用于各种监控场景，对各种工作场景的防控安全的保障提供了一个简单、快速、高效的解决方案，具有很大的实用价值。47.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。48.下面结合一些附图描述本发明的智慧厨房预警方法、装置、电子设备及存储介质。49.图1是本发明提供的智慧厨房预警方法的流程示意图，如图1所示，本技术实施例提供一种智慧厨房预警方法。该方法包括：50.步骤101、获取厨房内的监控图像。51.步骤102、将所述监控图像输入至改进的ssd模型，输出检测结果；其中，所述改进的ssd模型是使用预先标注了检测目标的样本图像进行训练后得到的，所述改进的ssd模型的网络结构包括基础网络和附加网络；所述基础网络为改进的vgg网络，其是由卷积层、池化层和se网络构成的卷积神经网络；所述附加网络由四层级联卷积层构成。52.步骤103、根据所述检测结果进行预警。53.可选地，所述基础网络的每个输出层后加入se网络以提取浅层特征与深层特征融合。54.可选地，所述基础网络在vgg网络的conv4_3层、conv7层、 conv8层、conv9层、conv10层、conv11层后拼接se网络。55.可选地，所述基础网络的所有的隐藏层后均接relu激活函数。56.可选地，所述基础网络的卷积核尺寸均为3×3，步长为1，填充为1。57.可选地，所述基础网络的池化层的池化窗口为2×2，步长为2。58.可选地，所述改进的ssd模型的训练步骤包括：59.获取白天和夜间的厨房内的监控图像作为样本图像；60.对所有的样本图像中的检测目标进行标注；61.使用标注了检测目标的样本图像对改进的ssd模型进行训练。62.(一)方案概述63.本技术实施例通过在前端摄像输入设备增加云台控制器的手段，对视频进行初次处理，再将处理后的图像传输到云服务器中。在云服务器中对视频进行分析，利用深度学习算法对目标进行检测、追踪以达到告警之效果。64.图2是本发明提供的系统流程图，如图2所示，本发明实施例以视频分析、红外线测温技术及人工智能与深度学习技术相结合，提出了一种智慧厨房管理系统，利用图像识别技术检测工作人员是否佩戴口罩，通过目标追踪的手段识别工作人员，红外测温技术检测体温，及工作地点人口密集程度等问题。65.本发明实施例基于搭建的ai能力平台对厨房统一接入的视频设备进行实时视频分析，并首先通过结构化处理对人物衣着行为、动物识别的检测和通过外接的红外温度检测仪对目标体温进行实时跟踪并通过外接蜂鸣器对危机情况及时告警。66.图3是本发明提供的端口交互示意图，如图3所示，该系统包括应用前端、云服务器、管理端多个终端，其中应用前端应配备具有摄像和测温功能的红外线摄像头，能够采集后厨人员、不明动物及陌生人的体温和图像，并载有蜂鸣器及时提供报警功能。通过前端的控制器对视频进行初步分析，之后将视频产生的图像发送到云服务器中。云服务器端用于接收和存储收到的图像和体温数据，并对多方面的数据进行处理，实时对当天的体温和人及动物图像数据进行分析处理。管理端能够监控云服务器的工作状态，实时显示该系统的人流统计及体温功能。67.(二)具体步骤68.1、为了解决上述技术问题，对应技术方案步骤包括：69.(1)前端信息采集器，分别由红外线设备及视频监控设备，搭载云台及蜂鸣器，向分析模组报送目标检测所用图像及体温信息，目标检测报警模组发送采集的视频流信息；信息存储至b/s架构服务器中；70.(2)目标检测报警模组将采集的视频流转化为视频帧序列，依据目标检测分析检测序列图像，分别检测人形，口罩，手套及不明物体。由体温检测模块报送体温信息；71.(3)目标检测分析训练模型基于人形、防护品、不明物体三类目标类别分别检测。72.同时，目标检测的分析训练模型通过以下方式获得：73.(1)采集样本，获取厨房各个场景的监控视频源；74.(2)将视频源转为视频帧图像，分帧抽取图像；75.(3)使用图像标记工具，标记相应目标，获得样本分类；76.(4)基于深度学习目标检测算法，训练模型，并得到模型；77.(5)分析目标检测分析训练模型的正确率、误报率、漏报率。通过调节预设参数，对比算法增删样本达到目标检测需求。78.本系统还包括智能红外检测装置，包括：79.(1)前端的红外测温设备装置于出入口处的设备获取设备处，实时感应目标为人形的物体的温度变化，并链接蜂鸣器；80.(2)微控单元将预设温度与感应温度比对，如果温度大于预设温度则触发蜂鸣器，反之则不触发。81.2、前端信息采集器的构建82.本发明实施例给出了一种基于ai视频分析的智慧厨房管理系统与方法，管理系统的信息采集分布在厨房的出入口、清洗区、操作区、烹饪区、餐具收纳区以及食物储藏区等位置统一接入视频设备并搭载云台设备，并在出入口处接入红外测温仪，统一连入云服务系统保证视频存储。83.其中在前端视频输入设备中构建云台控制器，在本地首先进行视频的初次处理，做出如白天视野较好时的控制器自身进行跳帧处理，控制前端应有小型数据库，便于储存工作人员等的图像。摄像设备帧率焦距通过云台控制器进行控制。根据情景需求进行初步分析；再将进行过初步处理的较低帧率的视频发送到云服务器中，根据情景需求以及实时性分别选择逐帧抽帧与处理，平台通过检测目标物体确定是否需要进行追踪检测。所述方法包括对现场视频硬件所获取通过传输到控制器中，并通过运用改进的ssd算法来检测目标，应用卡尔曼滤波、kcf等算法实现对目标的追踪检测。84.3、系统架构的设置85.系统采用b/s架构，采用服务块化设计，最大化的提高系统运行效率，降低部署成本。系统通过华为视频云对摄像机设备及视频数据进行管理，利用任务管理模块从云服务器拉取视频数据并对视频数据进行预处理，通过消息队列模块和ai视频分析服务模块集群完成巨量视频智能分析功能的实现。对于少量需求或试点性需求，可以将上述模块部署在1-2台服务器设备，实现精简化部署。86.4、人工智能(ai)视频分析87.视频数据是ai视频分析功能的必要的分析对象及素材，因此对提供视频数据的摄像机、视频平台等视频设备的管理显得极为重要。本系统通过云服务器对视频设备进行接入及管理。视频云通过sdk 或者平台接口接入视频设备，并通过rtsp流或者ps流等拉取视频数据，最后将视频数据转发给消费模块，这里的消费模块包括前端展示、视频存储及ai视频分析。88.图4是本发明提供的视频数据存储流程示意图，如图4所示，视频数据的接入和预处理主要是通过协议从云服务端拉取rtsp视频码流，并对视频码流进行解码、切片。对于需要满足实时分析的视频码流采用每5帧抽取一帧的方式切片；对于不需要满足实时分析的视频码流采用逐帧抽帧的方式切片。89.ai视频分析任务调度及视频数据分发主要是将视频切片后生成的视频帧进行结构化处理，结构化后的视频帧转化为含有uuid、视频流id、视频帧数标识及图像数据的结构化字符串。随后，根据对该视频的ai分析是否需要满足实时性的区别，创建两个redis队列，将结构化字符串分存至两个redis队列。最后，由任务调度将结构化字符串推送至相应的ai视频分析功能模块。对于不需要满足实时性的ai 视频分析功能，需要先通过运动检测方法对结构化字符串的有效性进行预处理，当运动检测方法检测到有疑似待分析目标时，再调用对应的ai视频分析功能。90.ai视频分析功能的封装及告警的汇总与输出主要是将ai视频分析功能进行封装，形成统一的输入输出接口，便于部署及第三方调用。当ai视频分析功能产生告警时，封装模块会将告警信息汇总，形成结构化告警信息，并通过sdk接口或者restful接口输出，以供系统其他模块或者第三方调用。91.5、防控期间厨房视频分析需要捕获的异常行为警告92.(1)工作人员未戴有口罩，佩戴帽子及衣着不统一；93.(2)人员体温高于37.2℃；94.(3)陌生人、非工作人员等进入；95.(4)老鼠、蟑螂等异常动物进入；96.(5)地面不整洁及卫生脏乱；97.(6)厨房各个工作区域的人口密集程度。98.(三)ai视频分析的主要应用99.1、后厨鼠患分析100.摄像前端应连结有小型本地数据库的控制器，该控制器应储存有工作人员等的图像。视频分析应先从结构化分析开始，对目标检测同时可根据对老鼠的识别结果分析老鼠经常活动的区域。鼠患是影响后厨卫生质量的一个重要因素，不但会破坏食材和后厨环境，还会携带和传播各类细菌和病毒，因此对老鼠的识别和活动行为的分析是尤为重要的。由于老鼠是一个比较特殊的目标，动作快，体型小，因此需要对后厨场景的老鼠进行数据采集和标注，针对厨房场景，使用改进后的ssd算法网络进行模型训练和优化。101.改进的ssd算法网络，是由基础网络和附加网络两部分构成，其中基础网络，使用改进的vgg网络进行特征提取，附加网络由新增4层联卷积层构成。并通过聚类分析实现了老鼠活动区域分析算法。针对后厨场景进行老鼠目标的数据采集、标注及小目标检测模型的训练和优化。102.首先，在厨房场景的指定位置部署多架摄像头，考虑到老鼠是一种胆小谨慎的动物，难以捕获，因此分白天和夜间两种光照环境投放一些老鼠，采集老鼠出现的视频；其次，对视频进行切片处理(逐帧切片)，这里主要是以为老鼠行动速度很快，因此采用逐帧切片后再进行挑选；随后对挑选后的图片进行老鼠目标的标注；最后，训练改进后的ssd小目标检测模型。特别说明的是，为了减少误报，提高检测精度，在标注老鼠时尽量把细长的鼠尾也标注入目标区域。103.2、非工作人员识别104.图5是本发明提供的特征库架构示意图，如图5所示，建立后厨相关人员的人脸库和可疑人人脸库(初始状态为空库)，并通过人脸比对来判断进入厨房的人员是否是陌生人，当发现人脸库之外的人，该功能会向系统发出告警信息，并将该人员的人脸信息存入可疑人人脸库。对于再次进入厨房的可疑人，则提高告警等级，为后厨的安防管理提供警卫工作。功能输出人脸比对信息，是否为陌生人以及是否是再次出现的可疑人等结果，并提供sdk接口和restful接口供前端及第三方平台调用。105.3、佩戴口罩、帽子识别106.工作人员佩戴口罩、帽子的识别，作为卫生管理要求很高的后厨环境，以及避免暴露的头发将头屑等杂物沾上食品。口罩可以防止飞沫等沾上食品，传播细菌和病毒。107.但考虑到不同后厨场景的食品加工人员佩戴的帽子存在不同的制式，因此需要对相关场景的帽子数据进行采集和标注，并对模型进行训练和优化。同样的，首先需要在后厨场景架设摄像头，这里可复用后厨鼠患活动检测数据采集中架设的摄像头；其次对工作人员是否佩戴帽子的情况进行样本标注，标注目标主要包括高顶白色厨师帽、云状顶白色厨师帽、包头白色厨师帽、黑色包头厨师帽、云状顶白色厨师帽以及未戴帽子的人头目标等。108.4、无感知考勤109.通过摄像头搭配控制器的本地数据库，用高精度的身份识别算法，提供无感知考勤，即仅需人员从摄像头前缓速通过，系统即可识别出该人员身份，不需要满足实时性。110.5、体温检测111.对上述结构化检测为人体的目标，对其体温进行实时监控。在筛检过程中，如发现有可疑发热病人，立即启动报警装置，检测到的人体表面温度数据，及时有效地防止人流的交叉传染、防患于未然。112.(四)算法及主要原理概述113.1、改进的ssd算法114.图6是本发明提供的ssd网络示意图，如图6所示，ssd算法是faster rcnn和yolo的结合：采用了基于回归的模式(类似于 yolo)，在一个网络中直接回归出物体的类别和位置，因此检测速度很快。同时也利用了基于区域的概念(类似于faster rcnn)，在检测的过程中，使用了许多候选区域作为roi。115.本发明实施例的改进的ssd算法模型由基础网络和附加网络两部分构成，其中基础网络，使用改进的vgg网络进行特征提取，附加网络由新增4层级联卷积层构成。116.本方案适用于小目标的ssd的骨干网络是基于传统的图像分类网络，应用vgg进行改进的vgg网络作为骨干网络进行模型搭建，通过一层全连接网络层作为迁移学习的迁移层，多层senet网络强化浅层特征。117.此次采用的网络特点是采用了基础网络与附加网络的组成架构，在每个输出层后加入senet以提取浅层特征与深层特征融合。 vgg模型的特点是对于给定的感受野(与输出有关的输入图片的局部大小)，采用堆积的小卷积核是优于采用大的卷积核，因为多层非线性层可以增加网络深度来保证学习更复杂的模式，而且代价还比较小。118.改进的vgg是由卷积层、池化层和senet构成的卷积神经网络。模型构建选用参数设置如下：119.1)输入数据为300×300，通道为3的rgb数据；120.2)池化窗口为2×2，步长为2的最大池化层；121.3)卷积核尺寸均为3×3，其中步长为1，填充(padding)为1；122.4)所有的隐藏层后均接relu激活函数；123.5)图7是本发明提供的senet与特征层拼接示意图，如图7 所示，在conv4_3、conv7、conv8、conv9、conv10、conv11后拼接senet，用于目标提取，本方案将senet加至于上述的特征层。124.图8是本发明提供的金字塔模型示意图，如图8所示，另外在 vgg16的基础上增加conv4_3、conv7、conv8、conv9、conv10、conv11，用于目标提取，形成较深的特征金字塔，在多个尺度上进行目标检测以提高检测精度。125.特征层越高，具有的语义信息越丰富，不同特征层代表了不同级别的特征利用，检测结果必然比只在最后一层进行检测效果好126.特征层从低到高，其感受野由小到大，不同特征层对检测不同尺寸的目标检测是有帮助的。127.构建过程在最开始的两层选用了64个步频为1的3×3卷积核对输入的数据进行卷积，输入数据尺寸为300×300×3。进行第一个卷积之后得到300×300×64的特征图，接着还有一层300×300×64的特征图，得到这样2个厚度为64的卷积层，意味着用64个过滤器进行了两次卷积。接下来创建一个2×2的最大池化层，池化层将输入图像进行压缩，从300×300×64缩小到150×150×64，将原有的长、宽缩减为 1/2。128.在第二层卷积层，仍要经历两个卷积层，使用128个卷积核得到 150×150×128的特征图。然后进行池化，可以推导出池化后的结果是特征图尺寸变为75×75×128。接着在第三层再用256个相同的卷积核进行四次卷积操作，然后再池化，然后再卷积四次，再池化。如此进行几轮操作后，将最后得到的7×7×512的特征图进行并对其进行全连接操作，得到4096个单元。129.图9是本发明提供的上采样与下采样示意图，如图9所示，在特征层，将conv3-3层的特征图下采样到38×38的大小，通道数不变；将conv4-3层由512降为256个，特征图大小不变，conv7 上采样到38×38大小，通道数由1024降为256个。将conv3-3 层、conv4-3层、conv7层的特征图进行拼接，拼接后特征图的通道数为768个；并把特征图每个位置对应的默认框数量由4个变为6个。130.图10是本发明提供的改进的ssd网络示意图，如图10所示，由于se模块本身增加的参数主要来自2个全连接层，对算法的实时性影响较小，本方案在conv4-3层、conv7层、conv8层、conv9 层、conv10层、conv11层后面分别加入senet，改进后的网络结构如图所。其中，右边、中间、左边部分分别代表conv7层、conv3‑ꢀ3层、conv4-3层的融合特征，箭头标注部分为senet。131.下一步，需要进行回归，得到物体的位置和类别。和yolo的回归操作相似，首先考虑在特征图的每个位置上，有且只有一个候选框 (default box)的情况。132.检测器需要给出框中心偏移量(cx,cy)，相对于图片尺寸的宽度和高度(w,h)，总计需要回归四个值。对于每一个bounding box，需要给出20个类别+1个背景类的得分(score)。133.对于每一个位置，需要一个向量来存储检测物体的位置和类别信息。对于特征图，需要一个空间来存储这些信息。因此，检测器需要学习特征图到检测结果的映射关系。这一步转换，使用的是卷积操作：使用卷积核，对特征图进行卷积。至此，已经完成了在每个位置上回归一个框的操作。134.多个候选框：ssd在每个位置上，希望回归k个基于不同尺寸的框。因此在每个位置上需要25×k维的空间，存储这些框的回归和分类信息，因而卷积操作变成了使用25×k个3×3的卷积核，来获得 38×38×25k维度的检测结果图(score map)。135.多个特征图：对于神经网络，浅层的特征图包含了更较多的细节信息，更适合进行小物体的检测；而较深的特征图包含了更多的全局信息，更适合大物体的检测。因此，通过在不同的特征图上对不同尺寸的候选框进行回归，可以对不同尺寸的物体有更好的检测结果。136.2、senet网络137.senet网络通过学习的方式自动获取每个特征通道的重要程度，根据重要程度提升有用的特征通道的重要程度，根据重要程度提升有用的特征并一只对当前任务用处不大的特征，使得有效的特征图权重大，无效或者效果小的特征图权重小，使得网络达到更好的复杂背景下的小目标检测结果。138.在senet网络中，记网络的输入通道数为c1，经过一些列的变化后得到通道数c2的特征，fsq为特征压缩操作，即全局平均池化， fsq的输入为像素大小为h﹡w、通道数为c2的特征，并将每个通道的特征图压缩为一个像素，该像素巨有全局的感受野，fsq的输出为像素大小1×1、通道数为c2的特征。[0139][0140]其中h、w分别代表图片的长宽，uc代表特征图中的第c个通道 uc(i,j)为第c个通道中的第i行，第j列的像素，zc为压缩后的输出。[0141]为完成压缩操作后进行激活操作，为每个通道生成权重，激活操作可表示为：[0142]s＝fex(z,w)＝σ[w2δw1][0143]其中σ为sigmoid函数，w1为全连接操作。[0144]得到s后权重赋予不同的通道，即[0145]fscale(uc,sc)＝uc·sc[0146]其中sc为步长s中的第c个权重。[0147]3、目标跟踪算法(kcf算法)[0148]kcf全称为kernel correlation filter核相关滤波算法。一般的跟踪问题可以分解成如下：[0149](1)在it帧中，在当前位置pt附近采样，训练一个回归器。这个回归器能计算一个小窗口的采样响应。[0150](2)在it+1帧中，在前一阵位置pt附近采样，用前述的回归器判断每个采样的响应。[0151](3)相应最强的采集为本帧位置pt+1。[0152]在跟踪里，由于目标和周围环境实时变化，一般需要在线学习，在当前帧目标区域及周围随机采样，生成正负样本，训练生成器。然后再下一帧位置随机采样，通过分类器得到输出响应，选择输出响应最大的采样作为跟踪得到的目标。[0153]然后利用样本循环移位代替采样窗口，把向量x变化到newx的过程叫做向量x右移一位。[0154]x＝[x1，x2，…，xn]→new_x＝[xn，x1，x2，…，xn-1].[0155]并且有任意循环移位的向量，都可以由排列矩阵p乘以向量x生成，推广到二维同样成立。[0156]对当前目标区域进行循环移位，可近似滑窗产生的样本效果。[0157]最后通过建设模型，求解分类器f。设需要学习的分配器为f。例如，0.3的转移概率表示下一帧目标移动到左上角的概率为0.3。[0158]则f是x的线性函数，存在有f(xi)＝wtxi，加入正则项λ，损失函数如下：[0159][0160]可以通过岭回归，得到损失最小的最优解，通过核函数技巧，可以将非线性问题通过特征的非线性映射，在映射后的特征空间满足线性关系。即可获得分类器f。[0161]图11是本发明提供的智慧厨房预警装置的结构示意图，如图11 所示，本技术实施例提供一种智慧厨房预警装置，该装置包括获取模块1101、检测模块1102和预警模块1103，其中：[0162]获取模块1101用于获取厨房内的监控图像；检测模块1102用于将所述监控图像输入至改进的ssd模型，输出检测结果；其中，所述改进的ssd模型是使用预先标注了检测目标的样本图像进行训练后得到的，所述改进的ssd模型的网络结构包括基础网络和附加网络；所述基础网络为改进的vgg网络，其是由卷积层、池化层和se网络构成的卷积神经网络；所述附加网络由四层级联卷积层构成；预警模块1103用于根据所述检测结果进行预警。[0163]本技术实施例提供的智慧厨房预警装置，可以用于执行上述相应实施例中所述的方法，通过本实施例提供的装置执行上述相应实施例中所述方法的具体步骤与上述相应实施例相同，且能够达到相同的技术效果，在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。[0164]图12是本发明提供的电子设备的结构示意图，如图12所示，该电子设备可以包括：处理器(processor)1210、通信接口(communications interface)1220、存储器(memory)1230和通信总线1240，其中，处理器 1210，通信接口1220，存储器1230通过通信总线1240完成相互间的通信。处理器1210可以调用存储器1230中的逻辑指令，以执行智慧厨房预警方法，该方法包括：获取厨房内的监控图像；[0165]将所述监控图像输入至改进的ssd模型，输出检测结果；其中，所述改进的ssd模型是使用预先标注了检测目标的样本图像进行训练后得到的，所述改进的ssd模型的网络结构包括基础网络和附加网络；所述基础网络为改进的vgg网络，其是由卷积层、池化层和 se网络构成的卷积神经网络；所述附加网络由四层级联卷积层构成；[0166]根据所述检测结果进行预警。[0167]此外，上述的存储器1230中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read‑ꢀonly memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。[0168]另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的智慧厨房预警方法，该方法包括：获取厨房内的监控图像；[0169]将所述监控图像输入至改进的ssd模型，输出检测结果；其中，所述改进的ssd模型是使用预先标注了检测目标的样本图像进行训练后得到的，所述改进的ssd模型的网络结构包括基础网络和附加网络；所述基础网络为改进的vgg网络，其是由卷积层、池化层和 se网络构成的卷积神经网络；所述附加网络由四层级联卷积层构成；[0170]根据所述检测结果进行预警。[0171]又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的智慧厨房预警方法，该方法包括：获取厨房内的监控图像；[0172]将所述监控图像输入至改进的ssd模型，输出检测结果；其中，所述改进的ssd模型是使用预先标注了检测目标的样本图像进行训练后得到的，所述改进的ssd模型的网络结构包括基础网络和附加网络；所述基础网络为改进的vgg网络，其是由卷积层、池化层和 se网络构成的卷积神经网络；所述附加网络由四层级联卷积层构成；[0173]根据所述检测结果进行预警。[0174]以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。[0175]通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。[0176]最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!