信号灯识别方法、装置、电子设备及存储介质与流程

计算;推算;计数设备的制造及其应用技术1.本技术涉及智能交通技术领域，具体涉及一种信号灯识别方法、装置、电子设备及计算机可读存储介质。背景技术：2.最近几年里，人工智能相关技术发展迅速，安全驾驶作为人工智能领域一个主要的应用场景，得到了业内相关人员的更多的重视与关注。信号灯的判别是安全驾驶领域的主要任务与分支之一，一般来说，图像中会有多个信号灯，如何检测出车辆待遵循的信号灯在图像中的位置，是较为棘手的任务。3.现有技术中，通过道路语义分割确定车辆行驶的车道信息，以根据车道信息确定车辆待遵循的信号灯在图像中的位置。但是，由于路口信息复杂，依赖于车道信息检测车辆待遵循的信号灯位置，检测准确率较低。技术实现要素：4.本技术提供一种信号灯识别方法、装置、电子设备及计算机可读存储介质，旨在解决依赖于车道信息检测待遵循信号灯的区域，检测准确率低的问题。5.第一方面，本技术提供一种信号灯识别方法，所述方法包括：6.根据预先获取的第一图像进行信号灯检测处理，得到所述第一图像的信号灯区域集合，其中，所述信号灯区域集合包括所述第一图像中的每个信号灯区域；7.根据所述第一图像进行预测处理，得到所述第一图像中每个像素点的目标分值，其中，每个所述像素点的目标分值用于指示每个所述像素点是待遵循信号灯区域的中心点的置信值；8.根据每个所述像素点的目标分值，从所述第一图像的中心点集合中获取对应目标分值最大的目标中心点，其中，所述中心点集合包括所述第一图像中每个信号灯区域的中心点；9.将所述目标中心点对应的目标信号灯区域，识别为待遵循信号灯的区域。10.第二方面，本技术提供一种信号灯识别装置，所述信号灯识别装置包括：11.检测单元，用于根据预先获取的第一图像进行信号灯检测处理，得到所述第一图像的信号灯区域集合，其中，所述信号灯区域集合包括所述第一图像中的每个信号灯区域；12.预测单元，用于根据所述第一图像进行预测处理，得到所述第一图像中每个像素点的目标分值，其中，每个所述像素点的目标分值用于指示每个所述像素点是待遵循信号灯区域的中心点的置信值；13.获取单元，用于根据每个所述像素点的目标分值，从所述第一图像的中心点集合中获取对应目标分值最大的目标中心点，其中，所述中心点集合包括所述第一图像中每个信号灯区域的中心点；14.识别单元，用于将所述目标中心点对应的目标信号灯区域，识别为待遵循信号灯的区域。15.在本技术一种可能的实现方式中，所述第一图像通过待控制车辆采集，所述将所述目标中心点对应的目标信号灯区域，识别为待遵循信号灯的区域的步骤之后，所述识别单元具体用于：16.根据所述待遵循信号灯的区域，识别所述待遵循信号灯的信号类别；17.控制所述待控制车辆根据所述信号类别行驶。18.在本技术一种可能的实现方式中，所述将所述目标中心点对应的目标信号灯区域，识别为待遵循信号灯的区域的步骤之后，所述识别单元具体用于：19.根据所述待遵循信号灯的区域，识别所述待遵循信号灯的信号类别；20.根据所述信号类别，输出行驶提示信息。21.在本技术一种可能的实现方式中，所述预测单元具体用于：22.根据所述第一图像进行预测处理，得到所述第一图像中是待遵循信号灯区域的待定中心点；23.根据所述待定中心点以及预设的第一幅值和第一方差，确定所述第一图像的第一高斯分布图，其中，所述第一高斯分布图用于指示所述第一图像中每个像素点是待遵循信号灯区域的中心点的置信值；24.根据所述第一高斯分布图确定所述第一图像中每个像素点的目标分值。25.在本技术一种可能的实现方式中，所述第一图像是预先获取的信号灯视频中的第n帧图像，所述预测单元具体用于：26.获取第二图像中待遵循信号灯的区域中心点，其中，所述第二图像是所述信号灯视频中的第n-1帧图像；27.获取所述第一图像的基准点，其中，所述基准点是所述第一图像中与所述区域中心点位置对应的像素点；28.根据所述基准点以及预设的第二幅值和第二方差，确定所述第一图像的第二高斯分布图；29.根据所述第一高斯分布图和所述第二高斯分布图，确定所述第一图像中每个像素点的目标分值。30.在本技术一种可能的实现方式中，所述预测单元具体用于：31.根据所述第一图像进行预测处理，得到所述第一图像中每个像素点的距离信息，其中，每个所述像素点的距离信息用于指示每个所述像素点与待遵循信号灯区域的中心点之间的距离；32.根据每个所述像素点的距离信息确定每个所述像素点的投票点，得到所述第一图像对应的n个投票点；33.从所述n个投票点中获取投票数最多的目标投票点，以作为所述待定中心点。34.在本技术一种可能的实现方式中，所述检测单元具体用于：35.调用预设的检测网络，根据所述第一图像进行信号灯检测处理，得到所述第一图像中每个信号灯的检测框；36.将每个所述信号灯的检测框作为每个信号灯区域，得到所述信号灯区域集合。37.第三方面，本技术还提供一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器调用所述存储器中的计算机程序时执行本技术提供的任一种信号灯识别方法中的步骤。38.第四方面，本技术还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器进行加载，以执行所述的信号灯识别方法中的步骤。39.本技术通过一方面检测出第一图像中的信号灯区域，另一方面预测第一图像中每个像素点的目标分值，其中，每个像素点的目标分值用于指示每个像素点是待遵循信号灯区域的中心点的置信值。并从检测出的信号灯区域中，获取中心点位置的目标分值最大的目标信号灯区域，识别为待遵循的信号灯的区域。一方面，可以在避免依赖车道信息的基础上，实现待遵循信号灯的区域检测，在一定程度上提高了待遵循信号灯的区域检测准确率。另一方面，由于结合检测出的信号灯区域与第一图像中每个像素点的目标分值进行判定，避免了直接基于图像特征进行检测，进而也在一定程度上提高了待遵循信号灯的区域检测准确率。附图说明40.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。41.图1是本技术实施例所提供的信号灯识别系统的场景示意图；42.图2是本技术实施例提供的信号灯识别方法的一种流程示意图；43.图3是本技术实施例中提供的信号灯区域的一种示意图；44.图4本技术实施例中提供的步骤202的一个实施例流程示意图；45.图5是本技术实施例中提供的步骤202的另一个实施例流程示意图；46.图6是本技术实施例中提供的信号灯识别装置的一个实施例结构示意图；47.图7是本技术实施例中提供的电子设备的一个实施例结构示意图。具体实施方式48.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。49.在本技术实施例的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本技术实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。50.为了使本领域任何技术人员能够实现和使用本技术，给出了以下描述。在以下描述中，为了解释的目的而列出了细节。应当明白的是，本领域普通技术人员可以认识到，在不使用这些特定细节的情况下也可以实现本技术。在其它实例中，不会对公知的过程进行详细阐述，以避免不必要的细节使本技术实施例的描述变得晦涩。因此，本技术并非旨在限于所示的实施例，而是与符合本技术实施例所公开的原理和特征的最广范围相一致。51.本技术实施例提供一种信号灯识别方法、装置、电子设备和计算机可读存储介质。其中，该信号灯识别装置可以集成在电子设备中，该电子设备可以是服务器，也可以是终端等设备。52.本技术实施例信号灯识别方法的执行主体可以为本技术实施例提供的信号灯识别装置，或者集成了该信号灯识别装置的服务器设备、物理主机或者用户设备(user equipment，ue)等不同类型的电子设备，其中，信号灯识别装置可以采用硬件或者软件的方式实现，ue具体可以为智能手机、平板电脑、笔记本电脑、掌上电脑、台式电脑或者个人数字助理(personal digital assistant，pda)等终端设备。53.该电子设备可以采用单独运行的工作方式，或者也可以采用设备集群的工作方式，通过应用本技术实施例提供的信号灯识别方法，可以在避免依赖车道信息的基础上，实现待遵循信号灯的区域检测，在一定程度上提高了待遵循信号灯的区域检测准确率。54.参见图1，图1是本技术实施例所提供的信号灯识别系统的场景示意图。其中，该信号灯识别系统可以包括电子设备100，电子设备100中集成有信号灯识别装置。例如，该电子设备可以根据预先获取的第一图像进行信号灯检测处理，得到所述第一图像的信号灯区域集合，其中，所述信号灯区域集合包括所述第一图像中的每个信号灯区域；根据所述第一图像进行预测处理，得到所述第一图像中每个像素点的目标分值，其中，每个所述像素点的目标分值用于指示每个所述像素点是待遵循信号灯区域的中心点的置信值；根据每个所述像素点的目标分值，从所述第一图像的中心点集合中获取对应目标分值最大的目标中心点，其中，所述中心点集合包括所述第一图像中每个信号灯区域的中心点；将所述目标中心点对应的目标信号灯区域，识别为待遵循信号灯的区域。55.另外，如图1所示，该信号灯识别系统还可以包括存储器200，用于存储数据，如存储图像数据、视频数据。56.需要说明的是，图1所示的信号灯识别系统的场景示意图仅仅是一个示例，本技术实施例描述的信号灯识别系统以及场景是为了更加清楚的说明本技术实施例的技术方案，并不构成对于本技术实施例提供的技术方案的限定，本领域普通技术人员可知，随着信号灯识别系统的演变和新业务场景的出现，本发明实施例提供的技术方案对于类似的技术问题，同样适用。57.下面，开始介绍本技术实施例提供的信号灯识别方法，本技术实施例中以电子设备作为执行主体，为了简化与便于描述，后续方法实施例中将省略该执行主体。58.参照图2，图2是本技术实施例提供的信号灯识别方法的一种流程示意图。需要说明的是，虽然在流程图2、图4、图5中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。该信号灯识别方法包括步骤201～204，其中：59.201、根据预先获取的第一图像进行信号灯检测处理，得到所述第一图像的信号灯区域集合。60.本技术实施例中通过步骤201～204，可以根据图像检测出车辆待遵循的信号灯。因此，对应地，第一图像是包含了一个或多个交通信号指示灯(简称信号灯)的图像。第一图像的来源可以有多种，示例性地，包括：61.(1)在道路上行驶车辆的摄像头实时拍摄得到的视频帧或图像。电子设备可与该车辆的摄像头建立网络连接，并根据该网络连接从摄像头在线获取摄像头拍摄得到的视频帧或图像。62.(2)预先采集并存储在电子设备内部的视频帧或图像。63.(3)电子设备从存储有车辆的摄像头拍摄得到的图像的相关存储介质，读取出摄像头拍摄得到的图像。64.此处第一图像的获取方式仅为举例，不以此为限。65.其中，所述信号灯区域集合包括所述第一图像中的每个信号灯区域。66.如图3所示，第一图像中包括了多个信号灯，对应地，第一图像中包括多个信号灯区域。步骤201中进行信号灯检测处理的目的在于：检测出第一图像中每个信号灯区域。第一图像中的信号灯区域的确定方式有多种，例如，第一图像中的每个信号灯区域可以通过预先训练好的检测网络检测得到，可用于信号灯区域检测的检测网络可以参照后文介绍，此处不再赘述。67.202、根据所述第一图像进行预测处理，得到所述第一图像中每个像素点的目标分值。68.其中，每个所述像素点的目标分值用于指示每个所述像素点是待遵循信号灯区域的中心点的置信值。目标分值的具体表现形式有多种，示例性地，目标分值可以是百分比形式的数值、取值范围为0至1的数值、或取值范围为0至100的数值等等。69.步骤202中“根据所述第一图像进行预测处理，得到所述第一图像中每个像素点的目标分值”的方式有多种，示例性地，包括：70.(1)根据预先训练好的回归网络，根据第一图像进行特征提取得到第一图像的图像特征，并根据第一图像的图像特征直接回归预测出第一图像中每个像素点的目标分值。71.(2)根据预先训练好的预测网络，根据第一图像进行特征提取得到第一图像的图像特征。然后，根据第一图像的图像特征先预测出第一图像中是待遵循信号灯区域的待定中心点c。再以待定中心点c为圆心、预先设定的幅度值s、预先设定的方差值σ生成第一图像的二维高斯分布图。最后，将二维高斯分布图中每一个点的高斯分布值作为第一图像中每个像素点的目标分值，其中，二维高斯分布图的点与第一图像的像素点一一对应。72.203、根据每个所述像素点的目标分值，从所述第一图像的中心点集合中获取对应目标分值最大的目标中心点。73.其中，所述中心点集合是指第一图像中每个信号灯区域的中心点的集合。所述中心点集合包括所述第一图像中每个信号灯区域的中心点。74.在步骤201中确定第一图像中每个信号灯区域之后，即可确定每个信号灯区域的中心点，从而得到第一图像的中心点集合。75.为了简化表述，在本文中，信号灯区域的中心点简称为中心点，每个信号灯区域的中心点简称为每个中心点。76.其中，目标中心点是指在中心点集合中，对应目标分值最大的中心点。77.示例性地，步骤203具体可以包括：从每个所述像素点的目标分值的集合中，获取中心点集合中的每个中心点的目标分值。然后，对比每个中心点的目标分值，并从中心点集合中获取目标分值最大的中心点，以作为目标中心点。78.例如，在步骤202中，可以确定第一图像中500*338＝149000个像素点的目标分值分别为：0.1、0.2、0.3、...、4、...、5、...、6、...、7、...、8。其中，中心点集合中4个中心点a、b、c、d的目标分值分别为4、5、6、8。则在步骤203中可以确定对应目标分值最大的目标中心点是中心点d。79.204、从信号灯区域集合中获取所述目标中心点对应的目标信号灯区域，以识别为待遵循信号灯的区域。80.在步骤201中，根据第一图像进行信号灯检测处理后，可以确定第一图像中的信号灯区域。其中，目标信号灯区域是指第一图像包括的信号灯区域中，目标中心点对应的信号灯区域。81.待遵循信号灯的区域用于指示车辆待遵循的信号灯在图像中的位置。82.本技术实施例中，一方面检测出第一图像中的信号灯区域，另一方面预测第一图像中每个像素点的目标分值，其中，每个像素点的目标分值用于指示每个像素点是待遵循信号灯区域的中心点的置信值。并从检测出的信号灯区域中，获取中心点位置的目标分值最大的目标信号灯区域，识别为待遵循的信号灯的区域。一方面，可以在避免依赖车道信息的基础上，实现待遵循信号灯的区域检测，在一定程度上提高了待遵循信号灯的区域检测准确率。另一方面，由于结合检测出的信号灯区域与第一图像中每个像素点的目标分值进行判定，避免了直接基于图像特征进行检测，进而也在一定程度上提高了待遵循信号灯的区域检测准确率。83.在本技术的一些实施例中，检测出车辆待遵循的信号灯在图像中的位置，即检测出待遵循信号灯的区域之后，可进一步根据待遵循信号灯的区域识别出待遵循信号灯的信号类别，并根据待遵循信号灯的信号类别控制车辆行驶。即该信号灯识别方法还包括：根据所述待遵循信号灯的区域，识别所述待遵循信号灯的信号类别；控制所述待控制车辆根据所述信号类别行驶。84.一般来说，信号灯会有多种类别，可以根据实际情况而设置需要识别的信号类别。比如，可以将需要识别的信号类别设置为包括：红灯、绿灯、黄灯共3种类别。又如，可以将需要识别的信号类别设置为包括：左转红灯、左转绿灯、左转黄灯、右转红灯、右转绿灯、右转黄灯、直行红灯、直行绿灯、直行黄灯共9种类别。85.示例性地，“根据所述待遵循信号灯的区域，识别所述待遵循信号灯的信号类别”具体可以包括：根据预先训练好的分类网络，对第一图像中待遵循信号灯的区域进行特征提取得到待遵循信号灯的图像特征；并根据待遵循信号灯的图像特征进行分类，得到待遵循信号灯的信号类别。86.其中，预先训练好的分类网络是通过对可用于分类任务的网络进行训练得到。具体地，可以采用可用于分类任务的网络，如开源的efficientnet模型、yolov3网络、mobilenet网络等，作为待训练的分类网络。并采用预先采集的信号灯图像作为样本、标注好信号灯图像的类别标签后，对待训练的分类网络进行训练，得到训练后的分类网络。87.分类网络的训练过程与现有的分类网络的训练过程类似，都是基于预先采集图像作为样本和对样本的标注数据进行有监督的学习，对于具体的训练过程可以参照现有的分类网络的训练过程，在此不做详细介绍。88.其中，此处分类网络仅为举例，分类网络也可以是其他开源的分类网络，或者是未来出现的可用于分类任务的网络，不以此为限定。89.在确定待遵循信号灯的信号类别之后，即可控制所述待控制车辆根据待遵循信号灯的信号类别行驶，从而实现了自动驾驶功能。为了方便理解，以一具体例子进行说明。90.例如，需要识别的信号类别包括：左转红灯、左转绿灯、左转黄灯、右转红灯、右转绿灯、右转黄灯、直行红灯、直行绿灯、直行黄灯共9种类别。当识别出待遵循信号灯的信号类别为“左转红灯”时，控制待控制车辆停止行驶。当识别出待遵循信号灯的信号类别为“右转绿灯”时，控制待控制车辆向右转行驶。91.进一步地，为了提高对待控制车辆的行驶控制精准度，第一图像可以是通过待控制车辆采集得到。92.在本技术的一些实施例中，检测出车辆待遵循的信号灯在图像中的位置，即检测出待遵循信号灯的区域之后，可进一步根据待遵循信号灯的区域识别出待遵循信号灯的信号类别，并根据待遵循信号灯的信号类别输出行驶提示信息。即该信号灯识别方法还包括：根据所述待遵循信号灯的区域，识别所述待遵循信号灯的信号类别；根据所述信号类别，输出行驶提示信息。93.其中，“根据所述待遵循信号灯的区域，识别所述待遵循信号灯的信号类别”可以参照上文的说明，此处不再赘述。94.在确定待遵循信号灯的信号类别之后，可以输出行驶提示信息，以提醒驾驶人员按照交通信号灯的指示行驶，在一定程度上提高了驾驶安全。其中，行驶提示信息可以有多种形式，示例性地，可以是语音形式、文字形式等。95.例如，当识别出待遵循信号灯的信号类别为“左转绿灯”，输出“请左转通行”的语音信息。96.上述步骤202的实现方式有多种，示例性地，可以只基于第一图像的空间信息确定第一图像中每个像素点的目标分值。也可以同时基于视频中相邻的两帧图像确定第一图像中每个像素点的目标分值。97.在本技术的一些实施例中，可以只基于第一图像的空间信息确定第一图像中每个像素点的目标分值，如图4所示，此时上述步骤202可以包括步骤2023a：98.2021a、根据所述第一图像进行预测处理，得到所述第一图像中是待遵循信号灯区域的待定中心点。99.其中，待定中心点是指根据第一图像直接预测得到的、待遵循信号灯区域的中心点。100.步骤2021a的实现方式有多种，示例性地，可以包括：101.(1)根据预先训练好的回归网络，根据第一图像进行特征提取得到第一图像的图像特征，并根据第一图像的图像特征直接回归预测出第一图像中是待遵循信号灯区域的待定中心点。102.(2)根据所述第一图像进行预测处理，得到所述第一图像中每个像素点的距离信息；根据每个所述像素点的距离信息确定每个所述像素点的投票点，得到所述第一图像对应的n个投票点；从所述n个投票点中获取投票数最多的目标投票点，以作为所述待定中心点。其中，每个所述像素点的距离信息用于指示每个所述像素点与待遵循信号灯区域的中心点之间的距离。103.为了方便理解如何确定待定中心点，以一具体例子进行说明。例如，通过对可用于回归任务的网络进行训练得到目标回归网络。具体地，可以采用可用于回归任务的网络，如开源的广义回归神经网络(general regression neural network，grnn)等，作为待训练的回归网络。并采用预先采集的信号灯图像作为样本、标注好信号灯图像中待遵循信号灯区域的中心点信息后，对待训练的回归网络进行训练，得到训练后的目标回归网络。104.目标回归网络的训练过程与现有的网络的训练过程类似，都是基于预先采集图像作为样本和对样本的标注数据进行有监督的学习，对于具体的训练过程可以参照现有的网络的训练过程，在此不做详细介绍。105.其中，此处回归网络仅为举例，回归网络也可以是其他开源的回归网络，或者是未来出现的可用于回归任务的网络，不以此为限定。106.在训练得到目标回归网络后，可以调用目标回归网络第一图像进行特征提取处理得到第一图像的图像特征，并根据第一图像的图像特征，预测出第一图像中每个像素点m(xi,yi)与待遵循信号灯区域的中心点之间的距离dx、dy。然后，根据每个像素点m(xi,yi)与待遵循信号灯区域的中心点之间的距离dx、dy，可以确定每个像素点m(xi,yi)的投票点为：t(xi,yi)＝(xi+dx，yi+dy)。通过第一图像中的n个像素点可以确定n个投票点，统计n个投票点中每个投票点的投票数，其中n大于等于n。最后，从n个投票点中获取投票数最多的目标投票点，以作为待定中心点。107.其中，每个像素点m的投票点是指根据每个像素点m的距离信息，所确定的待遵循信号灯区域的中心点。每个投票点的投票数是指确定该投票点是待遵循信号灯区域的中心点的像素点个数。108.2022a、根据所述待定中心点以及预设的第一幅值和第一方差，确定所述第一图像的第一高斯分布图。109.其中，所述第一高斯分布图用于指示所述第一图像中每个像素点是待遵循信号灯区域的中心点的置信值。第一高斯分布图是指以待定中心点c1为圆心、预设的第一幅值和第一方差，生成的第一图像的二维高斯分布图。110.示例性地，步骤2022a中，以待定中心点c1为圆心、第一幅值为幅度值s1、第一方差为方差值σ1生成第一图像的二维高斯分布图，得到第一图像第一高斯分布图。此处，第一幅值、第一方差仅为举例，具体可以根据实际需求确定具体取值，此处对第一幅值、第一方差的具体取值不做限定。111.2023a、根据所述第一高斯分布图确定所述第一图像中每个像素点的目标分值。112.其中，第一高斯分布图的高斯分布点与第一图像中的像素点一一对应。示例性地，一一对应的高斯分布点与像素点的坐标相同。113.在确定第一高斯分布图之后，可以直接将第一高斯分布图中每个点(xj,yj)的高斯分布值，作为第一图像中的像素点(xj,yj)的目标分值。114.进一步地，还可以根据第一高斯分布图中每个点(xj,yj)的高斯分布值、以及预设的函数关系式，作为第一图像中的像素点(xj,yj)的目标分值。比如，根据公式y＝a*x确定第一图像中的像素点(xj,yj)的目标分值，其中，x表示第一高斯分布图中点(xj,yj)的高斯分布值、y表示第一图像中的像素点(xj,yj)的目标分值、a表示比例系数。115.通过结合第一图像的空间信息(即生成的第一高斯分布图)，提高了对第一图像的空间注意力，保证了待遵循信号灯的区域检测准确率。116.在本技术的一些实施例中，可以同时基于视频中相邻的两帧图像确定第一图像中每个像素点的目标分值，如图5所示，此时上述步骤202可以包括步骤2021b～2026b：117.2021b、根据所述第一图像进行预测处理，得到所述第一图像中是待遵循信号灯区域的待定中心点。118.其中，第一图像是预先获取的信号灯视频中的第n帧图像。119.2022b、根据所述待定中心点以及预设的第一幅值和第一方差，确定所述第一图像的第一高斯分布图。120.其中，所述第一高斯分布图用于指示所述第一图像中每个像素点是待遵循信号灯区域的中心点的置信值。121.上述步骤2021b～2022b与上述步骤2021a～2022a的实现方式类似，此处不再赘述。122.2023b、获取第二图像中待遵循信号灯的区域中心点。123.其中，所述第二图像是所述信号灯视频中的第n-1帧图像。124.其中，区域中心点是指第二图像中待遵循信号灯的区域的中心点。125.第二图像中待遵循信号灯的区域的确定方式，与第一图像中待遵循信号灯的区域的确定方式类似，具体可以参照本文中描述的第一图像中待遵循信号灯的区域确定方式。不同的是，第一图像是信号灯视频中的第n帧图像、第二图像是信号灯视频中的第n-1帧图像。在确定第二图像中待遵循信号灯的区域之后，即可第二图像中待遵循信号灯的区域的中心点。126.2024b、获取所述第一图像的基准点。127.其中，所述基准点是所述第一图像中与所述区域中心点位置对应的像素点。第一图像与第二图像中的像素点一一对应，示例性地，第一图像与第二图像中一一像素点的坐标相同。128.在步骤2023b中确定区域中心点之后，即可从第一图像中获取与区域中心点坐标相同的像素点，以作为第一图像的基准点。129.2025b、根据所述基准点以及预设的第二幅值和第二方差，确定所述第一图像的第二高斯分布图。130.其中，所述第二高斯分布图用于指示所述第一图像中每个像素点是待遵循信号灯区域的中心点的置信值。第二高斯分布图是指以基准点c2为圆心、预设的第二幅值和第二方差，生成的第一图像的二维高斯分布图。131.示例性地，步骤2025b中，以待定中心点c2为圆心、第二幅值为幅度值s2、第二方差为方差值σ2生成第一图像的二维高斯分布图，得到第一图像第二高斯分布图。此处，第二幅值、第二方差仅为举例，具体可以根据实际需求确定具体取值，此处对第二幅值、第二方差的具体取值不做限定。132.其中，第一方差和第二方差可以取值相同或不同，第一幅值和第二幅值也可以取值相同或不同。133.2026b、根据所述第一高斯分布图和所述第二高斯分布图，确定所述第一图像中每个像素点的目标分值。134.其中，第一高斯分布图的高斯分布点、第二高斯分布图的高斯分布点与第一图像中的像素点一一对应。示例性地，一一对应的高斯分布点与像素点的坐标相同。135.示例性地，确定第一高斯分布图、第二高斯分布图之后，可以直接将第一高斯分布图中点(xj,yj)的高斯分布值与第二高斯分布图中点(xj,yj)的高斯分布值相加，作为第一图像中的像素点(xj,yj)的目标分值。136.进一步地，还可以根据第一高斯分布图中点(xj,yj)的高斯分布值、第二高斯分布图中点(xj,yj)的高斯分布值、以及预设的加权关系式，确定第一图像中的像素点(xj,yj)的目标分值。比如，可以根据公式y＝a*x1+b*x2确定第一图像中的像素点(xj,yj)的目标分值，其中，x1表示第一高斯分布图中点(xj,yj)的高斯分布值、x2表示第一高斯分布图中点(xj,yj)的高斯分布值、y表示第一图像中的像素点(xj,yj)的目标分值、a和b分别表示权重系数。137.由于车辆行驶轨迹和当前光照条件等因素，可能导致待遵循信号灯的区域出现错误检测或者漏检测的情况发生。为了提高算法的稳定性和鲁棒性，本技术实施例通过结合第一图像的空间信息(即生成的第一高斯分布图)、第二图像的空间信息(即生成的第二高斯分布图)进行检测，以增加时序注意力约束，在一定程度上提高了待遵循信号灯的区域检测准确率。138.在本技术的一些实施例中，上述步骤201具体可以包括：调用预设的检测网络，根据所述第一图像进行信号灯检测处理，得到所述第一图像中每个信号灯的检测框；将每个所述信号灯的检测框作为每个信号灯区域，得到所述信号灯区域集合。139.其中，第一图像中的每个信号灯的检测框的集合，即为信号灯区域集合。140.其中，预设的检测网络是通过对可用于检测任务的网络进行训练得到。具体地，可以采用可用于检测任务的网络，如开源的efficientnet模型、yolov3网络、mobilenet网络等，作为待训练的检测网络。并采用预先采集的信号灯图像作为样本、标注好信号灯图像的检测框信息后，对待训练的检测网络进行训练，得到训练后的检测网络。141.预设的检测网络的训练过程与现有的检测网络的训练过程类似，都是基于预先采集图像作为样本和对样本的标注数据进行有监督的学习，对于具体的训练过程可以参照现有的检测网络的训练过程，在此不做详细介绍。142.其中，此处检测网络仅为举例，检测网络也可以是其他开源的检测网络，或者是未来出现的可用于检测任务的网络，不以此为限定。143.为了更好实施本技术实施例中信号灯识别方法，在信号灯识别方法基础之上，本技术实施例中还提供一种信号灯识别装置，如图6所示，为本技术实施例中信号灯识别装置的一个实施例结构示意图，该信号灯识别装置600包括：144.检测单元601，用于根据预先获取的第一图像进行信号灯检测处理，得到所述第一图像的信号灯区域集合，其中，所述信号灯区域集合包括所述第一图像中的每个信号灯区域；145.预测单元602，用于根据所述第一图像进行预测处理，得到所述第一图像中每个像素点的目标分值，其中，每个所述像素点的目标分值用于指示每个所述像素点是待遵循信号灯区域的中心点的置信值；146.获取单元603，用于根据每个所述像素点的目标分值，从所述第一图像的中心点集合中获取对应目标分值最大的目标中心点，其中，所述中心点集合包括所述第一图像中每个信号灯区域的中心点；147.识别单元604，用于将所述目标中心点对应的目标信号灯区域，识别为待遵循信号灯的区域。148.在本技术一种可能的实现方式中，所述第一图像通过待控制车辆采集，所述将所述目标中心点对应的目标信号灯区域，识别为待遵循信号灯的区域的步骤之后，所述识别单元具604体用于：149.根据所述待遵循信号灯的区域，识别所述待遵循信号灯的信号类别；150.控制所述待控制车辆根据所述信号类别行驶。151.在本技术一种可能的实现方式中，所述将所述目标中心点对应的目标信号灯区域，识别为待遵循信号灯的区域的步骤之后，所述识别单元604具体用于：152.根据所述待遵循信号灯的区域，识别所述待遵循信号灯的信号类别；153.根据所述信号类别，输出行驶提示信息。154.在本技术一种可能的实现方式中，所述预测单元602具体用于：155.根据所述第一图像进行预测处理，得到所述第一图像中是待遵循信号灯区域的待定中心点；156.根据所述待定中心点以及预设的第一幅值和第一方差，确定所述第一图像的第一高斯分布图，其中，所述第一高斯分布图用于指示所述第一图像中每个像素点是待遵循信号灯区域的中心点的置信值；157.根据所述第一高斯分布图确定所述第一图像中每个像素点的目标分值。158.在本技术一种可能的实现方式中，所述第一图像是预先获取的信号灯视频中的第n帧图像，所述预测单元602具体用于：159.获取第二图像中待遵循信号灯的区域中心点，其中，所述第二图像是所述信号灯视频中的第n-1帧图像；160.获取所述第一图像的基准点，其中，所述基准点是所述第一图像中与所述区域中心点位置对应的像素点；161.根据所述基准点以及预设的第二幅值和第二方差，确定所述第一图像的第二高斯分布图；162.根据所述第一高斯分布图和所述第二高斯分布图，确定所述第一图像中每个像素点的目标分值。163.在本技术一种可能的实现方式中，所述预测单元602具体用于：164.根据所述第一图像进行预测处理，得到所述第一图像中每个像素点的距离信息，其中，每个所述像素点的距离信息用于指示每个所述像素点与待遵循信号灯区域的中心点之间的距离；165.根据每个所述像素点的距离信息确定每个所述像素点的投票点，得到所述第一图像对应的n个投票点；166.从所述n个投票点中获取投票数最多的目标投票点，以作为所述待定中心点。167.在本技术一种可能的实现方式中，所述检测单元601具体用于：168.调用预设的检测网络，根据所述第一图像进行信号灯检测处理，得到所述第一图像中每个信号灯的检测框；169.将每个所述信号灯的检测框作为每个信号灯区域，得到所述信号灯区域集合。170.具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。171.由于该信号灯识别装置可以执行本技术如图1至图5对应任意实施例中信号灯识别方法中的步骤，因此，可以实现本技术如图1至图5对应任意实施例中信号灯识别方法所能实现的有益效果，详见前面的说明，在此不再赘述。172.此外，为了更好实施本技术实施例中信号灯识别方法，在信号灯识别方法基础之上，本技术实施例还提供一种电子设备，参阅图7，图7示出了本技术实施例电子设备的一种结构示意图，具体的，本技术实施例提供的电子设备包括处理器701，处理器701用于执行存储器702中存储的计算机程序时实现如图1至图5对应任意实施例中信号灯识别方法的各步骤；或者，处理器701用于执行存储器702中存储的计算机程序时实现如图6对应实施例中各单元的功能。173.示例性的，计算机程序可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器702中，并由处理器701执行，以完成本技术实施例。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在计算机装置中的执行过程。174.电子设备可包括，但不仅限于处理器701、存储器702。本领域技术人员可以理解，示意仅仅是电子设备的示例，并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如电子备还可以包括输入输出设备、网络接入设备、总线等，处理器701、存储器702、输入输出设备以及网络接入设备等通过总线相连。175.处理器701可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，处理器是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分。176.存储器702可用于存储计算机程序和/或模块，处理器701通过运行或执行存储在存储器702内的计算机程序和/或模块，以及调用存储在存储器702内的数据，实现计算机装置的各种功能。存储器702可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备的使用所创建的数据(比如音频数据、视频数据等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(smart media card，smc)，安全数字(secure digital，sd)卡，闪存卡(flash card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。177.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的信号灯识别装置、电子设备及其相应单元的具体工作过程，可以参考如图1至图5对应任意实施例中信号灯识别方法的说明，具体在此不再赘述。178.本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。179.为此，本技术实施例提供一种计算机可读存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本技术如图1至图5对应任意实施例中信号灯识别方法中的步骤，具体操作可参考如图1至图5对应任意实施例中信号灯识别方法的说明，在此不再赘述。180.其中，该计算机可读存储介质可以包括：只读存储器(rom，read only memory)、随机存取存储器(ram，random access memory)、磁盘或光盘等。181.由于该计算机可读存储介质中所存储的指令，可以执行本技术如图1至图5对应任意实施例中信号灯识别方法中的步骤，因此，可以实现本技术如图1至图5对应任意实施例中信号灯识别方法所能实现的有益效果，详见前面的说明，在此不再赘述。182.以上对本技术实施例所提供的一种信号灯识别方法、装置、电子设备及计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本技术的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本技术的方法及其核心思想；同时，对于本领域的技术人员，依据本技术的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本技术的限制。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!