一种基于雷达和视频融合的公路监控方法及系统与流程 专利技术说明

信号装置的制造及其应用技术1.本发明涉及公路监控技术领域，尤其涉及一种基于雷达和视频融合的公路监控方法及系统。背景技术：2.随着公路和机动车辆的快速发展，道路安全问题日益突出，例如公路上出现的车辆拥堵、违停、逆行、抛洒物、行人闯入及烟火等，气象异常导致路面出现积水、积雪或结冰等情况，都会对道路安全产生重大威胁，因此，如何精准及时地识别各类影响道路安全的情况，对于相关部门及出行人员及时掌握到公路状况，确保交通顺畅和出行人员人身安全，具有非常重要的意义，现有技术一般通过单一类型传感器对公路进行监控，例如摄像枪或者雷达设备，然而，摄像枪的检测距离有限，且光线影响较大，在夜间无照明或照明条件不理想的情况下，摄像枪对目标的识别率低；雷达设备对目标的分类识别能力有限，且检测的过程中会出现假目标和漏检的情况，因此，现有的公路监控方法均存在检测精度不高的缺陷。技术实现要素：3.有鉴于此，本发明提出一种基于雷达和视频融合的公路监控方法及系统，可以解决现有公路监测方法所存在的检测精度不高的缺陷。4.本发明的技术方案是这样实现的：5.一种基于雷达和视频融合的公路监控方法，具体包括以下步骤：6.步骤s1，设置雷达设备和摄像设备的时间同步；7.步骤s2，依据雷达设备获取第一结构化数据，并发送至数据融合模块中；8.步骤s3，依据摄像设备获取第二结构化数据，并发送至数据融合模块中；9.步骤s4，数据融合模块依据时间戳，以第二结构化数据为准，匹配第一结构化数据；10.步骤s5，将已匹配的第一结构化数据和第二结构化数据进行目标配对，若目标配对成功，叠加第一结构化数据和第二结构化数据的信息，并将叠加后的数据发送至数据分析模块中，否则，将未目标配对成功的第一结构化数据或第二结构化数据发送至数据分析模块中；11.步骤s6，数据分析模块依据接收到的数据进行交通事件判断，从而实现公路的监控。12.作为所述基于雷达和视频融合的公路监控方法的进一步可选方案，所述步骤s2具体包括以下步骤：13.步骤s21，获取雷达设备原始数据，并解析生成初始结构化数据；14.步骤s22，将初始结构化数据进行坐标转换得到第一结构化数据。15.作为所述基于雷达和视频融合的公路监控方法的进一步可选方案，所述步骤s3具体包括以下步骤：16.步骤s31，获取摄像设备原始数据，并输入至深度学习网络模型进行目标识别；17.步骤s32，深度学习网络模型输出识别结果，将识别结果进行解析生成第二结构化数据。18.作为所述基于雷达和视频融合的公路监控方法的进一步可选方案，所述步骤s5中将已匹配的第一结构化数据和第二结构化数据进行目标配对，具体包括以下步骤：19.步骤s51，计算第一结构化数据目标和第二结构化数据目标二者的iou值；20.步骤s52，依据二者的iou值进行目标配对是否成功判断。21.作为所述基于雷达和视频融合的公路监控方法的进一步可选方案，所述步骤s6具体包括以下步骤：22.步骤s61，数据分析模块依据接收到的数据分析该数据的类型、属性和行为；23.步骤s62，依据该数据的类型、属性和行为判断是否存在交通事件，若是，则进行交通事件告警上报。24.一种基于雷达和视频融合的公路监控系统，所述系统包括：25.设置模块，用于设置雷达设备和摄像设备的时间同步；26.雷达设备，用于获取第一结构化数据，并发送至数据融合模块中；27.摄像设备，用于获取第二结构化数据，并发送至数据融合模块中；28.数据融合模块，用于依据时间戳，以第二结构化数据为准，匹配第一结构化数据；29.目标配对模块，用于将已匹配的第一结构化数据和第二结构化数据进行目标配对，若目标配对成功，叠加第一结构化数据和第二结构化数据的信息，并将叠加后的数据发送至数据分析模块中，否则，将未目标配对成功的第一结构化数据或第二结构化数据发送至数据分析模块中；30.数据分析模块，用于依据接收到的数据进行交通事件判断，从而实现公路的监控。31.作为所述基于雷达和视频融合的公路监控系统的进一步可选方案，所述雷达设备包括：32.第一获取模块，用于获取雷达设备原始数据；33.第一解析模块，用于将雷达设备原始数据解析生成初始结构化数据；34.转换模块，用于将初始结构化数据进行坐标转换得到第一结构化数据。35.作为所述基于雷达和视频融合的公路监控系统的进一步可选方案，所述摄像设备包括：36.第二获取模块，用于获取摄像设备原始数据；37.深度学习网络模型，用于对摄像设备原始数据进行目标识别，并输出识别结果；38.第二解析模块，用于将识别结果进行解析生成第二结构化数据。39.作为所述基于雷达和视频融合的公路监控系统的进一步可选方案，所述目标配对模块包括：40.计算模块，用于计算第一结构化数据目标和第二结构化数据目标二者的iou值；41.第一判断模块，用于依据二者的iou值进行目标配对是否成功判断；42.叠加模块，用于叠加第一结构化数据和第二结构化数据的信息。43.作为所述基于雷达和视频融合的公路监控系统的进一步可选方案，所述数据分析模块包括：44.处理模块，用于依据接收到的数据分析该数据的类型、属性和行为；45.第二判断模块，用于依据该数据的类型、属性和行为判断是否存在交通事件；46.告警模块，用于进行交通事件告警上报。47.本发明的有益效果是：通过将雷达设备和摄像设备的时间进行同步，并依据时间戳匹配第一结构化数据和第二结构化数据，能够有效实现第一结构化数据和第二结构化数据，然后依据匹配好的第一结构化数据和第二结构化数据进行目标配对，配对成功进行第一结构化数据和第二结构化数据的信息叠加，能够有效提高数据信息的多样化，从而提高检测的精度。附图说明48.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。49.图1为本发明一种基于雷达和视频融合的公路监控方法的流程示意图；50.图2为本发明一种基于雷达和视频融合的公路监控系统的组成示意图。具体实施方式51.下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。52.参考图1-2，一种基于雷达和视频融合的公路监控方法，具体包括以下步骤：53.步骤s1，设置雷达设备和摄像设备的时间同步；54.步骤s2，依据雷达设备获取第一结构化数据，并发送至数据融合模块中；55.步骤s3，依据摄像设备获取第二结构化数据，并发送至数据融合模块中；56.步骤s4，数据融合模块依据时间戳，以第二结构化数据为准，匹配第一结构化数据；57.步骤s5，将已匹配的第一结构化数据和第二结构化数据进行目标配对，若目标配对成功，叠加第一结构化数据和第二结构化数据的信息，并将叠加后的数据发送至数据分析模块中，否则，将未目标配对成功的第一结构化数据或第二结构化数据发送至数据分析模块中；58.步骤s6，数据分析模块依据接收到的数据进行交通事件判断，从而实现公路的监控。59.在本实施例中，通过将雷达设备和摄像设备的时间进行同步，并依据时间戳匹配第一结构化数据和第二结构化数据，能够有效实现第一结构化数据和第二结构化数据，然后依据匹配好的第一结构化数据和第二结构化数据进行目标配对，配对成功进行第一结构化数据和第二结构化数据的信息叠加，能够有效提高数据信息的多样化，从而提高检测的精度。60.优选的，所述步骤s2具体包括以下步骤：61.步骤s21，获取雷达设备原始数据，并解析生成初始结构化数据；62.步骤s22，将初始结构化数据进行坐标转换得到第一结构化数据。63.在本实施例中，设置雷达设备实时信息上报周期为1秒，获取雷达设备原始数据，解析生成初始结构化数据，再通过坐标转换将初始结构化数据转换为摄像枪像素坐标，得到第一结构化数据，将第一结构化数据发送到数据融合模块中；需要说明的是，所述实时信息上报周期可按照用户需求设置。64.优选的，所述步骤s3具体包括以下步骤：65.步骤s31，获取摄像设备原始数据，并输入至深度学习网络模型进行目标识别；66.步骤s32，深度学习网络模型输出识别结果，将识别结果进行解析生成第二结构化数据。67.在本实施例中，获取摄像枪帧数据，帧数据间隔为1秒，输入到深度学习网络模型进行目标识别，深度学习网络模型输出识别结果，将识别结果进行解析生成第二结构化数据，将第二结构化数据发送至数据融合模块中；需要说明的是，所述获取摄像枪帧数据间隔可按照用户需求设置。68.优选的，所述步骤s5中将已匹配的第一结构化数据和第二结构化数据进行目标配对，具体包括以下步骤：69.步骤s51，计算第一结构化数据目标和第二结构化数据目标二者的iou值；70.步骤s52，依据二者的iou值进行目标配对是否成功判断。71.在本实施例中，数据融合模块分别接收雷达和摄像枪的结构化数据，以摄像枪的结构化数据为准，基于时间戳匹配雷达的结构化数据，数据融合模块将已匹配的2组结构化数据进行目标的配对，以摄像枪的结构化数据为准，依次取出结构化数据中的目标，遍历雷达结构化数据中的目标，计算iou值，根据iou值确认是否为同一个目标，若是，则叠加2个目标的信息，发送至数据分析模块；若不是，则继续配对，直至结构化数据中的目标配对结束；需要说明的是，数据融合模块在第一结构化数据和第二结构化数据进行目标配对的过程中，出现无目标配对的情况，则认为是雷达设备和摄像设备其中一个传感器未识别到对应的目标，将第一结构化数据或第二结构化数据发送至数据分析模块。72.优选的，所述步骤s6具体包括以下步骤：73.步骤s61，数据分析模块依据接收到的数据分析该数据的类型、属性和行为；74.步骤s62，依据该数据的类型、属性和行为判断是否存在交通事件，若是，则进行交通事件告警上报。75.一种基于雷达和视频融合的公路监控系统，所述系统包括：76.设置模块，用于设置雷达设备和摄像设备的时间同步；77.雷达设备，用于获取第一结构化数据，并发送至数据融合模块中；78.摄像设备，用于获取第二结构化数据，并发送至数据融合模块中；79.数据融合模块，用于依据时间戳，以第二结构化数据为准，匹配第一结构化数据；80.目标配对模块，用于将已匹配的第一结构化数据和第二结构化数据进行目标配对，若目标配对成功，叠加第一结构化数据和第二结构化数据的信息，并将叠加后的数据发送至数据分析模块中，否则，将未目标配对成功的第一结构化数据或第二结构化数据发送至数据分析模块中；81.数据分析模块，用于依据接收到的数据进行交通事件判断，从而实现公路的监控。82.在本实施例中，通过将雷达设备和摄像设备的时间进行同步，并依据时间戳匹配第一结构化数据和第二结构化数据，能够有效实现第一结构化数据和第二结构化数据，然后依据匹配好的第一结构化数据和第二结构化数据进行目标配对，配对成功进行第一结构化数据和第二结构化数据的信息叠加，能够有效提高数据信息的多样化，从而提高检测的精度。83.优选的，所述雷达设备包括：84.第一获取模块，用于获取雷达设备原始数据；85.第一解析模块，用于将雷达设备原始数据解析生成初始结构化数据；86.转换模块，用于将初始结构化数据进行坐标转换得到第一结构化数据。87.在本实施例中，设置雷达设备实时信息上报周期为1秒，获取雷达设备原始数据，解析生成初始结构化数据，再通过坐标转换将初始结构化数据转换为摄像枪像素坐标，得到第一结构化数据，将第一结构化数据发送到数据融合模块中；需要说明的是，所述实时信息上报周期可按照用户需求设置。88.优选的，所述摄像设备包括：89.第二获取模块，用于获取摄像设备原始数据；90.深度学习网络模型，用于对摄像设备原始数据进行目标识别，并输出识别结果；91.第二解析模块，用于将识别结果进行解析生成第二结构化数据。92.在本实施例中，获取摄像枪帧数据，帧数据间隔为1秒，输入到深度学习网络模型进行目标识别，深度学习网络模型输出识别结果，将识别结果进行解析生成第二结构化数据，将第二结构化数据发送至数据融合模块中；需要说明的是，所述获取摄像枪帧数据间隔可按照用户需求设置。93.优选的，所述目标配对模块包括：94.计算模块，用于计算第一结构化数据目标和第二结构化数据目标二者的iou值；95.第一判断模块，用于依据二者的iou值进行目标配对是否成功判断；96.叠加模块，用于叠加第一结构化数据和第二结构化数据的信息。97.在本实施例中，数据融合模块分别接收雷达和摄像枪的结构化数据，以摄像枪的结构化数据为准，基于时间戳匹配雷达的结构化数据，数据融合模块将已匹配的2组结构化数据进行目标的配对，以摄像枪的结构化数据为准，依次取出结构化数据中的目标，遍历雷达结构化数据中的目标，计算iou值，根据iou值确认是否为同一个目标，若是，则叠加2个目标的信息，发送至数据分析模块；若不是，则继续配对，直至结构化数据中的目标配对结束；需要说明的是，数据融合模块在第一结构化数据和第二结构化数据进行目标配对的过程中，出现无目标配对的情况，则认为是雷达设备和摄像设备其中一个传感器未识别到对应的目标，将第一结构化数据或第二结构化数据发送至数据分析模块。98.优选的，所述数据分析模块包括：99.处理模块，用于依据接收到的数据分析该数据的类型、属性和行为；100.第二判断模块，用于依据该数据的类型、属性和行为判断是否存在交通事件；101.告警模块，用于进行交通事件告警上报。102.以上所述仅为本发明的较佳实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!