一种多智能体协同定位救援方法 专利技术说明

计算;推算;计数设备的制造及其应用技术1.本发明涉及协同定位的技术领域，具体涉及一种多智能体协同定位救援方法。背景技术：2.无人机因其灵活、垂直起降等特点，在救援领域中大放异彩。救援检测无人机在飞行环境中执行不同飞行任务。救援任务中，无人机通过图像检测发现救援目标后，确认目标相对无人机的准确方位，从而协同引导其他无人机或后续救援力量。3.但是，如何在室内这种能够在受限环境或在无gps的环境下自主飞行，如何的避障系统避免机身损坏、减少伤及人身和损坏建筑，并对精准地确定目标的准确方位，是当前面临的问题。技术实现要素：4.针对现有技术中所存在的不足，本发明提供了一种多智能体协同定位救援方法，以解决现有技术中人工分拣导致车辆满载程度不一、满载率不高的技术问题。5.本发明提供了一种多智能体协同定位救援方法，包括：6.s1、无人机基于其摄像单元对室内环境成像，对成像图像中的待救援人员进行检测；7.s2、无人机基于其处理单元对所述成像图像进行处理，并将处理结果和自身惯性测量单元的三维轨迹数据发送至后方地面站；8.s3、后方地面站基于所述处理结果和三维轨迹数据，对室内环境进行三维场景重建，并于所述三维场景中标注出所述待救援人员位置。9.可选地，所述无人机基于其摄像单元对环境成像，对成像图像中的待救援人员进行检测，包括：10.所述摄像单元获取包括彩色图像、深度图像及rgb数据，所述rgb数据通过yolov5检测框架对rgb数据进行救援人员检测。11.可选地，所述无人机基于其摄像单元对环境成像，对成像图像中的待救援人员进行检测，还包括：12.所述摄像单元采用深度相机以交叉视角对室内环境成像。13.可选地，所述无人机基于其处理单元对所述成像图像进行处理，包括：14.所述处理单元包括检测线程和导航避障线程，所述检测线程利用彩色图像检测待救援人员同时，所述导航避障线程利用所述深度相机采集的深度信息，将其转换获取点云pcd数据生成八叉树地图。15.可选地，所述后方地面站基于所述处理结果和三维轨迹数据，对室内环境进行三维场景重建，包括：16.基于tsdf模型三维环境空间体素voxel，通过求取每个体素格voxel的值来确定深度点云的边界条件，然后使用marchingcubes算法以线性插值方式来提取或逼近表面，再依靠rgb图像数据中的对应像素位置的颜色信息进行着色和纹理重建，以构建所述表面，并根据接收的处理结果和三维轨迹数据更新修正三维场景。17.相比于现有技术，本发明具有如下有益效果：18.本发明中，根据无人机摄像单元检测图像对飞行经过的环境进行三维场景重建，根据无人机自身算力要求执行精细建图或粗略建图，将单位时间的场景建图回传控制站。每台无人机在飞行同时记录自身三维轨迹数据并回传，后续地面控制站根据无人机imu三维轨迹数据与该无人机重建的三维场景进行完整三维场景拼接。实现待救援目标快速准确的定位，有利于快速制定救援方案。附图说明19.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。20.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。21.图1为本发明的流程示意图。具体实施方式22.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术的一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。本发明实例中相同标号的功能单元具有相同和相似的结构和功能。23.参见图1，本发明提供了本发明提供了一种多智能体协同定位救援方法，包括：24.s1、无人机基于其摄像单元对室内环境成像，对成像图像中的待救援人员进行检测；25.s2、无人机基于其处理单元对所述成像图像进行处理，并将处理结果和自身惯性测量单元的三维轨迹数据发送至后方地面站；26.s3、后方地面站基于所述处理结果和三维轨迹数据，对室内环境进行三维场景重建，并于所述三维场景中标注出所述待救援人员位置。27.本实施例中，无人机搭载的摄像单元拍摄结果包含rgb数据和depth数据。飞行过程中通过yolov5检测框架对rgb数据进行救援人员检测，同时无人机优选搭载深度相机以45°的交叉视角对室内环境成像，这样既保证拍摄图像中存在可衔接部分，也能扩展视角获取更多室内环境数据。28.使用无人机自带嵌入式计算卡(处理单元)通过local-to-global的位置优化策略来实现邻近帧匹配。匹配后的多幅图像采用voxelhashing算法挑选pose改变量最大的帧集合，将姿态改变映射到全局的点云模型中。经单位时间后，将局部场景的点云模型数据和imu三维轨迹数据回传至地面控制站，地面控制站依靠强大算力将各无人机回传的新增的三维场景点云数据以各无人机imu轨迹数据为标准，实现完整大场景拼接与延伸。29.所述摄像单元还可以产生彩色图像和深度图像，具体在单一无人机起飞飞行执行任务过程中，机载成像系统生成的每帧rgb数据，都经过yolov5检测框架进行处理，结合预先训练好的救援模型判断，根据计算得出的质量分数确定彩色图像中是否包含待救援人员。经darknet框架的yolov5判断存在待救援人员后，在目标画面上标注框图并记录待救援目标的相对无人机的位置信息。30.而在无人机的飞行过程中，所述嵌入式计算卡(处理单元)包含检测线程和导航避障线程。检测线程利用成像系统彩色信息检测待救援人员同时，导航避障线程利用深度相机采集深度信息并转换获取点云pcd数据生成octomap地图(八叉树地图)，以概率形式表示体素格是否被占据，使用连续无人机深度图像进行更新来获取该体素位置可否通过的动态表达。获取八叉树地图后可通过octomap_path_planner进行路径规划和避障导航。点云获取过程由深度相机直接输出并与飞行imu轨迹数据一起传输至后方地面站处理，无需无人机额外负担算力资源。31.建图工作由后方地面站负责，后方地面站获取的无人机回传的点云数据为三维离散数据场分布，数据杂乱导致直接使用效率低下，本专利使用marchingcubes算法以线性插值方式提取或逼近等值面来实现点云场景可视化。当确定深度图像的点云边界条件后，采用tsdf模型对边界内的空间以预先设定的大小进行体素化voxel。tsdf(truncatedsigned distancefunction)基于截断符号距离函数是一种3d重建计算隐势面的方法。本专利使用tsdf构建三维环境空间体素voxel，通过求取每个体素格voxel的值来确定深度点云的边界条件，再依靠rgb图像数据中的对应像素位置的颜色信息进行着色和纹理重建，以构建所述表面，并根据接收的处理结果和三维轨迹数据更新修正三维场景，根据后续接受点云数据持续更新修正该无人机飞行轨迹经历的三维场景。32.本发明在缺乏gps卫星信号及无人为操控情况下，无人机也能依靠其强大的边缘计算能力，根据提供机载传感器的融合定位，使无人机能够在室内复杂环境中飞行，实现自动化自主悬停飞行，完成精确定位导航任务。通过自身的摄像单元，获取室内的环境信息，并通过摄像单元的彩色图像和深度图像来判定是否待救援人员，并对救援人员的位置进行标准，实现精确救援。33.在另一实施例中，具有多个无人机同时执行任务时，各自传回自身采集的点云数据和飞行imu轨迹数据，两台无人机起飞位置偏移量为t(a,b,c),两台无人机各自起飞执行救援任务后各自无人机记录imu轨迹数据，轨迹起始位置也相差t(a,b,c)。后方地面站从无人机起飞开始即结合轨迹数据和点云数据进行该无人机飞行经历过的三维场景重建，一条飞行轨迹对应一台无人机飞行经历的三维场景。地面站以各无人机轨迹起点为相对原点，减去偏移量t(a,b,c)后以y＝x*r+t方式拼接两架无人机飞行轨迹对应的三维场景，多架无人机也是执行类似操作形成多无人机的一个大型救援现场场景图。并根据检测出救援目标无人机的信息标注出待救援人员位置，供后方救援决策使用。34.多无人机在执行飞行任务过程中，可以根据预先搭建的自组通信网络，在飞行过程中自组通信网络会持续相互分享不同无人机的飞行轨迹，在不同飞行轨迹发生重叠的地方，对应的无人机会进行轨迹衍生以寻找无人机新的探索方向，确保飞行轨迹之间存在最小安全距离。探索新的区域以避免不同无人机飞行轨迹交互与重合，实现位置共享与目标分配，避免不同无人机重复检测相同区域，提高飞行资源利用率，改善整体救援系统的执行效率。35.需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。36.以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!