一种高精地图数据处理方法和装置与流程

计算;推算;计数设备的制造及其应用技术1.本技术涉及地图数据处理技术领域，尤其涉及一种高精地图数据处理方法和装置。背景技术：2.地图在人们生活出行过程中扮演着重要的角色，在形成地图之前，需要通过惯性测量单元(intertial measurement uint，imu)、全球定位系统(global positioning system，gps)、实时动态测量(real time kinematic，rtk)或者光探测与测量(light detection and ranging，lidar)(例如激光雷达)等多种工具来采集子地图，再将采集到的子地图进行融合处理，形成全局地图。3.激光雷达进行采集制图的过程中，往往因为人员作息，计算资源，作业环境等问题而需要预先生成多个子地图(submap)，然后对各个子地图进行全局聚合，拼接形成全局地图。目前，将多个子地图拼接形成全局地图往往具有较大误差，例如重影的问题，如何提高全局地图的精度值得研究。技术实现要素：4.为了解决上述技术问题，提出了本公开。本公开的实施例提供了一种高精地图数据处理方法和装置。5.根据本公开的一个方面，提供了一种高精地图数据处理方法，包括：6.确定第一点云地图片段和第二点云地图片段的重叠区域，第一点云地图片段和第二点云地图片段属于第一点云地图；7.确定重叠区域的第一点云和第二点云，第一点云属于第一点云地图片段，第二点云属于第二点云地图片段；8.关联第一点云和第二点云；9.根据第一点云和第二点云确定第一点云地图片段和第二点云地图片段之间的第一坐标转换矩阵；10.根据第一坐标转换矩阵、初始的第二坐标转换矩阵和初始的第三坐标转换矩阵，确定目标第二坐标转换矩阵和目标第三坐标转换矩阵，其中，第二坐标转换矩阵用于将第一点云地图片段转换至世界坐标系下，第三坐标转换矩阵用于将第二点云地图片段转换至世界坐标系下；11.根据目标第二坐标转换矩阵和目标第三坐标转换矩阵对第一点云地图片段和第二点云地图片段进行聚合，得到全局地图。12.根据本公开实施例的又一个方面，提供了一种高精地图数据处理装置，包括：13.重叠区域确定模块，用于确定第一点云地图片段和第二点云地图片段的重叠区域，第一点云地图片段和第二点云地图片段属于第一点云地图；14.点云关联模块，用于确定重叠区域的第一点云和第二点云，第一点云属于第一点云地图片段，第二点云属于第二点云地图片段；15.点云关联模块还用于关联第一点云和第二点云；16.坐标转换矩阵确定模块，用于根据第一点云和第二点云确定第一点云地图片段和第二点云地图片段之间的第一坐标转换矩阵；17.坐标转换矩阵确定模块还用于根据第一坐标转换矩阵、初始的第二坐标转换矩阵和初始的第三坐标转换矩阵，确定目标第二坐标转换矩阵和目标第三坐标转换矩阵，其中，第二坐标转换矩阵用于将第一点云地图片段转换至世界坐标系下，第三坐标转换矩阵用于将第二点云地图片段转换至世界坐标系下；18.地图聚合模块，用于根据目标第二坐标转换矩阵和目标第三坐标转换矩阵对第一点云地图片段和第二点云地图片段进行聚合，得到全局地图。19.根据本公开实施例的又一个方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行本公开上述任一实施例所述的高精地图数据处理方法。20.根据本公开实施例的又一个方面，提供了一种电子设备，所述电子设备包括：21.处理器；22.用于存储所述处理器可执行指令的存储器；23.所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现本公开上述任一实施例所述的高精地图数据处理方法。24.在本公开中，本技术实施例提供了一种高精地图数据处理方法和装置，首先关联第一点云地图片段和第二点云地图片段之间重叠区域的点云，从而确定两个点云地图片段之间的坐标转换矩阵，接着根据两个点云地图片段各自对应的初始的坐标转换矩阵和点云地图片段之间的坐标转换矩阵，得到两个点云地图片段各自对应的目标坐标转换矩阵，基于两个点云地图片段各自对应的目标坐标转换矩阵对点云地图片段进行聚合，得到全局地图。在本方案中，由于重叠区域表示了同一块真实物理世界区域，那么通过关联第一点云地图片段位于该重叠区域的点云和与之匹配的第二点云地图片段位于该重叠区域的点云，基于该关联能够精确地得到点云地图片段之间的坐标转换矩阵，从而得到精确的点云地图片段各自对应的目标坐标转换矩阵，使得消除了点云地图片段聚合过程中的重影，提升了全局地图的精度。附图说明25.通过结合附图对本技术实施例进行更详细的描述，本技术的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本技术实施例的进一步理解，并且构成说明书的一部分，与本技术实施例一起用于解释本技术，并不构成对本技术的限制。在附图中，相同的参考标号通常代表相同部件或步骤。26.图1是本公开所适用的场景图。27.图2是本公开一示例性实施例提供的高精地图数据处理方法的流程示意图。28.图3是本公开另一示例性实施例提供的构建第一点云地图的方法的流程示意图。29.图4是本公开一示例性实施例提供的关联点云的方法的示意性流程图。30.图5是本公开一示例性实施例提供的重叠区域确定方法的示意性流程图。31.图6是本公开一示例性实施例提供的第一坐标转换矩阵确定方法的示意性流程图。32.图7是本公开另一示例性实施例提供的高精地图数据处理方法的流程示意图。33.图8是本公开一示例性实施例提供的高精地图数据处理装置的结构图。34.图9是本公开另一示例性实施例提供的高精地图数据处理装置的结构图。35.图10是本技术一示例性实施例提供的电子设备的结构图。具体实施方式36.下面，将参考附图详细地描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。37.应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。38.本领域技术人员可以理解，本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。39.还应理解，在本公开实施例中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。40.还应理解，对于本公开实施例中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。41.另外，本公开中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本公开中字符“/”，一般表示前后关联对象是一种“或”的关系。42.还应理解，本公开对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。43.同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。44.以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。45.对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。46.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。47.本公开实施例可以应用于终端设备、计算机系统、服务器等电子设备，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与终端设备、计算机系统、服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统、大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。48.终端设备、计算机系统、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。49.申请概述50.目前，获取高精度地图的方案主要是利用rtk+imu生成的高精度定位位姿对激光雷达产生的点云子地图进行聚合，然后优化定位位姿，从而获得全局点云地图。但是，使用rtk+imu的成本较高，不利于该方案的推广；另外，在某些路段rtk信号较差，定位反而效果较差，如在隧道、高架桥等环境下，路程比较长，只通过后解算方式计算的定位位姿往往精度不够，不能够解决子地图在聚合的过程中出现重影的问题。51.因此，本技术实施例提供了一种高精地图数据处理方法和装置，首先关联第一点云地图片段和第二点云地图片段之间重叠区域的点云，从而确定两个点云地图片段之间的坐标转换矩阵，接着根据两个点云地图片段各自对应的初始的坐标转换矩阵和点云地图片段之间的坐标转换矩阵，得到两个点云地图片段各自对应的目标坐标转换矩阵，基于两个点云地图片段各自对应的目标坐标转换矩阵对点云地图片段进行聚合，得到全局地图。在本方案中，由于重叠区域表示了同一块真实物理世界区域，那么通过关联第一点云地图片段位于该重叠区域的点云和与之匹配的第二点云地图片段位于该重叠区域的点云，基于该关联能够精确地得到点云地图片段之间的坐标转换矩阵，从而得到精确的点云地图片段各自对应的目标坐标转换矩阵，使得消除了点云地图片段聚合过程中的重影，提升了全局地图的精度。52.示例性系统53.本公开实施例可应用于需要进行构建高精地图的应用场景中，该应用场景可包括辅助驾驶或自动驾驶等应用场景。54.例如，在辅助驾驶或自动驾驶的应用场景中，可由车辆的车载图像传感器拍摄车辆所在道路的图像，以获取包含道路的图像，并且在车辆上设置车载激光传感器和车载定位终端，通过车载激光传感器确定用于构建地图的点云数据集，通过车载定位终端获取全球定位系统信息，然后通过本公开实施例的方案构建高精地图。55.图1是本公开所适用的一个场景图。如图1所示，本公开实施例应用于辅助驾驶或自动驾驶的应用场景中，其中，高精地图数据处理设备100可与车载激光传感器200、车载图像传感器300和车载定位终端400相连接。56.其中，该高精地图数据处理设备100可分别与车载激光传感器200、车载图像传感器300和车载定位终端400电连接，例如，该高精地图数据处理设备100为车载计算机，这种情况下，该高精地图数据处理设备100可分别与车载激光传感器200、车载图像传感器300和车载定位终端400电连接。另外，该高精地图数据处理设备100与车载激光传感器200、车载图像传感器300和车载定位终端400的连接方式也可为网络连接。57.该车载激光传感器200可用于生成点云数据集，并将该点云数据集传输至高精地图数据处理设备100。另外，车载图像传感器300可拍摄包含道路的图像，并将该图像传输至高精地图数据处理设备100。车载定位终端400可获取全球定位系统信息，并将该信息传输至高精地图数据处理设备100。58.高精地图数据处理设备100在获取点云数据集后，能够确定多个点云地图片段中第一点云地图片段和第二点云地图片段之间的重叠区域，并关联第一点云地图片段和第二点云地图片段分别位于该重叠区域的点云。然后基于关联后的点云确定第一点云地图片段和第二点云地图片段之间的第一坐标转换矩阵，根据第一坐标转换矩阵优化第一点云地图片段和第二点云地图片段各自对应的坐标转换矩阵，从而经过聚合之后得到高精度的全局地图。59.示例性的，该构建语义地图的设备100可为车辆内的服务器(例如车载的智能终端)，实现辅助驾驶或自动驾驶的功能。60.示例性方法61.图2是本公开一示例性实施例提供的高精地图数据处理方法的流程示意图。本实施例可应用在电子设备上，如图2所示，包括如下步骤：62.步骤201，确定第一点云地图片段和第二点云地图片段的重叠区域，第一点云地图片段和第二点云地图片段属于第一点云地图。63.车载激光传感器能够生成该第一点云地图，该第一点云地图经过分割处理生成多个点云地图片段，其中包括该第一点云地图片段和该第二点云地图片段，点云地图片段也可称为子地图(submap)。64.在该多个点云地图片段中存在第一点云地图片段和第二点云地图片段，第一点云地图片段的部分点云和第二点云地图片段的部分点云表示了同一块真实世界的物理区域，那么该第一点云地图片段的部分点云和该第二点云地图片段的部分点云形成了重叠区域。65.步骤202，确定重叠区域的第一点云和第二点云，第一点云属于第一点云地图片段，第二点云属于第二点云地图片段。66.其中，第一点云即上述第一点云地图片段的部分点云，第二点云即上述第二点云地图片段的部分点云。67.步骤203，关联第一点云和第二点云。68.点云即点的集合，每个点都表示了真实世界的对象，每个点都有用于标识该点的属性信息，例如点在真实世界的物理位置信息、点表示的对象的语义信息等等，因此，能够基于点云的属性信息关联该第一点云和该第二点云。69.步骤204，根据关联后的第一点云和第二点云确定第一点云地图片段和第二点云地图片段之间的第一坐标转换矩阵。70.其中，第一坐标转换矩阵用于将第一点云中点的位置坐标转换为第二点云中相匹配的点的位置坐标。71.其中，坐标转换矩阵也可理解为，第一点云地图片段对应的车载激光传感器的第一位姿和第二点云地图片段对应的车载激光传感器的第二位姿之间的转换矩阵，是旋转矩阵与平移向量组成的齐次变换矩阵。72.步骤205，根据第一坐标转换矩阵、初始的第二坐标转换矩阵和初始的第三坐标转换矩阵，确定目标第二坐标转换矩阵和目标第三坐标转换矩阵，其中，第二坐标转换矩阵用于将第一点云地图片段转换至世界坐标系下，第三坐标转换矩阵用于将第二点云地图片段转换至世界坐标系下。73.每个点云地图片段都有各自独立的相对坐标系，通过坐标转换矩阵能将其转换到世界坐标系下。74.步骤206，根据目标第二坐标转换矩阵和目标第三坐标转换矩阵对第一点云地图片段和第二点云地图片段进行聚合，得到全局地图。75.将初始的第二坐标转换矩阵和初始的第三坐标转换矩阵经过优化后分别得到目标第二坐标转换矩阵和目标第三坐标转换矩阵，然后根据目标第二坐标转换矩阵和目标第三坐标转换矩阵对第一点云地图片段和第二点云地图片段进行聚合，从而得到高精度的全局地图。76.在本公开中，提供了一种高精地图数据处理方法和装置，首先关联第一点云地图片段和第二点云地图片段之间重叠区域的点云，从而确定两个点云地图片段之间的坐标转换矩阵，接着根据两个点云地图片段各自对应的初始的坐标转换矩阵和点云地图片段之间的坐标转换矩阵，得到两个点云地图片段各自对应的目标坐标转换矩阵，基于两个点云地图片段各自对应的目标坐标转换矩阵对点云地图片段进行聚合，得到全局地图。在本方案中，由于重叠区域表示了同一块真实物理世界区域，那么通过关联第一点云地图片段位于该重叠区域的点云和与之匹配的第二点云地图片段位于该重叠区域的点云，基于该关联能够精确地得到点云地图片段之间的坐标转换矩阵，从而得到精确的点云地图片段各自对应的目标坐标转换矩阵，使得消除了点云地图片段聚合过程中的重影，提升了全局地图的精度。77.在一个示例中，获取第一点云地图片段和第二点云地图片段的方法包括：78.首先获取由车载激光传感器采集的由车辆的周围环境形成的点云数据集，以及获取由车载图像传感器采集的与该点云数据集对应的图像；然后根据该点云数据集与该图像中像素语义的对应关系确定第一点云地图的多个点云地图片段，多个点云地图片段中包括第一点云地图片段和第二点云地图片段；获取车载定位终端采集的全球定位系统信息；根据全球定位系统信息将多个点云地图片段中点云的位置坐标转换至世界坐标系下。79.在上述示例中，本公开通过点云数据集与图像中像素语义的对应关系确定具有语义标签的第一点云地图，从而生成具有语义标签的多个点云地图片段，然后将多个点云地图片段中点云的位置坐标转换至世界坐标系下，以便于后续关联第一点云地图片段中的点云与第二点云地图片段中的点云。80.在一个示例中，获取点云数据集的方式包括：81.通过车载激光传感器，获取原始的点云数据集，然后通过惯性测量单元(inertial measurement unit，imu)对原始的点云数据集中的点进行运动畸变矫正，得到精度较高的点云数据集。82.其中，imu可设置在车辆上，通过imu的预积分，可估测出点云数据集中的各点对应时刻的车载激光传感器的位姿，并据此将各点进行转换，使各点对应的车载激光传感器的位姿相同，实现对点云数据集的运动畸变矫正。83.本示例性实施例中，对点云数据集中的点进行运动畸变矫正，将经过运动畸变矫正的点构成的点云数据集作为用于构建第一点云地图的点云数据集，从而能够减少运动畸变的影响，提高第一点云地图的准确度。84.在一个示例中，根据该点云数据集与该图像中像素语义的对应关系确定第一点云地图的多个点云地图片段，包括：85.确定点云数据集中的点与图像中的像素之间的对应关系，然后基于图像中的像素的语义和对应关系，确定点云数据集中的点的语义，接着基于点云数据集中的点的语义构建第一点云地图，该第一点云地图为语义地图，最后将第一点云地图进行分割处理得到多个点云地图片段。86.其中，确定点云数据集中的点与图像中的像素之间的对应关系的方式包括：87.基于车载图像传感器拍摄图像的时间和车载激光传感器发射激光的时间，通过以下公式确定第一系数：88.k＝(tc-tl0)(tl1-tl0)ꢀꢀꢀ公式(1)；89.其中，k为第一系数，tc为车载图像传感器拍摄图像的时间，tl0为车载激光传感器发射第一激光的时间，tl1为车载激光传感器发射第二激光的时间，第一激光为tc前最后一帧点云对应的激光，第二激光为tc后第一帧点云对应的激光；90.确定车载激光传感器的位姿；91.基于车载激光传感器的位姿和第一系数，通过以下公式确定第二系数：[0092][0093]其中，tc为第二系数，t1为车载激光传感器在tl0的位姿，t2为车载激光传感器在tl1的位姿，代表位姿的旋转的四元数插值与平移的线性差值，代表位姿的四元数与平移向量的常数值的乘法；[0094]基于第二系数，通过以下公式确定点云数据集中的点与图像中的像素之间的对应关系：[0095]px＝k×tcl×tc×plꢀꢀꢀ公式(3)；[0096]其中，px为图像中的像素在图像坐标系中的坐标，k为车载图像传感器的内参标定矩阵，tcl为点云数据集的地图坐标系转换至图像坐标系的外参标定矩阵，pl为第二激光的点云在地图坐标系中的坐标。[0097]基于这一实施例，可确定点云数据集中的点与图像中的像素之间的对应关系，以便根据该对应关系和图像中的像素的语义，确定点云数据集中的各点的语义。[0098]在上述示例性实施例中，确定车载激光传感器的位姿可通过以下步骤实现：[0099]首先，基于上述点云数据集，调整车载的惯性测量单元imu的白噪声和零偏bias。[0100]然后，基于全球定位系统(global positioning system，gps)和调整白噪声和零偏后的惯性测量单元，确定所述车载激光雷达的位姿。[0101]imu内通常安装有三轴的陀螺仪和三个方向的加速度计，能够用于测量物体在三维空间中的角速度和加速度。但是随着测量时间的延长，imu的白噪声和零偏bias逐渐增长，会影响imu的测量精度。[0102]针对这一情况，在本公开示例性实施例中，基于上述点云数据集调整imu的白噪声和零偏bias。该点云数据集经过运动畸变矫正，通过调整，能够降低imu的白噪声和零偏bias。[0103]在调整imu的白噪声和零偏bias之后，通过gps和imu，可确定车载激光传感器的位姿。其中，gps中接收机可接收卫星发送的星历参数和时间信息，并基于该星历参数和时间信息，计算出接收机所处的位置。另外，车载的imu可测量出车辆在三维空间中的角速度和加速度。这种情况下，gps和imu相结合，即可确定车载激光雷达的位姿。[0104]在本公开提供的第一点云地图构建方法中，需要基于车载激光传感器的位姿确定点云数据集中的点与图像中的像素之间的对应关系。另外，在基于点云数据集中的点的语义构建第一点云地图时，往往也需要基于车载激光传感器的位姿确定车辆的位姿，实现对车辆的定位，并基于对车辆的定位和该点云数据集，确定道路和道路周边包含的各个物体所处的位置。[0105]在现有的构建地图的技术中，通常基于imu和实时动态差分定位系统(real time kinematic，rtk)确定激光雷达的位姿。而rtk的成本较高，从而导致现有的构建地图的技术所需的成本较高，这也为地图构建技术的推广带来阻碍。[0106]但是，在本公开示例性实施例提供的方案中，可通过imu和gps确定激光雷达的位姿。gps的成本通常小于rtk的成本，因此，能够减少构建语义地图时所需的成本，有利于语义地图构建技术的推广。[0107]进一步的，在本公开示例性实施例提供的方案中，在确定车载激光传感器的位姿时，通过经过运动畸变矫正后的点云数据集，对imu的白噪声和零偏bias进行了调整，从而提高了imu测量的准确度，相应的提高了确定车载激光传感器的位姿的准确度，进一步提高了第一点云地图的准确度，以便于后续构建高精度全局地图。[0108]图3是本公开另一示例性实施例提供的构建第一点云地图的方法的流程示意图，该流程为通过本公开示例性实施例的方案构建第一点云地图的整体流程的一个示例。[0109]参见图3，在本公开示例性实施例提供的构建第一点云地图的方法中，应用了车载图像传感器、车载激光传感器、imu、gps以及执行该方法的电子设备。[0110]在构建第一点云地图的过程中，车载图像传感器可拍摄包含道路的图像，并将该图像传输至电子设备，电子设备对该图像进行语义分割，获取图像中的像素的语义。[0111]车载激光传感器可获取点云数据集，并将该点云数据集传输至电子设备，电子设备对该点云数据集进行运动畸变矫正。另外，电子设备可通过运动畸变矫正的点云数据集调整imu的白噪声和零偏bias，并利用gps与调整后的imu确定车载激光传感器的位姿。[0112]由于车载激光传感器和车载图像传感器的安装位置通常不同，因此，可能存在车载激光传感器未被遮挡而车载图像传感器被遮挡的现象，这会导致图像中出现像素深度较大的区域，通过该区域中的像素确定的语义往往不准确。并且，车载图像传感器拍摄较远的景物时，分辨率较小，因此图像中同一像素可能关联点云数据集中的多个点，即同一像素与点云数据集中的多个点具有对应关系，该像素所在区域的深度较大，这种情况下，通过该区域中的像素确定的语义往往也不准确。上述深度较大的像素即为动态障碍物，通过深度滤波能够去除该动态障碍物，从而提升第一点云地图精度。[0113]另外，电子设备不仅需要确定点云数据集，还需要确定包含道路的图像，即建立该点云数据集与该图像之间的关联，并且确定该点云数据集中的点与该图像中的像素之间的对应关系。然后基于图像中的像素的语义以及点云数据集中的点与该图像中的像素之间的对应关系，确定点云数据集中的点的语义，并基于该点云数据集中的点的语义构建第一点云地图，并对第一点云地图进行分割处理，得到多个点云地图片段。[0114]图4是本公开一示例性实施例提供的关联点云的方法的示意性流程图，参见图4，在本公开另一示例性实施例中，可在上述图2或图3所示实施例的基础上，通过以下步骤关联第一点云和第二点云：[0115]步骤s2031，确定第一点云的所有点的语义种类和第二点云的所有点的语义种类。[0116]例如，第一点云包括{p1，p2，p3，p4}，第二点云包括{p5，p6，p7，p8}，第一点云的点的语义种类分别为树木、树木、车道、人，第二点云的点的语义种类分别为树木，树木、车道、狗。[0117]步骤s2032，确定分别属于第一点云和第二点云的具有相同语义种类的两个点。[0118]在步骤s2031的示例的基础上，例如，属于树木的第一点云中的点包括{p1，p2}、第二点云中的点包括{p5，p6}，那么具有树木语义标签的两个点有四种组合方式，包括{p1，p5}、{p1，p6}、{p2，p5}和{p2，p6}，即两个点中其中一个点属于第一点云，另一个点属于第二点云；属于车道的第一点云中的点包括{p3}、第二点云中的点包括{p7}，那么具有车道语义标签的两个点为{p3，p7}。[0119]步骤s2033，若具有相同语义种类的两个点之间的距离符合第一预设条件，则关联具有相同语义种类的两个点。[0120]其中，第一预设条件根据实际需要设置，例如，第一预设条件为“小于第一阈值，第一阈值为1米”等。[0121]应理解，语义关联的符合第一预设条件的第一点云中的点和第二点云中的点也可称为相匹配的两个点，即这两个点表示了同一个物理世界的对象。[0122]在步骤s2032的示例的基础上，例如，在具有树木标签的两个点中，{p1，p5}和{p2，p6}之间的距离符合该第一预设条件，那么分别关联p1和p5，p2和p6；{p3，p7}之间的距离符合该第一预设条件，那么关联p3和p7。[0123]在上述实施例中，通过语义关联符合第一预设条件的第一点云中的点和第二点云中的点，能够准确地得到相匹配的点，以便能够精确地计算第一点云地图片段和第二点云地图片段之间的第一坐标转换矩阵。[0124]图5是本公开一示例性实施例提供的重叠区域确定方法的示意性流程图，参见图5，在本公开另一示例性实施例中，可在上述所示实施例的基础上，通过以下步骤确定第一点云地图片段和第二点云地图片段的重叠区域：[0125]步骤s2011，确定第一点云地图片段中所有点的物理位置和第二点云地图片段中所有点的物理位置。[0126]应理解，点云地图中点的物理位置指的是该点表示的对象在真实世界的物理位置，该物理位置可用三维物理坐标表示，通常包括x、y和z方向三个维度。[0127]步骤s2012，以第一点云地图片段的所有点为基础构建k-维树。[0128]其中，k-维树是计算机科学中使用的一种数据结构，用来组织表示k维空间中的点集合，是一种带有约束条件的二分查找树。[0129]步骤s2013，若通过k-维树搜索到第二点云地图片段中物理位置与第一点云地图片段中点的物理位置的距离符合第二预设条件的点，则根据符合第二预设条件的第二点云地图片段中的点与第一点云地图中的点确定重叠区域。[0130]其中，第二预设条件根据需要设置，例如，第二预设条件为“小于第二阈值，第二阈值为10米”。[0131]在一个示例中，第一点云地图片段由上述图3所示的imu+gps的方式确定，并根据gps的位姿信息将其点云转换至世界坐标系下后，再进行上述图5所示方法，能够保证重叠区域的精度。[0132]在上述示例中，以第一点云地图片段中的点为基础构建k-维树，并搜索符合第二预设条件的第二点云地图片段中的点与第一点云地图中的点，从而确定重叠区域，使用该方法不仅计算方式简单，速度快，而且重叠区域的精度高。[0133]图6是本公开一示例性实施例提供的第一坐标转换矩阵确定方法的示意性流程图，如图6所示，在本公开另一示例性实施例中，可在上述所示实施例的基础上，通过以下步骤确定第一坐标转换矩阵：[0134]步骤s2041，确定第一点云和第二点云中关联后的特征点集对，特征点集对包括第一特征点集和第二特征点集，第一特征点集属于第一点云，第二特征点集属于第二点云。[0135]例如，第一特征点集ps1＝{p1，p2}，第二特征点集ps2＝{p5，p6}，其中，ps1中各个点的语义标签依次为：树木、树木，ps2中各个点的语义标签依次为：树木、树木。并且，p1与p5之间物理位置的距离以及p2与p6之间物理位置的距离都符合第一预设条件。即p1与p5是关联的、p2与p6是关联的。[0136]步骤s2042，根据第一特征点集和第一坐标转换矩阵确定第三特征点集。[0137]具体地，第一特征点集的位置坐标经过第一坐标转换矩阵转换后得到新的特征点集，该新的特征点集即为第三特征点集。[0138]例如，第三特征点集ps2’＝{p5’，p6’}，第三特征点集ps2’是由第一特征点集ps1的位置坐标矩阵和第一坐标转换矩阵t1相乘后得到的，如以下公式所示：[0139]p′s2＝t1×ps1ꢀꢀꢀ公式(4)；[0140]其中，t1表示6自由度矩阵，ps1表示p1和p2的位置坐标矩阵，例如p1的坐标为(x1，y1，z1)，p2的坐标为(x2，y2，z2)，由于t1表示6自由度矩阵，包括旋转和平移，大小是4*4，那么ps1在公式(4)中表示的矩阵为大小是4*2，可以看出，ps1中有n个点，那么其表示的矩阵的大小是4*n。[0141]步骤s2043，在第一损失值符合第三预设条件的情况下，确定目标第一坐标转换矩阵，第一损失值表示第三特征点集的位置和第二特征点集的位置之间协方差的马氏距离。[0142]示例性地，第三预设条件为第一损失值最小。[0143]具体地，如以下公式所示：[0144]loss1＝min‖t1×ps1-ps2‖ωꢀꢀꢀ公式(5)；[0145]其中，ω表示计算协方差，‖‖ω表示计算马氏距离，min表示计算最小值的函数，loss1表示损失值。当loss1最小的时候对应的t1为目标第一坐标转换矩阵。ps2在公式(5)中表示的矩阵参见上述ps1，在此不再赘述。[0146]以此类推，第一特征点集和第二特征点集中各自包括了多种语义标签时，目标第以坐标转换矩阵的确定方法为：[0147]假设第一特征点集ps1＝{p1，p2，p3，p4}，第二特征点集ps2＝{p5，p6，p7，p8}，其中，ps1中各个点的语义标签依次为：树木、树木、车道、人，ps2中各个点的语义标签依次为：树木、树木、车道、人。并且，p1与p5之间物理位置的距离、p2与p6之间物理位置的距离、p3与p7之间物理位置的距离、p4与p8之间物理位置的距离都符合第一预设条件。即p1与p5是关联的、p2与p6是关联的、p3与p7是关联的、p4与p8是关联的；[0148]将第一特征点集ps1按照语义种类分为多个子点集包括：ps11，ps12，ps13，ps11＝{p1，p2}，ps12＝{p3}，ps13＝{p4}，相应地第二特征点集ps2包括：ps21，ps22，ps23，ps21＝{p5，p6}，ps22＝{p7}，ps23＝{p8}，那么根据公式(4)可得到：[0149]loss2＝min(‖t1×ps11-ps21‖ω+‖t1×ps12-ps22‖ω+‖t1×ps13-ps23‖ω)ꢀꢀꢀ公式(6)；[0150]因此，当第一特征点集ps1和第二特征点集ps2按照语义种类分为n个子点集时(即点云的语义种类有n种)，确定目标第一坐标转换矩阵的公式如下所示：[0151][0152]其中，j＝1，2，…，n。当损失值loss最小的时候对应的t1为目标第一坐标转换矩阵。ps1j和ps2j在公式(7)中表示的位置坐标矩阵参见上述ps1，在此不再赘述。[0153]示例性地，利用最近点迭代(iterative closest point，icp)算法计算上述loss。[0154]上述示例中，根据关联后的第一特征点集和第一坐标转换矩阵，确定第三特征点集，然后根据第三特征点集的位置与第二特征点集的位置之间协方差的马氏距离确定第一损失值，当第一损失值符合第三预设条件时能够确定高精度的目标第一坐标转换矩阵，以便后续优化第二坐标转换矩阵和第三坐标转换矩阵。[0155]在一个示例中，目标第二坐标转换矩阵和目标第三坐标转换矩阵是在以第一坐标转换矩阵为约束条件下，第二损失值符合第四预设条件的矩阵，第二损失值表示第一坐标转换矩阵、第二坐标转换矩阵和第三坐标转换矩阵之间协方差的马氏距离。[0156]示例性地，第四预设条件为第二损失值为极小值。[0157]下面结合位姿图优化算法对目标第二坐标转换矩阵和目标第三坐标转换矩阵的计算方法进行说明，如以下公式所示：[0158][0159]其中，θ1表示第二坐标转换矩阵，θ2表示第三坐标转换矩阵，t12表示第一坐标转换矩阵，ω12表示第一坐标转换矩阵、第二坐标转换矩阵和第三坐标转换矩阵之间的协方差，‖‖ω表示计算马氏距离，表示李代数和位姿矩阵之间的减法。[0160]例如，θ1是6自由度矩阵，θ1＝[yaw1 pitch1 row1 x1 y1 z1]，yaw1，pitch1，row1为与欧拉角相关的数值，x1，y1，z1为与位置坐标相关的数值。θ2是6自由度矩阵，θ1＝[yaw2 pitch2 row2 x2 y2 z2]，yaw2，pitch2，row2为与欧拉角相关的数值，x2，y2，z2为与位置坐标相关的数值。[0161]首先构建位姿图，其中将θ1和θ2作为节点，t12作为边来约束θ1和θ2，然后不断调整θ1和θ2，直至loss4的值为极小值(即该损失函数的导数为0)，从而能够得到最优的θ1和θ2。[0162]以此类推，对于多个点云地图片段具有重叠区域的情况，计算各个点云地图片段对应的坐标转换矩阵的公式如下：[0163][0164]其中，g表示上述多个点云地图片段，θi表示第i个点云地图片段用于转换至世界坐标系下的坐标转换矩阵，θj表示第j个点云地图片段用于转换至世界坐标系下的坐标转换矩阵，其中，第i个点云地图片段与第j个点云地图片段具有重叠区域，tij表示第i个点云地图片段的坐标与第j个点云地图片段的坐标之间的坐标转换矩阵。利用公式(9)能够得到全局最优的各个点云地图片段对应的坐标转换矩阵。[0165]在上述示例中，以两个点云地图片段之间的坐标转换矩阵为约束条件，调整点云地图片段各自对应的用于转换至世界坐标系下的坐标转换矩阵，直至第二损失值符合第四预设条件，从而得到全局最优的各个点云地图片段用于转换至世界坐标系下的坐标转换矩阵，以便于能够基于全局最优的各个点云地图片段对应的坐标转换矩阵对各个点云地图片段进行聚合，能够消除点云地图片段在聚合过程中产生的重影，从而得到高精度的全局聚合地图。[0166]图7是本公开另一示例性实施例提供的高精地图数据处理方法的流程示意图，该流程为通过本公开示例性实施例的方案构建高精地图的整体流程的一个示例。[0167]参见图7，首先确定第一点云地图片段和第二点云地图片段的重叠区域，然后对该重叠区域的第一点云地图片段的第一点云和第二点云地图片段的第二点云进行语义关联，根据语义关联后的第一点云和第二点云利用icp算法确定第一坐标转换矩阵。[0168]接着根据第一坐标转换矩阵、初始的第二坐标转换矩阵和初始的第三坐标转换矩阵，利用图优化算法确定全局最优的目标第二坐标转换矩阵和目标第三坐标转换矩阵，从而基于全局最优的目标第二坐标转换矩阵和目标第三坐标转换矩阵对第一点云地图片段和第二点云地图片段进行聚合，得到高精的全局地图。[0169]在一个示例中，通过视觉同步定位与建图(simultaneous localization and mapping，slam)估计里程计位姿，然后根据里程计位姿进行点云的三维重建，得到第一点云地图片段或第二点云地图片段。[0170]在一个示例中，根据里程计位姿和全球定位系统信息确定初始的第二坐标转换矩阵或初始的第三坐标转换矩阵。[0171]示例性装置[0172]图8是本公开一示例性实施例提供的高精地图数据处理装置的结构图。该高精地图数据处理装置可以设置于终端设备、服务器等电子设备中，或者车辆等对象上，执行本公开上述任一实施例的高精地图数据处理的方法。如图8所示，该实施例的高精地图数据处理装置包括重叠区域确定模块301、点云关联模块302、坐标转换矩阵确定模块303和地图聚合模块304。[0173]其中，重叠区域确定模块301用于确定第一点云地图片段和第二点云地图片段的重叠区域，第一点云地图片段和第二点云地图片段属于第一点云地图.[0174]点云关联模块302用于确定重叠区域的第一点云和第二点云，第一点云属于第一点云地图片段，第二点云属于第二点云地图片段。[0175]点云关联模块302还用于关联第一点云和第二点云。[0176]坐标转换矩阵确定模块303用于根据第一点云和第二点云确定第一点云地图片段和第二点云地图片段之间的第一坐标转换矩阵。[0177]坐标转换矩阵确定模块303还用于根据第一坐标转换矩阵、初始的第二坐标转换矩阵和初始的第三坐标转换矩阵，确定目标第二坐标转换矩阵和目标第三坐标转换矩阵，其中，第二坐标转换矩阵用于将第一点云地图片段转换至世界坐标系下，第三坐标转换矩阵用于将第二点云地图片段转换至世界坐标系下。[0178]地图聚合模块304用于根据目标第二坐标转换矩阵和目标第三坐标转换矩阵对第一点云地图片段和第二点云地图片段进行聚合，得到全局地图。[0179]在本公开中，本技术实施例提供了一种高精地图数据处理方法和装置，首先关联第一点云地图片段和第二点云地图片段之间重叠区域的点云，从而确定两个点云地图片段之间的坐标转换矩阵，接着根据两个点云地图片段各自对应的初始的坐标转换矩阵和点云地图片段之间的坐标转换矩阵，得到两个点云地图片段各自对应的目标坐标转换矩阵，基于两个点云地图片段各自对应的目标坐标转换矩阵对点云地图片段进行聚合，得到全局地图。在本方案中，由于重叠区域表示了同一块真实物理世界区域，那么通过关联第一点云地图片段位于该重叠区域的点云和与之匹配的第二点云地图片段位于该重叠区域的点云，基于该关联能够精确地得到点云地图片段之间的坐标转换矩阵，从而得到精确的点云地图片段各自对应的目标坐标转换矩阵，使得消除了点云地图片段聚合过程中的重影，提升了全局地图的精度。[0180]在一种可行的示例中，目标第二坐标转换矩阵和目标第三坐标转换矩阵是在以第一坐标转换矩阵为约束条件下，第二损失值符合第四预设条件的矩阵，第二损失值表示第一坐标转换矩阵、第二坐标转换矩阵和第三坐标转换矩阵之间协方差的马氏距离。[0181]进一步的，图9是本公开另一示例性实施例提供的高精地图数据处理装置的结构图，参见图9所示的结构示意图，在一种可行的示例中，该点云关联模块302包括：[0182]语义种类确定单元3021，用于确定第一点云的所有点的语义种类和第二点云的所有点的语义种类。[0183]语义种类确定单元3021还用于确定分别属于第一点云和第二点云的具有相同语义种类的两个点。[0184]点云关联单元3022，用于若具有相同语义种类的两个点之间的距离符合第一预设条件，则关联具有相同语义种类的两个点。[0185]在一种可行的示例中，该重叠区域确定模块301包括：[0186]物理位置确定单元3011，用于确定第一点云地图片段中所有点的物理位置和第二点云地图片段中所有点的物理位置。[0187]k-维树构建单元3012，用于以第一点云地图片段的所有点为基础构建k-维树。[0188]重叠区域确定单元3013，用于若通过k-维树搜索到第二点云地图片段中物理位置与第一点云地图片段中点的物理位置的距离符合第二预设条件的点，则根据符合第二预设条件的第二点云地图片段中的点与第一点云地图中的点确定重叠区域。[0189]在一种可行的示例中，该坐标转换矩阵确定模块303包括：[0190]特征点集对确定单元3031，用于确定第一点云和第二点云中关联后的特征点集对，特征点集对包括第一特征点集和第二特征点集，第一特征点集属于第一点云，第二特征点集属于第二点云.[0191]特征点集对确定单元3031还用于根据第一特征点集和第一坐标转换矩阵确定第三特征点集。[0192]坐标转换矩阵确定单元3032，用于在第一损失值符合第三预设条件的情况下，确定目标第一坐标转换矩阵，第一损失值表示第三特征点集的位置和第二特征点集的位置之间协方差的马氏距离。[0193]在上述图8或图9所示实施例基础上，在本公开另一示例性实施例提供的高精地图数据处理装置中，还包括：[0194]点云数据集获取模块，用于获取由车载激光传感器采集的由车辆的周围环境形成的点云数据集；[0195]图像获取模块，用于获取由车载图像传感器采集的与点云数据集对应的图像；[0196]点云地图片段确定模块，用于根据点云数据集与图像中像素语义的对应关系确定第一点云地图的多个点云地图片段，多个点云地图片段中包括第一点云地图片段和第二点云地图片段；[0197]全球定位系统信息获取模块，获取车载定位终端采集的全球定位系统信息；[0198]位置坐标转换模块，用于根据全球定位系统信息将多个点云地图片段的位置坐标转换至世界坐标系下。[0199]示例性电子设备[0200]下面，参考图10来描述根据本技术实施例的电子设备。该电子设备可以是第一设备100和第二设备200中的任一个或两者、或与它们独立的单机设备，该单机设备可以与第一设备和第二设备进行通信，以从它们接收所采集到的输入信号。[0201]图10图示了根据本技术实施例的电子设备的框图。[0202]如图10所示，电子设备10包括一个或多个处理器11和存储器12。[0203]处理器11可以是中央处理单元(cpu)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。[0204]存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(ram)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(rom)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本技术的各个实施例的声源定位方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。[0205]在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。[0206]例如，在该电子设备是第一设备100或第二设备200时，该输入装置13可以是上述的麦克风或麦克风阵列，用于捕捉声源的输入信号。在该电子设备是单机设备时，该输入装置13可以是通信网络连接器，用于从第一设备100和第二设备200接收所采集的输入信号。[0207]此外，该输入设备13还可以包括例如键盘、鼠标等等。[0208]该输出装置14可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出设备14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。[0209]当然，为了简化，图10中仅示出了该电子设备10中与本技术有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。[0210]示例性计算机程序产品和计算机可读存储介质[0211]除了上述方法和设备以外，本技术的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本技术各种实施例的声源定位方法中的步骤。[0212]所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本技术实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如java、c++等，还包括常规的过程式程序设计语言，诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。[0213]此外，本技术的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本技术各种实施例的声源定位方法中的步骤。[0214]所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。[0215]以上结合具体实施例描述了本技术的基本原理，但是，需要指出的是，在本技术中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本技术的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本技术为必须采用上述具体的细节来实现。[0216]本技术中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。[0217]还需要指出的是，在本技术的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本技术的等效方案。[0218]提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本技术。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本技术的范围。因此，本技术不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。[0219]为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本技术的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!