一种基于几何Transformer和高斯混合模型的三维点云配准方法 专利技术说明

计算;推算;计数设备的制造及其应用技术一种基于几何transformer和高斯混合模型的三维点云配准方法技术领域1.本发明涉及三维点云模型配准技术，具体涉及一种基于几何transformer和高斯混合模型的三维点云配准方法。背景技术：2.点云配准是机器人、计算机视觉、文物修复等领域中的一个基本问题，其目的在于寻找对齐两个点云的最佳转换(旋转、平移和缩放)。3.当点云之间的真实对应关系已知，且点受到零均值高斯噪声的影响时，配准问题很容易解决。然而，在实践中，对应关系要么是未知的，要么包含许多异常值，导致点云配准的求解器产生较差的配准结果。对于未知或不确定对应关系的配准，常用的方法要么依赖于对未知变换初始猜测的可用性(例如，迭代最近点方法icp)，要么假设存在一个小的异常值集(例如，ransac方法)。这些算法可能会在点云存在大量异常值和噪声情况下配准效果不佳。技术实现要素：4.针对现有技术存在的不足，本发明的目的在于提供一种在面对点云中存在大量噪声和异常值的情况下仍精确处理的基于几何transformer和高斯混合模型的三维点云配准方法。5.为了实现上述目的，本发明采用以下技术方案予以实现：6.一种基于几何transformer和高斯混合模型的三维点云配准方法，包括如下步骤：7.步骤1，通过三维扫描仪获取多个视角的三维点云；8.步骤2，首先利用pointnet网络提取两片点云的局部特征，然后将单个点云的局部特征与两点云的全局特征进行特征融合；9.步骤3，再利用带有几何关系编码的transformer网络来识别两片点云间的重叠区域；10.步骤4，使用高斯混合模型(gaussian mixture models,gmm)来表示输入的点云，利用点云特征、重叠分数、概率矩阵计算得到匹配参数；11.步骤5，从匹配的高斯混合模型(gmm)参数中计算匹配矩阵，完成三维点云的配准。12.本发明还具有以下技术特征：13.优选的，所述步骤2中的pointnet网络通过多层感知机和最大池化提取点云的全局特征，后将1024维的全局特征和64维的局部特征通过concat操作连接起来，并通过全连接层输出每个点的特征。14.进一步的，所述的pointnet网络每层输出特征的维度分别为64、64、64、128、1024；15.所述的全连接层每层输出特征的维度分别为1024、1024、512。16.优选的，所述步骤3中的几何关系由三个手工特征通过concate操作组成；17.所述的三个手工制作的特征分别为点云点对之间距离、三元角和局部三角形周长之间差异值。18.进一步的，所述的点云点对之间的距离ρi,j可以定义为：ρi,j＝||pi-pj||2，其中pi和pj为三维空间中的两个点；19.对于点pi，其最近邻域的两个点可以表示为和这三个点形成一个三元组，定义则所述的三元角可以表示为20.对于点pi，其最近邻域的两个点可以表示为和这三个点形成一个三角形，则所述的三角形周长的差ηi,j可以表示为：[0021][0022][0023][0024]所以最终的几何关系gi,j可以表示为：gi,j＝concate[ρi,j,αi,j,ηi,j]，其中concate表示连接操作。[0025]优选的，所述步骤3中的transformer网络由几个堆叠的自注意力和交叉注意力层组成；[0026]所述的自注意力用于学习每个点云在特征空间和几何空间中的全局上下文信息；[0027]对于点p，特征表示为dt表示影藏的特征维度，输出的特征是所有投影输入特征的加权和表示为：[0028][0029]其中ai,j是权重系数，通过自注意力分数ei,j计算；[0030][0031]gi,j表示几何关系嵌入，而wq,wk,分别表示查询向量，键向量和值向量的权重；为几何关系嵌入的投影权值，fi表示点p的第i个特征，fj表示点p的第j个特征；[0032]所述的交叉注意力用于对两点云的特征进行交互；交叉注意力分数ei,j可以表示为：[0033][0034]其中表示点p的第i个特征，表示点q的第j个特征。[0035]优选的，所述步骤4中高斯混合模型将三维空间上的多模态生成概率分布建立为l个高斯密度的加权和，其形式为：[0036][0037]每个密度n(x∣μj,σj)被称为一个高斯混合模型的分量，并用均值μj和协方差σj进行参数化，n(x∣μj,σj)表示第j个子模型的高斯分布密度函数即概率，x表示点云数据。[0038]进一步的，所述的点云特征的集合p的用高斯混合模型可以表示为：[0039][0040]其中表示点云p构成第j个子模型的概率；表示用输入点云数据构成的第j个子模型的高斯分布密度函数；[0041]而高斯混合模型的参数可以表示为：[0042][0043][0044]其中∈＝1e-4，sp和sq为概率矩阵，表示概率矩阵的第i行第j列；op为重叠分数，表示标量混合权重，是一个3*1的平均向量，是3*3协方差矩阵的第j个分量。[0045]优选的，所述步骤5中计算匹配矩阵是将匹配的高斯混合模型gmm参数和特征的质心通过最优传输计算匹配矩阵，之后通过带有加权的svd奇异值分解方法求解出两点云间的变换矩阵；[0046]计算匹配矩阵γ过程可以表示为：[0047][0048]s.t.,γ1m＝πp,γ·1n＝πq,γij∈[0,1][0049]其中其中和分别表示点云p的第i个点和点云q中第j个点；[0050]获得匹配矩阵后，通过以下公式计算最终的变换矩阵：[0051][0052]是属于点云p的一个3*1的平均向量，是属于点云q的一个3*1的平均向量。γij表示匹配矩阵的第i行，第j列。[0053]本发明与现有技术相比，具有如下技术效果：[0054]本发明提出的三维点云配准网络模型由五个部分组成：点云特征提取、点云特征融合、嵌入几何关系的transformer网络对特征进行聚合、gmm求解匹配参数和加权奇异值分解(svd)；具体来说，利用pointnet网络提取点的全局特征，再将单个点云的64维局部特征和两点云的1024维全局特征进行concate操作，融合为2112维特征，再利用带有几何关系编码的transformer网络来对点云的特征进行聚合，帮助网络识别点云间的重叠区域；此外，使用高斯混合模型(gaussian mixture models,gmm)来表示输入的点云，利用点云特征、重叠分数、概率矩阵计算得到匹配参数；最后从匹配的高斯混合模型(gmm)参数中计算匹配矩阵，完成三维点云的配准；本模型为了加快点云配准模型的鲁棒性，在特征提取部分对点云的局部特征和全局特征进行融合；此外，使用transformer网络对特征进行聚合，提高了特征的鲁棒性，最后借助gmm模型计算匹配矩阵；这使得本发明构建的点云配准网络在点云包含大量噪声、异常值的情况下仍能快速和准确地完成三维点云配准。附图说明[0055]图1为本发明的流程图；[0056]图2为点云配准网络模型图；[0057]图3为秦俑源点云效果图；[0058]图4为秦俑目标点云效果图；[0059]图5为秦俑点云配准后效果图。具体实施方式[0060]以下结合实施例对本发明的具体内容做进一步详细解释说明。[0061]参照图1-2，本实施例提供一种基于特征交互和可靠对应关系估计的三维点云配准方法，包括如下步骤：[0062]步骤1，通过三维扫描仪获取多个视角的三维点云；[0063]步骤2，首先利用pointnet网络提取两片点云的局部特征，后将单个点云的局部特征与两点云的全局特征进行特征融合；其中pointnet由一个共享权重的mlp组成，输出的特征的维度分别为64、64、64、128、1024，后将1024维的特征进行最大池化为全局特征，再将单个点云的64位局部特征与两点云的1024维的全局特征进行融合为2112位特征，最后经过一个全连接层输出点云最终的特征，全连接层每层输出的特征维度为1024、1024、512。[0064]步骤3，再利用带有几何关系编码的transformer网络来识别两片点云间的重叠区域；其中几何关系由三个手工特征通过concate操作组成，三个手工制作的特征分别为点云点对之间距离、三元角和三角形周长差异值；[0065]点云点对之间的距离ρi,j可以定义为：ρi,j＝||pi-pj||2，其中pi和pj为三维空间中的两个点；[0066]三元角可以定义为：对于点pi，其最近邻域的两个点可以表示为和这三个点形成一个三元组；我们定义则三元角可以表示为[0067]三角形周长的差可以定义为：对于点pi，其最近邻域的两个点可以表示为和这三个点形成一个三角形；则三角形周长的差ηi,j可以表示为：[0068][0069][0070][0071]所以最终的几何关系gi,j可以表示为：gi,j＝concate[ρi,j,αi,j,ηi,j]；其中concate表示连接操作；[0072]而几何transformer是由多个自注意力和交叉注意力堆叠而成，其中自注意力目的是学习每个点云在特征空间和几何空间中的全局上下文信息；[0073]对于点p，特征表示为dt表示影藏的特征维度，输出的特征是所有投影输入特征的加权和，加权和zi表示为：[0074][0075][0076]其中ai,j是权重系数，通过自注意力分数ei,j计算；[0077]gi,j表示几何关系嵌入，而wq,wk,分别表示查询向量，键向量和值向量的权重；为几何关系嵌入的投影权值；fi表示点p的第i个特征，fj表示点p的第j个特征；[0078]而交叉注意力目的对两点云的特征进行交互，帮助网络更好地识别两片点云的重叠区域；交叉注意力与自注意力在注意力分数求解上不同，而交叉注意力分数ei,j可以表示为：[0079][0080]其中表示点p的第i个特征，表示点q的第j个特征。[0081]步骤4，使用高斯混合模型(gaussian mixture models,gmm)来表示输入的点云，利用点云特征、重叠分数、概率矩阵计算得到匹配参数；其中高斯混合模型(gmm)将三维空间上的多模态生成概率分布建立为l个高斯密度的加权和，其形式为：[0082][0083]每个密度n(x∣μj,σj)被称为一个gmm的分量，并用均值μj和协方差σj进行参数化；n(x∣μj,σj)表示第j个子模型的高斯分布密度函数即概率；x表示点云数据；点云特征的集合p的用gmm可以表示为：[0084][0085]而gmm的参数可以表示为：[0086][0087][0088]其中∈＝1e-4，sp和sq为概率矩阵，表示概率矩阵的第i行第j列；op为重叠分数，表示标量混合权重，是一个3*1的平均向量，是3*3协方差矩阵的第j个分量。[0089]步骤5，将匹配的高斯混合模型gmm参数和特征的质心通过最优传输计算匹配矩阵，之后通过带有加权的svd奇异值分解方法求解出两点云间的变换矩阵，完成三维点云的配准；计算匹配矩阵γ过程可以表示为：[0090][0091]s.t.,γ1m＝πp,γ·1n＝πq,γij∈[0,1][0092]其中其中和分别表示点云p的第i个点和点云q中第j个点；[0093]获得匹配矩阵后，通过以下公式计算最终的变换矩阵：[0094][0095]是属于点云p的一个3*1的平均向量，是属于点云q的一个3*1的平均向量，γij表示匹配矩阵的第i行，第j列。[0096]图5为通过本发明所述方法进行配准后的点云配准结果图，由图可知本发明所述方法针对点云间包含大量噪声和异常点时仍能鲁棒地处理。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!