一种基于混洗特征增强的高光谱和激光雷达融合分类方法

计算;推算;计数设备的制造及其应用技术1.本发明属于遥感图像智能解译领域，具体涉及一种基于混洗特征增强的高光谱和激光雷达融合分类方法。背景技术：2.随着遥感成像技术的发展，不同类型的传感器数据可以更容易地获取。高光谱数据有精细的光谱分辨率，在区分不同材料的地物具有很大的潜力，但是具有光谱混叠现象，严重影响了复杂场景的地物分类精度。激光雷达数据提供了场景的高程信息，可以区分相同光谱，不同高度的地物。在复杂场景下，单一传感器获得的数据不可避免地会遇到分类瓶颈，因此，如何充分利用高光谱和激光雷达数据信息的互补性，研究相关的信息协同处理技术，以提高分类的精确性和可靠性，具有重要价值。3.高光谱与激光雷达融合分类根据层次划分有三种：像素级的融合分类，特征级的融合分类和决策级的融合分类，其中，特征级融合的计算量小，且经过特征提取后的分类结果准确率高，因此特征级融合一度成为研究的热门。特征级融合策略一般可分为三种：早期融合，中期融合以及晚期融合。尽管这些基于级联的融合方式在特征表示方面取得了令人满意的性能，但是其融合异构数据的能力仍然有限。4.因此，本技术基于混洗特征增强，逐步减小异构数据特征空间的语义差异，一方面可以更充分地利用异构数据的互补性，另一方面又可以更紧凑地实现异构数据的特征融合及分类。技术实现要素：5.针对上述技术问题，本发明提供一种基于混洗特征增强的高光谱和激光雷达融合分类方法，该方法解决了异构数据特征融合时语义差异大的问题，充分利用了异构数据的互补性，缩小了异构数据特征的语义差异，提高了多源数据协同分类的精度。6.本发明采用的技术方法是：一种基于混洗特征增强的高光谱和激光雷达融合分类方法，其特征在于，包括以下步骤：7.步骤一、获取高光谱图像和激光雷达图像数据集并进行预处理；8.步骤101：获取覆盖相同地理区域的高光谱图像和激光雷达图像其中，c1为高光谱图像的通道数，a1×b1为高光谱图像的像素数，a2×b2为激光雷达图像的像素数；9.步骤102：将步骤101中得到的高光谱与激光雷达图像进行配准、裁剪、标注的预处理操作，得到像素点数为n的高光谱图像激光雷达图像以及标签其中，n＝a×b；10.步骤103：将步骤102得到的高光谱与激光雷达数据划分为训练集、测试集；11.步骤二、构建自特征提取模块，提取高光谱与激光雷达数据的自特征；12.步骤201：高光谱的自特征提取模块包括三个卷积块：conv1_h,conv2_h,conv3_h,激光雷达的自提取模块包括三个卷积块：conv1_l,conv2_l,conv3_l；13.步骤202：将高光谱与激光雷达数据输入步骤201中构建的自特征提取模块，得到高光谱数据的自特征与激光雷达自特征14.步骤三、构建混洗特征增强模块a；15.步骤301：将高光谱自特征与激光雷达自特征沿通道方向分为g组，得到g个子特征：与将子特征与分割，得到维度为的分割子特征：16.步骤302：根据提取高光谱分割子特征的通道掩膜，其中gap为全局平均池化函数，为待优化的维度为的参数，σ为sigmoid函数。根据提取激光雷达分割子特征的空间掩膜，其中，gn为组归一化函数，的空间掩膜，其中，gn为组归一化函数，为待优化的维度为的参数；17.步骤303：将步骤302中得到的通道、空间掩膜，用于增强分割子特征，得到高光谱空间增强特征：高光谱通道增强特征激光雷达通道增强特征激光雷达空间增强特征所述增强方式如下：所述增强方式如下：18.步骤304：拼接步骤303中得到的分割子特征，得到增强后的子特征：19.步骤305：将高光谱与激光雷达互补增强后的g个子特征分别进行通道混洗操作，得到混洗特征增强模块a增强后的高光谱与激光雷达特征xh(l)-a，xl(h)-a，所述通道混洗操作为：将特征图与的维度由转置为改组特征得到维度为的：xh(l)-a，xl(h)-a；20.步骤四、构建混洗特征增强模块b，实现高光谱与激光雷达特征的互补增强；21.步骤401：将步骤302中得到的通道、空间掩膜，用于增强分割子特征，得到高光谱通道增强特征高光谱空间增强特征：激光雷达空间增强特征激光雷达空间增强特征所述增强方式如下：所述增强方式如下：22.步骤402：拼接步骤401得到的分割子特征，得到增强后的子特征：23.步骤403：将高光谱与激光雷达的g个子特征分别进行通道混洗操作，得到混洗特征增强模块b增强后的高光谱与激光雷达特征xh(l)-b，xl(h)-b；24.步骤404：将步骤305及步骤403得到的混洗特征增强模块a,b增强后的高光谱与激光雷达特征，完成浅层特征增强：xh(l)＝[xh(l)-a,xh(l)-b]，xl(h)＝[xl(h)-a,xl(h)-b]；[0025]步骤五、构建跨层、跨模态的跳跃连接模块；[0026]步骤501：将xh(l)，xl(h)输入到两个参数共享的卷积块conv4_hl,conv5_hl，通过交互式更新参数的方式，使得高光谱与激光雷达信息充分交流，得到卷积块conv4_hl的输出特征：conv5_hl的输出特征：conv5_hl的输出特征：[0027]步骤502：将步骤501得到的高光谱与激光雷达特征分别进行跨层拼接得到：跨模态、跨层的特征拼接得到：[0028]步骤六、构建混洗特征融合模块；[0029]步骤601：将高光谱特征xhh与激光雷达特征xll沿通道方向分为g组，得到g个子特征：与[0030]步骤602：根据提取高光谱特征的通道掩膜，其中，whh，bhh为待优化的维度为的参数，根据提取激光雷达特征xll的空间掩膜，其中，wll，bll为待优化的维度为的参数；[0031]步骤603：将步骤602中得到的通道、空间掩膜，用于增强高光谱与激光雷达子特征，得到高光谱空间增强子特征：激光雷达通道增强子特征所述特征增强方式如下：[0032]步骤604：采用特征相加的方式，融合高光谱与激光雷达互增强后的子特征，得到：将所有融合后的子特征拼接，得到：通过通道混洗，加强融合特征通道之间的通信，促进融合，得到混洗特征融合后特征[0033]步骤七、构建交叉融合模块，采用损失函数优化得到训练完备的网络；[0034]步骤701：采用两个共享参数的卷积块conv6_hl,conv7_hl，进一步通过交互式更新参数的方式，得到融合特征的可分类的特征后，经过两层共享参数的全连接层fc1,fc2，完成分类，得到：yhl-1，yhl-2，yhl-3；[0035]步骤702：输入训练集数据，根据训练集的预测值与训练集标签，调节网络参数，优化损失函数loss，得到训练完备的混洗特征互补增强的高光谱和激光雷达分类网络，所述损失函数的计算方式为：loss＝l1+l2+l3，其中，l1，l2为预测值yhl-3与yhl-1，yhl-2之间的平方损失函数：损失函数：l1为预测值yhl-3与真实标签y的交叉熵损失：[0036]步骤八、采用训练好的模型预测测试集数据，得到分类结果。[0037]本发明与现有技术相比具有以下有益效果：[0038]1、本发明的步骤简单、设计合理，实现及使用操作方便。[0039]2、本发明采用混洗特征增强模块1与混洗特征增强模块2处理浅层的高光谱及激光雷达特征，实现了单模态各自特征的增强，以及异构特征的互补增强，通过通道混洗的操作，加强了通道之间的通信，能够有效缩小异构特征之间的语义差异，进而有助于数据的融合及分类；[0040]3、本发明通过将中层次特征跨层以及跨模态拼接，输入共享参数的交叉融合基线网络，能够使得不同层的信息得到充分利用，跨模态的参数共享使得网络交互式更新参数，促进特征融合；[0041]4、本发明提出了混洗特征融合，通过将高光谱以及激光雷达的特征分组，特征互补增强后融合，对融合后的子特征进行通道混洗操作，有效促进了高层特征的融合，进而提升分类精度。[0042]下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。附图说明[0043]图1为本发明的方法流程图[0044]图2为本发明中混洗特征增强模块a示意图[0045]图3为本发明中混洗特征增强模块b示意图[0046]图4为本发明中混洗特征融合模块示意图具体实施方式[0047]下面结合附图及本发明的实施例对本发明的方法做进一步的详细说明。[0048]需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的属性可以相互组合。下面将参考附图并结合实施例来详细说明本发明。[0049]需要注意的是，这里所使用的术语仅仅是为了描述具体实施方式，而非意图限制根据本技术的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。[0050]需要说明的是，本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施方式例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。[0051]为了便于描述，在这里可以使用空间相对术语，如“在……之上”、“在……上方”、“在……上表面”、“上面的”等，用来描述如在图中所示的一个器件或特征与其他器件或特征的空间位置关系。应当理解的是，空间相对术语旨在包含除了器件在图中所描述的方位之外的在使用或操作中的不同方位。例如，如果附图中的器件被倒置，则描述为“在其他器件或构造上方”或“在其他器件或构造之上”的器件之后将被定位为“在其他器件或构造下方”或“在其他器件或构造之下”。因而，示例性术语“在……上方”可以包括“在……上方”和“在……下方”两种方位。该器件也可以其他不同方式定位(旋转90度或处于其他方位)，并且对这里所使用的空间相对描述作出相应解释。[0052]如图1所示，本发明包括以下步骤：[0053]步骤一、获取高光谱图像和激光雷达图像数据集并进行预处理；[0054]步骤101：获取覆盖相同地理区域的高光谱图像和激光雷达图像其中，c1为高光谱图像的通道数，a1×b1为高光谱图像的像素数，a2×b2为激光雷达图像的像素数；[0055]步骤102：将步骤101中得到的高光谱与激光雷达图像进行配准、裁剪、标注的预处理操作，得到像素点数为n的高光谱图像激光雷达图像以及标签其中，n＝a×b；[0056]步骤103：将步骤102得到的高光谱与激光雷达数据划分为训练集、测试集；[0057]步骤二、构建自特征提取模块，提取高光谱与激光雷达数据的自特征；[0058]步骤201：高光谱的自特征提取模块包括三个卷积块：conv1_h,conv2_h,conv3_h,激光雷达的自提取模块包括三个卷积块：conv1_l,conv2_l,conv3_l；[0059]步骤202：将高光谱与激光雷达数据输入步骤201中构建的自特征提取模块，得到高光谱数据的自特征与激光雷达自特征[0060]步骤三、构建混洗特征增强模块a；[0061]步骤301：将高光谱自特征与激光雷达自特征沿通道方向分为g组，得到g个子特征：与将子特征与分割，得到维度为的分割子特征：[0062]步骤302：根据提取高光谱分割子特征的通道掩膜，其中gap为全局平均池化函数，为待优化的维度为的参数，σ为sigmoid函数。根据提取激光雷达分割子特征的空间掩膜，其中，gn为组归一化函数，的空间掩膜，其中，gn为组归一化函数，为待优化的维度为的参数；[0063]步骤303：将步骤302中得到的通道、空间掩膜，用于增强分割子特征，得到高光谱空间增强特征：高光谱通道增强特征激光雷达通道增强特征激光雷达空间增强特征所述增强方式如下：所述增强方式如下：[0064]步骤304：拼接步骤303中得到的分割子特征，得到增强后的子特征：[0065]步骤305：将高光谱与激光雷达互补增强后的g个子特征分别进行通道混洗操作，得到混洗特征增强模块a增强后的高光谱与激光雷达特征xh(l)-a，xl(h)-a，所述通道混洗操作为：将特征图与的维度由转置为改组特征得到维度为的：xh(l)-a，xl(h)-a；[0066]步骤四、构建混洗特征增强模块b，实现高光谱与激光雷达特征的互补增强；[0067]步骤401：将步骤302中得到的通道、空间掩膜，用于增强分割子特征，得到高光谱通道增强特征高光谱空间增强特征：激光雷达空间增强特征激光雷达空间增强特征所述增强方式如下：所述增强方式如下：[0068]步骤402：拼接步骤401得到的分割子特征，得到增强后的子特征：[0069]步骤403：将高光谱与激光雷达的g个子特征分别进行通道混洗操作，得到混洗特征增强模块b增强后的高光谱与激光雷达特征xh(l)-b，xl(h)-b；[0070]步骤404：将步骤305及步骤403得到的混洗特征增强模块a,b增强后的高光谱与激光雷达特征，完成浅层特征增强：xh(l)＝[xh(l)-a,xh(l)-b]，xl(h)＝[xl(h)-a,xl(h)-b]；[0071]步骤五、构建跨层、跨模态的跳跃连接模块；[0072]步骤501：将xh(l)，xl(h)输入到两个参数共享的卷积块conv4_hl,conv5_hl，通过交互式更新参数的方式，使得高光谱与激光雷达信息充分交流，得到卷积块conv4_hl的输出特征：conv5_hl的输出特征：conv5_hl的输出特征：[0073]步骤502：将步骤501得到的高光谱与激光雷达特征分别进行跨层拼接得到：跨模态、跨层的特征拼接得到：[0074]步骤六、构建混洗特征融合模块；[0075]步骤601：将高光谱特征xhh与激光雷达特征xll沿通道方向分为g组，得到g个子特征：与[0076]步骤602：根据提取高光谱特征的通道掩膜，其中，whh，bhh为待优化的维度为的参数，根据提取激光雷达特征xll的空间掩膜，其中，wll，bll为待优化的维度为的参数；[0077]步骤603：将步骤602中得到的通道、空间掩膜，用于增强高光谱与激光雷达子特征，得到高光谱空间增强子特征：激光雷达通道增强子特征所述特征增强方式如下：[0078]步骤604：采用特征相加的方式，融合高光谱与激光雷达互增强后的子特征，得到：将所有融合后的子特征拼接，得到：通过通道混洗，加强融合特征通道之间的通信，促进融合，得到混洗特征融合后特征[0079]步骤七、构建交叉融合模块，采用损失函数优化得到训练完备的网络；[0080]步骤701：采用两个共享参数的卷积块conv6_hl,conv7_hl，进一步通过交互式更新参数的方式，得到融合特征的可分类的特征后，经过两层共享参数的全连接层fc1,fc2，完成分类，得到：yhl-1，yhl-2，yhl-3；[0081]步骤702：输入训练集数据，根据训练集的预测值与训练集标签，调节网络参数，优化损失函数loss，得到训练完备的混洗特征互补增强的高光谱和激光雷达分类网络，所述损失函数的计算方式为：loss＝l1+l2+l3，其中，l1，l2为预测值yhl-3与yhl-1，yhl-2之间的平方损失函数：损失函数：l1为预测值yhl-3与真实标签y的交叉熵损失：[0082]步骤八、采用训练好的模型预测测试集数据，得到分类结果。[0083]以上所述，仅是本发明的实施例，并非对本发明作任何限制，凡是根据本发明技术实质对以上实施例所作的任何简单修改、变更以及等效结构变化，均仍属于本发明技术方案的保护范围内。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!