一种获取目标物体6DoF数据的方法、设备和存储介质与流程

计算;推算;计数设备的制造及其应用技术一种获取目标物体6dof数据的方法、设备和存储介质技术领域1.本发明涉及目标跟踪的技术领域，特别涉及一种获取目标物体6dof数据的方法、设备和存储介质。背景技术：2.在工业领域中，工业机器人需要对目标物体进行目标跟踪从而进行定位操作和非接触型的远程控制。3.目标跟踪是在连续的视频序列中，建立所要跟踪物体的位置关系，从而得到物体完整的运动轨迹。在现有的目标跟踪中，通常使用单目相机、双目相机来对目标进行跟踪检测。目标跟踪需要物体在空间的位置信息，物体在空间具有六个自由度，要完全确定物体在空间的位置，必须清楚六自由度信息。4.基于单目相机的目标跟踪方法需要建立物体样本数据集才能目标识别，且需要根据物体在图像像素中的坐标分析得到物体在空间坐标的三维姿态欧式角，基于双目相机的目标跟踪方法受到客观条件的限制导致计算机开销大。技术实现要素：5.本发明的目的在于提供一种获取目标物体6dof数据的方法、计算机设备和存储介质，可面向不特定目标，计算其在视频画面中的6dof数据，无需姿态解算过程以及目标识别过程，仅需对目标进行建模，减少计算机的开销，从而具有更好的泛用性。6.一种获取目标物体6dof数据的方法，所述方法包括：显示初始帧图像，所述初始帧图像中包括处于第一姿态的目标物体；显示与所述目标物体匹配的三维模型；获取用户对所述三维模型姿态的调整操作结果，根据所述调整操作结果确定所述目标物体的三轴姿态信息；确定初始帧图像中的角点检测区域；对所述角点检测区域进行角点检测以获取跟踪点；基于所述跟踪点以及光流法确定第一组位置信息；获取第二组位置信息，第二组位置信息为深度距离信息。7.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述获取目标物体6dof数据的方法的步骤。8.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述获取目标物体6dof数据的方法的步骤。9.相较于现有技术，本发明至少具有如下的有益效果：采用本发明可获取目标物体在视频画面的6dof数据，无需姿态解算过程以及目标识别过程，仅需对目标进行建模，能够准确指定需要检测的区域，操作更便捷，减少计算机的开销，从而具有更好的泛用性。附图说明10.下面结合附图和实施例对本发明进一步地说明：11.图1为本技术实施例所提供的一种获取目标物体6dof数据的方法的流程示意图；12.图2为本技术实施例中显示与目标物体匹配的三维模型的示意图；13.图3为本技术实施例中检测框覆盖目标物体的示意图；14.图4为本技术实施例提供的计算机设备的结构框图；15.图5为本技术实施例提供的一种计算机可读存储介质的结构框图。具体实施方式16.为了便于所述技术领域的技术人员理解本发明，以下对本发明实施例涉及的术语做简要说明：17.(1)光流法：光流法是空间运动物体在观察成像平面上的像素运动的瞬时速度,利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息。18.(2)六自由度(6dof，6degree of freedom)：物体在空间具有六个自由度，即沿x、y、z三个直角坐标轴方向的移动自由度和绕这三个坐标轴的转动自由度，要完整确定物体的位置，就必须清楚这六个自由度。19.(3)深度相机：相比传统的相机，深度相机在功能上添加了一个深度测量，从而更方便准确的感知周围的环境及变化。20.(4)目标跟踪：目标(单目标)跟踪就是在给定某视频序列初始帧的目标大小与位置的情况下，预测后续帧中该目标的大小与位置。21.(5)角点检测：计算机视觉系统中用来获得图像特征的一种方法，广泛应用于运动检测、图像匹配、视频跟踪、三维建模和目标识别等领域中，也称为特征点检测。22.(6)亚像素检测：一种精度更高的特征检测。23.在一个实施例中，如图1所示，提出一种获取目标物体6dof数据的方法，具体包括以下步骤：24.步骤s100，显示初始帧图像，所述初始帧图像中包括处于第一姿态的目标物体。25.其中，目标物体是图像中所要检测的三维物体。26.其中，第一姿态是目标物体在初始帧图像中的姿态。27.具体地，拍摄实时视频图像，从实时视频图像中选择初始帧图像，初始帧图像中显示所要检测的目标物体，并从中确定目标物体的第一姿态以及目标物体在摄像头中的区域。28.需要说明的是，因为拍摄的视频图像中一般会有其它物体的干扰，故需要区别于视频图像中的其它物体，在视频图像的初始帧中确定所要检测的目标物体，进而确定目标物体的姿态。29.步骤s200,显示与所述目标物体匹配的三维模型。30.其中，三维模型是事前对目标物体扫描，通过三维激光扫描点云形式生成或通过人工利用三维软件建模生成，以便后续和初始帧图像中的目标物体匹配成功。31.在一个实施例中，操作界面201中有两个窗口，初始帧图像窗口202和三维模型窗口203，当在初始帧图像窗口202中确定所要检测的目标物体后，会在三维模型窗口203中显示与目标物体对应匹配的三维模型。32.相比于现有技术中识别目标物体需要建立一个大量样本数据库，仅需对目标物体进行建模，降低针对某一物体进行跟踪所需的准备开销和运行开销，减少计算机的开销。33.步骤s300，获取用户对所述三维模型姿态的调整操作结果，根据所述调整操作结果确定所述目标物体的三轴姿态信息。34.其中，三轴姿态信息是物体绕x，y，z轴这三个坐标轴的转动自由度。35.在一个实施例中，获取用户移动操作指令，所述移动操作指令用于对三维模型进行调整操作，所述调整操作包括缩放、旋转或拖拽，以使得三维模型匹配初始帧图像中的目标物体；获取用户对所述三维模型姿态的调整操作结果，根据所述调整操作结果确定所述目标物体的三轴姿态信息。36.其中，匹配是三维模型当前姿态对应的图像与初始帧图像中的目标物体的轮廓相同。37.其中，调整操作是将三维模型从初始保存的姿态调整至同初始帧图像中目标物体的第一姿态，这个调整过程记录下来的数据会被记录保存，并处理生成目标物体的三轴姿态信息，38.获取目标物体的三轴姿态信息，无需对相机进行标定等操作，不受系统内参精度限制。39.在一个实施例中，在确定目标物体的三轴姿态信息之后，所述方法还包括：生成与所述三维模型的轮廓匹配的检测框；获取用户对所述检测框的移动指令，所述移动指令用于对所述检测框进行移动操作，以使所述检测框覆盖所述初始帧图像上的所述目标物体；在所述检测框覆盖所述目标物体之后，根据检测框的轮廓确定初始帧图像中的角点检测区域。40.在一个实施例中，如图2所示，目标物体实时运动姿态过大，需重新生成检测框。检测框就是为了提供角点检测的执行范围。图2中虚线矩形框是检测框，实线矩形框是目标物体。41.第一检测框状态301，检测框过小，会导致后续操作中提取不到目标物体的优质角点，从而影响角点检测的跟踪结果。42.第二检测框状态302，检测框过大，会容易引入其它非目标物体的角点干扰，从而影响角点检测的跟踪结果。43.第三检测框状态303，检测框正好覆盖目标物体，可确定初始帧图像中的角点检测区域。44.相较于现有技术的沿着需要检测区域边缘进行移动来选择角点检测的方法，根据调整操作结果生成检测框从而确定角点检测的区域更方便。45.步骤s400，确定初始帧图像中的角点检测区域。46.在一个实施例中，根据检测框与目标物体覆盖的区域，确定初始帧图像中角点检测的执行区域。确定初始帧图像中的角点检测区域包括：移动检测框与目标物体覆盖，根据覆盖区域确定角点检测的执行区域。47.其中，角点检测的执行区域由移动检测框匹配目标物体得到。48.相较于现有技术的直接对整张初始帧图像进行角点检测而引入很多噪声，本发明能够准确指定需要检测的区域，从而减少噪声的干扰。49.步骤s500，对所述角点检测区域进行角点检测以获取跟踪点。50.具体地，根据覆盖区域确定角点检测区域，使用角点检测算法对角点检测区域进行角点检测，获取检测的跟踪点，随后进行亚像素检测，对检测到的跟踪点作进一步的优化计算，实时更新跟踪点标记。51.在一个实施例中，使用shi-tomasi角点检测算法对角点检测区域进行角点检测，获取检测的跟踪点，随后进行亚像素检测，对检测到的跟踪点作进一步的优化计算并实时更新跟踪点标记。52.其中，shi-tomasi算法是分别利用水平和垂直的差分算子对图像的全部像素(x，y)进行滤波来求得和，进而求得、、、四个元素值组成的2×2矩阵，再对这个矩阵进行高斯平滑滤波，得到矩阵，由矩阵求得行列式的值和。若矩阵的两个特征值中较小的一个大于阈值，则认为它是角点，即，只有当和都大于最小值时，才被认为是角点。角点特征是图像中较好的特征，比边缘特征更好地用于定义定位，找到这些图像特征的过程被称为特征提取，特征提取决定了最终目标识别效果的好坏。在图像的所有区域中，那些在所有方向上做微小移动，像素值变化都很大的区域，就是角点特征所在区域。53.步骤s600，基于所述跟踪点以及光流法确定第一组位置信息。54.其中，第一位置信息是目标物体在图像帧中的x轴和y轴坐标值。55.具体地，确认跟踪点后，所有跟踪点的数据将被作为光流算法的初始参数，使用光流法计算光流，实时更新所有跟踪点的最新位置，将标记所有跟踪点的位置及运动轨迹，确定第一组位置信息。56.本发明使用光流法实现了对用户划定区域的跟踪功能，可实现目标物体在视频画面中抖动及摄像头移动等情况下的持续跟踪。57.在一个实施例中，确认跟踪点后，所有跟踪点的数据将被作为光流算法的初始参数(x，y)，使用具有金字塔的迭代lucas-kanade方法计算稀疏特征集的光流，实时更新所有跟踪点的最新位置，将标记所有跟踪点的位置及运动轨迹，确定第一组位置信息。58.其中，lucas-kanade方法是计算两帧在时间到之间每个像素点位置的移动。假设在一个小的空间邻域内运动矢量保持恒定，使用加权最小二乘法估计光流。由于该算法应用于输入图像的一组点上时比较方便，因此被广泛应用于稀疏光流场。稀疏光流并不对图像的每个像素点进行逐点计算，它通常需要指定一组点进行跟踪，这组点最好具有某种明显的特性，那么跟踪就会相对稳定和可靠。稀疏跟踪的计算开销比稠密跟踪小得多，稀疏表示方法适用性好，且鲁棒性高。59.步骤s700，获取第二组位置信息，第二组位置信息为深度距离信息。60.具体地，在跟踪目标物体时，根据跟踪结果获取第二组位置信息，第二组位置信息是深度距离信息。其中深度距离信息是目标物体在图像帧中的z轴坐标值。61.在一个实施例中，获取第二组位置信息，第二组位置信息为深度距离信息。具体地，采用深度相机拍摄图像，获取第二组位置信息。其中，深度相机为结构光深度相机，深度相机能测量深度值，深度值是空间点到相机平面的垂直距离。62.获取目标物体的位置信息，本技术无需考虑对目标的识别，降低了针对某一物体进行跟踪所需的准备开销和运行时开销。63.相较于现有技术，本发明的技术方案至少具有如下的有益效果：64.(1)可面向不特定目标物体获取其在视频画面的6dof数据；65.(2)获取目标物体的三轴姿态信息，无需对相机进行标定等操作，不受系统内参精度限制；66.(3)获取目标物体的位置信息，无需目标识别的过程；67.(4)当需要更换跟踪目标物体时，仅需对目标进行建模，降低针对某一物体进行跟踪所需的准备开销和运行开销，减少计算机的开销，从而具有更好的泛用性；68.(5)能够准确指定需要检测的区域。69.应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。70.在一个实施例中，提供了一种计算机设备800，包括存储器801和处理器802，存储器801中存储有计算机程序，该处理器802执行计算机程序时实现以下步骤：71.显示初始帧图像，所述初始帧图像中包括处于第一姿态的目标物体；72.显示与所述目标物体匹配的三维模型；73.获取用户对所述三维模型姿态的调整操作结果，根据所述调整操作结果确定所述目标物体的三轴姿态信息；74.确定初始帧图像中的角点检测区域；75.对所述角点检测区域进行角点检测以获取跟踪点；76.基于所述跟踪点以及光流法确定第一组位置信息；77.获取第二组位置信息，第二组位置信息为深度距离信息。78.在一个实施例中，处理器802执行计算机程序时还实现以下步骤：79.获取用户移动操作指令，所述移动操作指令用于对三维模型进行调整操作，所述调整操作包括缩放、旋转或拖拽，以使得三维模型匹配初始帧图像中的目标物体；获取用户对所述三维模型姿态的调整操作结果，根据所述调整操作结果确定所述目标物体的三轴姿态信息；80.在确定目标物体的三轴姿态信息之后，生成与所述三维模型的轮廓匹配的检测框；获取用户对所述检测框的移动指令，所述移动指令用于对所述检测框进行移动操作，以使所述检测框覆盖所述初始帧图像上的所述目标物体；在所述检测框覆盖所述目标物体之后，根据检测框的轮廓确定初始帧图像中的角点检测区域；81.角点检测区域使用shi-tomasi角点检测算法进行角点检测，获取检测的跟踪点；82.基于检测获取的跟踪点，跟踪点的数据作为lucas-kanade光流法的初始参数，确定第一组位置信息；83.采用深度相机拍摄图像，获取第二组位置信息。84.在一个实施例中，提供了一种计算机可读存储介质900，其上存储有计算机程序901，计算机程序901被处理器执行时实现以下步骤：85.显示初始帧图像，所述初始帧图像中包括处于第一姿态的目标物体；86.显示与所述目标物体匹配的三维模型；87.获取用户对所述三维模型姿态的调整操作结果，根据所述调整操作结果确定所述目标物体的三轴姿态信息；88.确定初始帧图像中的角点检测区域；89.对所述角点检测区域进行角点检测以获取跟踪点；90.基于所述跟踪点以及光流法确定第一组位置信息；91.获取第二组位置信息，第二组位置信息为深度距离信息。92.在一个实施例中，计算机程序901被处理器执行时还实现以下步骤：93.获取用户移动操作指令，所述移动操作指令用于对三维模型进行调整操作，所述调整操作包括缩放、旋转或拖拽，以使得三维模型匹配初始帧图像中的目标物体；获取用户对所述三维模型姿态的调整操作结果，根据所述调整操作结果确定所述目标物体的三轴姿态信息；94.在确定目标物体的三轴姿态信息之后，生成与所述三维模型的轮廓匹配的检测框；获取用户对所述检测框的移动指令，所述移动指令用于对所述检测框进行移动操作，以使所述检测框覆盖所述初始帧图像上的所述目标物体；在所述检测框覆盖所述目标物体之后，根据检测框的轮廓确定初始帧图像中的角点检测区域；95.角点检测区域使用shi-tomasi角点检测算法进行角点检测，获取检测的跟踪点；96.基于检测获取的跟踪点，跟踪点的数据作为lucas-kanade光流法的初始参数，确定第一组位置信息；97.采用深度相机拍摄图像，获取第二组位置信息。98.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。99.以上对本发明及其实施方式进行了描述，这种描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际的描述并不局限于此，总而言之如果本领域的技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的方式及实施例，均应属于本发明的保护范围。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!