客流人体检测方法、装置、存储介质及客流统计相机与流程

计算;推算;计数设备的制造及其应用技术客流人体检测方法、装置、存储介质及客流统计相机1.该申请为在先申请：申请号2022107469999，发明名称客流人体检测方法、装置、存储介质及客流统计相机的分案申请。技术领域2.本技术涉及图像处理技术领域，尤其涉及客流人体检测方法、装置、存储介质及客流统计相机。背景技术：3.在消费电子、安防、交通等领域场景下，常常需要进行客流统计来更好的判断人群的动向。对于客流统计而言，人体检测是客流统计的必要且至关重要的环节，其检测准确率将直接影响到最终的统计精度。4.现有技术中，基于rgb图像的人体检测技术已较为成熟，业内通常采用基于hog+svm的检测方案或基于深度学习的检测方案来通过rgb图像进行客流统计。现有技术中还存在一类使用基于tof、结构光的深度相机获取深度图像，再利用深度图像进行人体检测以及客流统计的方法，但这类基于深度图像进行人体检测的方法仅仅是从基于rgb图像的人体检测方法直接迁移得到，由于深度图像与rgb图像采集原理不同，成像存在较大的差异，导致实际检测效果不佳，难以通过深度图像得到理想的人体检测结果。技术实现要素：5.为了解决上述技术问题，本技术提供了客流人体检测方法、装置、存储介质及客流统计相机。6.本技术第一方面提供了一种客流人体检测方法，所述方法包括：获取预先输出的人体检测结果，所述人体检测结果中包含有人体区域的目标簇以及人体区域的包围盒；将当前帧图像的所述目标簇以及所述包围盒，与上一帧图像的所述目标簇以及所述包围盒进行数据关联，得到数据关联结果；根据所述数据关联结果确定所述人体检测结果中个体目标的粘连情况；基于所述粘连情况，对所述人体检测结果执行对应的粘连拆分操作；基于粘连拆分操作的结果，重新输出人体检测结果。7.可选的，所述根据所述数据关联结果确定所述人体检测结果中个体目标的粘连情况包括：当所述数据关联结果中存在一对多的情况时，则确定所述人体检测结果中个体目标的粘连情况为动态粘连。8.可选的，当所述数据关联结果中存在一对多的情况时，在确定所述人体检测结果中个体目标的粘连情况为动态粘连之前，所述方法还包括：验证当前帧图像的包围盒与上一帧图像的包围盒的数据关联结果；若当前帧图像的包围盒与上一帧图像的包围盒存在一对多的情况，则验证当前帧图像的目标簇与上一帧图像的目标簇的数据关联结果；若当前帧图像的目标簇与上一帧图像的目标簇存在一对多的情况，则确定所述人体检测结果中个体目标的粘连情况为动态粘连。9.可选的，当确定所述人体检测结果中个体目标的粘连情况为动态粘连时，所述基于所述粘连情况，对所述人体检测结果执行对应的粘连拆分操作包括：对所述人体检测结果中所有的一对多关联项进行拆分，对于任一所述关联项执行如下粘连拆分操作：确定所述关联项中的基本区域以及所述基本区域的区域归属，所述基本区域为待拆分目标与关联目标的重叠区域；确定所述关联项中的待定区域，所述待定区域为所述待拆分目标中除去所述基本区域外的区域；确定所述待定区域的区域归属，从而得到拆分后的两个子区域。10.可选的，将当前帧图像的所述目标簇以及所述包围盒，与上一帧图像的所述目标簇以及所述包围盒进行数据关联包括：通过如下式子进行数据关联：其中，所述表示所述人体检测结果中目标a、b的重叠面积，、分别表示目标a、b的面积。11.本技术第二方面提供了另一种客流人体检测方法，所述方法包括：获取预先输出的人体检测结果，所述人体检测结果中包含有人体区域的目标簇以及人体区域的包围盒；判断当前帧图像的人体检测结果是否满足下述条件：所述包围盒的宽度和高度之间的比例在预设的比例范围内；且所述包围盒中的目标符合预设的头肩特征；若同时满足上述条件，则确定所述人体检测结果的单体粘连情况为静态粘连；对所述人体检测结果执行与所述静态粘连相对应的粘连拆分操作；基于粘连拆分操作的结果，重新输出人体检测结果。12.可选的，判断所述包围盒中的目标是否满足预设的头肩特征包括：将所述目标的上部区域作为目标区域，并计算所述目标区域的积分投影；确定积分投影曲线的波峰以及波谷；若所述波谷中存在目标波谷，则确定所述包围盒中的目标满足预设的头肩特征；所述目标波谷满足下述条件：所述目标波谷的左右两侧均有一个波峰，且所述目标波谷与所述波峰的水平间距以及竖直间距均处于预设的间距范围内。13.可选的，若所述波谷中存在波谷，则存储所述目标波谷的位置，作为粘连拆分操作的拆分位置；所述对所述人体检测结果执行与所述静态粘连相对应的粘连拆分操作包括：以所述目标波谷的位置的竖直线作为分割线，对目标进行粘连拆分。14.本技术第三方面提供了一种客流人体检测方法，所述方法包括：获取预先输出的人体检测结果，所述人体检测结果中包含有人体区域的目标簇以及人体区域的包围盒；针对当前帧图像的人体检测结果所检测出来的任意两个目标，判断是否满足下述条件：所述两个目标在竖直方向上相邻近；且所述两个目标的深度值符合上近下远的深度特征；若满足上述条件，则确定所述两个目标为撕裂目标；对所述两个目标执行合并操作；基于合并操作的结果，重新输出人体检测结果。15.可选的，判断所述两个目标是否在竖直方向上相邻近包括：计算所述两个目标中的第一目标与第二目标的重叠区域的极限值，所述极限值包括在上、下、左以及右四个方向的极限，分别为上极限、下极限、左极限以及右极限；若所述左极限小于所述右极限，则分别计算水平重叠比例以及竖直重叠比例；若所述水平重叠比例以及所述竖直重叠比例均大于预设的阈值，则确定所述两个目标在竖直方向上相邻近。16.可选的，判断所述两个目标的深度值是否符合上近下远的深度特征包括：确定所述两个目标中第一目标与第二目标的相对上下位置；基于所述第一目标以及所述第二目标的深度值，判断处于上方的目标是否比处于下方的目标离摄像头更近；若是，则确定所述两个目标的深度值符合上近下远的深度特征。17.本技术第四方面提供了一种客流统计相机，所述客流统计相机包括处理器和深度摄像头，所述处理器在运行过程中执行如第一方面以及第一方面中任一项可选的所述方法。18.本技术第五方面提供了一种客流人体检测装置，所述装置包括：第一获取单元，用于获取预先输出的人体检测结果，所述人体检测结果中包含有人体区域的目标簇以及人体区域的包围盒；数据关联单元，用于将当前帧图像的所述目标簇以及所述包围盒，与上一帧图像的所述目标簇以及所述包围盒进行数据关联，得到数据关联结果；粘连确定单元，用于根据所述数据关联结果确定所述人体检测结果中个体目标的粘连情况；第一粘连拆分单元，用于基于所述粘连情况，对所述人体检测结果执行对应的粘连拆分操作；第一重新输出单元，用于基于粘连拆分操作的结果，重新输出人体检测结果。19.本技术第六方面提供了另一种客流人体检测装置，所述装置包括：第二获取单元，用于获取预先输出的人体检测结果，所述人体检测结果中包含有人体区域的目标簇以及人体区域的包围盒；粘连判断单元，用于判断当前帧图像的人体检测结果是否满足下述条件：所述包围盒的宽度和高度之间的比例在预设的比例范围内；且所述包围盒中的目标符合预设的头肩特征；若同时满足上述条件，则确定所述人体检测结果的单体粘连情况为静态粘连；第二粘连拆分单元，用于对所述人体检测结果执行与所述静态粘连相对应的粘连拆分操作；第二重新输出单元，用于基于粘连拆分操作的结果，重新输出人体检测结果。20.本技术第七方面提供了另一种客流人体检测装置，所述装置包括：第三获取单元，用于获取预先输出的人体检测结果，所述人体检测结果中包含有人体区域的目标簇以及人体区域的包围盒；撕裂判断单元，用于针对当前帧图像的人体检测结果所检测出来的任意两个目标，判断是否满足下述条件：所述两个目标在竖直方向上相邻近；且所述两个目标的深度值符合上近下远的深度特征；若满足上述条件，则确定所述两个目标为撕裂目标；撕裂合并单元，用于对所述两个目标执行合并操作；第三重新输出单元，用于基于合并操作的结果，重新输出人体检测结果。21.本技术第八方面提供了一种客流人体检测装置，所述装置包括：处理器、存储器、输入输出单元以及总线；所述处理器与所述存储器、所述输入输出单元以及所述总线相连；所述存储器保存有程序，所述处理器调用所述程序以执行第一方面以及第一方面中任一项可选的所述方法。22.本技术第九方面提供了一种计算机可读存储介质，所述计算机可读存储介质上保存有程序，所述程序在计算机上执行时执行第一方面以及第一方面中任一项可选的所述方法。23.从以上技术方案可以看出，本技术具有以下优点：本技术提供了一种客流人体检测方法，该方法能够对预先输出的人体检测结果进行修正，例如修正时能够根据实际的粘连情况来选择对应的粘连拆分操作，具有较高的适应性和可靠性，该方法检测可靠，能应对深度图像中人体形状缺失和目标粘连、撕裂等各种复杂场景；并且本技术提供的用于客流相机的人体检测方法运算速度快，对算力要求低，在中低端嵌入式平台cpu上运行也可达到实时检测，便于部署且适用性广，具有大规模推广应用的前景。附图说明24.下面对本技术所涉及的附图进行说明：图1为本技术中针对动态粘连的处理方法一个实施例流程示意图；图2为本技术中人体检测结果中目标簇和包围盒的一个示意图；图3为本技术中人体检测结果中目标簇和包围盒的另一个示意图；图4为本技术中针对步骤s103的一个实施例子流程示意图；图5为本技术中针对步骤s104的一个实施例子流程示意图；图6为本技术中一个一对多的关联项的示意图；图7为本技术中基础区域以及待定区域的示意图；图8为本技术中对关联项进行拆分后的示意图；图9为本技术中针对静态粘连的处理方法一个实施例流程示意图；图10为本技术中针对步骤s202的一个实施例子流程示意图；图11为本技术中确定头肩特征的一个示意图；图12为本技术中对目标进行分割的示意图；图13为本技术中针对竖直方向撕裂的处理方法一个实施例流程示意图；图14为本技术中针对人体检测结果的获取方法的一个实施例流程示意图；图15为针对步骤s403的一个实施例子流程示意图；图16为本技术中采用头部的包围盒代替身体的包围盒的对比示意图。具体实施方式25.基于此，本技术提供了一种客流人体检测方法，用于提升针对深度图像的人体检测效果。26.需要说明的是，本技术提供的用于客流相机的人体检测方法，可以应用于客流相机、深度相机以及其它终端，还可以应用于服务器上，其它终端可以是智能手机或电脑、平板电脑、智能电视、智能手表、便携计算机终端也可以是台式计算机等具备运算以及数据分析能力的智能终端。为方便阐述，本技术中以终端为执行主体进行举例说明。27.本实施例提供的人体检测方法主要应用于客流相机中，基于深度图像实现人体检测和后续的客流统计。深度图像相较于rgb图像而言，深度图像效果不易受光照变化影响，在暗光甚至夜间都能正常采集图像；并且深度图像不具有颜色、纹理等信息，不会记录人的外貌信息，消除人们对隐私的担忧；深度图像包含距离信息，便于基于距离判断的功能应用。因此，越来越多的客流相机选用这类深度相机。28.但是实际应用中，客流相机需要保证覆盖到较大的检测范围，因此往往会搭载大视场角的深度镜头，大视场角虽然视野更广，但在人体靠近画面边缘时产生的畸变和倾斜也会更严重；另一方面，深度图像中人体部位，比如人头、身体边缘、腿部及其他低反位置容易出现空洞或缺失，严重的情况下头部或腿部形状完全缺失。也就是说，深度图像中的人体往往不具备稳健的特征，这使得常规的针对单帧图像的机器学习或深度学习的方案难以得到理想的检测结果。本实施例则提供了一种用于客流相机的人体检测方法，能够提升针对深度图像的人体检测效果。29.请参阅图1，图1为本技术提供的客流人体检测方法一个实施例流程示意图，方法包括：s101、获取预先输出的人体检测结果，所述人体检测结果中包含有人体区域的目标簇以及人体区域的包围盒；本实施例中，首先获取预先输出的人体检测结果，该人体检测结果为通过一定的方法进行初步检测所得到的，其中包括目标簇以及人体区域的包围盒，参阅图2以及图3，其中目标簇为所有人体区域的像素集合，包围盒为对检测为人体的区域的矩形的包围框。进行初步的检测可以通过下述实施方式进行：对输入的深度图像进行预处理，得到待检测图像，通过背景建模确定待检测图像中的画面运动区域，对画面运动区域进行聚类处理以确定人体区域集合，并根据人体区域集合计算人体检测结果，由于初步检测所得到的结果有可能不准确，例如有可能存在目标粘连的情况，例如实际中，两个人前后站位，就会造成两个人体区域相互粘连，其中粘连是指由于两个及两个以上的目标由于距离较近，所得的簇区域粘连在一起，导致计算得到的人体检测结果中两个及两个以上目标被视为一个目标的情况；还有一种情况就是目标存在撕裂，撕裂则是指由于特征的缺失，比如深度图像中人体区域不连通，或人体部分区域深度值变化较大不连续（还包括行人抬手、戴帽子、撑伞等），导致前述步骤中得到的属于同一人体目标的簇可能不止一个，即一个目标被视为两个目标的情况。这些误检对于客流相机而言，最终都会影响客流统计精度，因此需要对初步检测得到的人体检测结果进行修正，本实施例中针对目标粘连的情况进行修正处理。30.s102、将当前帧图像的所述目标簇以及所述包围盒，与上一帧图像的所述目标簇以及所述包围盒进行数据关联，得到数据关联结果；为了确定人体检测结果中个体目标的粘连情况，将当前帧图像的人体检测结果（包括目标包围盒和目标簇）与上一帧图像的人体检测结果进行数据关联，若当前场景未发生目标粘连，则相应的数据关联结果应当均为“一对一”的关系；而当目标开始粘连时，则数据关联会出现“一对多”的情况。因此，通过确认数据关联是否存在“一对多”的情况，即可判定是否发生目标由分开到粘连的情形。如果存在一对多的情况，则说明存在个体目标的粘连。31.s103、根据所述数据关联结果确定所述人体检测结果中个体目标的粘连情况；上述步骤s102提到，若当前场景未发生目标粘连，则相应的数据关联结果应当均为“一对一”的关系；而当目标开始粘连时，则数据关联会出现“一对多”的情况，因此，通过数据关联结果能够确定出个体目标的粘连情况，例如当出现一对多的情况时，则确定所述人体检测结果中个体目标的粘连情况为动态粘连，所述动态粘连表示目标是一开始的分开的，后来才粘连到一起。32.参阅图4，在另一种实施例中，为了进一步提高粘连情况的判别准确度，确定人体检测结果存在动态粘连的方式可以是：s1031、当所述数据关联结果中存在一对多的情况时，验证当前帧图像的包围盒与上一帧图像的包围盒的数据关联结果，若当前帧图像的包围盒与上一帧图像的包围盒存在一对多的情况，则执行步骤s1032，若不存在一对多，则执行步骤1034，判定为不存在粘连。33.s1032、验证当前帧图像的目标簇与上一帧图像的目标簇的数据关联结果，若当前帧图像的目标簇与上一帧图像的目标簇存在一对多的情况，则执行步骤s1033，若不存在一对多的情况，则执行步骤1034，判定为不存在粘连。34.s1033、确定所述人体检测结果中个体目标的粘连情况为动态粘连。35.s1034、确定不存在粘连。36.该实施例中，提供了一种针对动态粘连的判别方案，该方案采用“两步验证”的策略，能够有效提高判别精度，其中步骤s1031中，将当前帧图像检出的包围盒与上一帧包围盒进行数据关联，若存在“一对多”的情形，则进行下一步验证；否则，直接判定为无动态粘连。37.步骤s1032中，对步骤s1031中数据关联为“一对多”的目标，再用目标簇替代包围盒进行二次关联或确认，若依然存在“一对多”的情形，则判别为存在动态粘连，并将数据关联结果一同输出到拆分环节；否则，判定为无动态粘连。38.可选的，在进行数据关联时，数据关联过程中采用iom（intersection over minimum）匹配算法进行关联匹配，例如：对于目标a、b，其iom计算公式为：其中，表示目标a、b的重叠面积，、分别表示目标a、b的面积。具体的，若以包围盒进行数据关联，则所述重叠面积和目标面积均根据包围盒来计算；若以目标簇进行数据关联，则相应的重叠面积和目标面积均根据目标簇来计算。39.s104、基于所述粘连情况，对所述人体检测结果执行对应的粘连拆分操作；基于上述步骤s103中所确定的粘连情况，对人体检测结果执行对应的粘连拆分操作，例如当确定其粘连情况为动态粘连时，执行与动态粘连相对应的拆分操作，拆分操作用于将待拆分目标拆分为若干个单体目标，从而获得准确的人体检测结果。40.其中，参阅图5，在一个实施例中，粘连拆分操作可以是：s1041、对所述人体检测结果中所有的一对多关联项进行拆分，对于任一所述关联项执行如下粘连拆分操作：s1042、确定所述关联项中的基本区域以及所述基本区域的区域归属，所述基本区域为待拆分目标与关联目标的重叠区域；s1043、确定所述关联项中的待定区域，所述待定区域为所述待拆分目标中除去所述基本区域外的区域；s1044、确定所述待定区域的区域归属，从而得到拆分后的两个子区域。41.基于步骤s102所得到的数据关联结果，对“一对多”的关联项逐个拆分。对于每个“一对多”的关联项都执行上述粘连拆分操作，任一关联项都包括待拆分目标以及与之相关联的关联目标。42.参阅图6为一个“一对多”的关联项示意图，图中虚线表示上一帧图像检测结果，实线表示当前帧图像计算结果，具体的，、分别表示关联的上一帧目标a、b，表示当前帧检出的粘连目标，即待拆分目标。与、这2个目标关联，属于“一对多”的情形。所述拆分过程就是将拆分成两个目标。43.步骤s1042中，计算待拆分目标与关联目标的重叠区域，并定义为基础区域，各基础区域归属于对应的关联目标，并以之作为初步拆分的基础。44.参阅图7，待拆分目标与关联目标的重叠区域即为基础区域a，与关联目标的重叠区域即为基础区域b。基础区域a、b即为的初步拆分结果。45.步骤s1043中，计算待拆分区域除去基础区域之外的剩余其余，即为待定区域。图7中，除去基础区域a、b之外的剩余区域即为待定区域。46.步骤s1044中，确定待定区域的区域归属的方式可以有向外扩张和向内收缩的方式，例如，对待定区域进行收缩直至无剩余区域，收缩的过程即确定待定区域元素/像素归属于哪个目标的过程，例如，以待拆分区域边界为限，对基础区域进行区域生长，每次迭代的新增区域即归属为相应的基础区域，直至无剩余区域。47.参阅图8，、即为粘连拆分后的目标。48.s105、基于粘连拆分操作的结果，重新输出人体检测结果。49.在执行相应的粘连拆分操作后，例如步骤s1044中的待拆分目标将被拆分为两个子区域，并且重新获得包围盒和目标簇，那么更新包围盒和目标簇的信息，即可得到修正后的人体检测结果，重新输出该人体检测结果。50.该实施例中提供了一种客流人体检测方法，该方法检测可靠，结合修正机制以应对深度图像中人体形状缺失和目标粘连的情况，大大提升了针对深度图像的人体检测效果，从而保证客流统计的精度。51.并且本技术提供的用于客流相机的人体检测方法运算速度快，对算力要求低，在中低端嵌入式平台cpu上运行也可达到实时检测，便于部署且适用性广，具有大规模推广应用的前景。52.上述步骤实施例所提供的方法，可以很好地处理动态粘连的问题，但对于静态粘连，即目标一开始就粘连的情形却不适用。为此，本技术中还提出了针对静态粘连的粘连拆分机制，该机制主要从单帧的人体特征出发，来判断和处理相应的粘连。下面将进行详细阐述：参阅图9，该实施例提供的方法包括：s201、获取预先输出的人体检测结果，所述人体检测结果中包含有人体区域的目标簇以及人体区域的包围盒；本实施例中，首先获取预先输出的人体检测结果，该人体检测结果为通过一定的方法进行初步检测所得到的，其中包括目标簇以及人体区域的包围盒，其中目标簇为所有人体区域的像素集合，包围盒为对检测为人体的区域的矩形的包围框。进行初步的检测可以通过下述实施方式进行：对输入的深度图像进行预处理，得到待检测图像，通过背景建模确定待检测图像中的画面运动区域，对画面运动区域进行聚类处理以确定人体区域集合，并根据人体区域集合计算人体检测结果，由于初步检测所得到的结果有可能不准确，例如有可能存在目标粘连的情况，例如实际中，两个人前后站位，就会造成两个人体区域相互粘连，其中粘连是指由于两个及两个以上的目标由于距离较近，所得的簇区域粘连在一起，导致计算得到的人体检测结果中两个及两个以上目标被视为一个目标的情况；还有一种情况就是目标存在撕裂，撕裂则是指由于特征的缺失，比如深度图像中人体区域不连通，或人体部分区域深度值变化较大不连续（还包括行人抬手、戴帽子、撑伞等），导致前述步骤中得到的属于同一人体目标的簇可能不止一个，即一个目标被视为两个目标的情况。这些误检对于客流相机而言，最终都会影响客流统计精度，因此需要对初步检测得到的人体检测结果进行修正，本实施例中针对目标粘连的情况进行修正处理。53.前述实施例提供的方法很好的解决了动态粘连的问题，本实施所提供的方法主要针对静态粘连的情况，即两个目标一开始就粘连。54.s202、判断当前帧图像的人体检测结果是否满足下述条件：首先对当前帧的图像的人体检测结果进行确认，从而判断是否存在静态粘连的情况，其确认方式是通过判断人体检测结果是否满足如下条件：条件a、所述包围盒的宽度和高度之间的比例在预设的比例范围内；条件b、所述包围盒中的目标符合预设的头肩特征；其中，包围盒的宽度和高度之间的比例可以是宽高比，也可以是高宽比，可以通过预先设定的比例范围来进行约束，例如其比例范围的边界阈值r的取值通常大于常规单人宽高比。55.具体的，对于任一目标，首先判断其是否符合条件a，若符合则进一步判断其是否符合条件b。56.具体的，参阅图10，对于是否满足条件a的判断过程可以根据包围盒的像素坐标来计算进行，是否满足条件b的判断过程为：s2021、将所述目标的上部区域作为目标区域，并计算所述目标区域的积分投影；s2022、确定积分投影曲线的波峰以及波谷；s2023、若所述波谷中存在目标波谷，则确定所述包围盒中的目标满足预设的头肩特征；所述目标波谷满足下述条件：所述目标波谷的左右两侧均有一个波峰，且所述目标波谷与所述波峰的水平间距以及竖直间距均处于预设的间距范围内；若同时满足上述条件，则执行步骤s204、确定所述人体检测结果的单体粘连情况为静态粘连，若不存在目标波谷，则执行步骤s206、确定不存在静态粘连。57.参阅图11，取目标上部区域作为目标区域，对目标区域计算积分投影，可选的，对积分投影结果进行平滑处理得到优化后的积分投影曲线；求积分投影曲线波峰、波谷；对任一波谷，若其左右各有一个波峰（分别记为、），且到、的水平间距、竖直间距均符合设定的间距范围，则认为其符合“头肩特征”；然后将波谷所在位置i作为一个拆分位置存储并传入拆分环节。具体地，到、的水平、竖直间距设定范围为：其中，、分别为预设的水平、竖直方向间距阈值。优选的，。（针对图像分辨率为160x120）s203、确定所述人体检测结果的单体粘连情况为静态粘连；如果所述人体检测结果同时满足条件a以及条件b，那么判定粘连情况为静态粘连，从而执行静态粘连对应的粘连拆分操作。58.s204、对所述人体检测结果执行与所述静态粘连相对应的粘连拆分操作；对相应的粘连目标进行拆分，例如上述步骤中确定了波谷的位置i，那么将该位置i存储作为拆分的位置，拆分时以该位置的竖直线作为分割线对目标进行粘连拆分，参阅图12，图12中，左侧为以竖直线分割示意，右侧为分割后所得到的两个子区域的示意。当然，在实际中，也可以在其基础上结合目标的特征（比如边缘）以曲线进行分割，对此，本发明不做限定。前者可作为一个优选的实施例，虽然拆分的形状相对粗糙，但拆分效率高，而且对于客流统计而言，主要关注于能准确区分人数，而人体区域形状无需特别精确。59.s205、基于粘连拆分操作的结果，重新输出人体检测结果。60.在执行相应的粘连拆分操作后，重新获得包围盒和目标簇，那么更新包围盒和目标簇的信息，即可得到修正后的人体检测结果，重新输出该人体检测结果。61.本发明提出针对静态粘连的判断和粘连拆分方法，该方法主要从单帧的人体特征出发，来判断和处理相应的粘连，实际中人体特征是指包围盒宽高比和并肩的“头肩特征”，即当某个目标的宽高比过大（超过常规单人宽高比），则可能是存在粘连。进一步，通过并肩的“头肩特征”来进一步确认。对此，本发明提供了基于并肩的“头肩特征”来判断静态粘连的实施例：取目标上部区域作为目标区域，该目标区域主要覆盖人体的头部和肩部区域，再对该目标区域计算积分投影，基于积分投影的结果来判断该目标区域是否存在符合“头-肩-头”规律的“波峰-波谷-波峰”。若存在，则判断为存在静态粘连，并把“肩部”对应的“波谷”处作为拆分位置，将目标一分为二，参阅图12。62.进一步，为了更好地得到波峰、波谷，可以对积分投影曲线进行平滑，比如采用中值滤波+均值滤波，或者采用卡尔曼滤波，具体不做限定。63.需要说明的是，本技术提供了针对动态粘连和静态粘连的判断和拆分方法，在实际中，可以针对人体检测结果单独使用这两种方法进行修正，也可以同时使用，例如先进行动态粘连的判断和拆分，再针对动态粘连拆分后所输出的人体检测结果，进行静态粘连的判断和拆分。从而使得人体检测结果精度的最大化。64.前述实施例提供了用于处理动态粘连和静态粘连两种粘连情况的判断和拆分方法，基本能够覆盖实际中的绝大多数情况，能够有效提高人体检测结果的准确度，并且所述方法能够适用于客流相机的人体检测方法对硬件算力要求低，无需npu、gpu等硬件模块，可直接在中低端cpu端运行，且运算速度快，在中低端嵌入式平台cpu上运行也可达到实时检测，便于部署，成本低，具有大规模推广应用前景。65.但是，在一些场景中，比如深度图中人体区域不连通，或人体部分区域深度值变化较大不连续（还包括行人抬手、戴帽子、撑伞等），前述步骤得到的同一个人的人体的包围盒以及目标簇可能不止一个，这对客流相机而言，即存在误检，最终会影响统计精度。66.为此，本发明将这种问题归结为“撕裂”（与“粘连”相对应）并提出相应的解决方案。实际应用中，这种“撕裂”可能有多种，最为常见的是同一人体被检测为上下两个目标的情形，本发明称其为竖直方向撕裂并给出了相应的处理机制，下面将对该方法的实施例进行详细说明。67.参阅图13，本实施例提供的方法包括：s301、获取预先输出的人体检测结果，所述人体检测结果中包含有人体区域的目标簇以及人体区域的包围盒；本实施例中，首先获取预先输出的人体检测结果，该人体检测结果为通过一定的方法进行初步检测所得到的，其中包括目标簇以及人体区域的包围盒，其中目标簇为所有人体区域的像素集合，包围盒为对检测为人体的区域的矩形的包围框。进行初步的检测可以通过下述实施方式进行：对输入的深度图像进行预处理，得到待检测图像，通过背景建模确定待检测图像中的画面运动区域，对画面运动区域进行聚类处理以确定人体区域集合，并根据人体区域集合计算人体检测结果，由于初步检测所得到的结果有可能不准确，其中一种情况就是目标存在撕裂，撕裂则是指由于特征的缺失，比如深度图像中人体区域不连通，或人体部分区域深度值变化较大不连续（还包括行人抬手、戴帽子、撑伞等），导致前述步骤中得到的属于同一人体目标的簇可能不止一个，即一个目标被视为两个目标的情况。这些误检对于客流相机而言，最终都会影响客流统计精度，因此需要对初步检测得到的人体检测结果进行修正，本实施例中针对目标粘连的情况进行修正处理。68.需要说明的是，竖直方向的撕裂判断方法的原理/依据：本技术中，创新性的提出了撕裂的判断原理，即，对两个竖直方向位置邻近的目标而言，若二者在深度值上符合“上近下远”的特征，则通常为同一个人体目标，属于竖直方向撕裂的情形。主要是因为，客流相机人体检测场景中，人体大多为站姿，从头顶到脚底距相机的距离总体符合递增规律，即“上近下远”，而且在抬手、戴帽、撑伞等场景，这种规律也基本成立。作为竖直方向撕裂的反例，比如两人前后站位，虽然满足竖直方向位置邻近的条件，但由于前后站位，后面的人体比前面的人体距离相机更远，故不满足“上近下远”的条件，故可以被排除。69.s302针对当前帧图像的人体检测结果所检测出来的任意两个目标，判断是否满足下述条件c以及条件d，若满足，则执行步骤s303，若不满足，则执行步骤s306，确定不存在竖直方向撕裂：条件c、所述两个目标在竖直方向上相邻近；条件d、所述两个目标的深度值符合上近下远的深度特征；基于步骤s301中所阐述的原理和依据，本实施例中通过条件c和条件d作为约束来进行撕裂的判别，如果所检测的目标同时满足上述条件c以及条件d，那么认为目标存在撕裂的情况；具体的，下述提供了一种将判别的实施例：对于条件c：计算所述两个目标中的第一目标与第二目标的重叠区域的极限值，所述极限值包括在上、下、左以及右四个方向的极限，分别为上极限、下极限、左极限以及右极限；若所述左极限小于所述右极限，则分别计算水平重叠比例以及竖直重叠比例；若所述水平重叠比例以及所述竖直重叠比例均大于预设的阈值，则确定所述两个目标在竖直方向上相邻近。70.下面举例进行说明：对于目标a（x1, y1, w1, h1）、b（x2, y2, w2, h2），本技术中，将目标对应的包围盒表示为（x, y, w, h）的形式，其中x、y分别表示左上角顶点横纵坐标，w、h表示包围盒（矩形框）的宽、高。71.计算其重叠区域左右上下极限：若则继续计算和判断（否则返回，判定不属于竖直方向位置邻近），计算水平重叠比例和竖直邻近比例：若且，则判定属于竖直方向位置邻近。其中，、分别为预设的水平重叠比例阈值和竖直邻近比例阈值。优选地，。72.若条件c满足，则进一步判断条件d。73.对于条件d：确定所述两个目标中第一目标与第二目标的相对上下位置；基于所述第一目标以及所述第二目标的深度值，判断处于上方的目标是否比处于下方的目标离摄像头更近；若是，则确定所述两个目标的深度值符合上近下远的深度特征。74.具体的，先判定目标（比如a、b）上下位置关系，然后依据深度值判断处于上方的目标是否比处于下方的目标距离摄像头更近，若是，则判定满足“上近下远”。75.s303确定所述两个目标为撕裂目标；进一步，若目标同时满足上述条件，则执行步骤s303，确定两个目标为撕裂目标，并将其关联，所有目标判断完毕后，将所有关联结果送入撕裂合并环节。76.s304对所述两个目标执行合并操作；若存在竖直方向撕裂，则对关联的目标簇进行合并，将原来的两个目标簇合并为一个，在输出人体检测结果时，将视为一个单体。77.s305基于合并操作的结果，重新输出人体检测结果。78.对合并后的目标簇重新进行计算，包括根据目标簇计算包围盒，并通过人体特征约束进一步筛选。79.s306、确定不存在竖直方向撕裂。80.本技术中的前述实施例均是用于对预先输出的人体检测结果进行修正，而预先输出的人体检测结果为通过一定的方法进行初步检测所得到的，预先输出的人体检测结果中包括目标簇以及人体区域的包围盒，其中目标簇为所有人体区域的像素集合，包围盒为检测对检测为人体的区域的矩形的包围框。81.下面针对本技术中所提及的步骤“获取预先输出的人体检测结果，所述人体检测结果中包含有人体区域的目标簇以及人体区域的包围盒”，提供具体的实施例方式，下面进行详细阐述，参阅图14，该实施例包括：s401、对输入的深度图像进行预处理，得到待检测图像；本实施例提供的人体检测方法主要应用于客流相机中，基于深度图像实现人体检测和后续的客流统计。深度图像相较于rgb图像而言，深度图像效果不易受光照变化影响，在暗光甚至夜间都能正常采集图像；并且深度图像不具有颜色、纹理等信息，不会记录人的外貌信息，消除人们对隐私的担忧；深度图像包含距离信息，便于基于距离判断的功能应用。因此，越来越多的客流相机选用这类深度相机。82.但是实际应用中，客流相机需要保证覆盖到较大的检测范围，因此往往会搭载大视场角的深度镜头，大视场角虽然视野更广，但在人体靠近画面边缘时产生的畸变和倾斜也会更严重；另一方面，深度图像中人体部位，比如人头、身体边缘、腿部及其他低反位置容易出现空洞或缺失，严重的情况下头部或腿部形状完全缺失。也就是说，深度图像中的人体往往不具备稳健的特征，这使得常规的针对单帧图像的机器学习或深度学习的方案难以得到理想的检测结果。本实施例则提供了一种用于客流相机的人体检测方法，能够提升针对深度图像的人体检测效果。83.在本实施例中，终端首先对输入的深度图像进行预处理，该预处理包括但不限于对深度图像进行下采样和格式转换，以便能够减少计算量，提高检测速度。84.终端对输入的深度图像进行预处理，该预处理具体包括下采样和/或格式转换，还包括对处理后的图像进行阈值选通，然后得到待检测图像。85.具体的，下采样和/或格式转换包括：若深度图像分辨率较大，则对原始深度图像进行下采样（即缩小）；若深度图像位深度大于8bit，则将其转换为8bit图像，以便减少计算量，提高检测速度。下采样和格式转换顺序可以互换，优选的，终端先对原始深度图像进行下采样，再将下采样的深度图像转换为8bit图像。86.进一步的，终端还需要对经过上述处理后的深度图像进行深度选通，即预先设定好深度范围[imin,imax]，将不符合该深度范围的像素值置为0。需要说明的是，imin、imax可根据应用需求和实际场景而作具体设定。通过深度选通可以初步筛选出一些暗部（近距离）噪声和亮部（远距离）噪声，有利于改善检测效果。[0087]s402、通过背景建模确定待检测图像中的画面运动区域；终端通过背景建模确定待检测图像中的画面运动区域。背景建模对于相机固定且画面背景变化缓慢的场景，可直接用于运动目标检测或作为前处理环节减少搜索范围进而减少计算量。背景建模的主要优势在于计算量相对较小、速度快。并且在客流统计场景下所获取的深度图像中，人体形状往往是不完整且不固定的，比如人体头部或腿部缺失，大视场角的摄像头获取靠近画面边缘人体的图像会畸变、倾斜严重，常规视角的摄像头基于单帧的检测手段则无法实现有效的人体检测。在本实施例中，通过背景建模来确定待检测图像中画面运动区域，能够充分考虑多帧信息，将运动目标（行人）与画面背景区分开来，降低背景对检测结果的干扰。[0088]在一些具体的实施例中，背景建模可采用码本算法codebook或lobster算法实现。[0089]s403、对画面运动区域进行聚类处理以确定人体区域集合，并根据人体区域集合计算人体检测结果；终端对步骤s402中得到的画面运动区域进行聚类，具体是对画面运动区域中的有效像素进行聚类，得到簇的集合，即本技术中的人体区域集合。具体的，聚类处理是指对于任意已在簇中的一个像素a，遍历其邻域像素，对任一有效的邻域像素ni，若ni与a的像素值之差的绝对值小于预设的簇内相似度阈值s，则将ni加入到a所在的簇中，否则新建一个簇并将ni加入其中并继续聚类。[0090]上述得到的人体区域集合通常已包含主要的人体区域，但并不能直接将各个目标簇直接当作人体区域。这是由于：1）所得簇可能包括噪声区域、运动物体和误检的背景等非人体区域；2）当人体相互接触或遮挡时,所得的簇区域粘连在一起，而非一个个独立的人体区域，即本技术中所指的“粘连”；3）一些场景中，比如深度图中人体区域不连通或人体部分区域深度值变化较大不连续时，属于同一人体目标的簇可能不止一个，即本技术中所指的“撕裂”。[0091]为了解决上述问题，在得到人体区域集合后，还需进一步根据人体区域集合计算对应的人体检测结果，即终端遍历簇集合，求得所有簇的包围盒，将其作为该簇的检测框，得到人体检测结果。[0092]具体的，终端遍历簇的所有像素，求得簇中像素x、y坐标最小值、最大值：xmin、ymin、xmax、ymax，即可确定相应的包围盒矩形，该矩形即为目标检测框。需要说明的是，该人体检测结果至少包括人体区域集合和人体包围盒集合。[0093]参阅图15，下面提供一个确定人体区域集合的实施例，该实施例包括：s4031、通过图像掩膜将画面运动区域以内的像素标记为有效像素，并将画面运动区域以外的像素标记为无效像素；终端在得到画面运动区域后，则通过制作一个和待检测图像同等分辨率的图像掩膜用以标记像素是否有效。具体地，将步骤s4032中所得画面运动区域对应像素标记为有效，其余区域像素标记为无效。[0094]进一步，终端还可以将图像掩膜的上、下、左、右边界像素都标记为无效，以便在后续执行聚类时避免对每个像素进行边界校验，提高效率。[0095]s4032、根据图像掩膜和待检测图像对有效像素进行聚类处理得到人体区域集合；终端根据图像掩膜和待检测图像，对步骤s4031中所有标记有效的像素进行聚类得到簇的集合，即本技术中的人体区域集合。具体的，聚类处理是指对于任意已在簇中的一个像素a，遍历其邻域像素，对任一有效的邻域像素ni，若ni与a的像素值之差的绝对值小于预设的簇内相似度阈值s，则将ni加入到a所在的簇中，否则新建一个簇并将ni加入其中并继续聚类。[0096]进一步，由于聚类会涉及到图像的搜索，在一些具体的实施例中，可以采用深度优先搜索（depth-first-search, dfs），也可以采用广度优先搜索（breadth-first-search, bfs）。优选采用广度优先搜索，避免递归且内存消耗小，以便提升计算速度。[0097]s4033、确定人体区域集合的包围盒；终端遍历步骤s4032中得到的人体区域集合，即簇集合，对每个簇求其aabb包围盒，以之作为该簇的检测框。求aabb包围盒的过程为：遍历目标簇的所有像素，求得簇中像素x、y坐标最小值、最大值：xmin、ymin、xmax、ymax，即可确定相应的包围盒矩形，该矩形即为目标检测框。[0098]在一些具体的实施例中，终端还可以进一步的在求簇中像素x、y坐标最小值、最大值过程中，同时求得各簇最高点（其高度为ymax）对应的像素位置，进而得到各簇顶点坐标集合。从而能够以该最高点作为顶点，后续可以其为头顶基准生成小的人头框以替代人体包围盒，这样在多人且粘连的场景中，能够避免输出密集且重叠的检测框，从而改善应用端上的显示效果。[0099]请参阅图16，图16中的上面部分为改善前的显示，图16中的下面部分为使用人头框替代人体包围盒进行改善后的显示效果，大大提升了用户体验。[0100]s4034、通过预设约束对包围盒进行筛选，并将筛选出的包围盒确定为人体检测结果；终端在计算得到人体区域集合的包围盒后，则通过预设约束对得到的包围盒进行筛选。[0101]具体的，该预设约束包括但不限于：人体区域面积约束、包围盒宽高比约束、边界限位约束以及身高约束，下面将分别进行说明。[0102]1）人体区域面积约束；具体为，设定目标面积阈值范围[amin，amax]，丢弃面积不在该设定范围内的目标。目标面积即簇中像素个数。进一步的，amin取值应考虑单人区域面积最小极限，而amax取值应考虑粘连场景多人区域面积最大极限，这是考虑到多人粘连的情形，首先将该区域保留下来，留待后续粘连拆分环节予以修正。可选的，amin取值也可比单人区域面积最小极限更小，其意图是考虑到单个人体区域撕裂的情形，首先保留这些结果，留待后续撕裂合并环节予以修正。[0103]2）包围盒宽高比约束；具体为，设定目标检测框宽高比范围[rmin, rmax]，丢弃检测框宽高比不在该设定范围内的目标。宽高比即包围盒的宽度与高度的比值，也可以是高度与宽度的比值。进一步，rmin取值应考虑单人包围盒宽高比最小极限，而rmax取值应考虑粘连场景多人包围盒宽高比最大极限，与前述[amin，amax]同理。[0104]3）边界限位约束；具体为，根据应用需求和实际场景特性，设置上下左右边界线，丢弃中心点超出边界线的目标。具体的，该中心点为包围盒中心点或人体区域形心，优选该中心点为人体区域形心。其目的在于当人体处于图像边界形状缺失较多时，直接忽略不计。[0105]4）身高约束；具体为设定高度阈值ht，丢弃高度低于高度阈值的目标。其目的在于筛除一些被误检的低矮物体，比如因挪动而被背景建模模块当作运动区域的椅子。具体高度判别方案有两种，优选采用方案二：方案一，通过相机内外参和目标的像素坐标，估算深度图像中的目标的实际身高，再将该估计值与高度阈值进行比较；方案二，采用高度标定的方式，对高度阈值ht所在的高度平面进行深度图采集得到基准深度图，或者，记录相机高度hc，将相机布置在hc-ht的高度，然后采集地面深度图作为基准深度图，实际使用过程中通过将目标深度与基准深度图进行比较以确定目标与基准深度图的高度高低关系，从而判别目标是否低于ht。[0106]需要说明的是，在上述筛选过程中，簇和包围盒总是对应的，当某个簇被筛选掉时，相应的包围盒也要被同步删除，反之亦然。[0107]并且在实际应用中，步骤s4034将可能被执行多次，其中身高约束不必每次都执行，对于总的检测过程中执行一次即可。具体为：执行相应拆分或合并处理之后，均需要重新求所有簇的包围盒并通过人体面积约束、包围盒宽高比和边界限位约束对结果进行筛选，而通过身高约束筛选检测结果则作为一个单独的步骤放在上述步骤之后且仅执行一遍。[0108]本技术还提供了一种客流相机，该客流统计相机包括处理器和深度摄像头，该处理器在运行过程中执行如上任一客流人体检测方法。[0109]本技术还提供了一种客流人体检测装置，所述装置包括相互耦合的：第一获取单元，用于获取预先输出的人体检测结果，所述人体检测结果中包含有人体区域的目标簇以及人体区域的包围盒；数据关联单元，用于将当前帧图像的所述目标簇以及所述包围盒，与上一帧图像的所述目标簇以及所述包围盒进行数据关联，得到数据关联结果；粘连确定单元，用于根据所述数据关联结果确定所述人体检测结果中个体目标的粘连情况；第一粘连拆分单元，用于基于所述粘连情况，对所述人体检测结果执行对应的粘连拆分操作；第一重新输出单元，用于基于粘连拆分操作的结果，重新输出人体检测结果。[0110]本技术还提供了另一种客流人体检测装置，所述装置包括相互耦合的：第二获取单元，用于获取预先输出的人体检测结果，所述人体检测结果中包含有人体区域的目标簇以及人体区域的包围盒；粘连判断单元，用于判断当前帧图像的人体检测结果是否满足下述条件：所述包围盒的宽度和高度之间的比例在预设的比例范围内；且所述包围盒中的目标符合预设的头肩特征；若同时满足上述条件，则确定所述人体检测结果的单体粘连情况为静态粘连；第二粘连拆分单元，用于对所述人体检测结果执行与所述静态粘连相对应的粘连拆分操作；第二重新输出单元，用于基于粘连拆分操作的结果，重新输出人体检测结果。[0111]本技术还提供了另一种客流人体检测装置，所述装置包括相互耦合的：第三获取单元，用于获取预先输出的人体检测结果，所述人体检测结果中包含有人体区域的目标簇以及人体区域的包围盒；撕裂判断单元，用于针对当前帧图像的人体检测结果所检测出来的任意两个目标，判断是否满足下述条件：所述两个目标在竖直方向上相邻近；且所述两个目标的深度值符合上近下远的深度特征；若满足上述条件，则确定所述两个目标为撕裂目标；撕裂合并单元，用于对所述两个目标执行合并操作；第三重新输出单元，用于基于合并操作的结果，重新输出人体检测结果。[0112]本技术还提供了一种客流人体检测装置，包括相互耦合的：处理器、存储器、输入输出单元、总线；处理器与存储器、输入输出单元以及总线相连；存储器保存有程序，处理器调用程序以执行如上任一客流人体检测方法。[0113]本技术还涉及一种计算机可读存储介质，计算机可读存储介质上保存有程序，其特征在于，当程序在计算机上运行时，使得计算机执行如上任一方法。以上所描述的装置实施例仅仅是示意性的，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!