一种自助收银智能防损方法和系统与流程 专利技术说明

核算装置的制造及其应用技术1.本发明涉及自助收银设备智能支付技术领域，尤其是涉及一种自助收银智能防损方 法和系统。背景技术：2.防损的定义是:通过从货品生产加工、运输储存、销售管理等各物流作业环节操作 的控制和防范，确保货品最大价值的过程。主要体现在规避、降低风险和改善/提升利 润这几个方面。3.超市防损工作是超市减少损耗、提高经营利润得重要手段之一。对商品失窃、未结 账商品带出、条码破损或替换等的防范和处理工作在超市整体防损工作中占的比重较 大。随着自助收银设备的广泛使用，商品防损工作也变得更加重要，自助结账过程中的 防损工作成为关键。4.当前在自助结账过程中出现的和商品损耗相关的具体问题举例如下：比如在扫码结 算的同时，就可能会出现以下几种情况：1、消费者结算时商品的条形码不清楚而导致 无法录入成功；2、结算时消费者做出扫码动作其实并未扫码(假装扫码)；3、结算时 消费者用一个低价格商品的条形码代替一个高商品价格的条形码(替代扫码)。5.当前，在自助结账收银阶段的防损方法措施有多种，除了配备专门管理人员辅助结 账外，技术方法采用较多的如：a)将货品贴上rfid条码,通过部署的rfid网关进行 识别，实现自动结账及防盗；b)在每条结账通道部署摄像头，采集用户行为进行视频 监控。此方案中可采用更高级的视频识别技术，将自助结账视频进行采集，根据深度学 习算法自动识别和分析人的异常行为，联动报警系统。6.对于rfid识别的方案，由于rfid标签和网关的成本较高，基本上在高价值商品和 高端商超采用较多。在当前大多数商超客户中应用并不普遍。7.对于视频监控识别的方法，传统的视频监控需要有专门的监控人员，耗费人力，也 无法做到全时监控和实时性，这种方法已经逐渐被基于云计算和深度学习的人工智能技 术所替代。目前在商超的收银防损工作中，已经出现这种先进的技术方案，通过部署智 能摄像头建立视频识别系统，对顾客的交易行为进行识别分析，并结合自助交易系统的 交易记录，判断是否有异常交易行为，再将异常识别信息通知报警处理系统。这种视频 分析方法节省了人力，能自动识别异常交易，但也存在识别准确度低、系统成本高昂多 种弊端。8.并且对于当前视频识别方案，首先在实施上需要部署多个独立的系统，分别部署视 频采集分析系统、自助交易系统及报警处理系统，增加了安装部署成本；其次，视频的 监控采集容易被顾客遮挡而无法采集到交易行为，这样就无法判断和取证；另外，使用 深度学习进行行为分析成本较高，需要客户进行较大的资金和研发投入，而且顾客交易 过程中行为复杂，当前的深度学习支持的行为分析算法等对复杂动作并不能准确的判断 分析，存在识别准确率低、误识别情况频繁等问题。技术实现要素：9.本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明的目的在于提 出一种自助收银智能防损方法和系统，能够自动识别客户支付过程中的漏扫、误扫、不 扫行为，实现防损功能。10.为了实现上述目的，根据本发明实施例提出了一种自助收银的智能防损方法，包括：11.获取当前的支付事件；12.根据所述支付事件分析交易类型，其中，所述交易类型包括手持物体的识别、手持 物体移动至自助收银设备摄像头的距离、商品扫码的移动侦测；13.根据所述交易类型判断是否漏扫或假装漏扫；14.如果是，发送报警信息，结算台暂停交易并判断是否完成核销，如果是解锁所述暂 停交易生成继续交易；15.所述报警信息和所述继续交易显示至自助收银设备显示屏。16.本发明一些实施例中，所述支付事件包括交易开始事件、扫码事件、加购物车事件、 交易结束事件。17.本发明一些实施例中，如果是，发送报警信息，结算台暂停交易并判断是否完成核 销，如果是解锁所述暂停交易生成继续交易，具体为：所述报警信息包括发送至自助收 银模块的暂停交易信息和发送至报警处理模块的核销事件。18.本发明一些实施例中，所述核销事件包括核销开始事件、所述核销反馈事件和核销 结束事件。19.本发明一些实施例中，所述如果是解锁所述暂停交易生成继续交易之前，所述自助 收银模块接收到所述核销结束事件，解锁所述暂停交易生成所述继续交易20.本发明一些事实例中，所述手持物体的识别具体为：通过摄像头同时获取彩色,深度 以及人体骨骼信息,并将人体手部关节坐标点映射到深度图像上，提取所述手部掩膜区 域,再将其映射到彩色图像上,基于肤色检测算法判断所述手部皮肤占比,确认是否存在 握持物体。21.本发明一些实施例中，顾客交易过程开始后，采用所述手持物体识别对物品的抓取 进行识别，通过所述手持物体移动至自助收银设备摄像头的距离和所述商品扫码的移动 侦测判断扫码交易动作，判断顾客是否完成了扫码。22.第二方面，本发明实施例提供一种自助收银智能防损系统，包括：视频采集分析模 块、自助收银模块和报警处理模块；23.所述自助收银模块包括支付事件，所述支付事件传输至视频采集分析模块；24.所述视频采集分析模块具有摄像头，其通过部署在自助收银设备周边的计算机服务 器的视频流分析以及监听结算台发布的交易事件，判断是否漏扫以及假装扫描；如果是 发送报警信息至所述报警处理模块和所述自助收银模块；25.所述自助收银模块接受所述报警信息后，锁住结算台暂停交易；26.所述报警处理模块，接受所述报警信息，判断是否完成核销，如果是，将核销结束 事件发送至所述自助收银模块，所述自助收银模块解锁所述结算台暂停交易生成继续交 易；27.所述报警信息和所述继续交易显示至自助收银设备显示屏。28.本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得 明显，或通过本发明的实践了解到。附图说明29.本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明 显和容易理解，其中：30.图1是本发明提供的自助收银智能防损方法的一个实施例的流程图；31.图2是本发明提供的自助收银智能防损系统的示意图；32.图3是本发明提供的非线性变换k-l变换的示意图；33.图4是本发明提供的相机针孔成像模型的示意图；[0034][0035]图5是本发明提供的相机针孔成像模型的简化为二维平面模型的示意图；[0036]图6是本发明提供的帧差法的处理的流程图；[0037]图7是本发明提供的整体交互时序图；[0038]图8是本发明提供的业务场景交互逻辑图。具体实施方式[0039]下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相 同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附 图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。[0040]在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、ꢀ“宽度”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、ꢀ“内”、“外”、“轴向”、“径向”等指示的方位或位置关系为基于附图所示的方位 或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元 件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。[0041]在本发明的描述中，“第一特征”、“第二特征”可以包括一个或者多个该特征。[0042]在本发明的描述中，第一特征在第二特征“之上”、“上方”和“上面”包括第一 特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。[0043]本发明提出的智能防损系统共包含三种模块和三类事件，其相互关系如图2所示。 三种模块分别为视频采集分析模块20，自助收银模块10，报警处理模块30。三类事件 分别为支付事件、报警事件和核销事件。其中，自助收银模块10包括支付事件，支付 事件传输至视频材料分析模块。视频采集分析模块20具有摄像头，其通过部署在自助 收银设备周边的计算机服务器的视频流分析以及监听结算台发布的交易类事件判断是 否漏扫以及假装扫码等，如发生以上事件，就会发生报警，视频采集模块发送报警信息 至报警处理模块30和自助收银模块，然后进行人工干预。所部署在自助收银模块10中 的结算台上的软件在接到报警时，就会锁住结算台暂停交易。直到客服人员完成核销后， 再解锁结算台暂停交易生成继续交易。该系统负责接收报警，通知客服人员进行干预， 并发送客服人员的报警处理和反馈结果。同时，报警信息和继续交易信息显示至自助收 银设备的显示屏。[0044]图1是本发明提供的自助收银的智能防损方法一个实施例的流程图，如图1所示， 本发明提供一种自助收银的智能防损方法，包括：[0045]s101、获取当前的支付事件。[0046]本发明提供的智能防损方法的执行主体为自助收银设备，其可通过界面上的触摸屏， 实现用户支付时商品条码扫描、确认支付和消费清单扫描等功能。其中，支付事件指的 是自助收银模块中发布的事件，包括交易开始事件、扫码事件、加购物车事件、交易结 束事件。[0047]s102、根据所述支付事件分析交易类型，其中，所述交易类型包括手持物体的识别、 手持物体移动至自助收银设备摄像头的距离、商品扫码的移动侦测。[0048]具体地，本发明实施例中，交易类型采用图像识别算法，根据顾客手中的物品在摄 像头中移动的位置判断顾客的扫码动作，算法包括手持物体的识别、手持物体移动至自 助收银设备摄像头的距离的识别、商品扫码的移动侦测。该方法比采用深度学习的方法 更简单易用，在识别率方面也会有较大提升。[0049]具体地，手持物体的识别算法：[0050]手持物体识别总体原理：通过摄像头同时获取彩色,深度以及人体骨骼信息,并将人 体手部关节坐标点映射到深度图像上，提取手部掩膜区域,再将其映射到彩色图像上,基 于肤色检测算法判断手部皮肤占比,从而确认是否存在握持物体。[0051]其中，肤色检测采用椭圆肤色检测模型。椭圆肤色检测模型是将皮肤信息映射到 ycrcb空间，在crcb二维空间中这些皮肤像素点近似成一个椭圆分布。因此如果我们得 到了一个crcb的椭圆，下次来一个坐标(cr,cb)我们只需判断它是否在椭圆内(包括 边界)，如果是，则可以判断其为皮肤，否则就是非皮肤像素点。[0052]肤色区域的颜色与亮度成非线性函数关系，在低亮度条件下，ycbcr空间中色度的 聚类性会随y呈非线性变换降低。为了使肤色聚类不受亮度y的影响并将ycbcr颜色 空间中的色度cb、cr进行非线性变换，在研究ycbcr颜色空间的肤色聚类情况的基础 上，去掉高光阴影部分(即y的最大最小值)，ycbcr空间色度非线性变换过程中， 用cb··y、cr··y表示肤色区域的中轴线，肤色区域的宽度分别用vcb、vcr表 示。即将图像转化到ycbcr空间并且在cbcr平面进行投影，因此我们采集了肤色的样 本点，将其投影到此平面，并且投影后，我们进行了相应的非线性变换k-l变换，如图 3所示。[0053]进而形成的统计椭圆模型，如下公式：[0054][0055][0056]采用一副图像来存储上面的椭圆，该图像是二值图像，即椭圆区域内部为白色，其 它地方为黑色。把rgb转为ycrcb空间可以忽略y(亮度)的影响，因为该空间受亮度影 响很小，肤色会产生很好的类聚。这样就把三维的空间将为二维的crcb，肤色点会形成 一定的形状。所以当其需要判断其它像素点时，只需将该像素点转换成cr，cb两个坐 标，然后在上面的椭圆中找到该坐标的值，如果非0，则为皮肤，反之亦然。[0057]通过上述对手部识别的算法判断顾客取放商品的动作，当结账交易开始后，手持商 品进入摄像头识别区，则跟踪该动作过程。[0058]手持物品移动到自助收银设备摄像头的距离算法：[0059]采用相似三角形计算法。其基本原理是基于三维成像的小孔成像模型，又称相机针 孔成像模型，如图4所示。简化为二维平面模型如图5所示。[0060]如图5所示，中间通过红蓝的垂线是相机的主光轴，d是被测物体至摄像头镜头的距离， f为摄像头镜头的焦距，w为被测物体的实际宽度(高度)，w'为物体在成像平面(感光元 件)上的宽度(高度)。根据相似三角形公式可得：[0061]f/d＝w'/w[0062]f(相机镜头焦距)是已知参数，w(实际物体宽或高)则是可实际测得的常量，w'(物 像宽或高)根据像素捕获画面尺寸和感光元件尺寸计算获得。所以，计算距离的公式为：[0063]d＝f*w/w’[0064]在得知了f，w，w'，可根据相似三角形公式计算得出d。当物体到摄像机镜头的距离 小于系统设定的阈值，则系统可判断顾客做出了扫码动作。[0065]商品扫码的移动侦测算法：[0066]由于顾客在扫码过程中，动作不仅仅是拿着商品面向扫码器进行前后移动，很多会 采取左右或者上下方向移动，整体的过程是从监控画面外进入到监控画面内。因此， 本方案采用移动侦测的帧差法算法对此类扫码动作进行捕捉。[0067]帧差法是将视频中前后两帧做减法，当前帧在(x，y)点处的像素值减去上一帧在 (x，y)处的像素值。具体实现步骤a.视频数据读取，读取相邻两帧中的人眼最敏感 的亮度数据。b.用后一帧的亮度矩阵减去前一帧亮度矩阵，计算出两帧的帧差。c.迭 代计算出帧差中的噪声的均值和标准差。d.根据均值和标准差滤除噪声，得到变化区 域。e.用数学形态学运算得到对象的最终模板。[0068]帧差法的处理流程图如6图所示。[0069]s103根据所述交易类型判断是否漏扫或假装漏扫。[0070]顾客交易过程开始后，采用手持物体识别算法对物品的抓取进行识别，然后通过距 离算法和移动侦测算法判断扫码交易动作，配合扫码交易记录以及抓取动作判断顾客是 否完成了扫码。从而判断顾客是否漏扫或假装漏扫。[0071]最后，s104如果是，发送报警信息，结算台暂停交易并判断是否完成核销，如果是 解锁所述暂停交易生成继续交易；所述报警信息和所述继续交易显示至自助收银设备显 示屏。[0072]其中，如果是，发送报警信息，结算台暂停交易并判断是否完成核销，如果是解锁 所述暂停交易生成继续交易，具体为：所述报警信息包括发送至自助收银模块的暂停交 易信息和发送至报警处理模块的核销事件。[0073]其中，所述核销事件包括核销开始事件、所述核销反馈事件和核销结束事件。[0074]其中，所述如果是解锁所述暂停交易生成继续交易之前，所述自助收银模块接收到 所述核销结束事件，解锁所述暂停交易生成所述继续交易。[0075]在一些实施例中，本发明的整体交互时序图如图7所示，具体地：先从自助收银模 块的开始交易购物，当消费者使用结算台开始登陆或者是开始新的交易，自助收银模块 会发送该事件到视频采集分析模块。扫描条码，当消费者通过台面扫码或手持扫码或触 屏输入以及触屏搜索等而进行的商品录入时，自助收银模块会发送该事件到视频采集分 析模块。然后通过自助模块的‑‑pos系统交互获取商品信息，将其加入购物车，在购物 车中通过扫描条码选择增加商品，或者移除商品，这些信息都被反馈给视频采集分析模 块。[0076]如果发生消费者商品因条形码不清楚而导致录入失败或者是做出扫码动作而没有真 实扫码或者是替换扫码时等，就会触及报警系统并将所拍摄的报警视频同步发送给客 服，客服查看警报视频后开始分情况处理警报，分别为核销开始事件，当客服人员开始 使用报警处理系统进入核实时，由报警模块发送给视频采集分析模块。核销反馈事件， 就是当客服人员核实报警后，帮助消费者重扫的同时，并给出反馈，由报警模块发送给 视频采集分析模块。核销结束事件就是等客服核销完成后将其消息同步给视频采集分析 模块和自助收银模块，报警处理完毕后自助锁屏解除，最后执行结束交易事件同步给视 频采集分析模块。[0077]具体而言，本发明业务场景交互逻辑如图8所示。具体地，交易开始由结算台输入 支付事件，防损摄像头拍摄视频获取当前的支付事件，支付事件通过视频算法服务器进 行分析，识别交易类型，判断是否漏扫。如果时，执行报警核销步骤，发送报警信息至 结算台，由客服处理进行核销，核销后反馈至结算台，解锁结算台继续交易。如果否， 继续判断是否假装扫描，如果是假装扫码执行报警核销步骤；如果否，判断是否代替扫 描，如果是代替扫码执行上述报警核销步骤。最后交易结束。[0078]本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过 程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程 序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：rom、ram、 磁碟或者光盘等各种可以存储程序代码的介质。[0079]图4是本技术提供的，如图2所示，一种自助收银智能防损系统，包括：视频采集 分析模块20、自助收银模块10和报警处理模块30；[0080]所述自助收银模块10包括支付事件，所述支付事件传输至视频采集分析模块；[0081]所述视频采集分析模块20具有摄像头，其通过部署在自助收银设备周边的计算机服 务器的视频流分析以及监听结算台发布的交易事件，判断是否漏扫以及假装扫描；如果 是发送报警信息至所述报警处理模块30和所述自助收银模块10；[0082]所述自助收银模块10接受所述报警信息后，锁住结算台暂停交易；[0083]所述报警处理模块30，接受所述报警信息，判断是否完成核销，如果是，将核销 结束事件发送至所述自助收银模块，所述自助收银模块10解锁所述结算台暂停交易生 成继续交易；所述报警信息和所述继续交易显示至自助收银设备显示屏。[0084]在本说明书的描述中，参考术语“具体实施例”、“具体示例”等的描述意指结合该实 施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。 在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。[0085]尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本 发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的 范围由权利要求及其等同物限定。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!