一种基于手势识别的人机交互方法及装置与流程

计算;推算;计数设备的制造及其应用技术1.本发明涉及计算机图像及人机交互技术领域，具体而言，涉及一种基于手势识别的人机交互方法及装置。背景技术：2.随着电子信息技术和人工智能技术的快速发展，用户与电子设备之间的交互活动在人们日常生活中越来越频繁，人机交互方式也从最初的指令输入，逐渐发展为通过语言、手势和体态等更加符合人类自然习惯的交互方式，极大地提升了人机交互的便捷性。因此，如何借助计算机视觉技术，有效地降低手势识别的硬件成本，降低手势识别算法的复杂度，进一步提升手势识别的准确性，提高基于手势指令的人机交互效率，是人机交互技术发展过程中亟待解决的技术问题之一。技术实现要素：3.为了解决上述技术问题至少之一，本发明的实施例提出了一种基于手势识别的人机交互方法，包括以下步骤：s101，对手势图像进行手势识别，确定所述手势图像中的一个或多个手部图像的位置；s102，将所述手势图像中的手部图像与交互界面中的光标进行关联映射；s103，根据预设时间间隔内所述手部图像的姿态和/或数量变化，确定手势交互指令。4.优选地，所述步骤s101之前，还包括：获取所述手势图像。5.优选地，所述步骤s102，具体为：将所述手势图像与所述交互界面进行等比例映射，根据所述手部图像在所述手势图像中的位置，确定所述交互界面中光标的位置。6.优选地，所述步骤s103，具体为：在预设时间间隔内，获取至少两幅所述手势图像；识别所述手势图像中手部图像的姿态和数量；根据预设手势指令模型，确定手势交互指令。7.优选地，所述步骤s103之前，还包括：建立所述手势指令模型。8.本发明的实施例同时提出了一种基于手势识别的人机交互装置，该装置包括：手势识别模块，用于对手势图像进行手势识别，确定所述手势图像中的一个或多个手部图像的位置；光标映射模块，用于将所述手势图像中的手部图像与交互界面中的光标进行关联映射；指令确定模块，用于根据预设时间间隔内所述手部图像的姿态和/或数量变化，确定手势交互指令。9.优选地，所述基于手势识别的人机交互装置，还包括：图像获取模块：用于获取所述手势图像。10.优选地，所述光标映射模块，具体用于将所述手势图像与所述交互界面进行等比例映射，根据所述手部图像在所述手势图像中的位置，确定所述交互界面中光标的位置。11.优选地，所述指令确定模块，具体用于在预设时间间隔内，获取至少两幅所述手势图像；识别所述手势图像中手部图像的姿态和数量；以及，根据预设手势指令模型，确定手势交互指令。12.优选地，所述基于手势识别的人机交互装置，还包括：模型建立模块，用于建立所述手势指令模型。13.本发明的附加方面和优点将在下面的描述部分中变得明显，或通过本发明的实践了解到。附图说明14.本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：15.图1是本发明的实施例的基于手势识别的人机交互方法的流程示意图；16.图2是本发明的实施例的基于手势识别的人机交互装置的结构示意图。具体实施方式17.为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本技术的实施例及实施例中的特征可以相互组合。18.在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。19.实施例一20.本发明实施例提出一种基于手势识别的人机交互方法，如图1所示，包括以下步骤：s101，对手势图像进行手势识别，确定所述手势图像中的一个或多个手部图像的位置；s102，将所述手势图像中的手部图像与交互界面中的光标进行关联映射；s103，根据预设时间间隔内所述手部图像的姿态和/或数量变化，确定手势交互指令。21.在该技术方案中，根据手势识别算法，对手势图像进行手势检测，手势识别算法包括openpose算法和deephand算法，确定手势图像中的手部图像的位置，记录手部图像中预设的手部关节点的坐标。将手势图像中的手部图像与交互界面中的光标进行关联映射，确定交互界面中光标的位置。根据预设间隔时间内手部图像的姿态和/或数量变化，通过手势模型匹配确定手势交互指令，实现通过手势指令对交互界面中的内容进行手势操作。22.在上述技术方案中，步骤s101之前，还包括：获取手势图像。23.在该技术方案中，对手势图像进行手势识别之前，通过摄像头获取手势图像，具体地，手势图像可以是摄像头根据预设时间间隔连续拍摄的图像，也可以是摄像头拍摄视频图像后通过提取预设时间间隔的视频帧得到的图像序列，同时，用于获取手势图像的摄像头可以是单独的具有摄像头的设备，也可以是用于接收手势指令进行交互界面操控的设备的摄像头。24.在上述技术方案中，步骤s102，具体为：将手势图像与交互界面进行等比例映射，根据手部图像在手势图像中的位置，确定交互界面中光标的位置。25.在该技术方案中，根据手势图像的尺寸、交互界面的尺寸以及手部图像在手势图像中的位置，通过等比例映射方式，确定交互界面中光标的位置。具体地，根据获取到的手势图像i，在手势图像i中识别出手部图像，确定手部图像中预设关节点的坐标，其中，预设关节点包括手指关节和/或手腕关节，根据预设关节点确定手部图像几何中心点p在手势图像中的坐标，p＝{x,y}。根据交互界面的尺寸，采用等比例映射方式，通过手势图像i中手部图像几何中心p的坐标确定交互界面中光标的位置。具体地，交互界面的宽为sw高为sh，则交互界面中光标的位置g坐标即为：g＝{sw*p.x/i.width,sh*p.y/i.height}，其中，i.width为手势图像i的宽度，i.height为手势图像i的高度。26.在上述技术方案中，步骤s103，具体为：在预设时间间隔内，获取至少两幅所述手势图像；识别所述手势图像中手部图像的姿态和数量；根据预设手势指令模型，确定手势交互指令。27.在该技术方案中，通过检测预设时间间隔内手部图像的变化，确定手势交互指令。具体地，在预设的时间间隔内，获取两幅或两幅以上的手势图像，识别手势图像中的手部图像，确定并记录每一幅手势图像中手部图像的手部姿态、位置和/或数量变化，通过匹配预设手势指令模型，确定手势交互指令。28.例如，预设时间间隔内，获取到两幅手势图像，识别每一幅手势图像中的手部图像，记录第一幅手势图像中手部图像数量为1，手部图像位置为t，手部图像的姿态为第一手形姿态，如五指张开，记录第二幅手势图像中手部图像数量为1，手部图像位置为t'，手部图像的姿态为第一手形姿态，通过匹配预设手势指令模型，确定该手势交互指令为光标移动指令，通过等比例映射方式，根据第二幅手势图像中手部图像的位置，确定交互界面中光标的位置；再如，预设时间间隔内，获取到三幅手势图像，识别每一幅手势图像中的手部图像，记录第一幅手势图像中手部图像数量为1，手部图像的姿态为第一手形姿态，如五指张开，记录第二幅手势图像中手部图像数量为1，手部图像的姿态为第二手形姿态，如五指握拳，记录第三幅手势图像中手部图像数量为1，手部图像的姿态为第一手形姿态，通过匹配预设手势指令模型，确定该手势交互指令为单击操作指令，即在交互界面中当前光标处执行单击操作；又如，预设时间间隔内，获取到五幅手势图像，识别每一幅手势图像中的手部图像，记录第一幅手势图像中手部图像数量为1，手部图像的姿态为第一手形姿态，如五指张开，记录第二幅手势图像中手部图像数量为1，手部图像的姿态为第二手形姿态，如五指握拳，记录第三幅手势图像中手部图像数量为1，手部图像的姿态为第一手形姿态，记录第四幅手势图像中手部图像数量为1，手部图像的姿态为第二手形姿态，记录第五幅手势图像中手部图像数量为1，手部图像的姿态为第一手形姿态，通过匹配预设手势指令模型，确定该手势交互指令为双击操作指令，即在交互界面中当前光标处执行双击操作；还如，预设时间间隔内，获取到两幅手势图像，识别每一幅手势图像中的手部图像，记录第一幅手势图像中手部图像数量为1，手部图像位置为s，手部图像的姿态为第一手形姿态，如五指张开，记录第二幅手势图像中手部图像数量为1，手部图像位置为s'，手部图像的姿态为第二手形姿态，如五指握拳，通过匹配预设手势指令模型，确定该手势交互指令为滑动操作指令，即在交互界面中执行滑动操作；再例如，预设时间间隔内，获取到两幅手势图像，识别每一幅手势图像中的手部图像，记录第一幅手势图像中手部图像数量为2，第一手部图像位置为w1，第一手部图像的姿态为第一手形姿态，如五指张开，第二手部图像位置为w2，第二手部图像的姿态为第一手形姿态，记录第二幅手势图像中手部图像数量为2，第一手部图像位置为w1'，第一手部图像的姿态为第一手形姿态，第二手部图像位置为w2'，第二手部图像的姿态为第一手形姿态，通过匹配预设手势指令模型，确定该手势交互指令为缩放操作指令，即在交互界面中执行缩放操作，根据第一幅手势图像中双手图像之间的距离与第二幅手势图像中双手图像之间的距离的变化，通过等比例映射，确定交互界面的缩放比例。29.在上述技术方案中，步骤s103之前，还包括：建立手势指令模型。30.在该技术方案中，建立手势指令模型，将识别确认的手势图像中手部图像通过手势指令模型进行匹配，确定手势交互指令，此处不再赘述。31.实施例二32.本发明实施例同时提供一种基于手势识别的人机交互装置200，如图2所示，该基于手势识别的人机交互装置200，包括：手势识别模块201，用于对手势图像进行手势识别，确定所述手势图像中的一个或多个手部图像的位置；光标映射模块202，用于将所述手势图像中的手部图像与交互界面中的光标进行关联映射；指令确定模块203，用于根据预设时间间隔内所述手部图像的姿态和/或数量变化，确定手势交互指令。33.在该技术方案中，手势识别模块201根据手势识别算法，对手势图像进行手势检测，手势识别算法包括openpose算法和deephand算法，确定手势图像中的手部图像的位置，记录手部图像中预设的手部关节点的坐标。光标映射模块202将手势图像中的手部图像与交互界面中的光标进行关联映射，确定交互界面中光标的位置。指令确定模块203根据预设间隔时间内手部图像的姿态和/或数量变化，通过手势模型匹配确定手势交互指令，实现通过手势指令对交互界面中的内容进行手势操作。34.在上述技术方案中，基于手势识别的人机交互装置200，还包括：图像获取模块204，用于获取所述手势图像。35.在该技术方案中，对手势图像进行手势识别之前，图像获取模块204通过摄像头获取手势图像，具体地，手势图像可以是摄像头根据预设时间间隔连续拍摄的图像，也可以是摄像头拍摄视频图像后通过提取预设时间间隔的视频帧得到的图像序列，同时，用于获取手势图像的摄像头可以是单独的具有摄像头的设备，也可以是用于接收手势指令进行交互界面操控的设备的摄像头。36.在上述技术方案中，光标映射模块202，具体用于将所述手势图像与所述交互界面进行等比例映射，根据所述手部图像在所述手势图像中的位置，确定所述交互界面中光标的位置。37.在该技术方案中，光标映射模块202根据手势图像的尺寸、交互界面的尺寸以及手部图像在手势图像中的位置，通过等比例映射方式，确定交互界面中光标的位置。具体地，光标映射模块202根据获取到的手势图像i，在手势图像i中识别出手部图像，确定手部图像中预设关节点的坐标，其中，预设关节点包括手指关节和/或手腕关节，根据预设关节点确定手部图像几何中心点p在手势图像中的坐标，p＝{x,y}。根据交互界面的尺寸，采用等比例映射方式，通过手势图像i中手部图像几何中心p的坐标确定交互界面中光标的位置。具体地，交互界面的宽为sw高为sh，则交互界面中光标的位置g坐标即为：g＝{sw*p.x/i.width,sh*p.y/i.height}，其中，i.width为手势图像i的宽度，i.height为手势图像i的高度。38.在上述技术方案中，指令确定模块203，具体用于在预设时间间隔内，获取至少两幅所述手势图像；识别所述手势图像中手部图像的姿态和数量；以及，根据预设手势指令模型，确定手势交互指令。39.在该技术方案中，指令确定模块203通过检测预设时间间隔内手部图像的变化，确定手势交互指令。具体地，在预设的时间间隔内，获取两幅或两幅以上的手势图像，识别手势图像中的手部图像，确定并记录每一幅手势图像中手部图像的手部姿态、位置和/或数量变化，指令确定模块203通过匹配预设手势指令模型，确定手势交互指令。40.例如，预设时间间隔内，获取到两幅手势图像，识别每一幅手势图像中的手部图像，记录第一幅手势图像中手部图像数量为1，手部图像位置为t，手部图像的姿态为第一手形姿态，如五指张开，记录第二幅手势图像中手部图像数量为1，手部图像位置为t'，手部图像的姿态为第一手形姿态，通过匹配预设手势指令模型，确定该手势交互指令为光标移动指令，通过等比例映射方式，根据第二幅手势图像中手部图像的位置，确定交互界面中光标的位置；再如，预设时间间隔内，获取到三幅手势图像，识别每一幅手势图像中的手部图像，记录第一幅手势图像中手部图像数量为1，手部图像的姿态为第一手形姿态，如五指张开，记录第二幅手势图像中手部图像数量为1，手部图像的姿态为第二手形姿态，如五指握拳，记录第三幅手势图像中手部图像数量为1，手部图像的姿态为第一手形姿态，通过匹配预设手势指令模型，确定该手势交互指令为单击操作指令，即在交互界面中当前光标处执行单击操作；又如，预设时间间隔内，获取到五幅手势图像，识别每一幅手势图像中的手部图像，记录第一幅手势图像中手部图像数量为1，手部图像的姿态为第一手形姿态，如五指张开，记录第二幅手势图像中手部图像数量为1，手部图像的姿态为第二手形姿态，如五指握拳，记录第三幅手势图像中手部图像数量为1，手部图像的姿态为第一手形姿态，记录第四幅手势图像中手部图像数量为1，手部图像的姿态为第二手形姿态，记录第五幅手势图像中手部图像数量为1，手部图像的姿态为第一手形姿态，通过匹配预设手势指令模型，确定该手势交互指令为双击操作指令，即在交互界面中当前光标处执行双击操作；还如，预设时间间隔内，获取到两幅手势图像，识别每一幅手势图像中的手部图像，记录第一幅手势图像中手部图像数量为1，手部图像位置为s，手部图像的姿态为第一手形姿态，如五指张开，记录第二幅手势图像中手部图像数量为1，手部图像位置为s'，手部图像的姿态为第二手形姿态，如五指握拳，通过匹配预设手势指令模型，确定该手势交互指令为滑动操作指令，即在交互界面中执行滑动操作；再例如，预设时间间隔内，获取到两幅手势图像，识别每一幅手势图像中的手部图像，记录第一幅手势图像中手部图像数量为2，第一手部图像位置为w1，第一手部图像的姿态为第一手形姿态，如五指张开，第二手部图像位置为w2，第二手部图像的姿态为第一手形姿态，记录第二幅手势图像中手部图像数量为2，第一手部图像位置为w1'，第一手部图像的姿态为第一手形姿态，第二手部图像位置为w2'，第二手部图像的姿态为第一手形姿态，通过匹配预设手势指令模型，确定该手势交互指令为缩放操作指令，即在交互界面中执行缩放操作，根据第一幅手势图像中双手图像之间的距离与第二幅手势图像中双手图像之间的距离的变化，通过等比例映射，确定交互界面的缩放比例。41.在上述技术方案中，基于手势识别的人机交互装置200，还包括：模型建立模块205，用于建立所述手势指令模型。42.在该技术方案中，模型建立模块205建立手势指令模型，指令确定模块203将识别确认的手势图像中手部图像通过手势指令模型进行匹配，确定手势交互指令，此处不再赘述。43.本发明的实施例提供的基于手势识别的人机交互方法及装置，对手势图像进行手势检测，确定手势图像中的手部图像的位置，通过将手势图像中的手部图像与交互界面中的光标进行关联映射，确定交互界面中光标的位置，以及根据手部图像的变化，通过手势模型匹配确定手势交互指令，实现通过手势指令对交互界面中的内容进行手势操作。本发明提供的基于手势识别的人机交互方法及装置，通过采集手势图像识别手势操作指令，操作直观便捷，使用者在不接触电子设备的情况下实现对电子设备的交互操作，普遍适用于具有人机交互界面的各种类型的电子设备。44.在本发明中，术语“多个”则指两个或两个以上，除非另有明确的限定。术语“安装”、“相连”、“连接”、“固定”等术语均应做广义理解，例如，“连接”可以是固定连接，也可以是可拆卸连接，或一体地连接；“相连”可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。45.在本说明书的描述中，术语“一个实施例”、“一些实施例”、“具体实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或实例。而且，描述的具体特征、结构、材料或特点可以在任何的一个或多个实施例或示例中以合适的方式结合。46.以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!