一种车载系统及控制方法与流程

计算;推算;计数设备的制造及其应用技术1.本发明涉及汽车智能驾驶技术领域，尤其涉及一种支持手势动作的车载系统及控制方法。背景技术：2.随着科技的进步与发展，汽车的功能也越来越丰富，车载影音娱乐导航系统已经发展为汽车系统中不可或缺的一部分。得益于机器学习和深度学习的发展，车载娱乐导航系统的语音控制越来越成熟，准确率也越来越高，但是，现有的利用语音控制的车载娱乐导航系统存在一个问题，即没有考虑存在语言障碍等操作人员的使用问题。3.随着技术的发展，市场上的车载娱乐导航系统添加了手语识别功能，但是现有传统的手语识别功能是通过穿戴式的数据传感器采集数据，从中提取特定的特征，再进行分类和识别，这种手语识别功能特别依赖于提取特定特征的方法，导致手语识别功能鲁棒性较差且实用性不高。技术实现要素：4.本发明公开的一种车载系统及控制方法，解决了现有传统车载影音娱乐导航系统中的手语识别功能通过穿戴式的数据传感器采集数据，然后从中提取特定的特征，再进行分类和识别的方式特别依赖提取特定特征的方法，而导致手语识别功能鲁棒性较差的问题，使得手语识别功能鲁棒性大大提高，且系统结构简单。5.为达到上述目的，本发明的技术方案具体是这样实现的：6.本发明一方面公开一种车载系统，包括数据采集模块、手势识别模块和控制模块，其中，数据采集模块用以对操作人员的有效手势动作进行图像采集，并将采集到的图像传输至手势识别模块；手势识别模块用以接收所述数据采集模块采集到的有效手势动作图像，并识别所述图像中的有效手势动作，进而将有效手势动作转换为文本信息；控制模块用以接收所述手势识别模块输出的文本信息，并将所述文本信息转化为相应命令以控制车载系统。7.进一步地，车载系统还包括手势生成模块，用以将文本信息转换为手势动作图像。8.进一步地，车载系统还包括图形界面显示模块，用以将所述手势生成模块所生成的手势动作图像显示出来。9.进一步地，所述数据采集模块包括至少一个近红外摄像头。10.进一步地，所述控制模块响应时需接收特定手势动作。11.进一步地，所述数据采集模块采集到的图像通过spi传输至所述手势识别模块。12.本发明另一方面公开一种车载系统控制方法，包括以下步骤：13.数据采集模块实时采集手势动作图像，并将采集到的手势动作图像传输至手势识别模块；14.手势识别模块接收所述数据采集模块采集到的手势动作图像，并将所接收到的手势动作图像转换为纯文本信息，将所述纯文本信息传输至控制模块；15.控制模块接收所述手势识别模块输出的纯文本信息，并将所述纯文本信息转换为相应的控制命令。16.进一步地，手势识别模块将采集到的手势动作图像转换为纯文本信息的算法，包括以下步骤：17.从接收的手势动作图像中提取手势动作；18.将手势动作图像统一为64*64尺寸，并进行归一化处理；19.将归一化处理后的手势动作图像通过神经网络，输出维度为512的特征向量；20.通过所述特征向量得到相应的词向量；21.利用所述词向量输出相应的纯文本信息。22.进一步地，所述神经网络包括卷积层、池化层和全连接层。23.有益技术效果：24.1、本发明公开一种车载系统，包括数据采集模块、手势识别模块和控制模块，其中，数据采集模块用以对操作人员的有效手势动作进行图像采集，并将采集到的图像传输至手势识别模块；手势识别模块用以接收所述数据采集模块采集到的有效手势动作图像，并识别所述图像中的有效手势动作，进而将有效手势动作转换为文本信息；控制模块用以接收所述手势识别模块输出的文本信息，并将所述文本信息转化为相应命令以控制车载系统，解决了现有传统车载影音娱乐导航系统中的手语识别功能通过穿戴式的数据传感器采集数据，然后从中提取特定的特征，再进行分类和识别的方式特别依赖提取特定特征的方法，而导致手语识别功能鲁棒性较差的问题，使得手语识别功能鲁棒性大大提高，且系统结构简单；25.2、本发明中，所述数据采集模块包括至少一个近红外摄像头，使用红外摄像头使得数据采集模块在光线较为昏暗的情况下也可以采集较为清晰的有效手势动作图像；26.3、本发明中，车载系统还包括手势生成模块和图形界面显示模块，可以将问候语转换为手势动作图片通过图形界面显示模块呈现给操作者，实现操作者与车载系统的有效互动。附图说明27.为了更清楚地说明本发明的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。28.图1为本发明所述的一种车载系统的系统结构图；29.图2为本发明所述的一种车载系统中手势识别模块的工作原理图；30.图3为本发明所述的一种车载系统中控制模块的解析网络原理图；31.图4为本发明所述的一种车载系统中控制模块的工作逻辑示意图；32.图5为本发明所述的一种车载系统中手势生成模块的工作原理图；33.图6为本发明所述的一种车载系统控制方法的步骤流程图。具体实施方式34.下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。35.下面结合附图对本发明的实施方式进行详细说明。36.本发明一方面公开一种车载系统，参见图1，车载系统包括包括数据采集模块、手势识别模块和控制模块，其中，数据采集模块用以对操作人员的有效手势动作进行图像采集，并将采集到的图像通过spi传输至手势识别模块，优选地，数据采集模块包括至少一个近红外摄像头，使得数据采集模块在光线较为昏暗的情况下也可以采集较为清晰的有效手势动作图像；手势识别模块用以接收所述数据采集模块采集到的有效手势动作图像，并识别所述图像中的有效手势动作，进而将有效手势动作转换为文本信息；控制模块用以接收所述手势识别模块输出的文本信息，并将所述文本信息转化为相应命令以控制车载系统。37.作为本发明的一个优选实施例，车载系统还包括手势生成模块，用以将文本信息转换为手势动作图像。38.作为本发明的一个优选实施例，还包括图形界面显示模块，用以将所述手势生成模块所生成的手势动作图像显示出来，可以将问候语，例如系统初次开启，系统回复“很高兴为您服务”，转换为手势动作图片通过图形界面显示模块呈现给操作者，实现操作者与车载系统的有效互动。39.下面将本发明公开的一种车载系统分模块来讲述其工作原理：40.数据采集模块41.数据采集模块包括至少一个近红外摄像头，这样即使在光线比较昏暗，例如夜晚时候也能进行有效手势动作的图像采集，数据采集模块将采集的手势动作图像通过spi与手势识别模块进行数据通讯。42.手势识别模块43.手势识别模块的工作原理参见图2，手势识别模块接收数据采集模块采集的手势动作图像，并对所采集的图像进行预处理，从背景中提取手势动作，并将图像归一化与统一化，使得手势动作图像统一到64*64的尺寸，然后利用编码器-解码器模型将所采集到的手势动作图像转换为文本信息，具体地，编码器由cnn网络、自注意力层和lstm(长短期记忆单元)组成，归一化后的64*64的图像通过一个由卷积层、池化层和全连接层组成的神经网络，输出512向量，维度为512的向量经过lstm后又传给下一个lstm，所有传入的手势动作图像经过解码器后生成一个维度为512的特征向量，解码器由自注意力层和lstm组成，根据传入的特征向量得到相应的词向量，最后通过词向量可以得到相应的纯文本信息。44.控制模块45.控制模块是车载系统的逻辑控制模块，控制模块首先将手势识别模块输入的纯文本昕昕通过特定模型(在本技术中采用解析网络模型)转化为相应的控制命令，再将接收到的命令转化为实际的控制操作，参见图3，具体地，首先将手势识别模块发送的纯文本信息转化为词向量，所有词向量经过编码器进行编码之后会展开为一个特征向量，特征向量经过解码器之后会连续输出向量，前两个输出向量组合在一起表示命令的种类，剩余的输出相连表示交互的信息，这些交互的信息通过手语生成模块变成动态手势动作图像。46.需要说明的是，控制模块在初始阶段处于休眠模式，在该模式下只有接收特定手势动作所解析出来的唤醒命令，才可以进一步相应其他命令，当处于唤醒模式后会一一相应其他命令，如打开音乐播放器或者切换下一首歌曲等等，如果一端时间后没有接收到新的命令，会重新进入休眠模式，参见图4。47.手势生成模块48.手势生成模块是手势识别模块的逆过程，是将连续的文本信息转换为动态的手势动作图像，参见图5，具体地，手势生成模块的整个模型是一个编码器-解码器模型，其中编码器由自注意力层和lstm组成，解码器由自注意力层lstm和gan(生成对抗)网络组成，控制模块生成的纯文本信息转换成词向量，再依次将词向量编码生成特征向量，特征向量经过解码器生成相应解码向量，最后经过生成对抗网络生成512*512的图像。49.图形界面显示模块50.图形界面显示模块可以为实际的车载显示屏，图形界面显示模块接收手势生成模块的信号，将相应的手势动作依次显示到屏幕上，可以实现与操作者的互动。51.本发明另一方面公开一种车载系统控制方法，包括以下步骤：52.s1：数据采集模块实时采集手势动作图像，并将采集到的手势动作图像传输至手势识别模块；53.s2：手势识别模块接收所述数据采集模块采集到的手势动作图像，并将所接收到的手势动作图像转换为纯文本信息，将所述纯文本信息传输至控制模块；54.具体地，手势识别模块将采集到的手势动作图像转换为纯文本信息的算法，包括以下步骤：55.从接收的手势动作图像中提取手势动作；56.将手势动作图像统一为64*64尺寸，并进行归一化处理；57.将归一化处理后的手势动作图像通过神经网络，输出维度为512的特征向量；58.通过所述特征向量得到相应的词向量；59.利用所述词向量输出相应的纯文本信息。60.s3：控制模块接收所述手势识别模块输出的纯文本信息，并将所述纯文本信息转换为相应的控制命令。61.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。62.以上的实施例仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通工程技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明的权利要求书确定的保护范围内。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!