一种动态手势识别方法及智能车载设备与流程

计算;推算;计数设备的制造及其应用技术1.本说明书涉及智能驾驶领域，尤其涉及一种动态手势识别方法及智能车载设备。背景技术：2.目前，动态手势识别主要基于深度相机得到深度图或三维点云，再利用三维卷积(3dcnn)、借助循环神经网络(rnn/lstm)或循环神经网络的变种网络对其计算得到动作分类结果。3.但是，以上识别方案需要大量计算资源和计算能力，并不适用车载智能设备有限的计算资源场景。技术实现要素：4.本说明书提供了一种动态手势识别方法及智能车载设备，以解决或者部分解决目前的动态手势识别方案由于计算资源耗费巨大不适用车载智能设备有限资源场景的技术问题。5.为解决上述技术问题，本说明书提供了一种动态手势识别方法，所述方法包括：6.在动态手势识别模式下，获取包含有动态手势的若干帧图像；7.调用动作识别模型对所述若干帧图像进行特征传递融合及分类，得到所述若干帧图像的动作类别；8.从所述若干帧图像的动作类别中确定所述动态手势对应的动作类别。9.优选的，所述获取包含有动态手势的若干帧图像之前，所述方法还包括：10.利用摄像模组拍摄手部动作；11.利用手部检测模型检测所述手部动作是否具备触发条件；12.若具备，启动所述动态手势识别模式。13.优选的，所述利用手部检测模型检测所述手部动作是否具备触发条件，具体包括：14.检测所述手部动作的悬停时间是否超过预设时间；15.若是，表示所述手部动作具备所述触发条件。16.优选的，所述调用动作识别模型对所述若干帧图像进行特征传递融合及分类，得到所述若干帧图像的动作类别，具体包括：17.在所述若干帧图像中，关联前邻帧图像的空间维度特征对当前帧图像中的空间维度特征在时间维度上进行特征传递融合，获得当前帧图像的时空维度特征；18.对所述当前帧图像的时空维度特征进行卷积计算，得到所述当前帧图像的动作类别。19.优选的，所述关联前邻帧图像的空间维度特征对当前帧图像中的空间维度特征进行特征传递融合，获得当前帧图像的时空维度特征，具体包括：20.对所述当前帧图像进行卷积处理，得到所述当前帧图像的空间维度特征；21.利用所述前邻帧图像中的部分空间维度特征替换所述当前帧图像的部分空间维度特征，得到所述当前帧图像的时空维度特征。22.优选的，所述利用所述前邻帧图像中的部分空间维度特征替换所述当前帧图像的部分空间维度特征之后，所述方法还包括：23.存储所述当前帧图像中被替换的部分空间维度特征，用以替换后邻帧图像的部分空间维度特征。24.优选的，所述从所述若干帧图像的动作类别中确定所述动态手势对应的动作类别，具体包括：25.从所述若干帧图像的动作类别中选取目标动作类别作为所述动态手势对应的动作类别；其中，所述目标动作类别对应的图像数量在预设数量阈值之上。26.优选的，所述从所述若干帧图像的动作类别中确定所述动态手势对应的动作类别，具体包括：27.确定时间窗口，所述时间窗口为设定帧数对应的时间窗口；28.按照所述时间窗口从所述若干帧图像的动作类别中确定出所述时间窗口对应的动作类别；29.基于所述时间窗口对应的动作类别确定所述目标动作类别，并基于所述目标动作类别确定所述动态手势对应的动作类别。30.优选的，所述从所述若干帧图像的动作类别中确定所述动态手势对应的动作类别之后，所述方法还包括：31.将所述动态手势对应的动作指令传输给下游对象执行；32.退出动态手势识别模式。33.本说明书提供了一种智能车载设备，包括：34.摄像模块，用于在动态手势识别模式下，获取包含有动态手势的若干帧图像；35.时空转换模块，用于调用动作识别模型对所述若干帧图像进行特征传递融合及分类，得到所述若干帧图像的动作类别；36.确定模块，用于从所述若干帧图像的动作类别中确定所述动态手势对应的动作类别。37.优选的，所述智能车载设备还包括：38.所述摄像模块，用于拍摄手部动作；39.手部检测模块，用于利用手部检测模型检测所述手部动作是否具备触发条件；40.若具备，启动所述动态手势识别模式。41.优选的，所述手部检测模块，具体用于：42.检测所述手部动作的悬停时间是否超过预设时间；43.若是，表示所述手部动作具备所述触发条件。44.优选的，所述时空转换模块，具体用于：45.在所述若干帧图像中，关联前邻帧图像的空间维度特征对当前帧图像中的空间维度特征在时间维度上进行特征传递融合，获得当前帧图像的时空维度特征；46.对所述当前帧图像的时空维度特征进行卷积计算，得到所述当前帧图像的动作类别。47.优选的，所述时空转换模块，具体用于：48.对所述当前帧图像进行卷积处理，得到所述当前帧图像的空间维度特征；49.利用所述前邻帧图像中的部分空间维度特征替换所述当前帧图像的部分空间维度特征，得到所述当前帧图像的时空维度特征。50.优选的，所述智能车载设备还包括：51.存储模块，用于存储所述当前帧图像中被替换的部分空间维度特征，用以替换后邻帧图像的部分空间维度特征。52.优选的，所述时空转换模块，具体用于：53.从所述若干帧图像的动作类别中选取目标动作类别作为所述动态手势对应的动作类别；其中，所述目标动作类别对应的图像数量在预设数量阈值之上。54.优选的，所述确定模块，具体用于：55.确定时间窗口，所述时间窗口为设定帧数对应的时间窗口；56.按照所述时间窗口从所述若干帧图像的动作类别中确定出所述时间窗口对应的动作类别；57.基于所述时间窗口对应的动作类别确定所述目标动作类别，并基于所述目标动作类别确定所述动态手势对应的动作类别。58.优选的，所述智能车载设备还包括：59.传输模块，用于将所述动态手势对应的动作指令传输给下游对象执行；60.退出模块，用于退出动态手势识别模式。61.本说明书公开了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述方法的步骤。62.本说明书公开了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法的步骤。63.通过本说明书的一个或者多个实施例，本说明书具有以下有益效果或者优点：64.本方案首先在动态手势识别模式下，获取包含有动态手势的若干帧图像；然后调用动作识别模型对若干帧图像进行特征传递融合及分类，通过特征传递融合能够同时实现时间维度和空间维度的特征提取(本说明书称为时空维度特征)并据此进行分类，从而无需再利用维度变换层、卷积层、批量标准化bn层、修正线性单元relu层、最大池化层和特征联合层等逐层多次进行时空维度的计算，因此能够节约大量的计算资源，进而适配智能车载设备的有限资源场景。此外，从分类得到的若干帧图像的动作类别中确定动态手势对应的动作类别，还能够保证动作识别的准确性。65.上述说明仅是本说明书技术方案的概述，为了能够更清楚了解本说明书的技术手段，而可依照说明书的内容予以实施，并且为了让本说明书的上述和其它目的、特征和优点能够更明显易懂，以下特举本说明书的具体实施方式。附图说明66.通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本说明书的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：67.图1示出了根据本说明书一个实施例的动态手势识别的过程图；68.图2示出了根据本说明书一个实施例的特征传递融合的实施示意图；69.图3示出了根据本说明书一个示例的实施过程图；70.图4示出了根据本说明书一个实施例的智能车载设备的结构示意图；71.图5示出了根据本说明书一个实施例的一种电子设备的示意图。具体实施方式72.下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。73.目前的动态手势识别方案，由于计算资源耗费巨大并不适用车载智能设备有限资源场景，因此本说明书实施例提供了一种动态手势识别方法，该方法主要适用于智能车载设备。在方案中，首先在动态手势识别模式下，获取包含有动态手势的若干帧图像；然后调用动作识别模型对若干帧图像进行特征传递融合及分类，通过特征传递融合能够同时实现时间维度和空间维度的特征提取(本说明书称为时空维度特征)并据此进行分类，从而无需再利用维度变换层、卷积层、批量标准化bn层、修正线性单元relu层、最大池化层和特征联合层等逐层多次进行时空维度的计算，因此能够节约大量的计算资源，进而适配智能车载设备的有限资源场景。此外，从分类得到的若干帧图像的动作类别中确定动态手势对应的动作类别，还能够保证动作识别的准确性。74.基于上述发明构思，本说明书的方法包含两个阶段：触发阶段和识别分类阶段。75.在触发阶段，利用摄像模组拍摄手部动作，再利用手部检测模型检测手部动作是否具备触发条件。若具备触发条件，则启动动态手势识别模式，从而进入识别分类阶段。由于智能车载设备的计算资源非常有限，因此本实施例设置了触发条件，只有满足触发条件才能够切换进入识别分类阶段进行动作识别，从而避免大量无用识别占用计算资源，可以在一定程度上减少车载端负载。值得注意的是，本实施例的手部动作为隔空手部动作，例如在车内的手部悬停动作，从而避免因为操作中控，屏幕及按钮等导致注意力偏离道路，带来安全隐患。76.在具体的实施过程中，利用摄像模组拍摄手部动作，得到手部动作图像。可选的，该手部动作可以采用手部悬停动作，例如手掌展开(或握拳)后的手部悬停动作。具体的，本实施例采用单目摄像模组拍摄手部动作，通过采用单目摄像模组作为输入来源，不需要额外的硬件设备，因此整个装置的成本较低，并且单目摄像模组采集的图像占用资源更小，处理更加快捷，能够提高处理效率。77.进一步的，将手部动作图像输入到手部检测模型中进行处理。而在处理的过程中，具有多种处理方式，本实施例提供两种处理方式进行说明，但并不形成限制。处理方式1：手部检测模型检测手部动作的悬停时间是否超过预设时间，例如超过0.5s。若超过，表示手部动具备触发条件，则进入识别分类阶段，从而在一定程度上减少车载端负载。当然，除检测手部悬停时间外，还可以将预定动作作为触发条件启动动态手势识别模式。处理方式2：手部检测模型检测手部动作是否为预定手势(例如手部悬停动作)，若为预定手势则进入识别分类阶段，从而在一定程度上减少车载端负载。78.此外，手部检测模型采用轻量化的backbone框架开发来适应车载系统上资源有限的算力情况，当然也可以为其他。例如手部检测模型使用轻量的slim-net版的yolox。在手部检测模型的训练过程中，先获取多个标注了动作起始帧和动作结束帧的视频段，再将视频片段转换为图像数据，并利用带有标注信息的图像数据训练选取的初始模型，进而得到手部检测模型。而动作识别模型的训练过程类似，后续不再赘述。在实际应用中，可将手部检测模型配置到手掌检测器中负责触发阶段的手部动作检测，将动作识别模型配置到动作识别器中负责识别动态手势。当手掌检测器检测到手部动作满足触发条件才触发动作识别器启动，以减少车载端负载。79.在一些可选的实施方式中，手掌检测器和动作识别器共同对应有冷却时段，在冷却时段不响应手部动作的检测和动态手势的识别。若手掌检测器和动作识别器不在冷却时段，则表示两者处于正常工作状态，会执行下述检测过程：当手掌检测器检测到手部动作时间在0.5s-1s，触发启动动态手势识别模式，从而进入识别分类阶段。此时，首先判断动作识别器是否处理超时，也即判断动作识别器的工作时长是否超过预设时长，若超时则控制其进入冷却时段。若未超则启动动作识别模型进行分类识别，识别完成后退出动态手势识别模式进入冷却时段，从而避免剩余动作的干扰带来的误识别情况。80.而在识别分类阶段中的实施方案参看图1，会执行下述步骤：81.步骤101，在动态手势识别模式下，获取包含有动态手势的若干帧图像。82.本实施例使用单目摄像模组拍摄，以获取该若干帧图像。通过采用单目摄像模组作为输入来源，不需要额外的硬件设备，因此整个装置的成本较低，并且单目摄像模组采集的图像占用资源更小，处理更加快捷，能够提高处理效率。该若干帧图像可排列合并为包含有动态手势的视频流。而动态手势在本实施例中的具体形态多样，例如抓取、释放、点击、前后挥、左右滑动等等，并不局限于容易识别的手势。值得注意的是，本实施例的动态手势为隔空手部动作，从而避免因为操作中控，屏幕及按钮等导致注意力偏离道路，带来安全隐患。83.步骤102，调用动作识别模型对若干帧图像进行特征传递融合及分类，得到若干帧图像的动作类别。84.其中，在调用动作识别模型分类之前，需要事先判断动作识别模型分类是否超时，若超时则控制其进入冷却时段。若未超时则启动动作识别模型进行分类识别，识别完成后退出动态手势识别模式进入冷却时段，从而避免剩余动作的干扰带来的误识别情况。85.其中，特征传递融合，是将前邻帧图像的特征传递并融合到当前帧图像中，以使当前帧图像的特征和前邻帧图像的特征在时间维度上具有关联，无需进行大量计算就能够使当前帧图像中的特征同时具备时间维度和空间维度，从而实现当前帧图像在时间维度和空间维度上的特征提取。86.通过对若干帧图像逐帧进行特征传递融合，用以实现若干帧图像各自在时间维度和空间维度上的特征提取。在特征传递融合后，若干帧图像的每帧图像中的特征均具备时空维度，从而无需进行大量计算即可使若干帧图像均具有时空维度特征，因此能够节约大量的计算资源。87.本实施例为了适配智能车载设备的有限资源场景，采用特征传递融合的方式处理若干帧图像，来得到各帧图像的时空维度特征。而在本实施例对若干帧图像进行特征传递融合及分类的过程中，由于每帧图像在处理时都会作为当前帧图像，因此对于每帧图像都会进行下述处理：关联前邻帧图像的空间维度特征对当前帧图像中的空间维度特征在时间维度上进行特征传递融合，获得当前帧图像的时空维度特征。具体来说，对当前帧图像进行卷积处理即可得到当前帧图像的空间维度特征。卷积处理的次数本实施例不做限制，而得到的空间维度特征包含宽度和高度的空间信息。进一步的，利用前邻帧图像中的部分空间维度特征替换当前帧图像的部分空间维度特征，从而实现时间维度上的特征传递，得到当前帧图像的时空维度特征。而在分类时，对当前帧图像的时空维度特征进行卷积计算，得到当前帧图像的动作类别。如此，可实现对当前帧图像的分类。通过对每个帧图像进行如上处理，即能够获得每个帧图像各自的动作类别，从而获得若干帧图像的动作类别。88.而对于当前帧图像中被替换的部分空间维度特征可做如下处理：存储当前帧图像中被替换的部分空间维度特征，用以替换后邻帧图像的部分空间维度特征。当然，该处理过程也可以在替换前实施，例如，先提取出当前帧图像的部分空间维度特征进行存储，再利用前邻帧图像中的部分空间维度特征替换当前帧图像的部分空间维度特征。89.为了便于说明和解释上述方案，下面参看图2举例进行说明。90.在n帧图像中，n的数值本技术不做限制，以第t帧图像ft、第t+1帧图像ft+1、第t+2帧图像为例进行说明。其中，ft为n帧图像中的任一帧图像，而ft+1是ft的后邻帧图像。91.第t帧图像ft经过多层卷积计算提取得到对应的空间维度特征。而空间维度特征以矩阵形式存在。提取ft中的部分空间维度特征保存在计算机缓存区；用之前保存的部分特征矩阵替换部分空间维度特征以加入ft的空间维度特征，据此得到ft的时空维度特征。此时，再经过多层卷积计算ft的时空维度特征，即可得到分类结果yt。92.当t+1帧图像ft+1经过多层卷积计算提取得到对应的空间维度特征。而空间维度特征以矩阵形式存在。提取ft+1中的部分空间维度特征保存在计算机缓存区，用ft的部分特征矩阵替换部分空间维度特征以加入ft+1的空间维度特征，据此得到ft+1的时空维度特征。再经过多层卷积计算ft+1的时空维度特征，即可得到分类结果yt+1。93.具体来说，每帧图像卷积得到的是空间维度特征，包含了空间上的宽度信息和高度信息。逐帧对每帧图像进行时间维度上的特征传递融合，即可得到每帧图像的时空维度特征。由此即可在同一分类模型里同时实现对时间和空间维度的特征提取，进而实现对动态动作的分类，且相比传统的时空分类方式如3dcnn/rnn/lstm等方式。本示例通过对每帧进行特征传递融合处理，无需进行大量计算即可实现在时间和空间维度的特征提取，计算量低，资源占用少，效率更高，能适应智能车载设备资源紧张的场景。94.值得注意的是，对于若干帧图像中的首帧图像，获得一图像，该图像的空间维度特征以矩阵形式存在，按照前述方式提取该图像中的部分空间维度特征(数值可取0)替换首帧图像中相应位置的部分空间维度特征，从而实现首帧图像在时间和空间维度的特征提取。95.步骤103，从若干帧图像的动作类别中确定动态手势对应的动作类别。96.在分类后，若干帧图像中的每个帧图像对应各自的动作类别，因此，从若干帧图像的动作类别中选取目标动作类别作为动态手势对应的动作类别。其中，目标动作类别对应的图像数量在预设数量阈值之上，进一步的，目标动作类别对应的图像数量最多。具体来的，由于若干帧图像中的每个帧图像都具有动作类别，若多数帧图像都对应同一动作类别，则将该动作类别作为目标动作类别。例如，若该动作类别对应的帧图像数量最多，则将其作为目标动作类别。举例来说，若20帧图像中有15帧图像的动作类别为同一动作类别，则将该动作类别作为目标动作类别。97.在一些可选的实施方式中，确定时间窗口，该时间窗口为设定帧数对应的时间窗口。例如，10帧对应一时间窗口，当然也可以设定为其他帧数。按照所述时间窗口从所述若干帧图像的动作类别中确定出所述时间窗口对应的动作类别。并基于所述时间窗口对应的动作类别确定所述目标动作类别，例如，将时间窗口中帧数最多的动作类别确定为目标动作类别。再基于所述目标动作类别确定所述动态手势对应的动作类别，例如将目标动作类别直接作为动态手势对应的动作类别，从而提高动作识别的准确性。98.在一些可选的实施方式中，确定时间窗口后，以时间窗口为基准逐帧从若干帧图像的动作类别中确定出各帧段的时间窗口对应的动作类别。例如，本示例具有10帧图像，并设定为5帧对应一时间窗口，则以5帧为单位，从第1帧开始逐帧确定动作类别。具体的，以5帧为单位确定出1～5帧的时间窗口对应的动作类别，2～6帧的时间窗口对应的动作类别，3～7帧的时间窗口对应的动作类别，4～8帧的时间窗口对应的动作类别，5～10帧的时间窗口对应的动作类别。进一步的，基于各帧段的时间窗口对应的动作类别，确定出各帧段的时间窗口对应的目标动作类别。例如将各帧段的时间窗口中帧数最多的动作类别确定为目标动作类别，由此，各帧段的时间窗口具有各自对应的一个目标动作类别。再基于各帧段的时间窗口对应的目标动作类别确定出动态手势对应的动作类别。具体的，将各帧段的时间窗口对应的目标动作类别各自进行对比，若各帧段的时间窗口对应的目标动作类一致，则随机确定一帧段的时间窗口对应的目标动作类作为动态手势对应的动作类别。若各帧段的时间窗口对应的目标动作类不一致，则将帧数最多的目标动作类别作为动态手势对应的动作类别，从而提高动作识别的准确性。99.在一些可选的实施方式中，从若干帧图像的动作类别中确定动态手势对应的动作类别之后，将动态手势对应的动作指令传输给下游对象执行，然后退出动态手势识别模式，以避免剩余动作的干扰带来的误识别情况。100.值得注意的是，上述方案的适用对象包括但不限于是rgb图像、ir红外图像。101.为了进一步说明和解释本说明书的方案，下面参看图3，使用具体示例进行说明。102.用户在驾驶车辆时，智能车载设备处于工作状态且单目摄像机实时拍摄用户。103.当用户隔空做出手部悬停动作时，执行s301，单目摄像机拍摄到手部悬停动作并传输给手掌检测器。104.s302，判断手掌检测器是否处于冷却时间。若是，则不响应。若否，执行s303。可选的，在该步骤中，可同时判断手掌检测器和动作识别器是否都处于冷却时间，若两者均未处于冷却时间表示两者都能够正常响应，进而执行s303。105.s303，检测该手部悬停动作是否满足触发条件。106.若不满足则不响应。107.若满足执行s304，启动动态手势识别模式。108.s305，判断动作识别器是否处理超时。若超时，执行s306。若未超时，执行s307。109.s306，控制动作识别器进入冷却时段。110.s307，单目摄像机拍摄到包含动态手势的若干帧图像传给动作识别器。具体的，该若干帧图像在用户隔空做出动态手势时通过单目摄像机采集得到。111.s308，调用动作识别器中的动作识别模型对若干帧图像进行特征传递融合及分类，得到若干帧图像的动作类别。112.s309，确定时间窗口，并按照时间窗口从若干帧图像的动作类别中确定出时间窗口对应的动作类别。113.s310，将时间窗口中帧数最多的动作类别确定为动态手势的动态类别。114.s311，退出动态手势识别模式，并执行s306，控制动作识别器进入冷却状态。115.上述方案虽然需要先检测手部悬停动作，再识别动态手势。但是针对用户来说，用户隔空做出手部悬停动作以及后续的动态手势后，智能车载设备即可实时检测、识别并及时执行对应指令，从而及时响应用户，能够带来流畅的操作体验。116.上述实施例介绍了本说明书动态手势识别的具体实施过程，基于与前述实施例中同样的发明构思，本说明书实施例还提供一种智能车载设备。117.在本实施例的智能车载设备参看图4，包括：118.摄像模块401，用于在动态手势识别模式下，获取包含有动态手势的若干帧图像；119.时空转换模块402，用于调用动作识别模型对所述若干帧图像进行特征传递融合及分类，得到所述若干帧图像的动作类别；120.确定模块403，用于从所述若干帧图像的动作类别中确定所述动态手势对应的动作类别。121.在一些可选的实施方式中，所述智能车载设备还包括：122.所述摄像模块401，用于拍摄手部动作；123.手部检测模块，用于利用手部检测模型检测所述手部动作是否具备触发条件；124.若具备，启动动态手势识别模式。125.在一些可选的实施方式中，所述手部检测模块，具体用于：126.检测所述手部动作的悬停时间是否超过预设时间；127.若是，表示所述手部动作具备所述触发条件。128.在一些可选的实施方式中，所述时空转换模块402，具体用于：129.在所述若干帧图像中，关联前邻帧图像的空间维度特征对当前帧图像中的空间维度特征在时间维度上进行特征传递融合，获得当前帧图像的时空维度特征；130.对所述当前帧图像的时空维度特征进行卷积计算，得到所述当前帧图像的动作类别。131.在一些可选的实施方式中，所述时空转换模块402，具体用于：132.对所述当前帧图像进行卷积处理，得到所述当前帧图像的空间维度特征；133.利用所述前邻帧图像中的部分空间维度特征替换所述当前帧图像的部分空间维度特征，得到所述当前帧图像的时空维度特征。134.在一些可选的实施方式中，所述智能车载设备还包括：135.存储模块，用于存储所述当前帧图像中被替换的部分空间维度特征，用以替换后邻帧图像的部分空间维度特征。136.在一些可选的实施方式中，所述时空转换模块402，具体用于：137.从所述若干帧图像的动作类别中选取目标动作类别作为所述动态手势对应的动作类别；其中，所述目标动作类别对应的图像数量在预设数量阈值之上。138.在一些可选的实施方式中，所述确定模块403，具体用于：139.确定时间窗口，所述时间窗口为设定帧数对应的时间窗口；140.按照所述时间窗口从所述若干帧图像的动作类别中确定出所述时间窗口对应的动作类别；141.基于所述时间窗口对应的动作类别确定所述目标动作类别，并基于所述目标动作类别确定所述动态手势对应的动作类别。142.在一些可选的实施方式中，所述智能车载设备还包括：143.传输模块，用于将所述动态手势对应的动作指令传输给下游对象执行；144.退出模块，用于退出动态手势识别模式。145.基于与前述实施例中同样的发明构思，本说明书实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前文任一所述方法的步骤。146.基于与前述实施例中同样的发明构思，本说明书的实施例还提供一种电子设备，如图5所示，包括存储器504、处理器502及存储在存储器504上并可在处理器502上运行的计算机程序，所述处理器502执行所述程序时实现前文任一所述方法的步骤。147.其中，在图5中，总线架构(用总线500来代表)，总线500可以包括任意数量的互联的总线和桥，总线500将包括由处理器502代表的一个或多个处理器和存储器504代表的存储器的各种电路链接在一起。总线500还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口505在总线500和接收器501和发送器503之间提供接口。接收器501和发送器503可以是同一个元件，即收发机，提供用于在传输介质上与各种其他终端设备通信的单元。处理器502负责管理总线500和通常的处理，而存储器504可以被用于存储处理器502在执行操作时所使用的数据。148.通过本说明书的一个或者多个实施例，本说明书具有以下有益效果或者优点：149.本方案通过调用动作识别模型对包含有动态手势的若干帧图像进行特征传递融合及分类，通过特征传递融合能够同时实现时间维度和空间维度的特征提取(本说明书称为时空维度特征)并据此进行分类，从而可避免3dcnn/rnn/lstm等及其变种的大量计算，且没有三维点云等的计算，因此对于端侧的计算非常友好，能够节约大量的计算资源并保证计算效率达到实时推理，进而适配智能车载设备的有限资源场景。150.进一步的，本方案能够识别的动态手势更加多样，如抓取、释放、点击、前后挥、左右滑等均可识别。151.进一步的，本方案识别的手势均为隔空手势，进而避免因为操作中控，屏幕及按钮等导致注意力偏离道路，带来安全隐患。152.进一步的，本方案的摄像模组采用单目摄像模组用于降低成本提高处理效率，而手部检测模型采用轻量化的backbone框架开发来适应车载系统上资源有限的算力情况。153.在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本说明书也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本说明书的内容，并且上面对特定语言所做的描述是为了披露本说明书的最佳实施方式。154.在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本说明书的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。155.类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本说明书的示例性实施例的描述中，本说明书的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本说明书要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本说明书的单独实施例。156.本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。157.此外，本领域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本说明书的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。158.本说明书的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(dsp)来实现根据本说明书实施例的网关、代理服务器、系统中的一些或者全部部件的一些或者全部功能。本说明书还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本说明书的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。159.应该注意的是上述实施例对本说明书进行说明而不是对本说明书进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本说明书可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!