模式生物的视频动作分析方法、装置、设备及介质

计算;推算;计数设备的制造及其应用技术1.本技术涉及生物影像处理技术领域，特别涉及一种模式生物的视频动作分析方法、装置、设备及介质。背景技术：2.模式生物常用于生物学研究常，例如小鼠是一种生物学研究常用的模式生物，生物研究者常常通过观察和记录小鼠这类模式生物的行为信息，来验证自己的实验假设。然而，相关技术中的记录大多还是研究者们手工完成的，因此存在着效率低、精度差的特点，进而影响了后续的运动行为分析效率。技术实现要素：3.本技术提供一种模式生物的视频动作分析方法、装置、电子设备及存储介质，可以自动完成对模式生物视频的动作分析，无需任何人工干预，且可以能够应用于多种模式生物，扩展性强。4.本技术第一方面实施例提供一种模式生物的视频动作分析方法，包括以下步骤：获取目标模式生物的待分析影像；将所述待分析影像输入至预先训练完成的特征提取器，提取所述待分析影像中每个影像帧的类别标签，并基于所述每个影像帧的类别标签将所述待分析影像分割为多个视频段，其中，所述特征提取器基于携带有影像帧类别标签的影像样本训练得到；计算所有视频段之间的类别相似度，并聚合所述类别相似度大于预设值的视频段，得到至少一个聚合结果，并识别所述至少一个聚合结果得到所述目标模式生物的实际动作类型。5.进一步地，所述将所述待分析影像输入至预先训练完成的特征提取器，提取所述待分析影像中每个影像帧的类别标签，包括：提取每个影像帧的类别特征，并将所述类别特征的维度降低至目标维度；对降维后的类别特征进行类别聚类，对相同类别的影像帧赋予相同的类别标签。6.进一步地，所述基于所述每个影像帧的类别标签将所述待分析影像分割为多个视频段，包括：通过动态规划策略对所述待分析影像分割进行粗粒度分割，得到所述多个视频段，其中，所述动态规划策略为每个视频段中影像帧数小于预设帧数，且所述视频段中所有影像帧数的类别标签一致。7.进一步地，所述识别所述至少一个聚合结果得到所述目标模式生物的实际动作类型，包括：获取三维重建得到的所述目标模式生物的运动速度信息；将所有聚合结果的维度降维至二维，并以所述运动速度信息作为降维后聚合结果的第三维度，生成每个聚合结果的三维坐标；基于每个聚合结果的三维坐标对对所有类别解释结果进行可视化和动作类型聚类，得到所述目标模式生物的实际动作类型。8.本技术第二方面实施例提供一种模式生物的视频动作分析装置，包括：获取模块，用于获取目标模式生物的待分析影像；提取模块，用于将所述待分析影像输入至预先训练完成的特征提取器，提取所述待分析影像中每个影像帧的类别标签，并基于所述每个影像帧的类别标签将所述待分析影像分割为多个视频段，其中，所述特征提取器基于携带有影像帧类别标签的影像样本训练得到；分析模块，用于计算所有视频段之间的类别相似度，并聚合所述类别相似度大于预设值的视频段，得到至少一个聚合结果，并识别所述至少一个聚合结果得到所述目标模式生物的实际动作类型。度大于预设值的视频段，得到至少一个聚合结果，并识别所述至少一个聚合结果得到所述目标模式生物的实际动作类型。9.进一步地，所述提取模块用于：提取每个影像帧的类别特征，并将所述类别特征的维度降低至目标维度；对降维后的类别特征进行类别聚类，对相同类别的影像帧赋予相同的类别标签。10.进一步地，所述提取模块用于：通过动态规划策略对所述待分析影像分割进行粗粒度分割，得到所述多个视频段，其中，所述动态规划策略为每个视频段中影像帧数小于预设帧数，且所述视频段中所有影像帧数的类别标签一致。11.进一步地，所述分析模块用于：获取三维重建得到的所述目标模式生物的运动速度信息；将所有聚合结果的维度降维至二维，并以所述运动速度信息作为降维后聚合结果的第三维度，生成每个聚合结果的三维坐标；基于每个聚合结果的三维坐标对对所有类别解释结果进行可视化和动作类型聚类，得到所述目标模式生物的实际动作类型。12.本技术第三方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的模式生物的视频动作分析方法。13.本技术第四方面实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以用于实现如上述实施例所述的模式生物的视频动作分析方法。14.由此，本技术至少具有如下有益效果：15.基于深度学习的模式生物视频动作分析技术，并利用采集到的透明饲养盒中自由运动的模式生物视频和对其进行三维重建得到的模式生物三维模型数据，可以自动进行运动分析，从而利用三维重建技术得到的模式生物三维模型，并使用深度学习无监督方法得到模式生物运动的行为信息，可以自动完成对模式生物视频的动作分析，无需任何人工干预，有效提高了相关研究的精度和效率，且可以能够应用于多种模式生物，扩展性强。16.本技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实践了解到。附图说明17.本技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：18.图1为根据本技术实施例提供的模式生物的视频动作分析方法的流程示意图；19.图2为根据本技术实施例提供的模式生物的视频动作分析装置的示例图；20.图3为根据本技术实施例提供的电子设备的结构示意图。具体实施方式21.下面详细描述本技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本技术，而不能理解为对本技术的限制。22.模式生物以小鼠为例，小鼠是生物学研究中最常用的模式生物之一，对小鼠行为的分析是生物学研究中非常重要的课题。三维重建的相关技术使得本技术实施例能够得到重建后的三维小鼠模型，从而将小鼠的视频序列数字化。如果本技术实施例能够利用重建得到的三维小鼠的行为信息，开发相关的自动动作分析技术，则能为生物研究者提供极大的便利。近年来，随着深度学习技术飞速发展，并在各领域得到了广泛使用。无监督的视频动作分类技术作为一种新兴技术，也逐渐在各大领域崭露头角。因此，本技术实施例可以利用相关的技术并使用在小鼠实验上。23.下面将参考附图描述本技术实施例的模式生物的视频动作分析方法、装置、电子设备及存储介质。具体而言，图1为本技术实施例所提供的一种模式生物的视频动作分析方法的流程示意图。24.如图1所示，该模式生物的视频动作分析方法包括以下步骤：25.在步骤s101中，获取目标模式生物的待分析影像。26.其中，目标模式生物可以根据实际分析的需求具体选择，例如小鼠等，对此不做具体限定；待分析影像可以为长视频序列。27.在步骤s102中，将待分析影像输入至预先训练完成的特征提取器，提取待分析影像中每个影像帧的类别标签，并基于每个影像帧的类别标签将待分析影像分割为多个视频段，其中，特征提取器基于携带有影像帧类别标签的影像样本训练得到。28.其中，特征提取器的结构主要基于maskrcnn，本技术实施例将maskrcnn的关键点提取网络进行了修改，改成了对3d-pose的回归。训练使用的数据是基于本技术实施例使用优化方法得到的结果。29.在本技术实施例中，将待分析影像输入至预先训练完成的特征提取器，提取待分析影像中每个影像帧的类别标签，包括：提取每个影像帧的类别特征，并将类别特征的维度降低至目标维度；对降维后的类别特征进行类别聚类，对相同类别的影像帧赋予相同的类别标签。30.其中，目标维度可以根据实际情况进行设置，例如可以为二维等，对此不作具体限定。31.可以理解的是，本技术实施例可以构建一个无监督的卷积神经网络作为视频序列的特征提取器，将得到的特征进行聚类，得到小视频段的类别标签。32.具体而言，本技术实施例可以将mask-rcnn最后的回归层(线性层)删除，使用其backbone(resnet-50)作为特征提取器，对每帧使用特征提取器得到其特征(例如256维)，然后对特征使用umap降至目标维度，例如2维，并对降维后特征进行聚类，从而赋予每一帧类别标签。33.在本技术实施例中，基于每个影像帧的类别标签将待分析影像分割为多个视频段，包括：通过动态规划策略对待分析影像分割进行粗粒度分割，得到多个视频段，其中，动态规划策略为每个视频段中影像帧数小于预设帧数，且视频段中所有影像帧数的类别标签一致。34.其中，预设帧数可以根据实际分割需求具体设置，对此不作具体限定。35.可以理解的是，本技术实施例可以利用动态规划方法，完成对长视频序列的粗粒度分割并聚类，得到视频分割结果，即小视频段的类别标签。36.具体而言，本技术实施例可以按照以下两个原则进行粗粒度的划分，可以得到很多的视频小段，其中，原则如下：第一、每个视频小段不能超过t帧；第二每个视频小段的所有帧标签一致。37.在步骤s103中，计算所有视频段之间的类别相似度，并聚合类别相似度大于预设值的视频段，得到至少一个聚合结果，并识别至少一个聚合结果得到目标模式生物的实际动作类型。38.可以理解的是，本技术实施例在得到视频小段后，可以使用dtak算法对视频小段进行相似性度量并聚合相似的视频小段，从而得到聚合后的分割结果，并识别聚合后的分割结果即可得到实际动作类型，其中，实际动作类型比如奔跑、站立等，从而方便生物研究者进行模式生物的动作分析。39.在本技术实施例中，识别至少一个聚合结果得到目标模式生物的实际动作类型，包括：获取三维重建得到的目标模式生物的运动速度信息；将所有聚合结果的维度降维至二维，并以运动速度信息作为降维后聚合结果的第三维度，生成每个聚合结果的三维坐标；基于每个聚合结果的三维坐标对对所有类别解释结果进行可视化和动作类型聚类，得到目标模式生物的实际动作类型。40.可以理解的是，本技术实施例可以对聚类得到的视频分割结果进行降维并可视化，具体地：对同类别的视频段进行聚合，结合三维重建得到的模式生物运动速度信息，对聚合后的视频段进行类别解释，并降维可视化。41.具体而言，由于聚合之后的视频段维度较大，因此次，本技术实施例可以使用视频段中所有帧的umap降维坐标作为其两个维度，然后使用其平均速度为第三个维度，以使得所有视频段均可以表示为一个三维坐标。对所有视频段进行可视化并聚类，且每个类代表一种模式生物的运动类别。42.需要说明的是，三维重建是在视频分析之前完成的，其中，在重建步骤中，本技术实施例重训练了一个网络mask-rcnn，该网络输入模式生物的多视角彩色图片，输出包括生物的关节点旋转轴角的点云信息，彩色图片可以得到关键点信息，本技术实施例可以基于关键点信息和点云信息使用优化方法对模式生物进行三维重建。有了大量重建结果之后，可以使用该结果训练网络，可以加速之后的重建。43.根据本技术实施例提出的模式生物的视频动作分析方法，基于深度学习的模式生物视频动作分析技术，并利用采集到的透明饲养盒中自由运动的模式生物视频和对其进行三维重建得到的模式生物三维模型数据，可以自动进行运动分析，从而利用三维重建技术得到的模式生物三维模型，并使用深度学习无监督方法得到模式生物运动的行为信息，可以自动完成对模式生物视频的动作分析，无需任何人工干预，有效提高了相关研究的精度和效率，且可以能够应用于多种模式生物，扩展性强。44.其次参照附图描述根据本技术实施例提出的模式生物的视频动作分析装置。45.图2是本技术实施例的模式生物的视频动作分析装置的方框示意图。46.如图2所示，该模式生物的视频动作分析装置10包括：获取模块100、提取模块200和分析模块300。47.其中，获取模块100用于获取目标模式生物的待分析影像；提取模块200用于将待分析影像输入至预先训练完成的特征提取器，提取待分析影像中每个影像帧的类别标签，并基于每个影像帧的类别标签将待分析影像分割为多个视频段，其中，特征提取器基于携带有影像帧类别标签的影像样本训练得到；分析模块300用于计算所有视频段之间的类别相似度，并聚合类别相似度大于预设值的视频段，得到至少一个聚合结果，并识别至少一个聚合结果得到目标模式生物的实际动作类型。48.进一步地，提取模块200用于：提取每个影像帧的类别特征，并将类别特征的维度降低至目标维度；对降维后的类别特征进行类别聚类，对相同类别的影像帧赋予相同的类别标签。49.进一步地，提取模块200用于：通过动态规划策略对待分析影像分割进行粗粒度分割，得到多个视频段，其中，动态规划策略为每个视频段中影像帧数小于预设帧数，且视频段中所有影像帧数的类别标签一致。50.进一步地，分析模块300用于：获取三维重建得到的目标模式生物的运动速度信息；将所有聚合结果的维度降维至二维，并以运动速度信息作为降维后聚合结果的第三维度，生成每个聚合结果的三维坐标；基于每个聚合结果的三维坐标对对所有类别解释结果进行可视化和动作类型聚类，得到目标模式生物的实际动作类型。51.需要说明的是，前述对模式生物的视频动作分析方法实施例的解释说明也适用于该实施例的模式生物的视频动作分析装置，此处不再赘述。52.根据本技术实施例提出的模式生物的视频动作分析装置，基于深度学习的模式生物视频动作分析技术，并利用采集到的透明饲养盒中自由运动的模式生物视频和对其进行三维重建得到的模式生物三维模型数据，可以自动进行运动分析，从而利用三维重建技术得到的模式生物三维模型，并使用深度学习无监督方法得到模式生物运动的行为信息，可以自动完成对模式生物视频的动作分析，无需任何人工干预，有效提高了相关研究的精度和效率，且可以能够应用于多种模式生物，扩展性强。53.图3为本技术实施例提供的电子设备的结构示意图。该电子设备可以包括：54.存储器301、处理器302及存储在存储器301上并可在处理器302上运行的计算机程序。55.处理器302执行程序时实现上述实施例中提供的模式生物的视频动作分析方法。56.进一步地，电子设备还包括：57.通信接口303，用于存储器301和处理器302之间的通信。58.存储器301，用于存放可在处理器302上运行的计算机程序。59.存储器301可能包含高速ram(random access memory，随机存取存储器)存储器，也可能还包括非易失性存储器，例如至少一个磁盘存储器。60.如果存储器301、处理器302和通信接口303独立实现，则通信接口303、存储器301和处理器302可以通过总线相互连接并完成相互间的通信。总线可以是isa(industry standard architecture，工业标准体系结构)总线、pci(peripheral component，外部设备互连)总线或eisa(extended industry standard architecture，扩展工业标准体系结构)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图3中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。61.可选的，在具体实现上，如果存储器301、处理器302及通信接口303，集成在一块芯片上实现，则存储器301、处理器302及通信接口303可以通过内部接口完成相互间的通信。62.处理器302可能是一个cpu(central processing unit，中央处理器)，或者是asic(application specific integrated circuit，特定集成电路)，或者是被配置成实施本技术实施例的一个或多个集成电路。63.本技术实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上的模式生物的视频动作分析方法。64.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本技术的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不是必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或n个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。65.此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本技术的描述中，“n个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。66.流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更n个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本技术的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本技术的实施例所属技术领域的技术人员所理解。67.应当理解，本技术的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，n个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列，现场可编程门阵列等。68.本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。69.尽管上面已经示出和描述了本技术的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本技术的限制，本领域的普通技术人员在本技术的范围内可以对上述实施例进行变化、修改、替换和变型。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!