作业分析装置和作业分析方法与流程

计算;推算;计数设备的制造及其应用技术1.本公开涉及一种使处理器基于作业者的作业活动的视频进行操作以输出与该作业者的作业效率状况有关的分析信息的作业分析装置和作业分析方法。背景技术：2.在工厂中，可以通过分析作业者的作业效率状况并基于分析结果改变作业的操作过程或其他方面来提高作业效率。为此，需要用于以高效方式分析作业者的作业效率状况的技术。3.用于分析作业者的作业效率状况的这样的已知技术包括一种方法，该方法涉及：利用测量装置来获取运动信息(诸如关节的坐标值等)，该运动信息定量地表示作业者的运动；将该运动信息与表示基准运动(标准运动)的基准运动信息进行比较，从而检测与该基准运动不同的运动(非标准运动)；利用拍摄装置来拍摄作业中的作业者的图像；以及从所拍摄图像中提取作业者进行非标准运动时的该作业者的图像(专利文献1)。4.现有技术文献5.专利文献6.专利文献1：日本特开2019-125023技术实现要素：7.发明要解决的问题8.上述现有技术可以在不对系统造成沉重的数据处理负担的情况下显示作业者进行非标准运动时的该作业者的图像。然而，该技术需要进行许多繁重任务(诸如安装用于获取运动信息的测量装置、以及设置基准运动信息和图像提取准则等)以供作业效率分析。9.另外，存在如下需要：诸如作业者本人和管理员等的用户可以基于作业中的作业者的视频数据和其他数据，通过将作业者的作业效率状况与其他作业者的作业效率状况或相同作业者的过去记录进行比较来容易地识别该作业者的技能水平(作业效率)或获取其他分析信息。然而，现有技术无法满足这样的需要。10.鉴于现有技术的问题而做出了本公开，并且本公开的主要目的是提供一种使得能够在没有繁重任务的情况下容易地分析和评估作业者的作业效率、并且通过将作业者的作业效率与其他作业者的作业效率或相同作业者的过去记录进行比较来容易地确定作业者的技能水平的作业分析装置和作业分析方法。11.用于解决问题的方案12.本公开的一方面提供了一种作业分析装置，其中，使处理器基于作业者的作业活动的视频进行操作以输出与作业者的作业效率状况有关的分析信息，其中，所述处理器被配置为：基于所述视频进行关节位置估计，以估计作业者的关节位置；基于所述关节位置估计的结果来获取与多个关节位置有关的时间序列数据；基于所述时间序列数据来进行作业效率判断，以判断作业效率；以及基于所述作业效率判断的结果来生成所述分析信息，所述分析信息包括与作为作业工艺的一部分的目标范围有关的信息和所述视频。13.本公开的另一方面提供了一种作业分析方法，用于使处理器基于作业者的作业活动的视频进行操作以输出与作业者的作业效率状况有关的分析信息，所述操作包括：基于所述视频进行关节位置估计，以估计作业者的关节位置；基于所述关节位置估计的结果来获取与多个关节位置有关的时间序列数据；基于所述时间序列数据来进行作业效率判断，以判断作业效率；以及基于所述作业效率判断的结果来生成所述分析信息，所述分析信息包括与作为作业工艺的一部分的目标范围有关的信息和所述视频。14.发明的效果15.根据本公开，基于视频来获取与作业工艺的目标范围有关的分析信息，这使得能够在没有繁重任务的情况下容易地分析和评估作业者的作业效率。另外，使得诸如作业者本人或管理员等的用户能够快速识别目标范围中的作业效率状况。附图说明16.图1是示出根据本公开的第一实施例的作业分析系统的总体配置的图；17.图2是示出由服务器3进行的关节位置估计操作的概要的说明图；18.图3是示出由服务器3生成的时间序列图的说明图；19.图4是示出由服务器3进行的作业活动评估操作的概要的说明图；20.图5是示出服务器3的示意性配置的框图；21.图6是示出由服务器3进行的作业活动收集操作的过程的流程图；22.图7是示出由服务器3进行的分析目标指定操作的过程的流程图；23.图8是示出用户终端4上所显示的搜索画面的说明图；24.图9是示出用户终端4上所显示的设置画面的说明图；25.图10是示出用户终端4上所显示的单主题模式(single subject mode)的分析结果画面的说明图；26.图11是示出用户终端4上所显示的基于模型记录比较(model-record-based-comparison)的分析结果画面的说明图；以及27.图12是示出用户终端4上所显示的基于过去记录比较(past-record-based-comparison)的分析结果画面的说明图；具体实施方式28.为了实现上述目的而做出的本发明的第一方面是一种作业分析装置，其中，使处理器基于作业者的作业活动的视频进行操作以输出与作业者的作业效率状况有关的分析信息，其中，所述处理器被配置为：基于所述视频进行关节位置估计，以估计作业者的关节位置；基于所述关节位置估计的结果来获取与多个关节位置有关的时间序列数据；基于所述时间序列数据来进行作业效率判断，以判断作业效率；以及基于所述作业效率判断的结果来生成所述分析信息，所述分析信息包括与作为作业工艺的一部分的目标范围有关的信息和所述视频。29.在该配置中，基于视频来获取与作业工艺的目标范围有关的分析信息，这使得能够在没有繁重任务的情况下容易地分析和评估作业者的作业效率。另外，使得诸如作业者本人或管理员等的用户能够快速识别目标范围中的作业效率状况。30.本发明的第二方面是第一方面的作业分析装置，其中，所述处理器被配置为：输出与所述作业效率被判断为低的区间有关的信息作为与所述目标范围有关的信息。31.在该配置中，使得用户能够快速识别作业工艺中的作业效率低并因此极其需要改善的区间的作业效率状况。32.本发明的第三方面是第一方面的作业分析装置，其中，所述处理器被配置为：输出表示所述目标范围的图像作为所述分析信息，所述图像叠加在使所述时间序列数据可视化的时间序列图上。33.在该配置中，用户可以在视觉上检查(一个或多于一个)时间序列图，从而识别作业活动的特征。特别地，用户可以在时间序列图中快速检查目标范围内的作业活动。34.本发明的第四方面是第一方面的作业分析装置，其中，所述处理器被配置为：输出基于所述关节位置所生成的指示作业者的姿势的姿势图像作为所述分析信息，所述姿势图像叠加在所述视频上。35.在该配置中，示意性地表示作业者的姿势的姿势图像叠加在视频上，这使得用户能够快速识别作业者的实际作业活动。36.本发明的第五方面是第一方面的作业分析装置，其中，所述处理器被配置为：选择作业效率高的作业活动作为要与要经受分析的目标作业活动进行比较的模型作业活动；以及输出与所述目标作业活动有关的分析信息和与所述模型作业活动有关的分析信息。37.在该配置中，使得用户能够基于与其他作业者的作业效率状况的比较来容易地识别进行要经受分析的作业活动的作业者的技能水平。38.本发明的第六方面是第五方面的作业分析装置，其中，所述处理器被配置为：输出与多个模型作业活动相对应的视频的缩略图图像；以及当用户选择所述缩略图图像其中之一时，输出与同所选择的缩略图图像相对应的模型作业活动有关的分析信息。39.在该配置中，使得用户能够从多个模型作业活动中选择一个模型作业活动，并且查看与所选择的模型作业活动有关的分析信息。40.本发明的第七方面是第一方面的作业分析装置，其中，所述处理器被配置为：选择进行要经受分析的目标作业活动的人物之前已进行的过去作业活动作为要与所述目标作业活动进行比较的模型作业活动；以及输出与所述目标作业活动有关的分析信息和与所述过去作业活动有关的分析信息。41.在该配置中，使得用户能够基于与相同作业者的作业效率状况的过去记录的比较来容易地识别进行要经受分析的目标作业活动的作业者的技能水平。42.本发明的第八方面是第七方面的作业分析装置，其中，所述处理器被配置为：输出与多个过去作业活动相对应的视频的缩略图图像；以及当用户选择所述缩略图图像其中之一时，输出与同所选择的缩略图图像相对应的过去作业活动有关的分析信息。43.在该配置中，使得用户能够从多个过去作业活动中选择一个过去作业活动，并且查看与所选择的过去作业活动有关的分析信息。44.本发明的第九方面是第一方面的作业分析装置，其中，所述处理器被配置为：输出用户能够输入一个或多于一个搜索准则的搜索画面；以及输出与满足所输入的搜索准则的作业活动有关的分析信息。45.在该配置中，使得用户能够容易地缩窄要经受分析的目标作业活动。46.本发明的第十方面是第一方面的作业分析装置，其中，所述处理器被配置为：输出用户能够指定人体的目标关节的设置画面；以及输出与用户通过所述设置画面所指定的目标关节有关的分析信息。47.在该配置中，使得用户能够容易地缩窄要经受分析的目标关节。48.本发明的第十一方面是一种作业分析方法，用于使处理器基于作业者的作业活动的视频进行操作以输出与作业者的作业效率状况有关的分析信息，所述操作包括：基于所述视频进行关节位置估计，以估计作业者的关节位置；基于所述关节位置估计的结果来获取与多个关节位置有关的时间序列数据；基于所述时间序列数据来进行作业效率判断，以判断作业效率；以及基于所述作业效率判断的结果来生成所述分析信息，所述分析信息包括与作为作业工艺的一部分的目标范围有关的信息和所述视频。49.该配置以与第一方面相同的方式使得能够在没有繁重任务的情况下容易地分析和评估作业者的作业效率。50.下面将参考附图描述本公开的实施例。51.(第一实施例)52.图1是示出根据本公开的第一实施例的作业分析系统的总体配置的图。53.作业分析系统被配置为分析诸如工厂等的作业场所中的作业者的作业效率状况，从而将分析结果呈现给管理员，并且该系统包括照相机1、记录器2、服务器3(作业分析装置)和用户终端4。54.照相机1拍摄作业者所在场所处的作业者的作业活动。55.记录器2记录从照相机提供的视频数据。56.服务器3从照相机1和/或记录器2获取(一个或多于一个)视频，基于该视频来分析作业者的作业效率状况，并输出分析结果。57.用户终端4由诸如系统管理员、作业管理员或作业者本人等的用户使用，由pc、平板终端或任意其他合适的装置实现。系统管理员使用用户终端4来配置由服务器3进行的各种操作的设置。另外，用户终端4显示从服务器3提供的分析结果，使得作业管理员或作业者本人可以查看这些结果。58.服务器3可以在照相机正在拍摄视频的同时进行实时操作，或者在照相机拍摄视频之后进行后处理操作。在进行实时操作的情况下，照相机1、服务器3和用户终端4可以经由网络而连接。在仅进行后处理操作的情况下，可以通过使用适当的存储介质将记录器2中所累积的视频记录传送到服务器3。59.接下来，将描述由服务器3进行的关节位置估计操作。图2是示出由服务器3进行的关节位置估计操作的概要的说明图。60.在本实施例中，系统根据分析目标视频数据中所包括的各时间的帧图像来估计人物的关节位置，以获取各时间(各个帧图像)的关节位置数据(关节位置估计操作)。关节的各个位置由二维坐标(x，y)表示。61.在图2所示的示例中，作业者在作业台上进行作业活动(诸如按类型对要在生产线中使用的部件进行分类并将该部件存储在部件箱(parts case)中的作业活动等)。在该情况下，由于作业者主要通过移动上半身来进行作业，因此测量目标关节是上半身的八个关节(左手腕、左肘、左肩、右肩、头部、右肘、右手腕、腹部)。62.在本实施例中，示意性地表示人物的姿势的姿势图像叠加在作业中的作业者的视频上。姿势图像是表示人类骨架的图，该图由连接人类骨架的关节的位置的线(骨架线)组成。骨架线按颜色分类，这使得用户能够快速地掌握人物的移动。63.在本实施例中，当根据各时间的帧图像来估计人物的关节位置时，系统生成指示各时间的各个关节位置的关节位置数据作为估计的结果。关节位置数据包括工艺id、测量编号、人物id、时间信息和关节坐标信息。64.工艺id是给予各个工艺(或任务)的id。测量编号是分配给与一个工艺相关联地多次进行的各个测量操作的序列号。人物id是给予各个作业者的id。时间信息是与测量时间(年、月、日、小时、分钟和秒)有关的信息。作业活动通过工艺id、测量编号和人物id的组合来彼此区分。例如，当某些活动由相同人物在相同工艺中进行但具有不同测量编号时，这些活动是不同的作业活动。65.关节坐标信息包括关节坐标值(x坐标和y坐标)和可靠性分数。可靠性分数是指示作为关节位置估计结果的关节坐标值的可靠性的指标，并且分数值越大，可靠性越高。66.接下来，将描述由服务器3生成的时间序列图。图3是示出由服务器3生成的时间序列图的说明图。67.在本实施例中，系统基于各时间的各个关节的关节位置数据来生成包括按时间序列的各个关节的关节位置的时间序列数据(时间序列数据生成操作)。接下来，系统生成使关节位置的时间序列数据可视化的时间序列图(时间序列图生成操作)。然后，系统独立地分析x轴方向(图像中的水平方向)上的移动和y轴方向(图像中的垂直方向)上的移动。因此，系统分别生成关节在x轴方向上的位置(x坐标)和在y轴方向上的位置(y坐标)的时间序列图。具体地，系统生成图3的(a-1)所示的关节位置的x坐标的时间序列图以及图3的(a-2)所示的关节位置的y坐标的时间序列图。在这样的关节位置的时间序列图中，水平轴表示时间，并且垂直轴表示x或y坐标值。68.在本实施例中，可以选择关节速度信息(与关节移动速度有关的信息)代替关节位置信息来作为要分析的关节信息。在选择关节速度信息的情况下，系统生成图3的(b-1)所示的沿着x坐标的关节速度的时间序列图以及图3的(b-2)所示的沿着y坐标的关节速度的时间序列图。在这样的关节速度的时间序列图中，水平轴表示时间，并且垂直轴表示x坐标或y坐标的速度。系统可以从各时间(各帧)的关节位置的变化量获取关节速度。69.在本实施例中，将各个关节的时间序列图生成为折线图。此外，以不同颜色指示各个关节的时间序列图。70.在熟练作业者的情况下，作业者对身体各部位进行浪费少的运动，并且以同步方式移动身体的部位。特别地，作业者使用左手和右手来进行相应的例程操作，使得双手以同步方式移动。例如，在操作需要重复获取部件并存储部件的任务集的情况下，熟练作业者同时分别用双手获取不同类型的部件，然后用右手进行存储部件的任务。在其他情况下，熟练作业者使用左手来获取部件，然后使用右手来存储部件。在该情况下，时间序列图可以例如示出双手同时向右移动，这意味着作业者用双手获取部件。71.在初学作业者的情况下，作业者对身体各部位进行大量浪费的运动，并且以不同步且不规律的方式移动身体的部位。特别地，没有使用左手和右手来进行相应的例程操作，并且左手和右手不以同步方式移动。例如，在操作需要重复获取部件并存储部件的任务集的情况下，初学作业者倾向于用一只手拾取一个部件。在该情况下，时间序列图可以例如示出仅左手向右移动，这意味着作业者用一只手获取部件。72.接下来，将描述由服务器3进行的作业活动评估操作。图4是示出由服务器3进行的作业活动评估操作的概要的说明图。73.在本实施例中，系统根据身体的各个部位是否以同步方式移动来评估作业效率。此外，在本实施例中，系统计算各个关节的时间序列数据集之间的相似度，并且基于所计算出的相似度来判断身体的各个部位是否以同步方式移动。换句话说，系统基于各个关节的时间序列数据集之间的相似度来评估作业效率。例如，在各个关节的时间序列数据集之间的相似度高的情况下，系统判断为作业效率高，并且在各个关节的时间序列数据集之间的相似度低的情况下，系统判断为作业效率低。74.在本实施例中，系统计算表示相似程度的共现分数(co-occurrence score)(效率运动分数)作为用于评估作业效率的指标值。系统将该共现分数与预定阈值进行比较，从而判断各个关节的时间序列数据集之间的相似度是否高，也就是说作业效率是否高。更具体地，在共现分数等于或高于阈值的情况下，系统判断为作业效率高。75.在本实施例中，两个时间序列数据集之间的相似度的指标的示例包括欧氏距离和dtw(动态时间规整)距离。在本实施例中，系统计算dtw距离作为各个关节的两个时间序列数据集之间的相似度的指标。76.如图4的(a)所示，欧氏距离是两个时间序列数据集中的相同时间的两个点之间的距离。当在两个时间序列数据集之间存在显著的时间滞后(lag)时，无法通过使用该距离来适当地计算相似程度。77.如图4的(b)所示，dtw距离是在一个时间序列数据集中的各点与另一时间序列数据集中的所有点之间计算出的距离中的最短距离，即通过将所有计算出的距离进行比较以选择最短距离而获取到的距离。例如，在关节的数量是8的情况下，在点的28(8×7/2)个组合之间计算一对点之间的距离。通过使用该方法，即使在人物的一些关节位置被遮蔽物体隐藏、时间序列数据的某些部分丢失、两个时间序列数据集之间存在时间滞后、或者两个时间序列数据集的长度不同的情况下，也可以适当地计算相似程度。78.在本实施例中，尽管基于关节的时间序列数据集的相似度来判断作业效率，但是也可以代替各个关节而是通过针对身体的各部位(诸如右臂和左臂等)所收集的时间序列数据集来判断作业效率。例如，可以基于右臂和左臂的时间序列数据集的相似度来判断作业效率。在熟练作业者的情况下，由于右臂和左臂以同步方式移动，因此当右臂和左臂的时间序列数据集之间存在高的相似程度时，系统可以判断为作业者是熟练作业者。在该情况下，可以通过分别整合右臂的关节的位置数据集和左臂的关节的位置数据集，生成右臂的位置数据和左臂的位置数据。79.在本实施例中，尽管系统被配置为计算表示相似度(更准确地，各个关节的时间序列数据集之间的相似程度)的共现分数(效率运动分数)作为用于评估作业效率的指标值，但是系统可以使用除共现分数之外的指标值来判断作业效率。80.例如，系统可以使用各个关节位置的方差来判断作业效率。关节位置的较大摆动宽度指示存在许多浪费的运动，并且因此作业活动不是高效的。在该情况下，各个关节位置的方差变大。因此，系统可以基于各个关节位置的方差来判断作业效率。在其他情况下，系统可以使用“关节速度”(关节移动速度)来判断作业效率。81.接下来，将描述服务器3的示意性配置。图5是示出服务器3的示意性配置的框图。82.服务器3包括视频输入装置11、画面输出装置12、存储器13和处理器14。83.在服务器3进行实时操作的情况下，视频输入装置11接收照相机1所拍摄到的视频。在服务器3进行后处理操作的情况下，视频输入装置11接收记录在记录器2中的视频。84.画面输出装置12输出处理器14所生成的各种画面，并且各种画面显示在用户终端4上。85.存储器13存储要由处理器14执行的程序。存储器13存储由视频输入装置11获取的视频数据。存储器13存储由处理器14生成的关节位置数据、与模型作业活动有关的信息、以及其他信息。86.处理器14通过执行存储器13中所存储的程序来进行与作业分析(作业活动分析)相关联的各种处理操作。在本实施例中，处理器14进行关节位置估计操作、分析操作、分析结果可视化操作和其他操作。87.在关节位置估计操作中，处理器14从视频数据获取各时间的帧，估计各个帧图像中的人物的关节位置，并且获取各时间的各个关节的坐标信息。处理器14将在关节位置估计操作中所获取的各时间的各个关节的坐标信息连同工艺id、测量编号、人物id和时间信息一起作为各时间的关节位置数据存储在存储器13中。88.分析操作包括时间序列数据生成操作、作业活动评估操作和作业活动排序(ranking)操作。89.在时间序列数据生成操作中，处理器14基于在关节位置估计操作中所获取的各时间的各个关节的关节位置数据，生成各个关节的关节位置的时间序列数据。90.在作业活动评估操作中，处理器14计算表示各对关节的时间序列数据集之间的相似程度的共现分数(效率运动分数)作为用于评估与作业活动相关联的作业效率的指标值。特别地，处理器14基于与待评估的作业活动相关联的时间序列数据集，计算整个长度的时间序列数据中的各个时间序列数据集的共现分数。然后，以预定时间段(例如，3至5秒)来划分各个时间序列数据集，以针对各个单位时段来生成时间序列数据的所划分部分，并且处理器14计算各个单位时段的共现分数。具体地，对于60秒的时间序列数据，在将单位时段设置为五秒的情况下，处理器首先计算时间序列数据的首个五秒时段的共现分数，并且处理器接下来计算从时间序列数据的开端之后的一秒起开始的五秒时段的共现分数。然后，处理器重复计算按一秒间隔开始的后续五秒时段(例如，分别在时间序列数据的开端之后的两秒和三秒开始的五秒时段)中的各个五秒时段的共现分数，直到计算出60秒时间序列数据的最后五秒时段的共现分数为止。根据时间序列数据的长度，单位时段可以改变为不同的时间段(诸如10秒或30秒等)，以便减少处理器需要计算共现分数的次数。91.在作业活动排序操作中，处理器14基于作业活动的各个共现分数来对所记录的相同任务的作业活动(具有相同工艺id的作业活动)进行排序。然后，处理器14选择排序后的作业活动中的按共现分数的降序的预定数量(例如，5个)作业活动作为模型作业活动(所记录的以高效率进行的作业活动)。92.分析结果可视化操作包括时间序列图生成操作、目标范围获取操作、目标范围绘制操作、姿势图像生成操作、姿势图像叠加操作和画面生成操作。93.在时间序列图生成操作中，处理器14生成使在时间序列数据生成操作中所获取的关节位置的时间序列数据可视化的时间序列图(参见图3)。94.在目标范围获取操作中，处理器14基于在作业活动评估操作中所获取的各个单位时段的共现分数来获取目标范围。“目标范围”是待分析的作业工艺(即，在测量时间序列数据的时段内)的一部分，其中，关节的时间序列数据集之间的相似度低(即，共现分数低于预定阈值)。95.在目标范围绘制操作中，处理器14在时间序列图上叠加地绘制矩形标签65、66(标记图像)，各个矩形标签表示在目标范围获取操作中所获取的目标范围。96.在姿势图像生成操作中，处理器14基于各时间的关节位置数据来生成各时间(各个帧图像)的姿势图像。姿势图像是示意性地表示作业者的姿势并且由用于连接关节位置的线组成的图，这些线按颜色分类。97.在姿势图像叠加操作中，处理器14将在姿势图像生成操作中所获取的各时间的姿势图像叠加在帧图像上，以生成合成图像。98.在画面生成操作中，处理器14生成要显示在用户终端4上的画面，并将所生成的画面提供至用户终端4。在本实施例中，处理器14生成各种画面，这些画面包括设置画面(参见图9)、单主题模式的分析结果画面(参见图10)、基于模型记录比较的分析结果画面(参见图11)以及基于过去记录比较的分析结果画面(参见图12)。99.接下来，将描述由服务器3进行的作业活动收集操作。图6是示出由服务器3进行的作业活动收集操作的过程的流程图。100.首先，服务器3中的处理器14从存储器13获取作为模型作业活动的候选的作业活动的视频数据，并且判断是否处理了包括该视频数据的全部帧图像(st101)。101.在尚未处理全部帧图像的情况下(st101中为否)，处理器14根据目标帧图像来估计作业者的关节位置(关节位置估计操作)(st102)。接下来，处理器14生成包括各个关节的关节坐标信息的关节位置数据，并将所生成的数据存储在存储器13中(st103)。102.处理器14针对待分析的作业活动的视频数据中所包括的全部帧图像重复这些操作。结果，将与作业活动相关联的各时间(各个帧图像)的各个关节的关节位置数据存储并累积在存储器13中。103.接下来，服务器3中的处理器14基于各时间的关节的关节位置数据来生成各个关节的关节位置的时间序列数据(时间序列数据生成操作)(st104)。然后，处理器14基于各个关节的关节位置的时间序列数据来计算待分析的作业活动的共现分数(作业活动评估操作)(st105)。然后，处理器14基于各个作业活动的共现分数对所记录的相同任务的作业活动进行排序(作业活动排序操作)(st106)。104.在存在两个或多于两个待分析的视频数据集的情况下，处理器对各个视频数据集重复图6所示的操作过程。105.接下来，将描述由服务器3进行的分析目标指定操作的过程。图7是示出由服务器3进行的分析目标指定操作的过程的流程图。106.首先，服务器3中的处理器14从存储器13获取待分析的视频数据，并且判断是否处理了包括该视频数据的全部帧图像(st201)。107.在尚未处理全部帧图像的情况下(st201中为否)，处理器14根据目标帧图像来估计作业者的关节位置(关节位置估计操作)(st202)。接下来，处理器14生成包括各个关节的关节坐标信息的关节位置数据，并将所生成的数据存储在存储器13中(st203)。108.处理器14针对待分析的作业活动的视频数据中所包括的全部帧图像重复这些操作。结果，将与作业活动相关联的各时间(各个帧图像)的各个关节的关节位置数据存储并累积在存储器13中。109.接下来，服务器3中的处理器14基于各时间的关节的关节位置数据来生成各个关节的关节位置的时间序列数据(时间序列数据生成操作)(st204)。然后，处理器14生成使待分析的时间序列数据可视化的时间序列图(时间序列图生成操作)(st205)。110.然后，处理器14从存储器13获取与要与待分析的时间序列数据进行比较的作业活动相关联的时间序列数据，并且生成使所获取的时间序列数据可视化的时间序列图(时间序列图生成操作)(st206)。要与待分析的时间序列数据进行比较的作业活动是由用户在所记录的模型作业活动中选择的作业活动。模型作业活动是在所记录的与待分析的作业活动相同的任务的作业活动中的以高效率进行的作业活动。111.另外，服务器3中的处理器还进行用于计算各个单位时段的共现分数的操作(作业活动评估操作)、用于获取目标范围(作业工艺中的作业效率低的一部分)的操作(目标范围获取操作)、用于在时间序列图上叠加绘制矩形标签65、66(其中各个矩形标签表示目标范围)的操作(目标范围绘制操作)、用于根据关节位置数据来生成姿势图像的操作(姿势图像生成操作)、用于将姿势图像叠加在帧图像上的操作(姿势图像叠加操作)以及用于生成并输出包括时间序列图和视频的分析结果画面的操作(画面生成操作)。112.接下来，将描述用户终端4上所显示的搜索画面。图8是示出用户终端4上所显示的搜索画面的说明图。113.用户终端4显示搜索画面，其中用户可以使用该搜索画面来搜索满足搜索准则的作业活动。114.搜索画面包括用于工艺id、测量编号和人物id的输入接口31、32、33、以及分析按钮34。用户可以使用输入接口31、32和33来输入工艺id、测量编号和人物id作为搜索准则。特别地，在本实施例中，用户可以从相应的下拉菜单中选择工艺id、测量编号和人物id。各个下拉菜单指示基于在其他输入接口中选择的条件所过滤的选项。115.当用户使用输入接口31、32、33各自输入工艺id、测量编号和人物id作为搜索准则并操作分析按钮34时，系统搜索满足所输入的搜索准则的作业活动，然后使画面转变到与所找到的作业活动相关联的单主题模式的分析结果画面(参见图10)。116.搜索画面还包括设置按钮35。当用户操作设置按钮35时，画面转变到设置画面(参见图9)。117.接下来，将描述用户终端4上所显示的设置画面。图9是示出用户终端4上所显示的设置画面的说明图。118.用户终端4显示设置画面，其中用户使用该设置画面来配置与作业分析相关联的各种处理操作的设置。当用户在搜索画面(参见图8)上操作设置按钮35时，显示设置画面。119.设置画面包括关节指定接口41。用户可以通过使用关节指定接口41中的各个关节的复选框来指定待分析的关节。在图9所示的实施例中，用户可以指定上半身的八个关节(左手腕、左肘、左肩、右肩、头部、右肘、右手腕和腹部)的任意组合。例如，当仅指定右臂的关节并缩窄其分析目标时，用户可以仅识别右臂的运动。120.设置画面还包括运动信息指定接口42。用户可以通过使用运动信息指定接口42中的单选按钮，指定关节位置或关节速度作为待分析的运动信息的类型。当用户选择关节位置时，系统基于作为运动信息的关节位置来进行与作业分析相关联的操作(诸如时间序列数据生成操作、作业活动评估操作和时间序列图生成操作等)。当用户选择关节速度时，系统使用作为运动信息的关节移动速度来进行与作业分析相关联的操作。121.该设置画面还包括目标范围指定接口43。用户可以操作目标范围指定接口43以输入用于设置目标范围的共现分数的阈值以及用于限制目标范围的数量的上限值。122.该设置画面还包括设置按钮44。用户可以操作设置按钮44，以基于用户使用关节指定接口41、运动信息指定接口42和目标范围指定接口43已经输入的设置信息来配置设置。123.接下来，将描述用户终端4上所显示的单主题模式的分析结果画面。图10是示出用户终端4上所显示的单主题模式的分析结果画面的说明图。124.用户终端4显示单主题模式的分析结果画面，以用于向用户呈现与满足用户(诸如管理员等)所指定的搜索准则的作业活动相关联的分析结果。当用户在搜索画面(参见图8)上使用输入接口31、32、33来输入工艺id、测量编号和人物id、然后操作分析按钮34时，显示单主题模式的分析结果画面。125.该单主题模式的分析结果画面包括时间序列图指示器51。时间序列图指示器51指示与待分析的作业活动相关联的两个关节位置的时间序列图。一个图是关节位置的x坐标的时间序列图，而另一图是关节位置的y坐标的时间序列图。126.该单主题模式的分析结果画面包括作业中的作业者的视频指示器52。作业中的作业者的视频指示器52显示与待分析的作业活动相关联的作业中的作业者的视频。作业中的作业者的视频指示器52还指示叠加在作业中的作业者的视频上示出作业者的姿势的姿势图像。作业中的作业者的视频指示器52指示作业中的作业者的视频的拍摄时间和帧编号。帧编号是分配给作业中的作业者的视频中所包括的各个帧的序列号，其中将帧编号0分配给第一帧。127.作业中的作业者的视频指示器52最初将作业中的作业者的视频数据的第一帧图像显示为静止图像。当用户操作(点击)以指定时间序列图上的位置时，作业中的作业者的视频指示器52开始再现从指定位置(时间)起的作业中的作业者的视频。在再现视频的同时，作业中的作业者的视频指示器52还指示叠加在各个时间序列图上的图像58，该图像58示出作业中的作业者的视频的当前再现位置。128.该单主题模式的分析结果画面还包括关节指定接口53。关节指定接口53以与设置画面(参见图9)相同的方式包括各个关节的复选框。用户可以使用复选框来重新指定待分析的关节，即改变通过使用设置画面所配置的初始设置。129.该关节指定接口53包括更新按钮54。当用户改变初始设置并操作更新按钮54时，反映出新的设置，并且系统进行时间序列图生成操作，使得将时间序列图指示器51中所指示的时间序列图更新为与用户所指定的关节相关联的新时间序列图。130.该单主题模式的分析结果画面包括“模型记录比较”按钮55、“过去记录比较”按钮56和缩略图指示器57。缩略图指示器57指示作业中的作业者的视频中的预定数量的缩略图图像(在图10中为五个图像)。131.当用户操作“模型记录比较”按钮55时，缩略图指示器57指示作业中的作业者的模型作业活动(即，与待分析的作业活动用于相同任务(具有相同工艺id的作业活动)且在共现分数方面排序更高的作业活动)的视频的多个缩略图图像。从左侧起按共现分数的降序并排指示这些缩略图图像。当用户操作缩略图指示器以选择缩略图图像其中之一时，画面转变到基于模型记录比较的分析结果画面(参见图11)。132.当用户操作“过去记录比较”按钮56时，缩略图指示器57指示作业中的作业者的过去作业活动(即，与待分析的作业活动用于相同任务且由相同人物进行的过去作业活动)的视频中的多个缩略图图像。这些缩略图图像与在测量待分析的作业活动的时间之前的预定时间(例如，一天、一周或一个月)进行的作业活动相关联。当用户操作缩略图指示器以选择缩略图图像其中之一时，画面转变到基于过去记录比较的分析结果画面(参见图12)。133.当用户操作关节指定接口53以重新指定待分析的关节时，系统进行作业活动评估操作和作业活动排序操作，并且在作业活动的排序改变的情况下，系统更新缩略图指示器57中所指示的缩略图图像集。134.接下来，将描述用户终端4上所显示的基于模型记录比较的分析结果画面。图11是示出用户终端4上所显示的基于模型记录比较的分析结果画面的说明图。135.用户终端4显示用于将待分析的作业活动与模型作业活动进行比较的基于模型记录比较的分析结果画面。当用户在单主题模式的分析结果画面(参见图10)中操作缩略图指示器57以选择模型作业活动的缩略图图像其中之一时，显示基于模型记录比较的分析结果画面。136.基于模型记录比较的分析结果画面包括时间序列图指示器51、作业中的作业者的视频指示器52、关节指定接口53、“模型记录比较”按钮55、“过去记录比较”按钮56和缩略图指示器57，这些部件指示与待分析的作业活动相关联的信息，并且这些部件也包括在单主题模式的分析结果画面(参见图10)中。137.该基于模型记录比较的分析结果画面包括用于指示要进行比较的作业活动的时间序列图的时间序列图指示器61、以及用于指示相应视频的作业中的作业者的视频指示器62。时间序列图指示器61指示与要进行比较的模型作业活动相关联的两个关节位置的时间序列图。作业中的作业者的视频指示器62指示与要进行比较的模型作业活动相关联的作业中的作业者的视频。138.在本实施例中，由于画面显示待分析的作业活动的时间序列图以及与模型作业活动相关联的时间序列图，使得相应时间序列图彼此垂直对齐地布置，因此用户可以在视觉上比较这些图，从而识别这些图中所指示的待分析的作业活动和模型作业活动之间的差异。此外，由于画面显示作业中的作业者的待分析的作业活动的视频和作业中的作业者的模型作业活动的视频，使得这两个视频彼此垂直对齐地显示，因此用户可以在视觉上比较这两个视频，从而识别这些视频中所示的待分析的作业活动和模型作业活动之间的差异。139.时间序列图指示器51显示叠加在待分析的作业活动的时间序列图上的矩形标签65，其中各个矩形标签表示待分析的作业活动的目标范围。待分析的作业活动的目标范围是共现分数低(更具体地，共现分数等于或小于预定阈值)的时段。140.与待分析的作业活动的情况同样地，时间序列图指示器61显示叠加在要进行比较的作业活动的时间序列图上的矩形标签66，各个矩形标签表示要进行比较的作业活动的目标范围。要进行比较的作业活动的目标范围是通过将预定的附加时段分别添加到待分析的作业活动的目标范围之前和之后这两者而形成的时段。由于作业活动的进度根据作业者而变化，因此通过在前后方向这两者上扩展待分析的目标范围来判断要进行比较的作业活动的目标范围。结果，画面可以向用户指示在这两个作业活动中的各个作业活动中进行相同任务的时段。141.在本实施例中，矩形标签65和66用作表示目标范围的标记图像。然而，表示目标范围的标记不限于矩形标签65和66。例如，表示目标范围的标记图像可以是诸如“！”等的符号或任意其他符号。在其他实施例中，时间序列图指示器51和61中的各个时间序列图指示器可以仅指示时间序列图中的与目标范围相对应的部分。142.在图11所示的实施例中，在时间序列图中包括一个目标范围。然而，当具有低共现分数的两个或多于两个时段间歇地出现时，可以基于通过使用图9的设置画面所设置的目标范围的数量来指示多个目标范围。143.如上所述，在本实施例中，突出显示目标范围(即，作业效率低的时段)，这使得用户能够快速地识别极其需要改善的作业活动。144.该基于模型记录比较的分析结果画面包括“模型记录比较”按钮55、“过去记录比较”按钮56，其中这些按钮包括在单主题模式的分析结果画面(参见图10)中。当用户操作“过去记录比较”按钮56并选择缩略图图像其中之一时，画面转变到基于过去记录比较的分析结果画面(参见图12)。145.接下来，将描述用户终端4上所显示的基于过去记录比较的分析结果画面。图12是示出用户终端4上所显示的基于过去记录比较的分析结果画面的说明图。146.用户终端4显示基于过去记录比较的分析结果画面，该基于过去记录比较的分析结果画面用于将待分析的作业活动与用于与待分析的作业活动相同的任务且由相同人物进行的过去作业活动进行比较。当用户操作基于模型记录比较的分析结果画面(参见图11)中的“过去记录比较”按钮56时，显示基于过去记录比较的分析结果画面。147.基于过去记录比较的分析结果画面包括用于指示待分析的作业活动的时间序列图的时间序列图指示器51、用于指示相应视频的作业中的作业者的视频指示器52、用于指示要进行比较的作业活动的时间序列图的时间序列图指示器61、用于指示相应视频的作业中的作业者的视频指示器62、以及关节指定接口53、“模型记录比较”按钮55、“过去记录比较”按钮56和缩略图指示器57，这些也包括在基于模型记录比较的分析结果画面(参见图11)中。148.用于指示要进行比较的作业活动的时间序列图的时间序列图指示器61指示与要进行比较的过去作业活动相关联的两个关节位置的时间序列图。作业中的作业者的视频指示器62指示与要进行比较的过去作业活动相关联的作业中的作业者的视频。149.在本实施例中，由于画面显示待分析的作业活动的时间序列图以及与相同人物所进行的过去作业活动相关联的时间序列图，使得相应图彼此垂直对齐，因此用户可以在视觉上比较这些图，从而识别这些图中所示的待分析的作业活动和过去作业活动之间的差异。此外，由于画面显示作业中的作业者的待分析的作业活动的视频和作业中的作业者的过去作业活动的视频，使得这两个视频彼此垂直对齐地显示，因此用户可以在视觉上比较这两个视频，从而识别这些视频中所示的待分析的作业活动和过去作业活动两者之间的差异。150.如在基于模型记录比较的分析结果画面(参见图11)中那样，用于指示待分析的作业活动的图的时间序列图指示器51指示表示待分析的作业活动的目标范围的矩形标签66，而用于指示要进行比较的作业活动的图的时间序列图指示器61指示表示要进行比较的作业活动的目标范围的矩形标签66。151.该基于过去记录比较的分析结果画面包括“模型记录比较”按钮55和“过去记录比较”按钮56。当用户操作“模型记录比较”按钮55时，画面转变到基于模型记录比较的分析结果画面(参见图11)。152.在图10、图11和图12所示的画面中，时间序列图指示器51、61指示关节位置的时间序列图。然而，当用户在设置画面(参见图9)的运动信息指定接口42中选择关节速度时，时间序列图指示器51、61指示关节移动速度的时间序列图(参见图3的(b-1)和(b-2))。153.出于说明性的目的，本文描述了本公开的具体实施例。然而，本公开不限于那些具体实施例，并且在不脱离本发明的范围的情况下，可以对实施例的特征进行各种改变、替换、添加和省略。另外，不同实施例的要素和特征可以彼此组合以产生在本公开的范围内的实施例。154.产业上的可利用性155.根据本公开的作业分析装置和作业分析方法实现使得能够在没有繁重任务的情况下容易地分析和评估作业者的作业效率、并且通过将作业者的作业效率与其他作业者的作业效率或相同作业者的过去记录进行比较来容易地确定作业者的技能水平的效果，并且根据本公开的作业分析装置和作业分析方法可用作如下的作业分析装置和作业分析方法，其中使处理器基于作业者的作业活动的视频进行操作以输出与该作业者的作业效率状况有关的分析信息。156.附图标记说明[0157]1ꢀꢀꢀꢀꢀꢀ照相机[0158]2ꢀꢀꢀꢀꢀꢀ记录器[0159]3ꢀꢀꢀꢀꢀꢀ服务器(作业分析装置)[0160]4ꢀꢀꢀꢀꢀꢀ用户终端[0161]11ꢀꢀꢀꢀꢀ视频输入装置[0162]12ꢀꢀꢀꢀꢀ画面输出装置[0163]13ꢀꢀꢀꢀꢀ存储器[0164]14ꢀꢀꢀꢀꢀ处理器[0165]41ꢀꢀꢀꢀꢀ关节指定接口[0166]42ꢀꢀꢀꢀꢀ运动信息指定接口[0167]43ꢀꢀꢀꢀꢀ目标范围指定接口[0168]51、61 时间序列图指示器[0169]52、62 作业中的作业者的视频指示器[0170]53ꢀꢀꢀꢀꢀ关节指定接口[0171]57ꢀꢀꢀꢀꢀ缩略图指示器[0172]65、66 矩形标签(表示目标范围的图像)。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!