机器人系统的制作方法

五金工具产品及配附件制造技术1.本发明涉及一种机器人系统。背景技术：2.以往以来，机器人系统具有摄像装置等视觉传感器，由视觉传感器识别对象物的位置，来进行对象物的处理及加工等作业。视觉传感器通过设置于机器人的手附近的摄像装置、设置于机器人的周边的摄像装置来拍摄对象物。3.这样的机器人系统从所拍摄到的图像中检测对象物，相对于所检测到的对象物的位置控制机器人的动作以使机器人进行作业。4.机器人系统使用摄像装置的校准数据，来将所检测到的对象物的位置(图像坐标系中的位置或从视觉传感器观察的传感器坐标系中的位置)变换为从机器人观察的工件的位置(机器人坐标系中的位置)(例如，参照专利文献1)。由此，机器人系统能够相对于所检测到的对象物的位置校正机器人的动作以使机器人进行作业。5.现有技术文献6.专利文献7.专利文献1：日本特开平4-35885号公报技术实现要素：8.发明要解决的问题9.在这样的机器人系统中，使用视觉传感器的机器人的动作校正有时因各种设定的错误而未被正确地进行。在这样的情况下，机器人会进行不期望的动作，因此期望适当地进行机器人的动作校正。10.用于解决问题的方案11.本公开所涉及的机器人系统具备：视觉传感器，其在机器人的规定位置拍摄对象物的第一图像，在使所述机器人从所述规定位置移动规定距离所到达的位置拍摄所述对象物的第二图像；校准数据存储部，其存储将所述机器人的机器人坐标系与所述视觉传感器的图像坐标系相互关联起来的校准数据；第一获取部，其基于所述第一图像和所述校准数据，来获取所述对象物在机器人坐标系中的第一位置；第二获取部，其基于所述第一图像和所述第二图像，来获取所述对象物在机器人坐标系中的第二位置；以及判定部，其判定所述第一位置与所述第二位置之差是否在规定范围内。12.本公开所涉及的机器人系统具备：视觉传感器，其在使机器人移动规定距离所到达的多个位置分别拍摄对象物的多个图像；校准数据存储部，其存储将成为所述机器人的动作控制的基准的机器人坐标系与成为所述视觉传感器的测量处理的基准的图像坐标系相互关联起来的校准数据；第一获取部，其基于所述多个图像和所述校准数据，来获取所述对象物在机器人坐标系中的第一位置；第二获取部，其基于所述多个图像，来获取所述对象物在机器人坐标系中的第二位置；以及判定部，其判定所述第一位置与所述第二位置之差是否在规定范围内。13.本公开所涉及的机器人控制方法包括以下步骤：对机器人的动作校正进行设定；在所述机器人的第一位置拍摄对象物的第一图像；在使所述机器人从所述第一位置移动规定距离所到达的第二位置拍摄所述对象物的第二图像；基于所述第一图像和所述校准数据，来获取所述对象物在机器人坐标系中的第一位置；基于所述第一图像和所述第二图像，来获取所述对象物在机器人坐标系中的第二位置；判定所述第一位置与所述第二位置之差是否在规定范围内；在判定为所述差在所述规定范围外的情况下，基于所述第一位置、所述第二位置、与所述第一位置对应的所述机器人的位置以及与所述第二位置对应的所述机器人的位置，来估计所述机器人的动作校正的异常原因；以及基于所估计出的所述机器人的动作校正的异常原因，来变更所述机器人的动作校正的设定。14.本公开所涉及的机器人系统具备：视觉传感器，其在机器人的规定位置拍摄对象物的第一图像，在使所述机器人从所述规定位置移动规定距离所到达的位置拍摄所述对象物的第二图像；校准数据存储部，其存储将所述机器人的机器人坐标系与所述视觉传感器的图像坐标系相互关联起来的校准数据；第一获取部，其基于所述第一图像和所述校准数据，来获取所述对象物在机器人坐标系中的第一位置；第二获取部，其基于所述第一图像和所述第二图像，来获取所述对象物在机器人坐标系中的第二位置；以及判定部，其基于所述第一位置和所述第二位置，来判定所述第一位置与所述第二位置之间的关系是否处于规定范围内。15.本公开所涉及的机器人系统具备：视觉传感器，其在机器人的规定位置拍摄对象物的第一图像，在使所述机器人从所述规定位置进行移动所到达的多个位置拍摄所述对象物的多个图像；校准数据存储部，其存储将所述机器人的机器人坐标系与所述视觉传感器的图像坐标系相互关联起来的校准数据；第一获取部，其基于所述校准数据和所述对象物的第一图像，来获取所述对象物在机器人坐标系中的第一位置；第二获取部，其基于所述第一图像和所述多个图像，来获取所述对象物在机器人坐标系中的第二位置；以及判定部，其基于所述第一位置和所述多个位置，来判定所述第一位置与所述多个位置之间的关系是否处于规定范围内。16.发明的效果17.根据本发明，能够适当地进行机器人的动作校正。附图说明18.图1是示出机器人系统的结构的图。19.图2是示出视觉传感器控制装置和机器人控制装置的结构的图。20.图3是示出视觉传感器的移动的图。21.图4是示出第二位置ps的图。22.图5是示出第一位置pw与第二位置ps之间的关系的图。23.图6是示出视觉传感器的移动的图。24.图7是示出校准用的校准治具的图。25.图8是示出使用校准治具进行的校准的图。26.图9是示出视觉传感器控制装置的处理的流程图。具体实施方式27.下面，对本发明的实施方式的一例进行说明。28.图1是示出机器人系统1的结构的图。29.如图1所示，机器人系统1具备机器人2、臂3、视觉传感器4、视觉传感器控制装置5以及机器人控制装置6。30.机器人系统1例如基于由视觉传感器4拍摄到的对象物w的图像，来识别对象物w的位置，从而进行对象物w的处理或加工等作业。31.在机器人2的臂3的前端部安装有手或工具。机器人2通过机器人控制装置6的控制来进行对象物w的处理或加工等作业。另外，在机器人2的臂3的前端部安装有视觉传感器4。32.视觉传感器4通过视觉传感器控制装置5的控制来拍摄对象物w。视觉传感器4可以使用具有由ccd(charge coupled device：电荷耦合器件)图像传感器构成的摄像元件、以及包括透镜的光学系统的二维摄像机，也可以使用能够进行三维测量的立体摄像机等。33.机器人控制装置6执行机器人2的动作程序，来控制机器人2的动作。此时，机器人控制装置6相对于由视觉传感器控制装置5检测到的对象物w的位置校正机器人2的动作，以使机器人2进行规定的作业。34.图2是示出视觉传感器控制装置5和机器人控制装置6的结构的图。视觉传感器控制装置5具备存储部51和控制部52。35.存储部51是保存os(operating system：操作系统)、应用程序等的rom(read only memory：只读存储器)、ram(random access memory：随机存取存储器)、保存其它各种信息的硬盘驱动器、ssd(solid state drive：固态驱动器)等存储装置。36.存储部51具备模型图案存储部511和校准数据存储部512。37.模型图案存储部511存储将对象物w的像模型化所得到的模型图案、例如表示对象物w的像的特征的模型图案。38.校准数据存储部512存储将成为机器人2的动作控制的基准的机器人坐标系与成为视觉传感器4的测量处理的基准的图像坐标系相互关联起来的校准数据。对于校准数据的形式和求得该校准数据的形式的方法，提出了各种方式，可以使用其中的任一种方式。39.控制部52是cpu(central processing unit：中央处理单元)等处理器，通过执行存储部51中所存储的程序来作为第一获取部521、第二获取部522、判定部523、估计部524、校准部525以及通知部526发挥功能。40.第一获取部521基于校准数据和由视觉传感器4拍摄到的对象物w的第一图像，来获取对象物w在机器人坐标系中的第一位置pw。41.第二获取部522基于对象物w的第一图像和第二图像，来获取对象物w在机器人坐标系中的第二位置ps。42.判定部523判定第一位置pw与第二位置ps之差是否在规定范围内。43.在由判定部523判定为差在规定范围外的情况下，估计部524基于第一位置pw、第二位置ps、与第一位置pw对应的机器人2的位置以及与第二位置ps对应的机器人2的位置，来估计机器人2的动作校正的异常原因。44.另外，在由判定部523判定为差在所述规定范围外的情况下，视觉传感器4在多个位置拍摄对象物w的多个图像。然后，估计部524基于多个图像和多个位置来估计机器人2的动作校正的异常原因。45.校准部525执行视觉传感器4的校准。对于视觉传感器4的校准的详细内容在后面记述。46.在由判定部523判定为差在规定范围外的情况下，通知部526通知机器人2的动作校正存在异常这一情况。47.另外，通知部526通知由估计部524估计出的异常原因。通知部526的通知方式例如是在显示部(未图示)等显示异常消息等。48.机器人控制装置6具备动作控制部61。动作控制部61执行机器人2的动作程序来控制机器人2的动作。49.接着，参照图3至图8来对视觉传感器控制装置5的详细的动作进行说明。50.首先，校准部525对视觉传感器4的校准例如下面那样进行。51.图7是示出校准用的校准治具7的图。图8是示出使用校准治具7进行的校准的图。52.校准治具7具有如图7所示的点图案来作为能够由视觉传感器4识别的图案。点图案由呈格子状配置的大的点和小的点构成。尺寸大的点呈l字状配置，表示校准治具7的坐标系。53.校准部525预先设定从机器人坐标系观察的校准治具7的位置。54.另外，校准治具7的点的间隔可以从校准治具的设计图纸等得知。因此，校准部525对点的间隔指定已知的值，并将点的间隔作为校准数据的一部分存储于校准数据存储部512。55.视觉传感器4对校准治具7进行拍摄。另外，校准部525获取在拍摄校准治具7时的机器人的位置。56.动作控制部61使机器人2相对于校准治具7沿垂直方向移动，视觉传感器4对校准治具7进行拍摄。另外，校准部获取在拍摄校准治具7时的机器人的位置。57.校准部525使用校准治具7的各图像的多个点在图像坐标系中的位置和在机器人坐标系中的位置的信息来进行视觉传感器4的校准。58.通过进行视觉传感器4的校准，求出视觉传感器4的外部参数和内部参数。59.在此，外部参数是与视觉传感器的位置及姿势有关的信息，内部参数是与透镜的焦距、透镜畸变、受光元件的尺寸等视觉传感器的光学系统的条件有关的信息。60.图3是示出视觉传感器4的移动的图。首先，机器人控制装置6的动作控制部61使机器人2移动以使对象物w进入摄像范围，视觉传感器4拍摄对象物w的第一图像。此时，第一获取部521存储在拍摄时的机器人2的位置。61.第一获取部521使用模型图案存储部511中所存储的模型图案，来从拍摄到的第一图像的预先决定的范围中检测对象物w。由此，第一获取部521获取对象物w在图像坐标系中的位置姿势。62.第一获取部521基于在拍摄时的机器人2的位置和校准数据存储部512中所存储的校准数据，来将对象物w在图像坐标系中的位置变换为在机器人坐标系(世界坐标系)中的三维位置pw。通过这样，第一获取部521获取对象物w在机器人坐标系中的第一位置pw。63.在此，在为了检测对象物w而使用了二维摄像机的情况下，第一获取部521假定为对象物w的检测部位位于某个平面(校正平面)上而获取作为三维位置的第一位置pw。该校正平面典型的是由用户使用与视觉传感器控制装置5连接的操作板(未图示)等设定的。64.通常来说，使用对象物w的第一位置pw来进行机器人2的动作校正。此时，动作校正的方式使用绝对位置校正和相对位置校正。65.在绝对位置校正中，动作控制部61使机器人2的tcp(tool center point：工具中心点)8(参照图8)移动到第一位置pw。66.在相对位置校正中，控制部52预先决定成为基准的对象物的位置(基准位置)，计算基准位置与第一位置pw之差来作为校正量。然后，机器人控制装置6通过将所求出的校正量添加到预先设定的机器人2的动作中来进行机器人2的动作校正。67.在进行如上所述的动作校正的设定时，存在因各种设定的错误而未正确进行的情况。68.因此，为了判定机器人2的动作校正的错误，本实施方式所涉及的机器人系统1执行如下所示的处理。69.如图3所示，机器人控制装置6的动作控制部61使机器人2从基准位置朝向与视觉传感器4的光轴正交的方向移动规定距离d，视觉传感器4在机器人2移动规定距离d所到达的位置拍摄对象物w的第二图像。70.在此，规定距离d表示从基准位置到对象物w充分移动且能够由视觉传感器4检测对象物w的位置的距离。71.图4是示出第二位置ps的图。图5是示出第一位置pw与第二位置ps之间的关系的图。72.第二获取部522在第一图像和第二图像的各个图像中检测对象物，该第一图像是在基准位置拍摄对象物w所得到的图像，该第二图像是在使机器人2移动规定距离d所到达的位置拍摄对象物w所得到的图像。由此求出两个视点a和视点b下的图像坐标系中的对象物的位置。73.然后，第二获取部522根据图像坐标系中的对象物w的位置来计算两个视线。第二获取部522获取两个视线的交点、或两个视线间的距离最近的点来作为对象物w的第二位置ps。74.在图4的例子中，两个视线不相交，因此第二获取部522获取两个视线间的距离最近的点来作为对象物w的第二位置ps。75.此外，摄像部也可以拍摄多个图像来作为第二图像。在该情况下，摄像部重复进行如下处理：在使机器人2移动规定距离d所到达的位置拍摄对象物w，在使机器人2从拍摄完的位置再移动规定距离d所到达的位置拍摄对象物w。76.另外，在摄像部拍摄多个图像(例如三个以上的图像)作为第二图像的情况下，第二获取部522根据对象物w在图像坐标系中的位置来计算三个以上的视点。在该情况下，第二获取部522获取三个以上的视点的交点来作为对象物w的第二位置ps，或者使用最小二乘法来获取三个以上的视线间的距离最短的位置来作为对象物w的第二位置ps。77.在此，由于对象物w不移动，因此虽然图像内的对象物w的位置发生变动，但第一位置pw与第二位置ps的位置偏移(差)应处于误差范围内。78.因此，判定部523判定第一位置pw与第二位置ps之差是否在规定范围内。79.在由判定部523判定为差在规定范围内的情况下，估计部524判断为机器人2的动作校正正常。80.另外，在由判定部523判定为差在规定范围外的情况下，估计部524判断为机器人2的动作校正异常，基于第一位置pw、第二位置ps、与第一位置pw对应的机器人2的位置以及与第二位置ps对应的机器人2的位置来估计机器人2的动作校正的异常原因。81.具体地说，在由判定部523判定为差在规定范围外的情况下，在两个视线不相交(例如图4那样的情况)时，估计部524估计为校准数据存储部512中所存储的校准数据错误。82.另外，在由判定部523判定为差在规定范围外的情况下，若两个视线相交，则估计部524估计为如图5所示那样校正平面不正确。83.在估计为校准数据错误的情况下，能够通过利用其它的校准方法进行校准来估计校准数据的何处错误。图6是示出视觉传感器4的移动的图。如图6所示，动作控制部61使机器人2从基准位置朝向与视觉传感器4的光轴正交的方向以栅格状的方式移动。视觉传感器4在机器人2移动所到达的多个位置拍摄对象物w的图像。由此，视觉传感器4拍摄对象物w的多个图像。84.校准部525从拍摄到的多个图像中检测对象物w，获取对象物w在图像坐标系中的位置pci。85.另外，校准部525求出在拍摄图像时从机器人2的法兰的位置观察的对象物w的位置psi。86.像这样，动作控制部61使机器人2移动n次(i＝1，2，3，···，n)，视觉传感器4进行n次对象物w的图像的拍摄。校准部525利用由此得到的n组(pci，psi)来进行视觉传感器4的校准。87.估计部524通过将像这样求出的视觉传感器4的外部参数及内部参数与如上述那样由校准部525预先求出的外部参数及内部参数(参照图7和图8)进行比较，能够判定外部参数及内部参数的异常。88.例如，在外部参数不正确的情况下，估计部524估计为通过校准所求出的内部参数不正确、或校准治具7的位置不正确。89.另外，在内部参数不正确的情况下，估计部524估计为所指定的点的间隔不正确、或在校准中使用了不适当的点。90.图9是示出视觉传感器控制装置5的处理的流程图。91.在步骤s1中，动作控制部61使机器人2移动以使对象物w进入摄像范围，视觉传感器4拍摄对象物w的第一图像。此时，第一获取部521存储在拍摄时的机器人2的位置。92.在步骤s2中，第一获取部521使用模型图案存储部511中所存储的模型图案，来从拍摄到的第一图像的预先决定的范围中检测对象物w。93.第一获取部521基于校准数据存储部512中所存储的校准数据和在拍摄时的机器人2的位置，来将对象物w在图像坐标系中的位置变换为在机器人坐标系中的第一位置pw。94.在步骤s3中，机器人控制装置6的动作控制部61使机器人2从基准位置朝向与视觉传感器4的光轴正交的方向移动规定距离d，视觉传感器4在机器人2移动规定距离d所到达的位置拍摄对象物w的第二图像。95.在步骤s4中，第二获取部522在第一图像和第二图像的各个图像中检测对象物，该第一图像是在基准位置拍摄对象物w所得到的图像，该第二图像是在使机器人2移动规定距离d所到达的位置拍摄对象物w所得到的图像。96.第二获取部522根据对象物w在图像坐标系中的位置来计算两个视线。第二获取部522获取两个视线的交点、或两个视线间的距离最近的点来作为对象物w的第二位置ps。97.在步骤s5中，判定第一位置pw与第二位置ps之差是否在规定范围内。在差在规定范围内(“是(yes)”)的情况下，处理转移到步骤s6，在差在规定范围外(“否(no)”)的情况下，处理转移到步骤s7。98.在步骤s6中，估计部524判断为机器人2的动作校正正常，之后结束处理。99.在步骤s7中，判断为机器人2的动作校正异常，基于第一位置pw、第二位置ps、与第一位置pw对应的机器人2的位置以及与第二位置ps对应的机器人2的位置，来估计机器人2的动作校正的异常原因。100.在步骤s8中，通知部526通知机器人的动作校正存在异常这一情况。另外，通知部526通知由估计部524估计出的异常原因。101.在步骤s9中，动作控制部61使机器人2从基准位置朝向与视觉传感器4的光轴正交的方向以栅格状的方式移动。视觉传感器4在机器人2移动所到达的多个位置拍摄对象物w的图像。由此，视觉传感器4拍摄对象物w的多个图像。102.在步骤s10中，校准部525从拍摄到的多个图像中检测对象物w，并获取对象物w在图像坐标系中的位置pci。103.另外，校准部525求出在拍摄图像时从机器人2的法兰的位置观察的对象物w的位置psi。校准部525利用由此得到的n组(pci，psi)来进行视觉传感器4的校准。104.根据本实施方式，机器人系统1具备：视觉传感器4，其在机器人2的基准位置拍摄对象物w的第一图像，在使机器人2从基准位置移动规定距离d所到达的位置拍摄对象物w的第二图像；校准数据存储部512，其存储将成为机器人2的动作控制的基准的机器人坐标系与成为视觉传感器4的测量处理的基准的图像坐标系相互关联起来的校准数据；第一获取部521，其基于第一图像和校准数据，来获取对象物w在机器人坐标系中的第一位置pw；第二获取部522，其基于第一图像和第二图像，来获取对象物w在机器人坐标系中的第二位置ps；以及判定部523，其判定第一位置pw与第二位置ps之差是否在规定范围内。由此，机器人系统1能够根据第一位置pw与第二位置ps之差来判定机器人2的动作校正的异常。105.另外，机器人系统1还具备估计部524，在由判定部523判定为差在规定范围外的情况下，该估计部524基于第一位置、第二位置、与第一位置对应的机器人2的位置以及与第二位置对应的机器人2的位置，来估计机器人2的动作校正的异常原因。由此，在机器人2的动作校正存在异常的情况下，机器人系统1能够估计异常的原因。因而，机器人系统1能够基于所估计出的机器人2的动作校正的原因来适当地进行机器人2的动作校正。106.另外，关于机器人系统1，在由判定部523判定为差在规定范围外的情况下，视觉传感器4在多个位置拍摄对象物w的多个图像，估计部524基于多个图像和多个位置来估计机器人2的动作校正的异常原因。由此，机器人系统1能够适当地进行机器人2的动作校正。107.此外，也可以是，视觉传感器4拍摄对象物w的多个第二图像，第二获取部522基于第一图像和多个第二图像来获取对象物w在机器人坐标系中的多个第二位置。108.由此，机器人系统1能够使用多个第二图像和多个第二位置来判定机器人2的动作校正的异常。109.另外，机器人系统1也可以还具备设定变更部，该设定变更部基于由估计部524估计出的机器人的动作校正的异常原因来变更机器人的动作校正的设定。由此，机器人系统1能够适当地进行机器人的动作校正的设定变更。110.另外，在上述的实施方式中，机器人系统1使用第一图像和第二图像，但是例如也可以仅使用与第二图像相当的图像。111.例如，机器人系统1也可以具备：第一获取部521，其基于校准数据和多个第二图像，来获取对象物w在机器人坐标系中的第一位置；以及第二获取部522，其基于多个第二图像，来获取对象物w在机器人坐标系中的第二位置。112.另外，代替上述的实施方式，机器人系统1的判定部523也可以使用确认第一位置pw及第二位置的三维位置之差的各个要素的方法、确认距离的方法等。即，判定部523也可以基于第一位置pw和第二位置ps来判定第一位置pw与第二位置ps之间的关系是否处于规定范围内。113.另外，代替上述的实施方式，机器人系统1的判定部523也可以使用测量三个以上的位置的方差、标准偏差这样的方法。即，判定部523也可以基于第一位置和多个位置来判定第一位置与多个位置之间的关系是否处于规定范围内。114.上面对本发明的实施方式进行了说明，但本发明并不限于上述的实施方式。另外，本实施方式所记载的效果只是列举了根据本发明产生的最佳的效果，本发明的效果并不限定于本实施方式所记载的效果。115.附图标记说明116.1：机器人系统；2：机器人；3：臂；4：视觉传感器；5：视觉传感器控制装置；6：机器人控制装置；61：动作控制部；511：模型图案存储部；512：校准数据存储部；521：第一获取部；522：第二获取部；523：判定部；524：估计部；525：校准部；526：通知部。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!