分类系统、分类方法以及程序与流程

控制;调节装置的制造及其应用技术1.本公开通常涉及分类系统、分类方法以及程序。更详细而言，涉及对对象物的类别进行判定的分类系统、分类方法以及程序。背景技术：2.在专利文献1中公开了一种用于高精度地推断成为产品的品质异常的主要原因的异常工序的异常工序推断方法。在该异常工序推断方法中，收集来自由多个工序构成的生产线中的传感器的传感器数据。然后，基于与正常的品质相关的产品的传感器数据，以使工序间的经过时间包含于特征矢量的方式执行机器学习，由此生成多个与各个工序对应的传感器间的相关模型。然后，基于相关模型的输出值，对每个工序中的从正常状态的偏离度进行评价，基于该偏离度，从多个工序中判定成为产品的品质异常的主要原因的异常工序。3.在先技术文献4.专利文献5.专利文献1：日本特开2019-49940号公报技术实现要素：6.然而，有时期望更准确地判定产品(对象物)的类别(例如异常或者缺陷等的种类)。7.本公开是鉴于上述情况而完成的，其目的在于提供一种能够实现与对象物的类别判定相关的可靠性的提高的分类系统、分类方法以及程序。8.本公开的一个方式的分类系统具备第一分类部、第二分类部以及判定部。第一分类部将第一对象数据分类为多个第一类别中的至少一个第一类别。第二分类部将第二对象数据分类为多个第二类别中的至少一个第二类别。判定部决定使用作为由第一分类部得到的分类结果的第一分类结果、以及作为由第二分类部得到的分类结果的第二分类结果中的一方，或者使用该两方，基于该一方或者双方判定对象物的类别。第一对象数据是对象物的图像数据。第二对象数据是与对象物的制造条件相关的制造数据。9.本公开的一个方式的分类方法包括第一分类步骤、第二分类步骤以及判定步骤。在第一分类步骤中，将第一对象数据分类为多个第一类别中的至少一个第一类别。在第二分类步骤中，将第二对象数据分类为多个第二类别中的至少一个第二类别。在判定步骤中，决定使用作为由第一分类步骤得到的分类结果的第一分类结果、以及作为由第二分类步骤得到的分类结果的第二分类结果中的一方，或者使用该两方，基于其中一方或者双方判定对象物的类别。第一对象数据是对象物的图像数据。第二对象数据是与对象物的制造条件相关的制造数据。10.本公开的一个方式的程序是用于使一个以上的处理器执行本公开的分类方法的程序。11.根据本公开，具有能够实现与对象物的类别判定相关的可靠性的提高的优点。附图说明12.图1是一实施方式所涉及的分类系统的概要结构图。13.图2a是上述分类系统中的对象物(电池罐)以及摄像装置的立体图，是用于说明对象物的图像数据的概念图。14.图2b是表示上述的对象物的图像数据的一例(缺陷种类“a”)的图。15.图2c是表示上述的对象物的图像数据的另一例(缺陷种类“b”)的图。16.图3是上述的对象物中的2种缺陷的示意性的图。17.图4a是表示上述的对象物的图像数据的一例的图。18.图4b是与图4a的对象物相关的热图的概念图。19.图5是用于说明上述的分类系统中的第一模型以及第二模型的图。20.图6是与上述的第二模型相关的概念图。21.图7a是与上述的分类系统中的三个图像数据相关的说明图。22.图7b是与上述的分类系统中的三个图像数据相关的说明图。23.图7c是与上述的分类系统中的三个图像数据相关的说明图。24.图8是与上述的分类系统中的动作相关的流程图。25.图9是与上述的分类系统的第一变形例中的新的缺陷的图像数据相关的说明图。26.图10是用于说明上述的第一变形例的动作的图，是与第二模型相关的概念图。27.图11是与上述的第一变形例中的动作相关的流程图。28.图12是与上述的分类系统的第二变形例中的动作相关的流程图。具体实施方式29.(1)概要30.在以下的实施方式中说明的各图是示意性的图，各图中的各构成要素的大小以及厚度各自的比未必限于反映实际的尺寸比。31.图1是一实施方式所涉及的分类系统1的概要结构图。图2a是分类系统1中的对象物2(电池罐h1)以及摄像装置3的立体图，是用于说明对象物的图像数据的概念图。如图1所示，本实施方式所涉及的分类系统1具备第一分类部11、第二分类部12以及判定部13。32.第一分类部11将第一对象数据分类为多个第一类别c1(参照图7a～图7c)中的至少一个第一类别c1。第一对象数据是对象物2的图像数据。在此，作为一例，第一分类部11是从(多个)图像数据学习了多个第一类别c1的学习完毕模型(以下，有时称为“第一模型”)，保存于第一模型保存部p1。换句话说，第一模型是通过机器学习而生成的模型。以下，如图2a所示，作为一例，设想对象物2是碱性电池或者锂离子电池等电池罐h1(金属制的圆筒的电池外壳)。33.第二分类部12将第二对象数据从多个第二类别c2(参照图7c)中分类为至少一个第二类别c2。第二对象数据是与对象物2的制造条件相关的制造数据。在此，作为一例，第二分类部12是将多个第二类别c2的每一个和与制造条件相关的特征量的数据分布建立了对应的模型(以下，有时称为“第二模型”)。作为一例，第二模型不是学习完毕模型。34.判定部13决定使用作为由第一分类部11得到的分类结果的第一分类结果、以及作为由第二分类部12得到的分类结果的第二分类结果中的一方，或者使用该两方，基于该一方或者两方判定对象物2的类别。这里所说的“对象物的类别”例如是在(制造后的)电池罐h1中产生的一个或者多个现象的种类，在此设想为与“缺陷种类”相关联。因此，在此作为一个例子，多个第一类别c1以及多个第二类别c2由对象物2的缺陷规定。35.根据该结构，判定部13决定使用第一分类结果以及第二分类结果中的一方或者使用该两方，基于该一方或者两方判定对象物2的类别(在此为缺陷种类)。因此，与仅依赖于图像数据或者仅依赖于制造数据来判定对象物2的类别的情况相比，能够实现与对象物2的类别判定相关的可靠性的提高。36.(2)详细内容37.以下，参照图1～图8详细地说明本实施方式所涉及的分类系统1的结构。38.(2.1)整体结构39.如上所述，本实施方式所涉及的分类系统1具备第一分类部11和第二分类部12。此外，如图1所示，分类系统1还具备处理部100、第一输入部31、第二输入部32、输出部33、保存第一模型的第一模型保存部p1、保存第二模型的第二模型保存部p2。上述的判定部13设置于处理部100。40.如上所述，如图2a所示，分类系统1进行类别判定的对象物2是碱性电池或者锂离子电池等电池罐h1。电池罐h1是金属制的圆筒的电池外壳，成为其一端面(在图2a中为上端面)开放的有底圆筒状。41.此外，如上所述，第一分类部11将作为对象物2的图像数据的第一对象数据分类为多个第一类别c1中的“至少一个第一类别c1”。换句话说，有时也将一个图像数据分类为两个以上的第一类别c1。42.对象物2(电池罐h1)的图像数据是表示图像m1(参照图2b以及2c)的数据。图像m1是对象物2的图像。图像m1是在将开放的一端面朝上而将电池罐h1竖立在水平的设置面上的状态下，从上方用摄像装置3(相机)拍摄的图像。电池罐h1是制造后的罐，是中空的。因此，在图像m1中，映现出电池罐h1的边缘部20、内周面21以及底面22。43.图2b以及图2c分别表示异常状态的对象物2(电池罐h1)的例子中的图像m1。44.在图2b的图像m1中，在对象物2的边缘部20具有朝向内侧凹陷的平坦状的凹部51。换言之，图2b的对象物2中产生的现象为缺陷5，具体而言为平坦状的凹部51。以下，有时将分类平坦状的凹部51的种类(类别)称为缺陷种类“a”。45.此外，在图2c的图像m1中，在对象物2的边缘部20具有朝向内侧凹陷的曲线状的凹部52。换言之，在图2c的对象物2中产生的现象是缺陷5，具体而言是曲线状的凹部52。以下，有时将分类为曲线状的凹部52的种类(类别)称为缺陷种类“b”。46.此外，在对象物2产生的现象也有在对象物2的内周面21或者底面22产生的线损伤53(参照图7b)。以下，有时将分类线损伤53的种类(类别)称为缺陷种类“c”。47.作为在电池罐h1中可能产生的缺陷5，并不限定于平坦状的凹部51、曲线状的凹部52、以及线损伤53。作为在电池罐h1中可能产生的缺陷5，除此以外，还可举出点击痕、圆擦伤、污垢、以及液附着等，但在此为了便于说明，仅对上述的3个缺陷种类“a”～“c”进行说明。48.在本实施方式所涉及的分类系统1中，在关注的对象物2中，对那个部位产生了何种种类的缺陷5进行更准确的判定(对象物2的类别判定)。在本实施方式的分类系统1中，针对对象数据(作为第一对象数据的图像数据)的输入的最终的输出成为表示对象物2是没有缺陷的正常的状态还是存在缺陷的异常的状态、或者如果为异常的状态是哪个类别(缺陷种类)的“判定结果”。因此，分类系统1例如能够用于对象物2的检查。以下，在对象物2的判定结果表示没有缺陷的正常状态的情况下，有时称为“ok判定”。另一方面，在对象物2的判定结果表示存在缺陷的异常的状态的情况下，有时称为“ng判定”。49.特别是，在缺陷5的尺寸比较小的情况下，有可能也能够判定为平坦状的凹部51和曲线状的凹部52。例如，图3是与合计9个对象物2相关的缺陷5的示意性的图，位于上段(参照单点划线的框f1)的四个对象物2均符合缺陷种类“a”，但表示越从左侧越朝向右侧则平坦状的凹部51的尺寸越小的情况。此外，位于下段(参照双点划线的框f2)的四个对象物2均符合缺陷种类“b”，但表示越从左侧朝向右侧则曲线状的凹部52的尺寸越小的情况。50.在此，位于框f1和框f2两方所包含的右端的对象物2的缺陷5的尺寸比其他缺陷5小。因此，在仅基于图像数据的类别判定中，有时难以判定是缺陷种类“a”以及缺陷种类“b”中的哪一个。51.相对于此，本实施方式的分类系统1通过辅助性地利用作为第二对象数据的制造数据，能够实现精度更高的类别判定。特别是，在对对象物2产生某种缺陷(不良)的情况下，在生产线的多个工序的某处，该主要原因潜入的可能性高(例如生产设备中的各种参数的设定错误、或者设备机器的不良情况的产生等)。因此，在各工序中的制造数据中也表现为异常的数值的可能性高。因此，通过也利用制造数据，能够实现精度更高的类别判定。52.(2.2)两个输入部以及输出部53.第一输入部31以及第二输入部32分别用于向分类系统1输入数据。54.作为由第一输入部31以及第二输入部32分别输入到分类系统1的数据的例子，能够包含用于执行机器学习的信息、用于执行判定处理的信息以及用于分类系统1的操作的信息。55.在此，由第一输入部31输入的数据主要包含图像数据(第一对象数据)。换句话说，向第一输入部31的输入数据主要包含由摄像装置3拍摄的成为检查对象的图像数据(检查图像)。56.另一方面，由第二输入部32输入的数据主要包含与对象物2的制造条件相关的制造数据(第二对象数据)。在此，作为一例，制造数据是指，从设置于生产线的(后述的)各种传感器直接检测出的传感器数据、或者基于传感器数据而推断出的推断数据等。换句话说，向第二输入部32的输入数据主要包括与对象物2的生产线的一个或多个制造工序中应用的电流(值)、电压(值)、温度、湿度、时间、或者流量等相关的数据(实际成绩数据)。57.第一输入部31以及第二输入部32分别包含用于数据的输入的一个以上的接口。一个以上的接口包括用于数据的输入的端口、以及用于操作分类系统1的输入装置。输入装置例如可以包括键盘、鼠标、轨迹球、触摸板等。58.第一输入部31以及第二输入部32各自(输入端口)与处理部100电连接，将上述的输入数据发送至处理部100。59.各图像数据和与该对象物2的制造条件相关的制造数据建立对应。具体而言，对所制造的各个对象物2赋予“单元id”(参照图5)作为其识别编号，各单元id与制造数据以及图像(数据)建立对应。换言之，由第一输入部31输入的数据包含图像数据以及与该图像数据建立了对应的单元id。同样地，由第二输入部32输入的数据包含制造数据以及与该制造数据建立了对应的单元id。因此，处理部100即使通过各输入部例如在不同的定时取得图像数据和制造数据，也能够基于单元id来确定与图像数据对应的制造数据(或者与制造数据对应的图像数据)。60.输出部33用于从分类系统1输出数据。作为由输出部33从分类系统1输出的数据的例子，能够包含用于执行机器学习的信息、用于执行判定处理的信息、以及用于分类系统1的操作的信息。特别是作为由输出部33输出的数据的例子，包含上述的“判定结果”的信息。61.输出部33包含用于数据的输出的一个以上的接口。一个以上的接口包括用于数据的输出的端口、用于显示数据的图像显示装置、以及输出声音消息以及通知音(警报音)的扬声器等。图像显示装置能够包括液晶显示器或者有机el(electro luminescence，电致发光)显示器等薄型的显示器装置。62.利用分类系统1的用户能够通过输出部33的图像显示装置，例如阅览与针对多个对象物2的判定结果相关的列表。特别是后述的通知部14的通知内容例如能够通过输出部33通知给用户。63.(2.3)第一模型以及第一模型保存部64.第一模型(第一分类部11)使用于从第一输入部31输入的图像数据(第一对象数据)的判定。第一模型是学习了图像数据与判定的结果的关系的学习完毕模型。换言之，第一分类部11是从对象物2的图像数据学习了多个第一类别c1(参照图7a～图7c)的学习完毕模型。因此，在本实施方式中，由第一分类部11得到的分类结果即“第一分类结果”是由学习完毕模型得到的“结果”。65.第一分类部11(第一模型)将对象物2的图像数据分类为多个第一类别c1中的至少一个第一类别c1。在此，多个第一类别c1能够包含“类别1”、“类别2”以及“类别3”(参照图7a～图7c)作为分类范畴。此外，第一分类部11基于图像数据内的、在对象物2中产生的一个或者多个现象(在此为缺陷5)的类别对对象物2的图像数据进行分类。而且，“类别1”、“类别2”以及“类别3”与缺陷种类“a”、缺陷种类“b”以及缺陷种类“c”一对一地分别相关联。66.处理部100的(后述的)学习部10例如通过利用了学习用数据集的有监督学习，生成学习完毕模型(第一模型)。具体而言，例如，设定者(人)将通过目视进行了“ng判定”的有缺陷的多个图像数据作为教示数据标注为缺陷种类“a”、缺陷种类“b”、以及缺陷种类“c”中的任意一个(或者多个)。而且，设定者例如从第一输入部31输入该标注的数据。然后，学习部10使用所标注的数据(图像数据和缺陷种类)，通过机器学习来制作第一模型(图像分类模型)。67.例如，参照图5(数据组d1)进行说明，通过设定者的目视进行了“ng判定”的“文件(file)10”以及“文件45”···的图像数据分别被标注为缺陷种类“a”。此外，通过设定者的目视进行了“ng判定”的“文件68”···的图像数据分别被标注为缺陷种类“b”。此外，通过设定者的目视进行了“ng判定”的“文件90”···的图像数据分别被标注为缺陷种类“c”。68.第一模型保存部p1保存第一模型。第一模型保存部p1包含一个以上的存储装置。存储装置例如是ram(random access memory，随机存取存储器)、或者eeprom(electrically erasable programmable read only memory，电可擦可编程只读存储器)。69.(2.4)第二模型以及第二模型保存部70.第二模型(第二分类部12)使用于从第二输入部32输入的制造数据(第二对象数据)的判定。第二模型不是学习完毕模型，而是由设定者(人)制作的模型。第二分类部12是将多个第二类别c2(参照图7c)的各个和与制造条件相关的特征量(在图5中，应用的电流(值)、电压(值)、振动、转速、压力、湿度、时间、流量、或者温度)的数据分布建立了对应的模型。因此，在本实施方式中，作为由第二分类部12得到的分类结果的“第二分类结果”是由上述第二模型得到的“结果”。71.第二分类部12(第二模型)将对象物2的制造数据(与电流等特征量相关的数值)分类为多个第二类别c2中的至少一个第二类别c2。多个第二类别c2能够包括“类别1”、“类别2”以及“类别3”作为分类范畴。“类别1”、“类别2”以及“类别3”与缺陷种类“a”、缺陷种类“b”以及缺陷种类“c”一对一地分别相关联。换句话说，在此，多个第一类别c1和多个第二类别c2相互一致。72.这里所说的“一致”是指，第一类别c1的数量与第二类别c2的数量相同，进而与第一类别c1的“类别1”～“类别3”相关联的缺陷种类也和与第二类别c2的与“类别1”～“类别3”相关联的缺陷种类相同。例如，多个第一类别c1和多个第二类别c2也可以相互不一致。例如，第二类别c2的数量也可以少于第一类别c1的数量。其中，优选多个第一类别c1和多个第二类别c2对于至少一个以上的缺陷种类彼此相同。73.在此，作为一个例子，如图5所示，对象物2经由三个工序(工序x、工序y以及工序z)制造。换言之，对象物2的生产线包括工序x、工序y以及工序z。在图5中，从左侧起依次排列为工序x、工序y以及工序z地图示，但并不表示实际的工序的顺序。此外，工序的数量也不限定于三个。74.在图5的数据组d1中，作为与制造条件相关的特征量的一例，工序x包含与电流(值)、电压(值)以及振动相关的特征量。这些特征量是由工序x的一个或者多个传感器检测出的传感器数据。工序x中的一个或者多个传感器例如能够包括监视在工序x中使用的生产设备(例如加工机的致动器)的电流以及电压的电流传感器以及电压传感器。此外，一个或者多个传感器能够包括检测在工序x中的生产设备或者周围环境中产生的振动的振动传感器。特征量并不限定于由各传感器直接检测出的传感器数据。例如，“振动”也可以代替使用振动传感器，而基于在工序x中使用的生产设备(例如交流马达)的交流电流的波形中的高次谐波分量来推断。75.在图5的数据组d1中，作为与制造条件相关的特征量的一例，工序y包括与转速、压力以及湿度相关的特征量。这些特征量是由工序y的一个或者多个传感器检测出的传感器数据。工序y中的一个或者多个传感器例如能够包括监视在工序y中使用的生产设备(例如马达)的转速的角速度传感器、监视生产设备(例如冲压机)的压力的压力传感器、以及监视生产设备内的湿度或者周围湿度的湿度传感器等。76.在图5的数据组d1中，作为与制造条件相关的特征量的一例，工序z包括与时间、流量以及温度相关的特征量。这些特征量是由工序z的一个或者多个传感器检测出的传感器数据。工序z中的一个或者多个传感器例如能够包括监视在工序z的生产设备中使用的液剂的应用时间的计时传感器、监视液剂的流量的流量传感器、监视液剂的温度的温度传感器等。77.在图5的例子中，各工序的特征量为3种，但种类的数量没有特别限定，可以为1种或者2种，也可以为4种以上。此外，工序间种类的数量也可以不同。78.关于各单元id，关于与上述的工序x～z中的制造条件相关的特征量，与实际应用于与该单元id对应的对象物2的制造时的特征量(数值)建立对应。具体而言，与单元id“10232”对应的对象物2经由基于“电流：2.3、电压：1.2、振动：1.0”这样的特征量的制造条件的工序x而制造。而且，单元id“10232”作为工序x的传感器数据与“电流：2.3，电压：1.2，振动：1.0”建立对应地进行管理。同样地，各单元id也与在工序y以及工序z中应用的特征量(数值)建立对应。79.这样的数据组d1的管理既可以在外部的管理服务器中进行，也可以在分类系统1(处理部100)中进行。管理服务器(或者处理部100)从各工序的一个或者多个传感器接收作为传感器数据的检测值(电信号)，与单元id建立对应地进行管理。优选将数据组d1显示在液晶显示器或者有机el显示器等薄型显示器装置这样的显示装置的显示画面(也可以是智能手机或者平板终端等显示画面)上，从而设定者(人)能够阅览。80.此外，管理服务器(或者处理部100)接收由摄像装置3拍摄到的图像数据(检查图像)以及其文件(file)编号，与单元id建立对应地作为数据组d1的一部分进行管理。在上述的通过设定者的目视，将具有缺陷的多个图像数据标注为缺陷种类“a”、缺陷种类“b”、以及缺陷种类“c”中的任意一个(或者多个)的作业优选观察显示装置上的数据组d1并通过鼠标操作等进行。81.在图5中，各特征量(数值)的单位根据实际使用的生产设备的种类而不同，因此在此省略。82.然后，设定者(人)通过目视，参照数据组d1并制作第二模型。设定者在数据组d1中，将与图像数据被判定为缺陷种类“a”的全部的单元id相关的各特征量(全部9种特征量的各个)的数值的集合(簇)的数据分布与缺陷种类“a”建立对应。换句话说，各特征量的数值的簇在与制造条件相关的特征量空间sp1(参照图6)中被规定为规定区域r0。换言之，第二分类结果在与制造条件相关的特征量空间sp1中包含分别与多个第二类别c2对应的多个规定区域r0。83.在图6中，为了便于说明，为了更容易理解特征量空间sp1，用二维(横轴以及纵轴)的图表来表现。例如，在图6中，在x轴(横轴)应用9种特征量(电流、电压、振动···)中的任意一个(例如“电流”)，在y轴(纵轴)应用其他的任一个(例如“电压”)。但是，实际上若考虑9种特征量(电流、电压、振动···)的全部，则特征量空间sp1的维数为“9”。换句话说，第二模型被制作为9维的特征量空间sp1，在特征量空间sp1中，规定分别与多个第二类别c2对应的多个规定区域r0。与第二模型相关的数据例如从第二输入部32输入。84.例如，将与图像数据符合缺陷种类“a”的单元id“10232”、“10508”…的工序x的“电流”的数值“2.3”、“4.2”…相对的该工序x的“电压”的数值“1.2”、“0.9”…的数据反映到特征量空间sp1。其结果，数据分布在某种程度上形成一个簇区域。将该区域规定为与相关联到“类别1”的缺陷种类“a”对应的第一规定区域r1。换言之，将符合缺陷种类“a”的对象物2的“电流”对“电压”相关的多个数据以点(标绘)表示的情况下，将形成为一个簇区域的数据作为第一规定区域r1。在图6的例子中，第一规定区域r1是沿着y轴而较长的椭圆形状的区域。在此，设定者决定第一规定区域r1的中心a1(也可以是重心)的位置(x-y坐标)。85.省略详细的说明，同样地，将符合缺陷种类“b”的对象物2的“电流”对“电压”相关的多个数据以标绘表示的情况下，将作为一个簇区域而形成的区域设为沿着x轴而较长的椭圆形状的第二规定区域r2(参照图6)。此外，将符合缺陷种类“c”的与对象物2的“电流”对“电压”相关的多个数据以标绘表示的情况下，将形成为一个簇区域的区域设为稍小的椭圆形状的第三规定区域r3(参照图6)。设定者还决定第二规定区域r2的中心a2的位置以及第三规定区域r3的中心a3的位置。86.在图6的例子中，特征量空间sp1的维数为“2”，但即使增加到实际的“9”，规定区域r0的数量也与第二类别c2的数量(缺陷种类的数量)相同，为三个。其中，例如也可以按工序区分规定区域r0。在工序x(3种特征量)中，也可以设定与缺陷种类“a”～“c”分别对应的三个规定区域r0，同样地，在工序y以及工序z的每一个中，也可以设定三个规定区域r0(换句话说，规定区域r0的数量为9个)。87.第二模型保存部p2保存第二模型。第二模型保存部p2包含一个以上的存储装置。存储装置例如是ram或者eeprom。第二模型保存部p2设置于处理部100的外部，但也可以相当于处理部100内置的存储器。此外，第二模型保存部p2与第一模型保存部p1分开设置，但也可以由一个保存部兼用。88.(2.5)处理部89.以下，对处理部100进行说明。90.处理部100构成为对分类系统1的整体控制、即第一输入部31、第二输入部32、输出部33、第一模型保存部p1以及第二模型保存部p2进行控制。处理部100例如可以通过包含一个以上的处理器(微处理器)和一个以上的存储器在内的计算机系统来实现。换句话说，通过一个以上的处理器执行存储在一个以上的存储器中的一个以上的程序(应用程序)，作为处理部100发挥功能。程序在此预先记录在处理部100的存储器中，但也可以通过互联网等电气通信线路或者记录在存储卡等非暂时性的记录介质中来提供。91.如图1所示，处理部100具有学习部10、判定部13以及通知部14。换言之，处理部100具有作为学习部10的功能、作为判定部13的功能、以及作为通知部14的功能。92.学习部10执行用于生成进行图像数据的判定的学习完毕模型(作为第一分类部11的第一模型)的学习方法。换句话说，学习部10主要承担与学习阶段相关的处理。在学习方法中，使用多个图像数据。如上所述，学习部10通过有监督学习来生成第一模型。即，学习部10使用将由设定者预先进行了“ng判定”的多个图像数据标注为缺陷种类“a”～“c”中的任意一个(或者多个)而得到的数据，通过机器学习来制作第一模型。换句话说，对象物2的图像m1被用作学习图像。在学习图像中，不仅包含如图2a～图2c所示的进行了“ng判定”的具有缺陷的对象物2的图像m1，还能够包含进行了“ok判定”的无缺陷的对象物2的图像作为“基准图像”数据。93.判定部13主要进行使用了学习完毕模型(第一模型)等的与应用阶段相关的处理。判定部13构成为决定使用由第一分类部11得到的第一分类结果、以及由第二分类部12得到的第二分类结果中的一方或者使用该两方。而且，判定部13构成为基于所决定的一方或者两方的分类结果来判定对象物2的类别。94.在此，作为一例，判定部13必须使用第一分类结果。换句话说，判定部13将成为类别判定的对象的对象物2(关注的对象物2)的图像数据作为用于类别判定的主要的材料，将该对象物2的制造数据作为用于类别判定的辅助的材料使用。因此，判定部13执行如下处理：第一判定处理，基于第一分类结果，判定对象物2的类别；以及第二判定处理，在仅第一分类结果难以判定的情况下，追加地也考虑第二分类结果来判定对象物2的类别。95.通知部14相当于根据判定部13中的判定结果执行给定的处理的功能部6。换言之，分类系统1(处理部100)还具备功能部6。在此，作为一例，功能部6的给定的处理包括通知处理。功能部6(通知部14)例如通过对输出部33中的图像显示装置的画面显示、或者来自扬声器的声音消息、通知音(也包括警报音等)、或者画面显示和扬声器输出这两者，将判定结果通知给用户(例如对象物2的检查者)。96.功能部6的给定的处理并不限定于通知处理。在此，学习部10也相当于功能部6。功能部6(学习部10)的给定的处理还包括使判定部13的判定结果反映到第一模型以及第二模型中的至少一方的处理。在此，作为一例，学习部10使用判定部13的判定结果，执行第一模型的重新学习。97.另外，功能部6的给定的处理也能够包括用于向外部提供信息的处理。进而，例如，功能部6的给定的处理也能够包括基于判定部13的判定结果对生产线的生产设备中的控制系统发送控制信号那样的反馈控制的处理。98.[判定处理][0099]在本实施方式中，将图像数据设为可靠性比制造数据高的数据，基本上，优先基于图像数据的判定结果。因此，判定部13先参照第一模型保存部p1内的第一模型(第一分类部11)，根据成为类别判定的对象的图像数据，判定该对象物2符合哪个类别。换句话说，判定部13先使用第一分类结果来判定对象物2的类别。其中，判定部13在第一分类结果中存在与对象物2的类别判定相关的不确定要素的情况下，使用第二分类结果，判定对象物2的类别。[0100]首先，参照图7a进行说明。在图7a的“图像1”的对象物2中，产生“一个”较大尺寸的缺陷5(曲线状的凹部52)。判定部13使用第一模型，判定为该缺陷5与缺陷种类“a”以及缺陷种类“c”不一致，与缺陷种类“b”一致。在图7a～图7c中，记号“○”是指“一致”，记号“×”是指“不一致”。[0101]在此对与缺陷5的产生位置(空间位置)相关的判定进行说明。判定部13例如通过利用了grad-cam技术的热图来识别缺陷5的空间位置。图4a表示存在缺陷5的对象物2的图像m1，图4b表示图4a中的对象物2的热图即图像m2。在图像m2中，判定部13注视的缺陷5的范围g1以彩色图(在图4b中以灰度图示)显示。判定部13利用热图上的坐标来识别缺陷5的空间位置以及数量。[0102]因此，在图7a的“图像1”的情况下，判定部13通过热图来识别缺陷5的空间位置(边缘部20的右上)以及缺陷5的数量(一个)。[0103]判定部13在第一判定处理中缺陷5的数量为一个的情况下，不执行第二判定处理。总之，在该时间点，对象物2的类别作为缺陷种类“b”相关联的分类范畴被确定为“类别2”。处理部100从输出部33输出“图像1”的对象物2为“类别2”的情况。[0104]接下来，参照图7b进行说明。在图7b的“图像2”的对象物2中产生“两个”缺陷5。两个缺陷5分别是曲线状的凹部52和线损伤53。判定部13使用第一模型，其两个缺陷5分别与缺陷种类“b”和缺陷种类“c”一致，判定为哪个缺陷5与缺陷种类“a”都不一致。特别是如上所述，判定部13通过热图来识别曲线状的凹部52的空间位置(边缘部20的右上)、线损伤53的空间位置(底面22的左下)以及缺陷5的数量(两个)。换句话说，判定部13识别出两个缺陷5的空间位置相互不同。[0105]判定部13在第一判定处理中缺陷5的数量为多个，其中，在它们的空间位置相互不同的情况下，不执行第二判定处理。总之，在该时间点，对象物2的类别作为缺陷种类“b”和缺陷种类“c”分别相关联的分类范畴被确定为“类别2”以及“类别3”。处理部100从输出部33输出“图像2”的对象物2为“类别2”以及“类别3”的情况。[0106]总之，本实施方式的判定部13在第一分类结果满足给定的确定条件的情况下，不使用第二分类结果来判定对象物2的类别。这里所说的“给定的确定条件”例如是指“缺陷5的数量为一个”、或者“缺陷5的数量为多个的情况下，不存在于相同的空间位置”。此外，如上所述，在本实施方式中，判定部13还使用与图像数据内的一个或者多个现象(在此为缺陷5)的(空间)位置相关的信息，判定对象物2的类别。[0107]进一步参照图7c进行说明。在图7c的“图像3”的对象物2中，产生乍一看较小的一个缺陷5。如参照图3所说明的那样，该“图像3”是缺陷5的尺寸比较小的对象物2的图像。因此，判定部13在图7c的例子中，在仅基于图像数据的类别判定中，将该缺陷5的数量判定为两个(平坦状的凹部51以及曲线状的凹部52)。其结果是，判定部13判定为一个缺陷5与缺陷种类“a”以及缺陷种类“b”一致。但是，判定部13通过热图也识别到平坦状的凹部51与曲线状的凹部52的空间位置彼此相同。[0108]在图7c的“图像3”中，不满足上述的“给定的确定条件”，判定部13执行第二判定处理。换言之，可以说“不满足给定的确定条件”是“不确定要素”之一。通过在存在不确定要素的情况下执行第二判定处理，能够提高找到第一分类结果中的分类错误等的可能性。[0109]判定部13在第二判定处理中，参照第二模型保存部p2内的第二模型，判定缺陷5是缺陷种类“a”以及缺陷种类“b”中的哪一个。换句话说，判定部13在第二判定处理中，不是从三个第二类别c2(“类别1”～“类别3”)决定一个第二类别。判定部13考虑由第一判定处理得到的判定结果，在筛选为两个第二类别c2(“类别1”以及“类别2”)的基础上决定某一个。在此，如图7c所示，两个第二类别c2(“类别1”以及“类别2”)与两个第一类别c1(“类别1”以及“类别2”)一致。[0110]具体而言，判定部13在使用第二分类结果的情况下，基于从特征量空间sp1中的第二对象数据的特征量到多个规定区域r0各自为止的距离l0(参照图6)，判定对象物2的类别。其中，如上所述，判定部13已经将第二类别c2筛选为两个。因此，判定部13关注三个规定区域r0中的与“类别1”以及“类别2”、即缺陷种类“a”以及缺陷种类“b”分别对应的第一规定区域r1以及第二规定区域r2。判定部13根据成为类别判定的对象的对象物2的制造数据k1，运算到第一规定区域r1以及第二规定区域r2的中心a1、a2各自为止的距离l0。在图6的例子中，如上所述，以二维说明特征量空间sp1，因此制造数据k1是与电流值i1和电压值v1这两个特征量相关的数据。然后，判定部13将两个距离l0相互比较，判定为与距离l0较短一方的规定区域r0对应的缺陷种类是该关注的对象物2的缺陷种类。这样，通过进行基于距离l0的判定，能够进一步提高与对象物2的类别判定相关的可靠性。[0111]在图6以及图7c的例子中，从制造数据k1到第一规定区域r1的中心a1为止的距离比从制造数据k1到第二规定区域r2的中心a2为止的距离短。因此，判定部13判定为与第一规定区域r1对应的缺陷种类“a”是“图像3”的对象物2的缺陷种类。换句话说，对象物2的类别经由基于制造数据(传感器数据)的判定，确定为与缺陷种类“a”相关联的“类别1”。处理部100从输出部33输出“图像3”的对象物2为“类别1”的情况。[0112]特别是在这种情况下，存在第一模型的学习不足的可能性。学习部10将在第一判定处理中判定为缺陷种类“a”以及缺陷种类“b”的该图像数据，与作为第二判定处理的判定结果的缺陷种类“a”建立联系，并作为教示数据进行追加。换句话说，学习部10使用判定部13的判定结果，执行第一模型的重新学习。[0113][动作说明][0114]参照图8所示的流程图简单地说明上述的判定部13的判定处理的动作。此外，在此省略说明，但在第一判定处理中，关于缺陷5的数量为零(0)的情况，处理部100从输出部33输出关注的对象物2为正常的判定结果。[0115]判定部13针对关注的对象物2的图像数据，判定缺陷种类的数量(缺陷数)是否为两个以上(步骤s1)。如果缺陷种类的数量为一个(步骤s1：否)，则输出部33将在第一判定处理中确定的类别作为判定结果输出(步骤s4)。[0116]另一方面，如果缺陷种类的数量为两个以上(步骤s1：是)，则判定部13判定判定依据(两个以上的缺陷种类)是否为相同空间位置(步骤s2)。如果判定依据是不同的空间位置(步骤s2：否)，则输出部33将在第一判定处理中确定的类别作为判定结果输出(步骤s4)。[0117]如果判定依据是相同空间位置(步骤s2：是)，则判定部13执行第二判定处理，基于特征量空间sp1内的距离l0，判定关注的对象物2的类别(步骤s3)。然后，输出部33将在第二判定处理中确定的类别作为判定结果输出(步骤s4)。[0118]这样，在表示第一分类结果被分类为两个以上的第一类别c1的结果的情况下，如果与两个以上的第一类别c1对应的两个以上的现象(缺陷5)的位置是相同的位置，则判定部13使用第二分类结果来判定对象物2的类别。此外，如果与两个以上的第一类别c1对应的两个以上的现象(缺陷5)的位置是不同的位置，则判定部13不使用第二分类结果，判定对象物2的类别。[0119][优点][0120]如上所述，在本实施方式所涉及的分类系统1中，判定部13决定使用第一分类结果以及第二分类结果中的一方或者使用该两方，基于该一方或者两方的分类结果，判定对象物2的类别。换句话说，根据需要，也存在基于第一分类结果以及第二分类结果两方来实施对象物2的类别判定的情况。因此，与仅依赖于图像数据或者仅依赖于制造数据来判定对象物2的类别的情况相比，能够实现与对象物2的类别判定相关的可靠性的提高。[0121]此外，由于多个第一类别c1和多个第二类别c2被设定为相互一致，所以与在多个第一类别c1和多个第二类别c2中混合不同类别的情况相比，能够进一步提高与对象物2的类别判定相关的可靠性。[0122]此外，判定部13在第一分类结果满足给定的确定条件的情况下，不使用第二分类结果来判定对象物2的类别。换句话说，判定部13有时不执行第二判定处理。因此，能够减轻与类别判定相关的处理负荷。此外，例如导致对象物2的检查时间的缩短。[0123]进而，判定部13还使用与图像数据内的缺陷5的位置相关的信息，判定对象物2的类别。其结果，能够进一步提高与对象物2的类别判定相关的可靠性。特别是，如果两个以上的缺陷5的位置是相同的位置，则使用第二分类结果，判定对象物2的类别，如果是两个以上的缺陷5的位置为不同的位置，则不使用第二分类结果，判定对象物2的类别。因此，能够进一步提高与对象物2的类别判定相关的可靠性，此外，在两个以上的现象的位置为不同的位置的情况下，能够减轻与类别判定相关的处理负荷。[0124](3)变形例[0125]上述实施方式只不过是本公开的各种实施方式之一。上述实施方式只要能够实现本公开的目的，则能够根据设计等进行各种变更。此外，与上述实施方式所涉及的分类系统1同样的功能也可以通过分类方法、计算机程序、或者记录有计算机程序的非暂时性的记录介质等来实现。[0126]具体而言，一个方式所涉及的分类方法具备第一分类步骤、第二分类步骤和判定步骤。在第一分类步骤中，将第一对象数据分类为多个第一类别c1中的至少一个第一类别c1。在第二分类步骤中，将第二对象数据分类为多个第二类别c2中的至少一个第二类别c2。在判定步骤中，决定使用作为由第一分类步骤得到的分类结果的第一分类结果、以及作为由第二分类步骤得到的分类结果的第二分类结果中的一方，或者使用该两方，基于该一方或者两方判定对象物的类别。第一对象数据是对象物2的图像数据。第二对象数据是与对象物2的制造条件相关的制造数据。[0127]以下，列举上述实施方式的变形例。以下说明的变形例能够适当组合应用。以下，有时将上述实施方式称为“基本例”。[0128]本公开中的分类系统1包括计算机系统。计算机系统将作为硬件的处理器以及存储器作为主要结构。通过由处理器执行记录在计算机系统的存储器中的程序，实现作为本公开中的分类系统1的功能。程序可以预先记录在计算机系统的存储器中，也可以通过电通信线路来提供，也可以记录在计算机系统可读取的存储卡、光盘、硬盘驱动器等非暂时性记录介质中来提供。计算机系统的处理器由包含半导体集成电路(ic)或者大规模集成电路(lsi)的一个或者多个电子电路构成。这里所说的ic或者lsi等集成电路根据集成的程度而称呼不同，包括系统lsi、vlsi(very large scale integration：超大规模集成电路)、或者被称为ulsi(ultra large scale integration：巨大规模集成电路)的集成电路。进而，对于lsi的制造后编程的fpga(field-programmable gate array：现场可编程门阵列)、或者lsi内部的接合关系的重构或者lsi内部的电路分区的可重构的逻辑设备，也能够作为处理器而采用。多个电子电路可以汇集于一个芯片，也可以分散设置于多个芯片。多个芯片既可以集中在一个装置中，也可以分散设置在多个装置中。这里所说的计算机系统包含具有一个以上的处理器以及一个以上的存储器的微控制器。因此，关于微控制器，也由包括半导体集成电路或者大规模集成电路的一个或者多个电子电路构成。[0129]此外，分类系统1中的多个功能被集中在一个壳体内并不是必须的结构。例如，分类系统1的结构要素也可以分散设置于多个壳体。相反，分类系统1中的多个功能也可以集中在一个壳体内。进而，分类系统1的至少一部分的功能、例如分类系统1的一部分的功能也可以通过云(云计算)等来实现。[0130](3.1)第一变形例[0131]以下，参照图9～图11对分类系统1的变形例(第一变形例)进行说明。在以下的本变形例中，对于与基本例的分类系统1实质上共通的结构要素，有时赋予相同的参照符号并适当省略其说明。[0132]图9是与分类系统1的第一变形例中的新的缺陷的图像数据相关的说明图。图10是用于说明分类系统1的第一变形例的动作的图，是与第二模型相关的概念图。图11是与分类系统1的第一变形例中的动作相关的流程图。在判定部13正在进行与使用了第一模型的应用阶段相关的处理(第一判定处理)的过程中，有时发现在第一模型中未被学习的新的(未知的)缺陷。例如，在图9所示的“图像4”的对象物2中，产生整体变形为椭圆状的缺陷5。在过去一次也没有产生这样的缺陷5的情况下，作为教示数据，有可能未设定对应的缺陷种类。[0133]因此，在本变形例中，如图9所示，多个第一类别c1还包含“其他”作为与缺陷种类“不明”相关联的分类范畴。[0134]本变形例的判定部13在第一判定处理中，至少判定在图像数据内存在缺陷5，另一方面，在判定为该缺陷5不符合缺陷种类“a”～“c”的任一个的情况下，将该缺陷5判定为缺陷种类“不明”。[0135]在此，基本例的判定部13在第一分类结果满足“给定的确定条件”(缺陷5的数量为一个、或者缺陷5的数量为多个的情况下不存在于相同的空间位置)的情况下，不使用第二分类结果来进行了类别判定。但是，本变形例的判定部13在存在缺陷种类“不明”的缺陷5的情况下，例外地不管缺陷5的数量以及空间位置如何都执行第二判定处理。换句话说，缺陷种类“不明”的缺陷5可以说是“不确定要素”的一个。[0136]具体而言，例如，即使缺陷5的数量仅为一个(缺陷种类“不明”的缺陷5)，本变形例的判定部13也执行第二判定处理。此外，除了缺陷种类“不明”的缺陷5之外，例如即使存在缺陷种类“a”的缺陷5且它们存在于不同的空间位置，本变形例的判定部13也执行第二判定处理。[0137]作为在缺陷种类“不明”的缺陷5存在的情况下无论缺陷5的数量以及空间位置如何都执行第二判定处理的理由，可以举出以下的两个。[0138]作为第一理由，如上所述，缺陷种类“不明”的缺陷5实际上有可能是新的缺陷5。作为第二理由，实际上，应符合缺陷种类“a”～“c”中的某一个的情况有可能由于第一模型的学习不足而错误地判定为缺陷种类“不明”。[0139]本变形例的判定部13在第二判定处理中，关注三个规定区域r0(参照图10)全部。如图10所示，本变形例的判定部13运算从成为类别判定的对象的对象物2的制造数据k2到三个规定区域r0各自的中心为止的距离l0。在图10的例子中也与图6同样地，为了便于说明，用二维的图表来表现特征量空间sp1，作为一例，制造数据k2是与电流值i2和电压值v2这两个特征量相关的数据。[0140]在此，本变形例的判定部13判定从三个规定区域r0的中心a1～a3的三个距离l0中最短的距离l0(以下，称为“对象距离l0”)是否为阈值以上或者小于阈值。如果对象距离l0为阈值以上，换句话说制造数据k2离哪个规定区域r0的中心比较远，则判定部13将在第一判定处理中判定出的缺陷种类“不明”的缺陷5决定为“新的缺陷”。在这种情况下，本变形例的判定部13不符合“类别1”～“类别3”中的任一个，因此不从输出部33作为类别的判定结果而输出。取而代之，本变形例的通知部14例如通过向输出部33中的图像显示装置的画面显示、或者来自扬声器的声音消息、警报音的输出、或者画面显示和扬声器输出这两方，向用户(例如对象物2的检查者)警告新的缺陷的产生。[0141]此外，本变形例的判定部13在对象距离l0小于阈值且该对象距离l0与其他距离l0之差为给定值以上的情况下，判定为与对象距离l0的规定区域r0对应的缺陷种类是该对象物2的缺陷种类。换句话说，判定部13在第一判定处理中判定为缺陷种类“不明”，但在第二判定处理中，若判定为制造数据k2特别接近与缺陷种类“a”～“c”中的某一个缺陷种类对应的规定区域r0，则决定为该缺陷种类。因此，对象物2的类别经过基于制造数据的判定，确定为与该缺陷种类(例如缺陷种类“a”)相关联的类别(例如“类别1”)。处理部100从输出部33输出对象物2为“类别1”的情况。[0142]特别是，在这种情况下，如第二理由所述，存在第一模型的学习不足的可能性。因此，学习部10将在第一判定处理中判定为缺陷种类“不明”的该图像数据与作为第二判定处理的判定结果的缺陷种类“a”建立联系，作为教示数据进行追加。换句话说，学习部10使用判定部13的判定结果，执行第一模型的重新学习。[0143]然而，也可能存在制造数据k2接近与缺陷种类“a”～“c”中的两个以上的缺陷种类对应的规定区域r0的情况。本变形例的判定部13在对象距离l0小于上述阈值且该对象距离l0与其他距离l0之差小于给定值的情况下，决定为与这些距离l0的规定区域r0对应的两个以上的缺陷种类。在这种情况下，判定部13存在两个以上的类别，难以取得匹配性，因此不从输出部33作为类别的判定结果而输出。取而代之，通知部14通过向输出部33中的图像显示装置的画面显示、或者来自扬声器的声音消息、警报音的输出、或者画面显示和扬声器输出这两方，向用户警告产生了新的缺陷的可能性高的意思。[0144][动作说明][0145]参照图11所示的流程图简单地说明上述本变形例的判定部13的判定处理的动作，如下所述。[0146]判定部13针对关注的对象物2的图像数据，判定是否存在缺陷种类“不明”(步骤s11)。如果不存在缺陷种类“不明”(步骤s11：否)，则与基本例同样地，基于判定出的缺陷种类，直接作为判定结果而输出，或者决定是否执行第二判定处理(步骤s12：向图8的步骤s1)。[0147]另一方面，如果存在缺陷种类“不明”(步骤s11：是)，则判定部13基于对象距离l0，进行与阈值的比较判定(步骤s13)。如果对象距离l0为阈值以上(步骤s13：是)，则通知部14向用户警告新的缺陷的产生(步骤s14)。[0148]此外，若对象距离l0小于阈值(步骤s13：否)，则判定部13进行对象距离l0与其他距离l0之差与给定值的比较判定(步骤s15)。若该差在给定值以上(步骤s15：是)，则判定部13决定为与对象距离l0对应的缺陷种类，输出判定结果(步骤s16)，进而学习部10执行第一模型的重新学习(步骤s17)。若上述之差小于给定值(步骤s15：否)，则判定部13向用户警告新的缺陷的产生(步骤s14)。[0149]根据该结构，在产生了新的缺陷5的情况下，也能够实现与对象物2的类别判定相关的可靠性的提高。此外，也能够改善第一模型的学习不足。特别是在产生了新的缺陷5的情况下，向用户进行通知，因此能够减少忽略新的缺陷5的产生的可能性。[0150](3.2)第二变形例[0151]以下，参照图12对分类系统1的变形例(第二变形例)进行说明。在以下的本变形例中，对于与基本例的分类系统1实质上共通的结构要素，有时赋予相同的参照符号并适当省略其说明。[0152]在第一变形例中，判定部13在第一判定处理中识别出缺陷种类“不明”的缺陷5的存在的基础上，能够在第二判定处理中判定该缺陷5是否为新的缺陷。本变形例的判定部13构成为，在第一判定处理中，即使没有识别缺陷种类“不明”的存在，也在第二判定处理中识别其存在。[0153]以下，对本变形例的判定部13在第一判定处理中判定为两个以上的缺陷种类(例如“a”和“b”这两个)的空间位置相同来执行第二判定处理的情况进行说明。[0154]在此，基本例的判定部13仅缩小到与在第一判定处理中判定出的缺陷种类“a”以及“b”对应的第一规定区域r1以及第二规定区域r2，进行两个距离l0彼此的比较。但是，本变形例的判定部13在从全部的规定区域r0中决定最短的对象距离l0这一点上与基本例不同。[0155]本变形例的判定部13在缺陷种类“a”以及“b”的空间位置相同的情况下，先基于对象距离l0，进行与阈值的比较判定。若对象距离l0为阈值以上，则判定部13判定为缺陷种类“不明”。其中，与第一变形例不同，判定部13不判定为“新的缺陷”，而信任第一判定处理判定出的缺陷种类“a”以及“b”。判定部13决定为缺陷种类“a”以及“b”中的、与距离l0较短的一方的规定区域r0对应的缺陷种类，并输出判定结果。[0156]另一方面，如果对象距离l0小于阈值，则本变形例的判定部13接下来进行对象距离l0和其他距离l0之差与给定值的比较判定。如果该对象距离l0与其他距离l0之差为给定值以上，则决定为与对象距离l0对应的(一个)缺陷种类，并输出判定结果。进而，由于第一模型的学习不足，存在基于图像数据的判定错误的可能性，因此学习部10使用判定部13的判定结果，执行第一模型的重新学习。[0157]若上述差小于给定值，则判定部13决定为与这些距离l0的规定区域r0对应的两个以上的缺陷种类。进而，判定部13对由该制造数据(传感器数据)判定的两个以上的缺陷种类与根据图像数据判定出的缺陷种类“a”以及“b”是否全部一致进行比较。如果全部一致，则判定部13直接输出判定结果。但是，如果部分地不一致，则例如基于制造数据的判定是缺陷种类“a”以及“c”，如果基于图像数据的判定是缺陷种类“a”以及“b”，则判定部13决定为一致的缺陷种类“a”，输出判定结果。另外，若完全不一致，则判定部13信任通过第一判定处理判定出的缺陷种类“a”以及“b”，输出判定结果。[0158][动作说明][0159]图12是与分类系统1的第二变形例的动作相关的流程图。[0160]参照图12所示的流程图简单地说明上述的本变形例的判定部13的判定处理的动作，如下所述。[0161]判定部13针对关注的对象物2的图像数据，判定判定依据(两个以上的缺陷种类)是否为相同的空间位置(步骤s21：以基本例来说相当于图8的步骤s2“是”)。[0162]如果判定依据是相同的空间位置(步骤s21：是)，则判定部13执行第二判定处理，基于对象距离l0进行与阈值的比较判定(步骤s22)。如果判定依据不是相同的空间位置(步骤s21：否)，则直接输出判定结果(步骤s24)。[0163]如果对象距离l0为阈值以上(步骤s22：是)，则通知部14优先通过第一判定处理(图像数据)判定的两个以上的缺陷种类(步骤s23)。判定部13例如从其中决定为任意一个缺陷种类，输出判定结果(步骤s24)。[0164]若对象距离l0小于阈值(步骤s22：否)，则判定部13进行对象距离l0和其他距离l0之差与给定值的比较判定(步骤s25)。若该差在给定值以上(步骤s25：是)，则判定部13决定为与对象距离l0对应的缺陷种类，输出判定结果(步骤s26)，进而学习部10执行第一模型的重新学习(步骤s27)。[0165]若上述的差小于给定值(步骤s25：否)，则判定部13根据基于制造数据的两个以上的缺陷种类和基于图像数据的两个以上的缺陷种类，比较是否存在至少一个一致的缺陷种类(步骤s28)。如果存在至少一个一致的缺陷种类(步骤s28：是)，则判定部13决定为一致的缺陷种类的类别，输出判定结果(步骤s24)。若完全不一致(步骤s28：否)，则判定部13使图像数据的判定优先(步骤s23)，输出判定结果(步骤s24)。[0166]根据该结构，能够进一步提高与对象物2的类别判定相关的可靠性。此外，也能够改善第一模型的学习不足。[0167](3.3)其他变形例[0168]在基本例中，作为一例，判定的类别由能够在对象物2中产生的“缺陷(不良)”规定。但是，判定的类别并不限定于“缺陷”，例如也可以由对象物2的品质性的程度(优良、良、以及普通等)规定。[0169]在基本例中，第一模型是学习完毕模型，但也可以不是学习完毕模型。此外，在基本例中，第二模型不是学习完毕模型，但也可以是学习完毕模型。[0170]在基本例中，先于基于制造数据的判定(第二判定处理)进行基于图像数据的判定(第一判定处理)，但也可以相反地先进行基于制造数据的判定。[0171]在基本例中，判定部13在基于图像数据的判定(第一判定处理)中，若缺陷数为零(0)，则不执行基于制造数据的判定(第二判定处理)，而直接输出作为正常的判定结果。但是，判定部13也可以在基于图像数据的判定(第一判定处理)中，即使缺陷数为零(0)，也执行第二判定处理。此外，在正常的情况下，也可以不输出判定结果。[0172]在第一变形例以及第二变形例中，阈值仅为一个，但阈值也可以设定为多个阶段。[0173]( 4)总结[0174]如以上说明的那样，第一方式所涉及的分类系统(1)具备第一分类部(11)、第二分类部(12)以及判定部(13)。第一分类部(11)将第一对象数据分类为多个第一类别(c1)中的至少一个第一类别(c1)。第二分类部(12)将第二对象数据分类为多个第二类别(c2)中的至少一个第二类别(c2)。判定部(13)决定使用作为由第一分类部(11)得到的分类结果的第一分类结果、以及作为由第二分类部(12)得到的分类结果的第二分类结果中的一方，或者使用该两方，基于该一方或者两方判定对象物(2)的类别。第一对象数据是对象物(2)的图像数据。第二对象数据是与对象物(2)的制造条件相关的制造数据。根据第一方式，能够实现与对象物(2)的类别判定相关的可靠性的提高。[0175]第二方式所涉及的分类系统(1)在第一方式中，多个第一类别(c1)与多个第二类别(c2)相互一致。根据第二方式，与在多个第一类别(c1)和多个第二类别(c2)中混合不同类别的情况相比，能够进一步提高与对象物(2)的类别判定相关的可靠性。[0176]作为第三方式所涉及的分类系统(1)，在第一方式或者第二方式中，判定部(13)在第一分类结果满足给定的确定条件的情况下，不使用第二分类结果来判定对象物(2)的类别。根据第三方式，能够减轻与类别判定相关的处理负荷。[0177]作为第四方式所涉及的分类系统(1)，在第一方式～第三方式中的任意一个中，第一分类部(11)基于图像数据内的、在对象物(2)中产生的一个或者多个现象的种类进行分类。判定部(13)还使用与图像数据内的一个或者多个现象的位置相关的信息，判定对象物(2)的类别。根据第四方式，能够进一步提高与对象物(2)的类别判定相关的可靠性。[0178]作为第五方式所涉及的分类系统(1)，在第四方式中，在第一分类结果表示分类为两个以上的第一类别(c1)的结果的情况下，判定部(13)如以下那样进行判定。即，如果与两个以上的第一类别(c1)对应的两个以上的现象的位置是相同的位置，则判定部(13)使用第二分类结果，判定对象物(2)的类别。此外，如果与两个以上的第一类别(c1)对应的两个以上的现象的位置是不同的位置，则判定部(13)不使用第二分类结果，判定对象物(2)的类别。根据第五方式，在两个以上的现象的位置为相同的位置的情况下，能够进一步提高与对象物(2)的类别判定相关的可靠性。此外，在两个以上的现象的位置是不同的位置的情况下，能够减轻与类别判定相关的处理负荷。[0179]作为第六方式所涉及的分类系统(1)，在第一方式～第五方式中的任意一个中，第二分类结果在与制造条件相关的特征量空间(sp1)中包含分别与多个第二类别(c2)对应的多个规定区域(r0)。判定部(13)在使用第二分类结果的情况下，基于从特征量空间(sp1)中的第二对象数据的特征量到多个规定区域(r0)各自为止的距离(l0)，判定对象物(2)的类别。根据第六方式，能够进一步提高与对象物(2)的类别判定相关的可靠性。[0180]作为第七方式所涉及的分类系统(1)，在第一方式～第六方式中的任意一个中，判定部(13)先使用第一分类结果来判定对象物(2)的类别。判定部(13)在第一分类结果中存在与对象物(2)的类别判定相关的不确定要素的情况下，使用第二分类结果，判定对象物(2)的类别。根据第七方式，例如能够提高发现第一分类结果中的分类错误的可能性。此外，能够提高找到新的类别(例如新的缺陷等)的可能性。[0181]第八方式所涉及的分类系统(1)，在第七方式中，还具备根据使用了第二分类结果的判定部(13)中的判定结果来执行给定的处理的功能部(6)。根据第八方式，能够提高与判定部(13)中的判定结果相关的应用性。例如，如果给定的处理包括通知处理，则能够将判定结果传达给人。[0182]作为第九方式所涉及的分类系统(1)，在第一个方式～第八方式中的任意一个中，多个第一类别(c1)以及多个第二类别(c2)由对象物(2)的缺陷规定。根据第九方式，能够提高与对象物(2)的缺陷判定相关的可靠性。[0183]作为第十方式所涉及的分类系统(1)，第一个方式～第九方式中的任意一个中，第一分类部(11)是从图像数据学习了多个第一类别(c1)的学习完毕模型。根据第十方式，能够提高与第一分类部(11)中的分类相关的可靠性，其结果，能够进一步提高与对象物(2)的类别判定相关的可靠性。[0184]作为第十一方式所涉及的分类系统(1)，在第一方式～第十方式中的任意一个中，第二分类部(12)是将多个第二类别(c2)的各个和与制造条件相关的特征量的数据分布建立了对应的模型。根据第十一方式，能够提高与第二分类部(12)中的分类相关的可靠性，其结果，能够进一步提高与对象物(2)的类别判定相关的可靠性。[0185]第十二方式所涉及的分类方法包括第一分类步骤、第二分类步骤以及判定步骤。在第一分类步骤中，将第一对象数据分类为多个第一类别(c1)中的至少一个第一类别(c1)。在第二分类步骤中，将第二对象数据分类为多个第二类别(c2)中的至少一个第二类别(c2)。在判定步骤中，决定使用作为由第一分类步骤得到的分类结果的第一分类结果、以及作为由第二分类步骤得到的分类结果的第二分类结果中的一方，或者使用该两方，基于该一方或者两方判定对象物的类别。第一对象数据是对象物(2)的图像数据。第二对象数据是与对象物(2)的制造条件相关的制造数据。根据第十二方式，能够提供一种能够实现与对象物(2)的类别判定相关的可靠性的提高的分类方法。[0186]第十三方式的程序是用于使一个以上的处理器执行第十二方式中的分类方法的程序。根据第十三方式，能够提供能够实现与对象物(2)的类别判定相关的可靠性的提高的功能。[0187]关于第二～十一方式所涉及的结构，不是分类系统(1)所必须的结构，能够适当省略。[0188]产业上的可利用性[0189]根据本公开的分类系统、分类方法以及程序，具有能够实现与对象物的类别判定相关的可靠性的提高这样的优点。因此，本公开所涉及的发明有助于提高设备等的可靠性，在产业上是有用的。[0190]-符号说明-[0191]1ꢀꢀꢀ分类系统[0192]11ꢀꢀ第一分类部[0193]12ꢀꢀ第二分类部[0194]13ꢀꢀ判定部[0195]2ꢀꢀꢀ对象物[0196]6ꢀꢀꢀ功能部[0197]c1ꢀꢀ第一类别[0198]c2ꢀꢀ第二类别[0199]l0ꢀꢀ距离[0200]r0ꢀꢀ规定区域[0201]sp1 特征量空间。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!