作业辅助服务器、作业辅助方法与流程

水利;给水;排水工程装置的制造及其处理技术1.本发明涉及对作业机械的远程操作进行辅助的作业辅助服务器以及对作业机械的作业进行辅助的作业辅助方法。背景技术：2.以往，在远程挖掘机等作业机械进行作业的作业现场设置有多个定点相机，能够俯视观察现场整体或者监视特定的挖掘机的动作或作业。3.另外，还已知有一种为了确认作业机械周边的状况而在作业机械上搭载多个相机来拍摄图像的方法。4.例如，在下述专利文献1中的挖掘机中，左侧相机安装于驾驶室的左前侧的支架上，后置相机安装于配重的上部。而且，在上部回转体的右前侧的扶手处安装有右侧相机。5.以在左侧相机及右侧相机的拍摄范围内包含上部回转体的侧面的方式对该左侧相机及右侧相机进行安装。另外，后置相机以在其拍摄范围中包含配重的上面后端的方式进行安装。挖掘机的操作者能够通过这些相机容易地识别出与存在于周边的物体之间的位置关系(专利文献1/第0015～0019段，图2)。6.现有技术文献7.专利文献8.专利文献1：国际公开第2017/115808号公报技术实现要素：9.发明要解决的课题10.然而，在远程作业机械受远程操作时，操作者(作业者)位于远离远程作业机械的位置。因此，存在以下的要求：即，在进行该作业时，作业者希望能够高效地确认对作为远程操作对象的作业机械的周围进行拍摄的相机的影像。11.本发明鉴于上述的问题点而完成，其目的在于提供一种能够向作业者高效地汇报作业机械的周边状况的作业辅助服务器。12.用于解决课题的手段13.本发明的第一方面涉及一种作业辅助服务器，该作业辅助服务器以能够根据对具有显示装置的远程操作装置进行的操作来远程操作作为操作对象的作业机械的方式，对作为所述操作对象的作业机械的作业进行辅助，所述作业辅助服务器的特征在于，具备：第一辅助处理元件，在被要求开始所述作业机械的作业的情况下，所述第一辅助处理元件制作捕捉了所述作业机械的周边区域的周围图像；以及，第二辅助处理元件，以将所述周围图像显示于所述显示装置为条件，许可该作业机械进行作业。14.在本发明的作业辅助服务器中，向显示装置发送拍摄作业机械的周边区域的拍摄图像(静态图像或动态图像)，作业者能够确认该情形。由此，本作业辅助服务器能够辅助作业者对作业机械的作业进行操作。15.在被要求开始作业机械的作业的情况下，第一辅助处理元件制作捕捉了作业机械的周边区域的周围图像，并将该周围图像显示到远程操作装置的显示装置上。另外，第二辅助处理元件以使周围图像显示于所述显示装置为条件，许可作业机械进行作业。由此，操作员在开始作业机械的作业之前，能够观察到作业机械的周边区域。本作业辅助服务器能够在操作员应确认的周围图像可靠地显示于远程操作装置的显示装置之后，许可远程操作装置对作业机械的操作。16.本发明的第二方面涉及一种作业辅助方法，以能够根据对具有显示装置的远程操作装置进行的操作来远程操作作为操作对象的作业机械的方式，对作为所述操作对象的作业机械的作业进行辅助，所述作业辅助方法的特征在于，具备：第一步骤，在被要求开始所述作业机械的作业的情况下，制作捕捉了所述作业机械的周边区域的周围图像；以及，第二步骤，以将所述周围图像显示于所述显示装置为条件，许可该作业机械进行作业。17.在本发明的作业辅助方法中，通过第一步骤，在被要求开始作业机械的作业的情况下，制作捕捉了作业机械的周边区域的周围图像，在远程操作装置的显示装置上显示该周围图像。另外，通过第二步骤，以使周围图像显示于所述显示装置为条件，许可作业机械进行作业。由此，操作员在开始作业机械的作业之前，能够观察到作业机械的周边区域。18.根据本作业辅助方法，能够在操作者应确认的周围图像被可靠地显示于远程操作装置的显示装置之后，许可远程操作装置对作业机械的操作。19.附图的简单说明20.图1是表示对本发明的实施方式中的作业辅助系统的概要进行说明的图。21.图2是对作业机械的操作机构的结构进行说明的图。22.图3a是对作业机械的详细结构进行说明的图(1)。23.图3b是对作业机械的详细结构进行说明的图(2)。24.图4a是作业辅助服务器、远程操作装置以及作业机械所进行的各处理的流程图(1)。25.图4b是作业辅助服务器、远程操作装置以及作业机械所进行的各处理的流程图(2)。26.图5是图像输出装置上显示的图像的例子(周围图像1)。27.图6是对作业机械的周围图像的取得单元进行说明的图(1)。28.图7是图像输出装置上显示的图像的例子(周围图像2)。29.图8是对作业机械的周围图像的取得单元进行说明的图(2)。30.图9是图像输出装置上显示的图像的例子(周围图像3)。31.图10是显示于图像输出装置的作业环境图像的说明图。具体实施方式32.以下，参照附图，详细说明本发明的作业辅助服务器的详细情况。33.首先，参照图1，对本发明的实施方式的作业辅助服务器10和包含作业辅助服务器10的作业辅助系统1进行说明。34.本实施方式的工程机械的作业辅助系统1是通过下述方式构成的系统：操作员op通过操作远程操作装置20，能够选择性地对作为操作对象而被分配给操作员op或远程操作装置20的多个作业机械40分别进行远程操作。需要说明的是，配置有供远程操作装置20操作的作为操作对象的多个作业机械40的作业现场可以是一个作业现场或是多个作业现场中的任一情况。35.该作业辅助系统1除了包括作业机械40以外，还至少由作业辅助服务器10和用于对作业机械40进行远程操作的远程操作装置20构成。作业辅助服务器10、远程操作装置20以及作业机械40构成为能够通过包括无线通信网在内的网络nw相互通信。作业辅助服务器10可根据作业机械40的切换、移动或作业内容等，自动选择适当的拍摄装置、拍摄图像。并且，作业辅助服务器10为了辅助远程操作装置20的操作员op的操作，向后述的图像输出装置221(本发明的“显示装置”)输出拍摄图像。36.作业辅助服务器10具备数据库102、第一辅助处理元件121、第二辅助处理元件122、服务器无线通信设备125。数据库102对由后述的实机拍摄装置412、周围拍摄装置413等拍摄到的拍摄图像等进行存储保持。数据库102也可以由相对于作业辅助服务器10独立的数据库服务器构成。37.辅助处理元件121，122由运算处理装置(单核处理器或多核处理器、或者构成该处理器的处理器内核)构成。并且，辅助处理元件121，122从存储器等存储装置读取必要的数据以及软件，并以该数据为对象执行依照该软件的运算处理。另外，服务器无线通信设备125经由网络nw指示图像输出装置221显示或者从拍摄装置接收拍摄图像。38.接着，远程操作装置20具备远程控制装置200、远程输入接口210、远程输出接口220。远程控制装置200由运算处理装置(单核处理器或多核处理器、或者构成该处理器的处理器内核)构成。并且，远程控制装置200从存储器等存储装置读取必要的数据以及软件，并以该数据为对象执行依照该软件的运算处理。39.远程输入接口210具备远程操作机构211。另外，远程输出接口220具备图像输出装置221、作业者拍摄装置222和远程无线通信设备223。40.作业者拍摄装置222是安装在远程操作装置20上的相机，至少对操作席(座位st)进行拍摄。41.远程无线通信设备223经由网络nw向作业机械40发送操作信号或者接收来自实机拍摄装置412、周围拍摄装置413等的拍摄图像。42.远程操作机构211具备行驶用操作装置、回转用操作装置、动臂用操作装置、斗杆用操作装置、铲斗用操作装置。各操作装置具有接受转动操作的操作杆。为了使作业机械40的下部行驶体427动作而操作行驶用操作装置的操作杆(行驶杆)(参照图3a、图3b)。行驶杆也可兼作行驶踏板。例如，也可以设置固定于行驶杆的基部或下端部的行驶踏板。43.回转用操作装置的操作杆(回转杆)用于使构成作业机械40的回转机构430的液压式的回转马达动作。另外，动臂用操作装置的操作杆(动臂杆)用于使作业机械40的动臂油缸442动作(参照图3a、图3b)。44.斗杆用操作装置的操作杆(斗杆杆)用于使作业机械40的斗杆油缸444动作。铲斗用操作装置的操作杆(铲斗杆)用于使作业机械40的铲斗油缸446动作(参照图3a、图3b)。45.这里，图2中示出了构成远程操作机构211的各操作杆、供操作员op就座的座椅st的一个例子。座椅st是带扶手的高背椅那样的方式。座椅st也可以是没有头枕的低背椅那样的方式、或者是没有靠背的座椅那样的方式等可供操作者就座的任意的方式。46.在座椅st的前方左右并排地配置有与左右的履带对应的左右一对的行驶杆2110。一个操作杆也可以兼作多个操作杆。例如，可以在对设置于座椅st的右侧框架的前方的右侧操作杆2111沿前后方向操作的情况下作为动臂杆发挥功能，并且在沿左右方向操作的情况下作为铲斗杆发挥功能。47.同样地，可以在对设置于座椅st的左侧框架的前方的左侧操作杆2112沿前后方向操作的情况下作为斗杆发挥功能，并且在沿左右方向操作的情况下作为回转杆发挥功能。另外，可以根据操作员op的操作指示任意地变更杆模式。48.如图2所示，图像输出装置221由分别配置在座椅st的前方、左斜前方以及右斜前方的具有大致矩形的画面的中央图像输出装置2210、左侧图像输出装置2211以及右侧图像输出装置2212构成。中央图像输出装置2210、左侧图像输出装置2211以及右侧图像输出装置2212的各自的画面(图像显示区域)的形状及尺寸可以相同，也可以彼此不同。49.另外，以中央图像输出装置2210的画面与左侧图像输出装置2211的画面成倾斜角度θ1(例如120°≤θ1≤150°)的方式，左侧图像输出装置2211的右缘与中央图像输出装置2210的左缘相邻。同样地，以中央图像输出装置2210的画面与右侧图像输出装置2212的画面成倾斜角度θ2(例如120°≤θ2≤150°)的方式，右侧图像输出装置2212的左缘与中央图像输出装置2210的右缘相邻。该倾斜角度θ1和该倾斜角度θ2可以相同，也可以不同。50.中央图像输出装置2210、左侧图像输出装置2211以及右侧图像输出装置2212的各自的画面既可以相对于铅垂方向平行，也可以相对于铅垂方向倾斜。另外，中央图像输出装置2210、左侧图像输出装置2211以及右侧图像输出装置2212中的至少一个图像输出装置也可以由被分割成多个的图像输出装置构成。例如，中央图像输出装置2210也可以由具有大致矩形形状的画面的上下相邻的一对图像输出装置构成。需要说明的是，图像输出装置2210～2212可以进一步具备扬声器(声音输出装置)。51.此外，作业机械40具备实机控制装置400、实机输入接口410、实机输出接口420以及工作机构(作业附件)440。实机控制装置400由运算处理装置(单核处理器或多核处理器、或者构成该处理器的处理器内核)构成。并且，实机控制装置400从存储器等存储装置读取必要的数据和软件，并以该数据为对象执行依照该软件的运算处理。52.这里，图3a、图3b中示出了本实施方式的作业机械40的一个例子。作业机械40例如是履带式挖掘机(工程机械)，具备机体450。机体450由履带式的下部行驶体427、经由回转机构430可回转地搭载于下部行驶体427的上部回转体435以及工作机构440构成。在上部回转体435的前方左侧部设置有驾驶室(司机室)425，在上部回转体435的前方中央部设置有工作机构440。在驾驶室(司机室)425的后方配置有机械容纳部436和配重437，机械容纳部436容纳发动机等机械，配重437配置于机械容纳部436的后方。53.返回图1，实机输入接口410具备实机操作机构411、实机拍摄装置412以及周围拍摄装置413。实机操作机构411具备与远程操作机构211同样地配置在驾驶室425的内部所配置的座椅的周围的多个操作杆。在驾驶室425设置有驱动机构或者机器人，接收与远程操作杆的操作方式对应的信号，并基于该接收信号使实机操作杆动作。54.如图3a、图3b所示，实机拍摄装置412例如设置于驾驶室425的内部。实机拍摄装置412透过驾驶室425的前窗对作业机械40的前方方位进行拍摄。55.另外，如图3a、图3b所示，周围拍摄装置413例如设置于驾驶室425的前方下部。周围拍摄装置413由前方相机413a、右方相机413b、左方相机413d以及后方相机413c构成，前方相机413a对作业机械40的前方进行拍摄；右方相机413b设置在机体450上并对作业机械40的右方进行拍摄；左方相机413d设置在机体450上并对作业机械40的左方进行拍摄；后方相机413c设置在机体450上并对作业机械40的后方进行拍摄。相机413a～413d各自的拍摄范围被设定为相互重合，能够对作业机械40的周边区域的全方位(360°)进行拍摄。56.实机输出接口420具备实机无线通信设备422。实机无线通信设备422经由网络nw从远程操作装置20的远程无线通信设备223接收与远程操作杆的操作方式对应的信号。该信号进一步被发送至实机控制装置400，作业机械40根据该信号进行动作。需要说明的是，在驾驶室425中设置有驱动机构或者机器人，该驱动机构或者机器人基于该信号使实机操作杆动作。57.工作机构440具备：动臂441，其安装于上部回转体435；斗杆443，可转动地连结于动臂441的顶端部；铲斗445，可转动地连结于斗杆443的顶端部。在工作机构440上安装有由可伸缩的液压缸构成的动臂油缸442、斗杆油缸444以及铲斗油缸446。58.另外，测位装置460是检测作业机械40的位置的装置。测位装置460例如由gnss接收器(gnns：global navigation satellite system)构成。由测位装置460检测出的作业机械40的位置经由实机无线通信设备422发送至作业辅助服务器10，并将该位置存储于数据库102。59.动臂油缸442介于该动臂441与上部回转体435之间，使得其通过接受工作油的供给而伸缩，从而使动臂441在起落方向转动。斗杆油缸444介于该斗杆443与该动臂441之间，使得其通过接受工作油的供给而伸缩，从而使斗杆443相对于动臂441绕水平轴转动。60.铲斗油缸446介于该铲斗445与该臂443之间，使得其通过接受工作油的供给而伸缩，从而使铲斗445相对于臂443绕水平轴转动。61.作业辅助系统1可以进一步由设置在配置有各作业机械40的作业现场中的设备相机70、在配置有各作业机械40的作业现场的上空飞行的无人飞行器80构成。62.作业辅助服务器10以及远程操作装置20能够适当地经由网络nw取得设备相机70的拍摄装置713的拍摄影像以及无人飞行器80的拍摄装置813的拍摄影像，并将上述拍摄影像输出到图像输出装置221。63.接着，参照图4a、图4b，对本实施方式的与作业辅助系统1的功能相关的流程图进行说明。另外，适当参照图5～图10，对拍摄装置的选择、拍摄图像的显示等进行说明。64.需要说明的是，为了简化记载而在流程图中使用控制块(block)“c10”～“c44”，该控制块是指数据的发送和/或接收，并以该数据的发送和/或接收为条件，执行分支方向的处理。65.(第一功能)66.首先，在远程操作装置20中，判定是否有操作员op通过远程输入接口210进行的第一指定操作(图4a/步骤(step)210)。这里，“第一指定操作”是指选择与远程操作装置20进行协作的作业机械40的操作。67.例如通过下述方式判定有无第一指定操作。首先，在远程输出接口220输出表示能够与远程操作装置20进行协作的作业机械40各自的存在位置的映射(map)、一览表等。接着，判定是否由操作员op进行了用于指定与远程操作装置20协作的一作业机械40的轻击等操作。68.在该判定结果为否定的情况下(图4a/步骤210：否(no))，结束第一功能的处理。另一方面，在该判定结果为肯定的情况下(图4a/步骤210：是(yes))，远程操作装置20经由远程无线通信设备223向作业辅助服务器10发送连接请求信号(图4a/步骤(step)211)。“连接请求信号”中包含有作业机械识别符，该作业机械识别符用于识别与远程操作装置20确立了通信的作业机械40或者通过远程输入接口210被指定的作业机械40。69.作业辅助服务器10在接收到该作业开始信号的情况下(图4a/c10)，由第一辅助处理元件121向通过该作业机械识别符识别的作业机械40进行拍摄图像的发送开始指示(图4a/步骤(step)111)。这里，至少选择作业机械40的实机拍摄装置412的拍摄装置。70.作业机械40在接收到该发送开始指示的情况下(图4a/c40)，向作业辅助服务器10发送拍摄图像(图4a/步骤(step)411)。作业辅助服务器10在经由服务器无线通信设备125接收到拍摄图像的情况下(图4a/c11)，制作周围图像(图4a/步骤(step)112)，并经由服务器无线通信设备125将该周围图像发送至远程操作装置20(图4a/步骤(step)113)。作为该周围图像的例子，具有以下列举出的周围图像1～周围图像3。71.(周围图像1)72.例如，在作业机械40具备图3a、图3b中所示的周围拍摄装置413的情况下，经由实机无线通信设备422将通过构成周围拍摄装置413的相机413a～413d分别拍摄到的图像发送至作业辅助服务器10(图4a/步骤411)。73.作业辅助服务器10在经由服务器无线通信设备125接收到相机413a～413d的拍摄图像的情况下(图4a/c11)，由第一辅助处理元件121对相机413a～413d的拍摄图像进行合成。然后，作业辅助服务器10制成如图5所示的从作业机械40的上方俯视的周围图像(图4a/步骤(step)112)，经由服务器无线通信设备125将该周围图像发送至远程操作装置20(图4a/步骤113)。74.远程操作装置20在经由远程无线通信设备223接收到周围图像的情况下(图4a/c20)，将该周围图像输出到图像输出装置221(图4a/步骤(step)212)。75.在图5所示的周围图像中，示于中央区域的作业机械40的图像可以采用预先作为图形信息而存储于数据库102中的图形。在该周围图像中，虚线表示相机413a～413d的拍摄图像的接缝。另外，该虚线也可以不输出于图像输出装置221。76.另外，作业机械40的周围拍摄装置413也可以通过对相机413a～413d的拍摄图像进行合成来制作周围图像。在该情况下，作业机械40经由实机无线通信设备422将周围拍摄装置413制成的周围图像发送至作业辅助服务器10(图4a/步骤(step)411)。77.然后，在作业辅助服务器10经由服务器无线通信设备125接收到周围图像的情况下(图4a/c11)，能够经由服务器无线通信设备125将该周围图像发送至远程操作装置20(图4a/步骤(step)113)。78.另外，远程操作装置20的远程输出接口220也可以通过对相机413a～413d的拍摄图像进行合成来制作周围图像。作业辅助服务器10在经由服务器无线通信设备125接收到相机413a～413d的拍摄图像的情况下(图4a/c11)，经由服务器无线通信设备125将该拍摄图像发送至远程操作装置20(图4a/步骤113)。79.于是，在远程操作装置20经由远程无线通信设备223接收到该拍摄图像的情况下，对相机413a～413d的拍摄图像进行合成。然后，远程操作装置20将制成的周围图像输出至图像输出装置221(图4a/步骤212)。80.(周围图像2)81.作业机械40经由实机无线通信设备422将实机拍摄装置412拍摄到的拍摄图像发送至作业辅助服务器10(图4a/步骤411)。进一步地，由测位装置460检测出的作业机械40的位置经由实机无线通信设备422被发送至作业辅助服务器10，并将其保存于数据库102。82.作业辅助服务器10在经由服务器无线通信设备125接收到实机拍摄装置412拍摄到的拍摄图像的情况下(图4a/c11)，由第一辅助处理元件121制作如图7所示的周围图像(图4a/步骤112)，该周围图像是在实机拍摄装置412拍摄到的拍摄图像上重叠了由设备相机70a，70b所拍摄到的拍摄图像而形成的图像。83.具体而言，作业辅助服务器10除了经由服务器无线通信设备125接收由实机拍摄装置412拍摄到的拍摄图像以外，还能够接收经由设备相机70的通信设备723被发送的由拍摄装置713拍摄到的拍摄图像。84.第一辅助处理元件121掌握设备相机70在作业现场的位置以及可拍摄范围。然后，作业辅助服务器10基于保存在数据库102中的作业机械40的位置确定作业机械40的位置会包含在可拍摄范围内的设备相机70。进一步地，作业辅助服务器10将通过该确定的设备相机70中捕捉到作业机械40的设备相机70拍摄到的拍摄图像重叠到实机拍摄装置412拍摄到的拍摄图像上，并将其输出至图像输出装置221(图4a/步骤212)。85.如图6所示，在作业机械40的位置包含在可拍摄范围内的设备相机70有多个存在的情况下，可以显示所有设备相机70的拍摄图像，也可以仅显示一部分设备相机70的拍摄图像。86.在图7中，从左侧拍摄作业机械40的设备相机70b的拍摄图像被输出至图像输出装置221的左侧。另外，从右侧拍摄作业机械40的设备相机70a的拍摄图像被输出至图像输出装置221的右侧。这样，通过选择从不同的方向对作业机械40进行拍摄而得到的拍摄图像，能够在周围图像中反映作业机械40周围的状况。87.(周围图像3)88.另外，参照图8，对在配置有作业机械40的作业现场存在能够在该作业现场上空飞行的无人飞行器80的情况进行说明。作业辅助服务器10能够接收经由通信设备823发送的通过搭载于无人飞行器80的拍摄装置813拍摄到的拍摄图像。89.无人飞行器80可以是充电式的通过无线的方式飞行的飞行器，也可以是通过有线进行供电的设备。无人飞行器80在设置于作业现场或者作业机械40上的着陆处待机。拍摄装置813至少能够对无人飞行器80的下方进行拍摄。90.然后，在作业机械40接收到发送开始指示的情况下(图4a/c40)，无人飞行器80向作业机械40的上空移动，并通过拍摄装置813开始进行拍摄。91.作业机械40经由实机无线通信设备422将实机拍摄装置412拍摄到的拍摄图像发送至作业辅助服务器10(图4a/步骤411)。与此同时，由拍摄装置813拍摄到的拍摄图像经由通信设备823发送至作业辅助服务器10。这里，也可以经由作业机械40的实机无线通信设备422向作业辅助服务器10发送由拍摄装置813拍摄到的拍摄图像。92.在作业辅助服务器10经由服务器无线通信设备125接收到由拍摄装置813拍摄到的拍摄图像的情况下(图4a/c11)，第一辅助处理元件121将该拍摄图像作为周围图像并经由服务器无线通信设备125将其发送至远程操作装置20(图4a/步骤113)。93.远程操作装置20在经由远程无线通信设备223接收到周围图像的情况下(图4a/c20)，将图9所示的周围图像输出到图像输出装置221(图4a/步骤212)。在该周围图像中，示于中央区域的作业机械40的图像与其周围的作业现场的图像是由拍摄装置813拍摄到的拍摄图像。94.也可以设定无人飞行器80从上空拍摄作业机械40时的高度以及朝向。例如，可以先将拍摄图像中的作业机械40的图像的朝向及大小适当的图像保存为规定图像，以能够拍摄成该规定图像的高度以及朝向的方式控制无人飞行器80的高度和朝向。95.可以适当对上述周围图像1～3进行选择。例如，在作业机械40搭载有周围拍摄装置413的情况下，可以采用周围图像1。96.另外，在作业辅助服务器10以及远程操作装置20能够经由网络nw取得设备相机70的拍摄图像的情况下，则可以采用周围图像2。其中，该设备相机70设置在配置有作业机械40的作业现场中。97.此外，在作业机械40的上空有无人飞行器80存在，且能够经由网络nw取得由拍摄装置813拍摄到的拍摄图像的情况下，则可以采用周围图像3。98.如上所述，在图像输出装置221上输出周围图像的情况下(图4a/步骤(step)212)，操作员op能够确认是否存在车辆、现场作业者等的安全状况。99.接着，经由远程无线通信设备223向作业辅助服务器10发送操作员信息(图4a/步骤(step)213)。“操作员信息”是指能够判断出操作员оp是否确认了被输出至图像输出装置221的周围图像的信息。100.例如，操作员信息是以下信息：周围图像在图像输出装置221上连续显示规定时间(例如10秒)以上的这种信息。在该信息被发送后，作业辅助服务器10经由服务器无线通信设备125接收到该信息的情况下(图4a/c12)，由第二辅助处理元件122判定是否满足作业许可条件(图4a/step114)。101.在周围图像的显示时间小于规定时间的情况下，操作者没有确认周围图像的可能性高。因此，第二辅助处理元件122判定为不满足作业许可条件(图4a/步骤(step)114：否)，再次制作周围图像(图4a/步骤112)，并更新周围图像。102.另一方面，在周围图像的显示时间为规定时间以上的情况下，操作员op确认了周围图像的可能性高。因此，第二辅助处理元件122判定为满足作业许可条件(图4a/步骤(step)114：是(yes))，并经由服务器无线通信设备125向作业机械40发送操作受理许可信号(图4a/步骤(step)115)。103.另外，操作员信息也可以是下述图像：能够从中捕捉到操作员op对被输出在图像输出装置221上的周围图像进行确认时的动作的图像。在该情况下，远程操作装置20通过作业者拍摄装置222拍摄就座于座椅st上的操作员op，并将该拍摄图像作为操作员图像经由远程无线通信设备223发送至作业辅助服务器10(图4a/步骤(step)213)。104.作业辅助服务器10在经由服务器无线通信设备125接收到该操作员图像的情况下(图4a/c12)，由第二辅助处理元件122判定是否满足作业许可条件(图4a/step114)。105.第二辅助处理元件122对操作员图像进行图像解析来确定操作员的动作。例如，在检测出操作员op的视线、脸朝向图像输出装置221的方向、操作员op指着图像输出装置221在确认的情况下，第二辅助处理元件122判定为满足作业许可条件(图4a/步骤114：是(yes))。然后，第二辅助处理元件122经由服务器无线通信设备125向作业机械40发送操作受理许可信号(图4a/步骤115)。106.另一方面，当第二辅助处理元件122判定为不满足作业许可条件(图4a/步骤(step)114：否)时，则再次制作周围图像(图4a/步骤(step)112)。由此，让操作员op确认被输出至图像输出装置221上的周围图像。107.另外，第二辅助处理元件122也可以在操作员图像的解析结果中不满足作业许可条件(图4a/step114：否)的状态持续了规定时间以上的情况下，以从远程操作装置20的扬声器输出警报声等的方式进行控制。108.作业机械40在经由实机无线通信设备422接收到该驱动许可信号的情况下(图4a/c41)，开始受理远程操作装置20的远程操作(图4a/步骤412)。109.(第二功能)110.接着，参照图4b的流程图，说明作业辅助系统1的进一步的功能。111.作业辅助服务器10经由服务器无线通信设备125向作业机械40发送拍摄图像切换指示(图4b/步骤(step)120)。“拍摄图像切换指示”是用于将下述图像显示到图像输出装置221上的指示，其中，该图像是在通过远程操作装置20对作业机械40进行远程操作时使用的图像。112.作业机械40在经由实机无线通信设备422接收到该拍摄图像切换指示的情况下(图4b/c42)，实机控制装置400从实机拍摄装置412取得实机拍摄图像(图4b/步骤(step)421)。即，由实机控制装置400向作业辅助服务器10发送表示该实机拍摄图像的实机拍摄图像数据(图4b/步骤(step)422)。113.在由第一辅助处理元件121经由服务器无线通信设备125接收到实机拍摄图像数据的情况下(图4b/c14)，作业辅助服务器10通过第二辅助处理元件122向远程操作装置20发送该实机拍摄图像数据(图4b/步骤(step)121)。114.远程操作装置20在经由远程无线通信设备223接收到实机拍摄图像数据的情况下(图4b/c21)，由远程控制装置200将与该实机拍摄图像数据对应的作业环境图像输出到图像输出装置221上(图4b/步骤(step)220)。115.由此，例如，如图10所示，映入有作为工作机构440的一部分机构的动臂441、斗杆443以及铲斗445的作业环境图像被输出到图像输出装置221上。116.远程操作装置20通过远程控制装置200识别远程操作机构211的操作方式(图4b/步骤(step)221)。进一步地，远程操作装置20经由远程无线通信设备223向作业辅助服务器10发送与该操作方式对应的远程操作指令(图4b/步骤(step)222)。117.作业辅助服务器10在通过第二辅助处理元件122接收到该远程操作指令的情况下(图4b/c15)，第一辅助处理元件121向作业机械40发送该远程操作指令(图4b/step122)。118.作业机械40在由实机控制装置400经由实机无线通信设备422接收到远程操作指令的情况下(图4b/c43)，控制工作机构440等的动作(图4b/步骤(step)423)。由此，开始作业机械40的远程操作。例如，执行由铲斗445将作业机械40前方的土铲起、在使上部回转体435回转后从铲斗445将土倒落的作业。119.然后，在远程操作装置20中，操作员op结束作业机械40执行的作业。这时，远程操作装置20向作业辅助服务器10发送作业结束信号(图4b/步骤(step)223)。120.作业辅助服务器10在经由实机无线通信设备422接收到该作业结束信号的情况下(图4b/c16)，向作业机械40发送作业结束信号(图4b/步骤(step)123)。这时，作业辅助服务器10不限于对当前正在发送拍摄图像的拍摄装置进行作业结束的指示，还可以对所有的拍摄装置进行作业结束的指示。121.作业机械40在接收到该作业结束信号的情况下(图4b/c44)，停止拍摄装置的拍摄和对作业机械40的驱动(图4b/步骤(step)424)。122.最后，远程操作装置20中止拍摄图像的输出(图4b/步骤(step)224)。由此，图像输出装置221中的拍摄图像的显示结束。123.另外，操作员op能够从远程操作装置20对多个作业机械40进行操作，有时会切换作业机械40。在切换到新的作业机械40时，作业辅助系统1也可以执行上述图4a、图4b的处理。以上，结束作业辅助服务器10的一系列处理(第一功能、第二功能)。124.这样，作业辅助服务器10使用作业机械40的实机拍摄装置412、周围拍摄装置413、设备相机70等拍摄图像，将作业机械40的周边的拍摄图像显示到图像输出装置221上。操作员op不仅能够掌握作业机械40周围的状况，还把握与障碍物的相对位置关系等，因而能够可靠地进行作业。另外，操作员op无需自己花功夫进行拍摄装置的切换。125.在本发明的第一方面的作业辅助服务器中，优选的是，所述第二辅助处理元件基于下述信息来许可该作业机械的作业，该信息是指与对所述远程操作装置进行操作的操作员对显示于所述显示装置的所述周围图像的确认相关的信息。126.第二辅助处理元件基于操作员对显示于所述显示装置的周围图像的确认相关的信息，许可远程操作装置对作业机械的操作。由此，在由操作员确认了该周围图像的可能性高的状况下，本作业辅助服务器能够许可该作业机械的操作。127.另外，在本发明的第一方面的作业辅助服务器中，优选的是，所述信息是与所述周围图像显示于所述显示装置的时间相关的信息，所述第二辅助处理元件基于所述周围图像在所述显示装置上显示了规定时间这一情况，许可该作业机械进行作业。128.第二辅助处理元件基于周围图像在所述显示装置中显示了规定时间这一情况，推定为操作员已确认该周围图像的可能性高，能够许可该作业机械进行作业。129.另外，在本发明的第一方面的作业辅助服务器中，优选的是，所述信息是与所述操作员的确认动作的检测结果相关的信息，所述第二辅助处理元件基于检测到操作员对显示于所述显示装置的所述周围图像的所述确认动作这一情况，许可该作业机械进行作业。130.在该情况下，能够在检测到对显示于所述显示装置的周围图像的所述确认动作这种操作员确实确认了该周围图像的可能性高的状况时，第二辅助处理元件许可该作业机械进行作业。131.另外，在本发明的第一方面的作业辅助服务器中，优选的是，所述第一辅助处理元件基于由设置于所述作业机械的拍摄该作业机械的周围的周围拍摄装置拍摄到的拍摄图像，制作所述周围图像。132.第一辅助处理元件能够基于由设置于作业机械的周围拍摄装置拍摄到的拍摄图像来制作周围图像。然后，由于该周围图像被显示于显示装置，因此，本作业辅助服务器能够将该周围图像用于操作员的作业许可。133.另外，在本发明的第一方面的作业辅助服务器中，优选的是，所述第一辅助处理元件掌握配置在所述作业机械所处的作业现场的多个设备相机的位置和拍摄方向，并根据该设备相机的位置及拍摄方向和所述作业机械的位置，选择捕捉所述作业机械的所述设备相机，基于由该选择的所述设备相机拍摄到的拍摄图像，制作所述周围图像。134.在该情况下，第一辅助处理元件能够基于由配置于作业现场的设备相机拍摄到的拍摄图像来制作周围图像。由此，本作业辅助服务器即使在作业机械不具备周围拍摄装置的情况下，也能够制作周围图像。135.另外，在本发明的第一方面的作业辅助服务器中，优选的是，所述第一辅助处理元件基于由设置在能够在所述作业机械的上空飞行的飞行器上的拍摄装置拍摄到的拍摄图像，制作所述周围图像。136.在该情况下，第一辅助处理元件能够基于由设置于在作业机械的上空飞行的飞机器上的拍摄装置拍摄到的拍摄图像，制作周围图像。由此，本作业辅助服务器即使在作业机械不具备周围拍摄装置的情况下或者没有适当的设备相机的情况下，也能够制作周围图像。137.符号说明[0138]1…作业辅助系统，10…作业辅助服务器，20…远程操作装置，40…作业机械，70，70a，70b…设备相机，80…无人飞行器，121…第一辅助处理元件，122…第二辅助处理元件，200…远程控制装置，221…图像输出装置，222…作业者拍摄装置，412…实机拍摄装置，413…周围拍摄装置，425…驾驶室，427…下部行驶体，430…回转机构，435…上部回转体，440…工作机构(作业附件)，445…铲斗，460…测位装置，713…拍摄装置，723…通信设备，813…拍摄装置，823…通信设备，2110…行驶杆，2111…右侧操作杆，2112…左侧操作杆。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!