信息处理装置、信息处理系统、信息处理方法和程序与流程

控制;调节装置的制造及其应用技术1.本公开涉及信息处理装置、信息处理系统、信息处理方法和程序。更具体地，本公开涉及使得诸如无人机之类的飞行体能够以高精度着陆在目标着陆点处的信息处理装置、信息处理系统、信息处理方法和程序。背景技术：2.近年来，作为小型飞行体的无人机的使用迅速地增加。例如，无人机配备有相机，并且用于从空中捕获地面上的风景的图像的处理等。此外，还计划使用无人机运送包裹，并且进行了各种实验。3.目前，在许多国家，需要通过在人的监控下、即在人可以看到的范围内操作控制器来控制无人机的飞行。然而，在未来，假设将要使用许多不需要人的视觉监控的自主飞行无人机，即自主地从出发点飞行到目的地的无人机。4.这样的自主飞行无人机通过使用例如与控制中心的通信信息和gps位置信息从出发点飞行到目的地。5.自动飞行无人机的具体使用形式是通过无人机运送包裹。在由无人机执行包裹运送的情况下，请求包裹运送的用户期望将无人机着陆在特定位置处(例如，在用户住宅的入口前面、在用户住宅的庭院中等)，并且接收寄给用户的包裹。6.然而，例如，即使尝试通过使用gps的位置控制来在指定位置处进行着陆，gps的位置测量精度也存在限制，并且发生大约1m的误差的可能性很高。因此，难以精确地将无人机着陆在由用户期望的狭窄区域中，例如在用户住宅的入口前面和在用户住宅的庭院中。7.注意，专利文件1(日本专利申请特开第2018-506475号)是公开用于利用高度精确位置控制将无人机着陆在目标位置处的配置的现有技术之一。8.专利文件1公开了如下配置，其中，除了使用gps的位置控制之外，还通过使用光学传感器、近距离传感器、被配置为执行三角测量的射频系统(rf系统)等，利用高度精确位置控制将无人机着陆在目标位置处。9.然而，专利文件1中描述的配置是用于精确地将无人机着陆在充电系统的位置处的配置，并且是配备有各种特殊配置(诸如被配置为将无人机引导到作为着陆位置的充电系统侧的发射器)以实现精确着陆位置控制的配置。10.因此，例如，难以将专利文献1中描述的配置应用于对未配备有特殊设备的位置(诸如用户的庭院或入口的前面)的着陆位置控制。11.引用列表12.专利文献13.专利文件1：日本专利申请特开第2018-506475号14.专利文件2：日本专利申请特开第5920352号技术实现要素：15.本发明要解决的问题16.例如，鉴于上述问题，做出了本公开，并且其目的是提供能够以高精度将诸如无人机之类的飞行体着陆在目标计划着陆位置处的信息处理装置、信息处理系统、信息处理方法和程序。17.问题的解决方案18.本公开的第一方面是一种信息处理装置，包括：数据处理单元，所述数据处理单元执行对相机捕获图像的变换处理，其中，所述数据处理单元：基于通过利用用户终端捕获无人机的计划着陆位置的图像而获得的捕获图像来生成虚拟无人机相机图像，所述虚拟无人机相机图像是在假设安装在所述无人机上的虚拟无人机相机已经捕获了所述计划着陆位置的图像的情况下的估计捕获图像，生成表示所述用户终端的捕获图像上的像素位置和所述虚拟无人机相机的捕获图像上的像素位置之间的对应关系的对应像素位置关系公式，并且通过使用所述对应像素位置关系公式、使用所述用户终端的捕获图像来生成所述虚拟无人机相机图像。19.此外，本公开的第二方面是一种信息处理系统，包括：用户终端；以及无人机，其中，所述用户终端基于通过利用所述用户终端捕获所述无人机的计划着陆位置的图像而获得的捕获图像来生成虚拟无人机相机图像，所述虚拟无人机相机图像是在假设安装在所述无人机上的虚拟无人机相机已经捕获了所述计划着陆位置的图像的情况下的估计捕获图像；并且将所生成的虚拟无人机相机图像发送给所述无人机，以及所述无人机执行将所述虚拟无人机相机图像与安装在所述无人机上的无人机相机的捕获图像进行核对的处理，并且执行控制以着陆在所述无人机相机的捕获图像中包括的所述计划着陆位置处。20.此外，本公开的第三方面是一种在信息处理装置中执行的信息处理方法，所述信息处理装置包括数据处理单元，所述数据处理单元执行对相机捕获图像的变换处理，并且所述信息处理方法包括：由所述数据处理单元基于通过利用用户终端捕获无人机的计划着陆位置的图像而获得的捕获图像来生成虚拟无人机相机图像，所述虚拟无人机相机图像是在假设安装在所述无人机上的虚拟无人机相机已经捕获了所述计划着陆位置的图像的情况下的估计捕获图像；以及由所述数据处理单元生成表示所述用户终端的捕获图像上的像素位置和所述虚拟无人机相机的捕获图像上的像素位置之间的对应关系的对应像素位置关系公式，并且通过使用所述对应像素位置关系公式、使用所述用户终端的捕获图像来生成所述虚拟无人机相机图像。21.此外，本公开的第四方面是一种在包括用户终端和无人机的信息处理系统中执行的信息处理方法，所述信息处理方法包括：由所述用户终端基于通过利用所述用户终端捕获所述无人机的计划着陆位置的图像而获得的捕获图像来生成虚拟无人机相机图像，所述虚拟无人机相机图像是在假设安装在所述无人机上的虚拟无人机相机已经捕获了所述计划着陆位置的图像的情况下的估计捕获图像；并且将所生成的虚拟无人机相机图像发送给所述无人机；以及由所述无人机执行将所述虚拟无人机相机图像与安装在所述无人机上的无人机相机的捕获图像进行核对的处理，并且执行控制以着陆在所述无人机相机的捕获图像中包括的所述计划着陆位置处。22.此外，本公开的第五方面是一种使信息处理装置执行信息处理的程序，所述信息处理装置包括数据处理单元，所述数据处理单元执行对相机捕获图像的变换处理，所述程序使数据处理单元：执行基于通过利用用户终端捕获无人机的计划着陆位置的图像而获得的捕获图像来生成虚拟无人机相机图像的处理，所述虚拟无人机相机图像是在假设安装在所述无人机上的虚拟无人机相机已经捕获了所述计划着陆位置的图像的情况下的估计捕获图像；以及生成表示所述用户终端的捕获图像上的像素位置和所述虚拟无人机相机的捕获图像上的像素位置之间的对应关系的对应像素位置关系公式，并且通过使用所述对应像素位置关系公式、使用所述用户终端的捕获图像来生成所述虚拟无人机相机图像。23.注意，本公开的程序例如是可以作为存储介质或通信介质提供的程序，其以计算机可读形式提供给可以执行各种程序代码的信息处理装置或计算机系统。由于以计算机可读形式提供这样的程序，因此可以在信息处理装置或计算机系统上实现根据该程序的处理。24.根据基于后面描述的本公开的实施例和附图的详细描述，本公开的其他目的、特征和优点将变得明显。注意，本说明书中的术语“系统”指的是多个装置的逻辑集合配置，并且不限于其中各个配置的装置被设置在同一壳体中的系统。25.根据本公开的一个实施例的配置，实现了能够精确地将无人机着陆在由用户指定的计划着陆位置处的配置。26.具体地，例如，用户终端基于通过利用用户终端捕获无人机的计划着陆位置而获得的捕获图像来生成虚拟无人机相机图像，该虚拟无人机相机图像是在假设安装在所述无人机上的虚拟无人机相机已经捕获了计划着陆位置的图像的情况下的估计捕获图像；并且将所生成的虚拟无人机相机图像发送给无人机。无人机将虚拟无人机相机图像与由无人机相机捕获的图像进行核对，并且着陆在由无人机相机捕获的图像中的计划着陆位置处。用户终端生成表示用户终端的捕获图像上的像素位置和虚拟无人机相机的捕获图像上的像素位置之间的对应关系的对应像素位置关系公式，并且使用所生成的关系公式来生成虚拟无人机相机图像。27.根据该配置，实现了能够精确地将无人机着陆在由用户指定的计划着陆位置的配置。28.注意，本说明书中描述的效果仅是示例并且不受限制，并且可以存在附加效果。附图说明29.图1是用于描述由本公开的信息处理装置执行的处理的图。30.图2是示出由本公开的信息处理装置顺序地执行的(处理1)到(处理4)的处理的流程图。31.图3是用于描述本公开的信息处理装置和信息处理系统的配置示例的图。32.图4是用于描述本公开的信息处理装置和信息处理系统的配置示例的图。33.图5是用于描述作为本公开的信息处理装置的用户终端的配置示例的图。34.图6是用于描述由本公开的信息处理装置执行的(处理1)的图。35.图7是用于描述相机坐标系和ned坐标系的图。36.图8是用于描述在由本公开的信息处理装置执行的处理中使用的多个坐标系的图。37.图9是用于描述在坐标系的位置信息被变换为不同坐标系的位置信息的情况下的处理示例的图。38.图10是用于描述三个坐标变换矩阵的示例的图。39.图11是用于描述由作为本公开的信息处理装置的用户终端执行的计算坐标变换矩阵(ctned)的处理的具体示例的图。40.图12是用于描述由作为本公开的信息处理装置的用户终端执行的计算坐标变换矩阵(ctned)的处理的具体示例的图。41.图13是用于描述针孔相机模型的图。42.图14是用于描述针孔相机模型的图。43.图15是用于描述由作为本公开的信息处理装置的用户终端执行的计算坐标变换矩阵(ctned)的处理的具体示例的图。44.图16是用于描述由作为本公开的信息处理装置的用户终端执行的计算坐标变换矩阵(ctned)的处理的具体示例的图。45.图17是用于描述考虑到在三个不同位置处的无人机的成像时间段期间的相机的位置和姿态的变化的处理的图。46.图18是用于描述考虑到在三个不同位置处的无人机的成像时间段期间的相机的位置和姿态的变化的处理的图。47.图19是用于描述由本公开的信息处理装置执行的处理序列的流程图。48.图20是用于描述用户终端从无人机或无人机管理服务器接收ned坐标系中的无人机飞行路径信息的处理的图。49.图21是用于描述记录在本公开的信息处理装置的存储单元(存储器)中的数据的示例的图。50.图22是用于描述由本公开的信息处理装置执行的处理序列的流程图。51.图23是用于描述记录在本公开的信息处理装置的存储单元(存储器)中的数据的示例的图。52.图24是用于描述由本公开的信息处理装置执行的(处理2)的图。53.图25是用于描述计划着陆位置的用户指定和计划着陆位置识别标记的显示示例的图。54.图26是用于描述由本公开的信息处理装置执行的(处理2)的处理序列的流程图。55.图27是示出应用于由本公开的信息处理装置执行的(处理2)中的“虚拟无人机相机捕获图像”生成处理的参数的图。56.图28是示出应用于由本公开的信息处理装置执行的(处理2)中的“虚拟无人机相机捕获图像”生成处理的参数的图。57.图29是用于描述由本公开的信息处理装置执行的(处理3)的图。58.图30是示出由本公开的信息处理装置执行的(处理4)的图。59.图31是用于描述作为本公开的信息处理装置的用户终端的配置示例的图。60.图32是示出作为本公开的信息处理装置的用户终端和无人机控制装置的配置示例的图。61.图33是示出作为本公开的信息处理装置的用户终端、无人机控制装置和无人机管理服务器的硬件配置示例的图。具体实施方式62.在下文中，将参考附图描述根据本公开的信息处理装置、信息处理系统、信息处理方法和程序的细节。注意，将根据以下项目进行说明。63.1.关于用于将无人机着陆在目标计划着陆位置处的一般配置示例64.2.由本公开的信息处理装置或信息处理系统执行的处理65.3.关于本公开的信息处理装置和信息处理系统的配置示例66.4.由本公开的信息处理装置或信息处理系统执行的处理的细节67.4-1.(处理1)关于分析由无人机和用户终端使用的不同坐标上的位置之间的关系以计算坐标变换矩阵的坐标分析处理的细节68.4-2.(处理2)关于由用户终端执行的计划着陆位置成像处理、以及基于捕获图像的虚拟无人机相机图像的生成处理和发送处理的细节69.4-3.(处理3和4)关于由无人机执行的使用虚拟无人机相机图像执行在计划着陆位置处的着陆的处理的细节70.5.关于其他实施例71.6.关于本公开的信息处理装置的配置示例72.7.本公开的配置的总结73.[1.关于用于将无人机着陆在目标计划着陆位置处的一般配置示例][0074]在描述本公开的配置之前，首先，将描述用于将无人机着陆在目标计划着陆位置处的一般配置示例。[0075]如上所述，目前，在许多国家，需要通过在人的监控下、即在人可以看到的范围内操作控制器来控制无人机的飞行。[0076]如果在查看无人机的同时执行控制器的操作，则可以以高精度将无人机着陆在目标计划着陆位置处。[0077]然而，在未来，假设将要使用许多不需要人的视觉监控的自主飞行无人机，即自主从出发点飞行到目的地的无人机。这样的自主飞行无人机通过使用例如与控制中心的通信信息和gps位置信息从出发点飞行到目的地。[0078]自主飞行无人机的具体使用形式是通过无人机运送包裹。在由无人机执行包裹运送的情况下，请求包裹运送的用户期望将无人机着陆在特定位置处(例如，在用户住宅的入口前面、在用户住宅的庭院中等)，并且接收寄给用户的包裹。[0079]可用于将无人机着陆在目标计划着陆位置处的着陆位置控制的处理示例包括以下处理。[0080](1)使用gps的着陆位置控制处理[0081](2)使用布置在着陆位置处的标记的着陆位置控制处理[0082](3)使用由无人机的相机获得的捕获图像的着陆位置控制处理将描述这些处理中的每个处理的概要。[0083](1)使用gps的着陆位置控制处理[0084]该处理是在基于来自gps卫星的接收数据确认无人机的自身位置(纬度和经度信息)的同时在目标着陆位置处执行着陆的处理。[0085]在这种使用gps的方法中，可能会发生米级误差，导致着陆在与期望地点不同的地点处。在目标着陆地点狭窄的地点(例如在建筑密集的住宅区等)，存在与房屋的屋顶碰撞的风险。[0086]此外，在来自gps卫星的无线电波较弱的地点，精度进一步降低。[0087]此外，由来自gps卫星的无线电波在建筑物、地面等上的反射产生的多径也会降低位置测量精度，并且这种多径很可能在公寓和住宅排列成行的区域中产生，使得难以以高精度执行着陆位置控制。[0088](2)使用布置在着陆位置处的标记的着陆位置控制处理[0089]该处理是这样的方法：在目标着陆位置处布置标记(例如，qr码(注册商标)的标记等)，利用配备有下方相机的无人机捕获标记的图像，通过图像核对来确定着陆地点，以及控制着陆位置。[0090]与上述使用gps的位置控制相比，该方法使得能够以更高精度进行位置控制。此外，该方法还可用在狭窄的地点或gps的无线电波较弱的地点。然而，需要安装具有可被无人机识别的大小的标记。[0091]例如，需要向请求包裹运送的用户分发预先记录了标记的纸张，以便在运送时间之前将记录标记的纸张布置在由用户期望的位置处。以这种方式，这种使用标记的方法具有预先准备和用户负担增加的问题。[0092](3)使用由无人机的相机获得的捕获图像的着陆位置控制处理[0093]该方法是这样的方法：通过安装在无人机上的向下相机在起飞时捕获起飞地点(着陆地点)的图像，将捕获图像作为注册图像存储在存储器中，然后，在起飞和飞行之后将在着陆时由向下相机捕获的起飞地点(着陆地点)的图像与存储在存储器中的注册图像进行核对，以通过图像核对来控制着陆位置。[0094]与使用gps的位置控制相比，该方法还使得能够进行更高精度的位置控制，并且即使在狭窄的地点或gps的无线电波较弱的地点也可以使用。此外，无需准备或安装标记。[0095]然而，存在的问题是，只有在当无人机起飞时捕获起飞地点(着陆地点)并且无人机着陆在与起飞地点相同的地点处的情况下，该方法才可以使用。[0096]在使用无人机进行包裹运送的情况下，起飞地点是包裹运送办公室，并且着陆地点是包裹的运送目的地。难以在起飞时捕获着陆地点的图像，使得这种方法不适用于包裹运送无人机。[0097]本公开的配置解决了这些问题。[0098]在下文中，将描述本公开的配置。[0099][2.由本公开的信息处理装置或信息处理系统执行的处理][0100]接下来，将描述由本公开的信息处理装置或信息处理系统执行的处理。[0101]图1是用于描述由本公开的信息处理装置或信息处理系统执行的处理的图。[0102]图1示出了以下四个处理。[0103](处理1)分析由无人机和用户终端使用的不同坐标上的位置之间的关系以计算坐标变换矩阵的坐标分析处理[0104](处理2)由用户终端捕获计划着陆位置的图像、基于捕获图像生成“虚拟无人机相机图像”、并且将所生成的“虚拟无人机相机图像”、计划着陆位置的gps位置信息等发送给无人机或无人机管理服务器的处理[0105](处理3)无人机基于gps位置信息移动到计划着陆位置上方的空中的处理[0106](处理4)无人机通过无人机相机捕获图像和从用户终端接收到的“虚拟无人机相机图像”之间的图像核对来确认计划着陆位置并且执行着陆的处理[0107]在(处理1)到(处理4)的这四个处理中，(处理1)和(处理2)的处理是预准备处理，而(处理3)和(处理4)的处理是使用(处理1)和(处理2)的预准备处理中生成的数据将无人机移动并且着陆到目的地的处理。[0108]在下文中，将简要描述(处理1)到(处理4)的处理的概要，并且将在后面依次描述各个处理的细节。[0109](处理1)分析由无人机和用户终端使用的不同坐标上的位置之间的关系以计算坐标变换矩阵的坐标分析处理[0110]许多无人机(诸如图1的(1)中所示的无人机20)使用gps卫星的通信信息来执行位置控制。从gps卫星获得的位置信息是纬度信息、经度信息和高度信息。许多无人机经常使用ned坐标系来确认位置并且控制飞行路线，以便使用这些信息飞行。[0111]ned坐标是以北、东和下为三个轴而设定的坐标。[0112]同时，由用户终端10(诸如图1的(1)中所示的由用户1持有的配备有相机的智能电话)的相机捕获的图像(＝显示在用户终端10的显示单元上的图像)是符合根据相机的成像方向设定的相机坐标系的图像数据。[0113]相机坐标系和ned坐标是完全不同的坐标系。因此，例如，可以使用相机坐标系来表示包括在相机的捕获图像中的每个被摄体的位置，但是不知道由相机坐标系表示的被摄体位置对应于ned坐标系中的哪个位置。[0114]在(处理1)中，分析由无人机使用的ned坐标系、由用户终端使用的相机坐标系、以及这些不同坐标系上的对应位置之间的关系，以计算将一个坐标系的位置变换为另一个坐标系的位置的坐标变换矩阵。[0115]注意，在计算坐标变换矩阵时，使用被固定为参考坐标的一个世界坐标系。在本公开的处理中，应用于由用户终端10执行的slam处理(即并行执行相机位置识别(定位)和环境地图创建(地图构建)的同时定位与地图构建(slam)处理)的坐标系(slam坐标系)被用作作为参考坐标系的世界坐标系。[0116]将在后面描述具体处理。[0117](处理2)由用户终端捕获计划着陆位置的图像、基于捕获图像生成“虚拟无人机相机图像”、并且将所生成的“虚拟无人机相机图像”、计划着陆位置的gps位置信息等发送给无人机或无人机管理服务器的处理[0118]在该(处理2)中，如图1的(2)中所示，用户1使用用户终端10来捕获期望将无人机20着陆的地面上的预定位置(计划着陆位置)的图像，基于捕获图像生成“虚拟无人机相机图像”，并且将所生成的“虚拟无人机相机图像”、计划着陆位置的gps位置信息等发送给无人机或无人机管理服务器。[0119]注意，“虚拟无人机相机图像”是在由空中的无人机20的无人机相机22捕获计划着陆位置的情况下估计要捕获的虚拟图像。[0120]用户1使用用户终端10捕获计划着陆位置的图像，并且基于捕获图像生成“虚拟无人机相机图像”。[0121]后面将描述该处理的细节。[0122](处理3)无人机基于gps位置信息移动到计划着陆位置上方的空中的处理[0123]该(处理3)是无人机20基于在上述(处理2)中从用户终端10接收到的计划着陆位置的gps位置信息到达计划着陆位置上方的空中的处理。[0124]如图1的(3)中所示，无人机20与gps卫星30通信，并且在确认自身位置的同时飞行到自身位置与从用户终端10接收到的计划着陆位置的gps位置信息一致的位置。利用该处理，无人机20到达计划着陆位置上方的空中。[0125](处理4)无人机通过无人机相机捕获图像和从用户终端接收到的“虚拟无人机相机图像”之间的图像核对来确认计划着陆位置并且执行着陆的处理[0126]该(处理4)是无人机20通过安装在无人机20上的相机(无人机相机22)的相机捕获图像和从用户终端接收到的“虚拟无人机相机图像”之间的图像比较来确认计划着陆位置并且执行着陆的处理。[0127]图2中所示的流程是示出用于顺序执行图1中所示的(处理1)到(处理4)的各个处理的流程图的图。[0128]在本公开的系统中，顺序执行这些(处理1)到(处理4)。通过这些处理，无人机20可以精确地着陆在由用户1指定的计划着陆位置处。[0129]将在后续阶段依次描述这些(处理1)到(处理4)的细节。[0130][3.关于本公开的信息处理装置和信息处理系统的配置示例][0131]接下来，将参考图3和图4描述本公开的信息处理装置和信息处理系统的配置示例。[0132]图3是示出本公开的信息处理装置和信息处理系统的一个配置示例的图。本公开的信息处理装置的示例是用户终端10，例如由用户1拥有的配备有相机的智能电话。此外，安装在无人机20上的无人机控制装置21也是本公开的信息处理装置的示例。[0133]无人机控制装置21包括无人机相机(向下相机)22。替选地，无人机控制装置21具有输入与无人机控制装置21分开配置的无人机相机(向下相机)22的捕获图像的配置。[0134]用户终端10和无人机控制装置21具有通信功能，并且可以彼此通信。[0135]本公开的信息处理系统包括例如图3中所示的用户终端10和无人机控制装置21。[0136]图4示出本公开的信息处理系统的另一配置示例。图4中所示的本公开的信息处理系统具有这样的配置，其中无人机管理服务器40被添加到用户终端10(例如由用户1拥有的配备有相机的智能电话)和安装在无人机20上的无人机控制装置21。[0137]无人机管理服务器40也是本公开的信息处理装置的示例。[0138]无人机管理服务器40与无人机20的无人机控制装置21通信，并且进一步与用户终端10通信。[0139]在该配置中，即使在难以在用户终端10和无人机控制装置21之间执行直接通信的配置中，也可以执行经由无人机管理服务器40的通信。[0140]以这种方式，本公开的信息处理装置和信息处理系统具有例如图3和图4中所示的配置。[0141][4.由本公开的信息处理装置或信息处理系统执行的处理的细节][0142]接下来，将关于以上参考图1和图2描述的以下四个处理，依次描述各个处理的细节。[0143](处理1)分析由无人机和用户终端使用的不同坐标上的位置之间的关系以计算坐标变换矩阵的坐标分析处理[0144](处理2)由用户终端捕获计划着陆位置的图像、基于捕获图像生成“虚拟无人机相机图像”、并且将所生成的“虚拟无人机相机图像”、计划着陆位置的gps位置信息等发送给无人机或无人机管理服务器的处理[0145](处理3)无人机基于gps位置信息移动到计划着陆位置上方的空中的处理[0146](处理4)无人机通过无人机相机捕获图像和从用户终端接收到的“虚拟无人机相机图像”之间的图像核对来确认计划着陆位置并且执行着陆的处理[0147]在详细描述上述(处理1)到(处理4)中的每一个之前，将参考图5描述由用户终端10执行的(处理1)和(处理2)的概要以及被配置为执行这些处理的用户终端的配置。[0148]图5是示出执行上述(处理1)和(处理2)的用户终端的配置的框图。[0149]用户终端10包括相机101、输入单元102、(处理1)执行单元110、(处理2)执行单元120和通信单元130。[0150](处理1)执行单元110接收通过相机101捕获空中的无人机而获得的无人机的捕获图像的输入，并且执行上述(处理1)，即以下(处理1)。[0151](处理1)分析由无人机和用户终端使用的不同坐标上的位置之间的关系以计算坐标变换矩阵的坐标分析处理[0152](处理1)执行单元110包括图像分析单元111、同时定位与地图构建单元(slam)112和坐标变换矩阵生成单元113。[0153]如图1的(1)中所示，(处理1)执行单元110通过接收当用户1利用相机101捕获空中的无人机时获得的无人机的捕获图像的输入来执行该处理。[0154]图像分析单元111从相机101接收无人机的捕获图像的输入，检测在无人机的捕获图像中反映的无人机的位置(图像中的位置(像素位置))，并且将检测信息输出到坐标变换矩阵生成单元。[0155]注意，这样的无人机位置信息是符合相机坐标系的位置信息。[0156]同时定位与地图构建单元(slam)112接收无人机的捕获图像的输入，并且执行slam处理，即并行执行相机位置识别(定位)和环境地图创建(地图构建)的同时定位与地图构建(slam)处理，以及将通过执行用户终端10的自身位置和姿态信息计算而计算出的自身位置和姿态信息输出到坐标变换矩阵生成单元113。[0157]坐标变换矩阵生成单元113从图像分析单元111接收无人机捕获图像中的无人机位置(图像中的位置(像素位置))信息的输入，以及从同时定位与地图构建单元(slam)112接收用户终端10的自身位置和姿态信息的输入。[0158]此外，坐标变换矩阵生成单元113从无人机20或无人机管理服务器40接收无人机位置和姿态信息的输入。[0159]注意，从无人机20或无人机管理服务器40输入的无人机位置和姿态信息是符合用于无人机的位置控制的坐标系(ned坐标系)的位置信息。[0160]坐标变换矩阵生成单元113基于这些输入信息分析不同坐标系(即相机坐标系和ned坐标系)上的坐标之间的对应位置关系，并且计算可以将一个坐标系的位置变换为另一个坐标系的位置的坐标变换矩阵。[0161]注意，如上所述，在计算坐标变换矩阵时，使用被固定为参考坐标的一个世界坐标系。在本公开的处理中，应用于由用户终端10执行的slam处理(即并行执行相机位置识别(定位)和环境地图创建(地图构建)的同时定位与地图构建(slam)处理)的坐标系(slam坐标系)被用作作为参考坐标系的世界坐标系。[0162]由(处理1)执行单元110计算的坐标变换矩阵被输入到(处理2)执行单元120的虚拟无人机相机生成单元122。[0163]虚拟无人机相机生成单元122使用由(处理1)执行单元110计算的坐标变换矩阵来生成“虚拟无人机相机图像”。[0164]注意，如上所述，“虚拟无人机相机图像”是在由空中的无人机20的无人机相机22捕获计划着陆位置的情况下估计要捕获的虚拟图像。[0165](处理2)执行单元120包括发送数据生成单元121。发送数据生成单元121包括虚拟无人机相机图像生成单元122。[0166](处理2)执行单元120接收捕获计划着陆位置的图像的输入，并且执行该处理。如图1的(2)中所示，用户1使用用户终端10来输入通过捕获期望将无人机20着陆的地面上的计划着陆位置而获得的图像，并且执行该处理。[0167](处理2)执行单元120的虚拟无人机相机图像生成单元122生成“虚拟无人机相机图像”，该“虚拟无人机相机图像”是在由空中的无人机20的无人机相机22捕获计划着陆位置的情况下估计要捕获的虚拟图像。[0168]虚拟无人机相机图像生成单元122对捕获计划着陆位置的图像执行图像变换(例如，投影变换)以生成“虚拟无人机相机图像”。[0169]由(处理1)执行单元110计算的坐标变换矩阵用于该“虚拟无人机相机图像”的生成处理。[0170]此外，从输入单元102、外部无人机200或无人机管理服务器40获取“虚拟无人机相机图像”的生成处理所需的数据。例如，[0171](1)用户终端高度(距计划着陆位置的高度)，[0172](2)计划着陆位置(捕获图像中的位置)，以及[0173](3)捕获虚拟无人机相机图像时的高度、姿态(偏航角)和视角[0174]虚拟无人机相机图像生成单元122输入或获取这些数据，并且执行“虚拟无人机相机图像”的生成处理。[0175]由虚拟无人机相机图像生成单元122生成的“虚拟无人机相机图像”与其他信息一起经由通信单元130从发送数据生成单元121发送给无人机20或无人机管理服务器40。[0176]无人机20使用这些信息执行参考图1描述的(处理3)和(处理4)的各自处理。即，执行在由用户1指定的计划着陆位置处进行着陆的处理。[0177]在下文中，将描述(处理1)到(处理4)的各自处理的细节。[0178][4-1.(处理1)关于分析由无人机和用户终端使用的不同坐标上的位置之间的关系以计算坐标变换矩阵的分析处理的细节][0179]首先，将参考图6和后续附图来描述参考图1的(1)描述的(处理1)的细节，即以下(处理1)：[0180](处理1)分析由无人机和用户终端使用的不同坐标上的位置之间的关系以计算坐标变换矩阵的坐标分析过程[0181]如上所述，许多无人机(诸如图6中所示的无人机20)使用gps卫星的通信信息执行位置控制。从gps卫星获得的位置信息是纬度信息、经度信息和高度信息。许多无人机经常使用ned坐标系确认位置并且控制飞行路线，以便使用这些信息飞行。[0182]ned坐标是以北、东和下为三个轴而设定的坐标。[0183]同时，由用户终端10(诸如图6中所示的由用户1持有的配备有相机的智能电话)的相机捕获的图像(＝显示在用户终端10的显示单元上的图像)是符合根据相机的成像方向设定的相机坐标系的图像数据。[0184]相机坐标系和ned坐标是完全不同的坐标系。因此，例如，可以使用相机坐标系来表示包括在相机的捕获图像中的每个被摄体的位置，但是不知道由相机坐标系表示的被摄体位置对应于ned坐标系中的哪个位置。[0185]在(处理1)中，执行分析由无人机和用户终端使用的不同坐标上的位置之间的关系以计算坐标变换矩阵的坐标分析处理。具体地，计算能够变换由无人机使用的ned坐标系和由用户终端使用的相机坐标系的不同坐标系上的位置的坐标变换矩阵。[0186]例如，一个固定世界坐标系被用作用于变换处理的一个参考坐标。[0187]注意，在本公开的处理中，应用于由用户终端10执行的slam处理(即并行执行相机位置识别(定位)和环境地图创建(地图构建)的同时定位与地图构建(slam)处理)的坐标系(slam坐标系)被用作作为参考坐标系的世界坐标系。[0188]在执行分析由无人机使用的坐标系和由用户终端使用的坐标系之间的对应关系的处理的情况下，如图6中所示，用户1使用用户终端10来捕获在空中飞行的无人机20的图像，该用户终端10是配备有相机的智能电话(智能电话)。[0189]用户终端10分析捕获图像，并且执行分析作为由无人机使用的坐标系的ned坐标系和由用户终端使用的相机坐标系之间的对应关系的处理。[0190]注意，相机坐标系根据相机的移动而变化，因此，在(处理1)中使用被固定为参考坐标的世界坐标系(slam坐标系)，其用作一个参考。[0191]也就是说，计算可以将由无人机使用的ned坐标系和由用户终端使用的相机坐标系的不同坐标系上的位置表示为一个参考坐标上的位置的坐标变换矩阵。[0192]如图7中所示，ned坐标系(n、e、d)中的位置信息用于无人机20的飞行控制，而显示在用户终端10(例如智能电话)上的相机捕获图像是符合根据相机的成像方向设定的相机坐标系(xc、yc、zc)的图像数据。[0193]将参考图8描述在由本公开的信息处理装置执行的上述(处理1)中使用的多个坐标系。[0194]图8示出了以下三个坐标系。[0195](1)相机坐标系[0196](2)ned坐标系[0197](3)世界坐标系(slam坐标系)(参考坐标系)[0198](1)相机坐标系是能够定义用户终端10的相机捕获图像的图像位置(像素位置)的坐标系。相机坐标系是这样的坐标系，其中相机的焦点是原点c，图像平面是xc和yc的二维平面，光轴方向(深度)是zc，并且原点c随着相机移动而移动。例如，相机坐标系是这样的坐标系，其中诸如c-mos之类的成像元件的水平轴是xc轴，其垂直轴是yc轴，并且其光轴方向是zc轴。显示单元的二维平面(uv平面)对应于相机坐标的xc-yc平面。[0199](2)ned坐标系是表示无人机20的位置和飞行路径的位置并且用于无人机20的飞行控制的坐标系。[0200]许多无人机20使用gps卫星的通信信息执行位置控制。从gps卫星获得的位置信息是纬度信息、经度信息和高度信息，并且许多无人机使用ned坐标系，以便使用这些信息飞行。[0201]ned坐标系是以北、东和下为三个轴而设定的坐标。[0202]无人机20或控制中心等的无人机管理服务器40将作为关于无人机20的飞行路径或计划飞行路径的信息的飞行路径信息保存为ned坐标系中的路径信息(n，e，d)，并且将符合ned坐标的该路径信息提供给诸如智能电话之类的用户终端10。[0203](3)世界坐标系(slam坐标系)(参考坐标系)主要用作定义在三维图形中使用的整个空间的坐标系。[0204]在本公开的处理中，世界坐标系是应用于由用户终端10执行的slam处理(即并行执行相机位置识别(定位)和环境地图创建(地图构建)的同时定位与地图构建(slam)处理)的坐标系(slam坐标系)。[0205]在本公开的处理中，使用世界坐标系(slam坐标系)作为“参考坐标系”。[0206]也就是说，在(处理1)中，计算如下坐标变换矩阵，该坐标变换矩阵被配置为使得由用户终端10使用的相机坐标系上的位置和由无人机20使用的ned坐标系上的位置能够被表示为作为一个参考坐标系的世界坐标系(slam坐标系)上的位置。[0207]如图8的中央下部所述，显示图像(在下文中被称为相机图像平面坐标系)的每个像素位置(u，v)对应于相机坐标系中的xyz坐标(xc，yc，zc)。[0208]例如，如果根据由ned坐标系表示的飞行路径的位置和显示图像中的每个像素位置(u，v)来估计ned坐标系中的相机的位置和姿态，并且可以根据所估计的信息来执行到由相机坐标系表示的位置的变换，则可以执行在由相机坐标系表示的显示图像上精确地输出无人机20的飞行路径的处理。[0209]图9是用于描述将坐标系的位置信息变换为不同坐标系的位置信息的处理的示例的图。[0210]图9中所示的示例示出了将世界坐标系中的位置信息(xw，yw，zw)变换为相机坐标系中的位置信息(xc，yc，zc)所需的坐标变换矩阵ctws。[0211]图9的中央上部所示的三维空间中的一个点(x)的在世界坐标系(slam坐标系)中的位置和在相机坐标系中的位置表示如下。[0212]在世界坐标系(slam坐标系)中的位置：wspx[0213]在相机坐标系中的位置：cpx[0214]这里，将三维空间中的一个点(x)的在世界坐标系(slam坐标系)中的位置(wspx)变换为在相机坐标系中的位置(cpx)的坐标变换矩阵表示如下。[0215]ctws[0216]如图9的下半部分中所示，将三维空间中的一个点(x)的在世界坐标系(slam坐标系)中的位置(wspx)变换为在相机坐标系中的位置(cpx)的公式可以由以下公式(公式1)来表示。[0217]cpx＝ctws×wspx...(公式1)[0218]这里，将世界坐标系(slam坐标系)中的位置(wspx)变换为相机坐标系中的位置(cpx)的坐标变换矩阵为[0219]ctws，[0220]并且这个坐标变换矩阵可以表示为以下行列式(公式2)。[0221][表达式1][0222][0223]注意，在上述(公式2)中，[0224]crws是如下旋转矩阵，该旋转矩阵将世界坐标系(slam坐标系)中定义的姿态变换为相机坐标系中定义的姿态，以及[0225]wspc是世界坐标系(slam坐标系)中的相机位置。[0226]注意，在本示例中，相机位置对应于用户终端10的相机的位置。[0227]上述(公式2)中所示的坐标变换矩阵、即将世界坐标系(slam坐标系)中的位置(wspx)变换为相机坐标系中的位置(cpx)的坐标变换矩阵为：[0228]ctws，[0229]并且可以通过使用相机、即用户终端10执行slam处理来计算该坐标变换矩阵。也就是说，可以通过使用用户终端10执行并行执行相机位置识别(定位)和环境地图创建(地图构建)的同时定位与地图构建(slam)处理来计算该坐标变换矩阵。[0230]上述(公式2)中所示的坐标变换矩阵ctws是将世界坐标系(slam坐标系)中的位置(wspx)变换为相机坐标系中的位置(cpx)的坐标变换矩阵。[0231]如以上参考图8所述，在本公开的处理中，存在三个不同的坐标系：[0232](1)相机坐标系；[0233](2)ned坐标系；以及[0234](3)世界坐标系(slam坐标系)(＝参考坐标系)，[0235]并且执行使用这些坐标系的处理。[0236]图10示出这三个坐标系的坐标变换矩阵的示例。[0237]图10示出以下三个坐标变换矩阵。[0238]ctws：将世界坐标系(slam坐标系)(＝参考坐标系)中的位置(wspx)变换为相机坐标系中的位置(cpx)的坐标变换矩阵。[0239]ctned：将ned坐标系中的位置(nedpx)变换为相机坐标系中的位置(cpx)的坐标变换矩阵[0240]wstned：将ned坐标系中的位置(nedpx)变换为世界坐标系(slam坐标系)(＝参考坐标系)中的位置(wspx)的坐标变换矩阵[0241]注意，三个坐标变换矩阵中的每一个的坐标变换矩阵都可以根据其他两个坐标变换矩阵来计算。例如，将ned坐标系中的位置(nedpx)变换为世界坐标系(slam坐标系)中的位置(wspx)的wstned坐标变换矩阵可以使用其他两个坐标转换矩阵(ctws和ctned)根据以下公式来计算。[0242]wstned＝＝ctws-1×ctned[0243]注意，ctws-1是ctws的逆矩阵，并且是可以根据ctws计算的矩阵。[0244]该ctws-1对应于坐标变换矩阵wstc，该坐标变换矩阵wstc将相机坐标系中的位置(cpx)变换为世界坐标系(slam坐标系)(＝参考坐标系)中的位置(wspx)。[0245]与上述描述类似，将世界坐标系(slam坐标系)(＝参考坐标系)中的位置(wspx)变换为相机坐标系中的位置(cpx)的坐标变换矩阵ctws可以使用其他两个坐标变换矩阵(wstned和ctned)根据以下公式来计算。[0246]ctws＝ctned×wstned-1[0247]此外，将ned坐标系中的位置(nedpx)变换为相机坐标系中的位置(cpx)的坐标变换矩阵ctned可以使用其他两个坐标变换矩阵(wstned和ctws)根据以下公式来计算。[0248]ctned＝ctws×wstned[0249]注意，图10中所示的三个坐标变换矩阵的逆矩阵是执行相反方向上的坐标变换的坐标变换矩阵。也就是说，[0250]ctws：将世界坐标系(slam坐标系)(＝参考坐标系)中的位置(wspx)变换为相机坐标系中的位置(cpx)的坐标变换矩阵，[0251]并且其逆矩阵ctws-1为[0252]wstc，即将相机坐标系中的位置(cpx)变换为世界坐标系(slam坐标系)(＝参考坐标系)中的位置(wspx)的坐标变换矩阵。[0253]此外，ctned是将ned坐标系中的位置(nedpx)变换为相机坐标系中的位置(cpx)的坐标变换矩阵，[0254]并且其逆矩阵ctned-1为[0255]nedtc，即将相机坐标系中的位置(cpx)变换为ned坐标系中的位置(nedpx)的坐标变换矩阵。[0256]此外，wstned是将ned坐标系中的位置(nedpx)变换为世界坐标系(slam坐标系)(＝参考坐标系)中的位置(wspx)的坐标转换矩阵，[0257]并且其逆矩阵wstned-1为[0258]nedtws，即将世界坐标系(slam坐标系)(＝参考坐标系)中的位置(wspx)变换为ned坐标系中的位置(nedpx)的坐标变换矩阵。[0259]注意，坐标变换矩阵a的逆矩阵a-1可以根据坐标变换矩阵a来计算。[0260]因此，如果可以在这三个坐标变换矩阵(即图10中所示的ctws、ctned和wstned这三个坐标变换矩阵)当中计算出至少两个坐标变换矩阵，则可以执行三个坐标系(即如下这三个坐标系)之间的变换：[0261](1)相机坐标系；[0262](2)ned坐标系；以及[0263](3)世界坐标系(slam坐标系)(＝参考坐标系)，[0264]并且由任何坐标系表示的位置都可以表示为另一坐标系中的位置。[0265]参考图1等描述的(处理1)是以下处理：[0266](处理1)分析由无人机和用户终端使用的不同坐标上的位置之间的关系以计算坐标变换矩阵的坐标分析处理，[0267]并且该(处理1)具体地作为计算坐标变换矩阵的处理来执行，该坐标变换矩阵将被应用于用于生成将在接下来(处理2)中生成的“虚拟无人机相机图像”的参数计算。[0268]注意，“虚拟无人机相机图像”是在由空中的无人机20的无人机相机22捕获计划着陆位置的情况下估计要捕获的虚拟图像。[0269]在图1中所示的(处理2)中，用户1使用用户终端10捕获计划着陆位置的图像，并且基于捕获图像生成“虚拟无人机相机图像”。[0270]在(处理1)中，计算将被应用于用于生成“虚拟无人机相机图像”的参数计算的坐标变换矩阵。[0271]如上所述，如果可以在这三个坐标变换矩阵(即图10中所示的ctws、ctned和wstned这三个坐标变换矩阵)当中计算出至少两个坐标变换矩阵，则可以执行三个坐标系(即如下这三个坐标系)之间的变换：[0272](1)相机坐标系；[0273](2)ned坐标系；以及[0274](3)世界坐标系(slam坐标系)(＝参考坐标系)，[0275]并且由任何坐标系表示的位置都可以表示为另一坐标系中的位置。[0276]在图10中所示的三个坐标变换矩阵当中，将世界坐标系(slam坐标系)中的位置(wspx)变换为相机坐标系中的位置(cpx)的坐标变换矩阵(ctws)为[0277]ctws，[0278]并且该坐标变换矩阵可以通过使用相机、即用户终端10执行slam处理来计算。[0279]因此，例如，如果可以计算出图10中所示的坐标变换矩阵(ctned)、即将ned坐标系中的位置(nedpx)变换为相机坐标系中的位置(cpx)的坐标变换矩阵，则可以执行三个坐标系(即如下这三个坐标系)之间的变换：[0280](1)相机坐标系；[0281](2)ned坐标系；以及[0282](3)世界坐标系(slam坐标系)(＝参考坐标系)，[0283]并且由任何坐标系表示的位置都可以表示为另一坐标系中的位置。[0284]也就是说，无人机20可以获取由无人机20使用的ned坐标系中的位置作为世界坐标系(slam坐标系)(＝参考坐标系)中的位置，以及进一步获取用户终端10的捕获图像中的计划着陆位置作为世界坐标系(slam坐标系)(＝参考坐标系)中的位置。[0285]在下文中，图10中所示的坐标变换矩阵(ctned)、即将ned坐标系中的位置(nedpx)变换为相机坐标系中的位置(cpx)的坐标变换矩阵是：[0286]ctned，[0287]并且将描述计算该坐标变换矩阵的处理的具体示例。[0288]将参考图11和后续附图描述由作为本公开的信息处理装置的用户终端10执行的计算坐标变换矩阵ctned的处理的具体示例。[0289]如图11中所示，用户使用用户终端10捕获在空中飞行预定时间的无人机20的图像。无人机20不一定是携带要运送给用户的包裹的无人机。然而，无人机20需要是可以获取无人机的飞行路径的位置信息(ned坐标上的位置信息)的无人机。[0290]在图11中所示的示例中，无人机20根据时间(t1)、(t2)和(t3)的时间流逝从右向左飞行。[0291]用户终端10的数据处理单元在存储器中记录至少三个不同位置处的无人机的捕获图像位置。[0292]如图12中所示，例如，在存储器中记录无人机成像位置52-1到52-3，所述无人机成像位置52-1到52-3对应于诸如c-mos之类的相机成像面51上的三个不同位置处的无人机。[0293]注意，无人机成像位置对应于显示单元上显示的显示图像位置，并且这里示出了使用显示图像上的坐标位置(u1，v1)到(u3，v3)的处理示例。[0294]坐标变换矩阵ctned可以通过使用这三个不同无人机位置以及与这三个无人机位置对应的三个无人机成像位置的信息来计算。[0295]在具体描述计算坐标变换矩阵(ctned)的处理之前，将参考图13和图14描述针孔相机模型，该针孔相机模型是如下关系公式，该关系公式定义了在三维空间中的对象被通用相机(针孔相机)捕获的情况下的该对象的三维位置m和该对象在相机成像面上的成像位置(成像像素位置)m之间的关系。[0296]在针孔相机模型中，作为成像被摄体的对象的三维位置m和该对象的相机成像位置(成像像素位置)m之间的关系公式由以下(公式3)来表示。[0297][表达式2][0298][0299]将参考图13和图14描述上述(公式3)的含义。[0300]如图13中所示，在由相机捕获作为成像被摄体的对象61的图像的情况下，在相机的相机成像面(c-mos等)51上捕获对象图像62。[0301]上述(公式3)是表示相机捕获图像中包括的对象图像62的点(m)在相机捕获图像平面中的像素位置(即由相机坐标系表示的位置)和对象61在世界坐标系中的三维位置(m)之间的对应关系的公式。注意，在下面的描述中，m上面的(～)将被省略。在(公式3)中，m表示由齐次坐标系表示的坐标位置。[0302]相机捕获图像中包括的对象图像62中的点(m)的位置(像素位置)由相机图像平面坐标系来表示。相机坐标系是这样的坐标系，其中相机的焦点是原点c，图像平面是xc和yc的二维平面，光轴方向(深度)是zc，并且原点c随着相机移动而移动。[0303]另一方面，作为成像被摄体的对象61的三维位置(m)由世界坐标系来表示，该世界坐标系包括xw、yw和zw这三个轴，其中原点o不因相机的移动而移动。表示对象在这些不同坐标系中的位置之间的对应关系的公式被定义为上述(公式3)的针孔相机模型。[0304]如图14中所示，(公式3)的值包括以下参数。[0305]λ：归一化参数，[0306]a：相机内部参数，[0307]cw：相机位置，以及[0308]rw：相机旋转矩阵。[0309]此外[0310][表达式3][0311][0312]表示由齐次坐标系表示的相机成像平面上的位置。[0313]λ是归一化参数，是满足以下表达式4的第三项的值[0314][表达式4][0315][0316]并且可以通过计算公式来计算λ。[0317]注意，相机内部参数a是如图14中所示的以下行列式。[0318][表达式5][0319][0320]相机内部参数a包括以下值。[0321]f：焦距[0322]θ：图像轴的正交性(理想值为90°)[0323]ku：垂直轴的比例(从三维位置的比例变换为二维图像的比例)[0324]kv：水平轴的比例(从三维位置的比例变换为二维图像的比例)[0325](u0，v0)：图像中心位置[0326]上述(公式3)(即作为成像被摄体的对象的三维位置m和该对象的相机成像位置(成像像素位置)m之间的关系公式的(公式3))包括：[0327]cw：相机位置；和[0328]rw：相机旋转矩阵，[0329]并且这些参数可以在由用户终端10执行的slam处理(即并行执行相机位置识别(定位)和环境地图创建(地图构建)的同时定位与地图构建(slam)处理)中获得。[0330]slam处理是通过相机来捕获图像(运动图像)、分析包括在多个捕获图像中的特征点的轨迹以估计特征点的三维位置以及估计(定位)相机的(自身)位置和姿态的处理，并且可以使用特征点的三维位置信息来创建(地图构建)周围地图(环境地图)。以这种方式，并行执行相机的(自身)位置识别(定位)和周围地图(环境地图)的创建(地图构建)的处理被称为slam。[0331]注意，作为slam技术之一，存在使用扩展卡尔曼滤波器(ekf)的基于ekf的slam。[0332]例如，基于ekf的slam是如下方法：在移动相机的同时连续捕获图像，获得包括在各个图像中的特征点的轨迹(跟踪信息)，并且通过移动立体方法来同时估计相机的移动量和特征点的三维位置。[0333]这种基于ekf的slam处理使用包括多维正态分布数据在内的“状态数据”作为概率分布模型，该概率分布模型例如包括以下信息：[0334]相机的位置、姿态、速度和角速度，以及[0335]每个特征点上的位置信息。使用卡尔曼滤波器或扩展卡尔曼滤波器执行“状态数据”的更新处理，以估计特征点的位置、相机的位置等。[0336]“状态数据”包括多维正态分布数据，该多维正态分布数据包括平均向量和方差-协方差矩阵，该平均向量表示相机的位置、姿态、速度和角速度以及每个特征点上的位置信息。方差-协方差矩阵是包括诸如相机的位置、姿态、速度和角速度以及每个特征点上的位置信息之类的固有状态值的[方差]和[协方差]的矩阵，该[协方差]对应于来自上述各个状态值中的不同状态值的组合的相关信息。[0337]在上述(式3)中包含的参数当中，即这些参数：[0338]λ：归一化参数[0339]a：相机内部参数，[0340]cw：相机位置，以及[0341]rw：相机旋转矩阵，[0342]λ和a是已知的，并且cw和rw可以通过slam来计算。[0343]可以通过使用这些参数来生成作为成像被摄体的对象的三维位置m和该对象的相机成像位置(成像像素位置)m之间的关系公式、即上述(公式3)，并且可以分析由世界坐标系表示的作为成像被摄体的对象的三维位置m和由相机坐标系表示的对象成像位置之间的对应关系。[0344]上述(公式3)是表示在世界坐标系和相机图像平面坐标系的两个不同坐标系中的各个点(m和m)之间的位置关系的公式：[0345](1)世界坐标系中表示的对象位置(m)；和[0346](2)相机图像平面坐标系中表示的对象成像位置(m)，[0347]但是(公式3)中所示的关系公式不限于世界坐标系和相机图像平面坐标系的组合，并且可以发展为表示两个不同坐标系的另一个组合中的两个点(m和m)之间的位置关系的关系公式。[0348]具体地，上述(公式3)也可以发展为例如表示在ned坐标系和相机图像平面坐标系的两个不同坐标系中的点(m和m)之间的位置关系的公式：[0349](1)ned坐标系中表示的对象位置(m)；和[0350](2)相机图像平面坐标系中表示的对象成像位置(m)。[0351]这种情况下的关系公式、即表示在ned坐标系和相机图像平面坐标系的两个不同坐标系中的各个点(m和m)之间的位置关系的关系公式可以表示为以下(公式4)：[0352](1)ned坐标系中表示的对象位置(m)；和[0353](2)相机图像平面坐标系中表示的对象成像位置(m)。[0354][表达式6][0355][0356]上述(公式4)对应于通过将与上述(公式3)的世界坐标系对应的参数(即如下这些参数)更改为ned坐标系的参数而获得的公式：[0357]rw：相机旋转矩阵，[0358]m：对象位置，和[0359]cw：相机位置。[0360]也就是说，上述(公式4)是通过将上述参数更改为ned坐标系的以下参数而获得的公式。[0361]rned：相机旋转矩阵[0362]mned：对象位置[0363]cned：相机位置[0364](公式4)中所示的关系公式是定义ned坐标系中的对象位置和相机图像平面坐标系中的对象成像位置之间的对应关系的公式，该对象成像位置是在通过相机来捕获对象的图像的情况下在成像元件中的对象成像位置。[0365]将ned坐标系中的位置(nedpx)变换为相机坐标系中的位置(cpx)的坐标变换矩阵为[0366]ctned，[0367]并且这个坐标变换矩阵可以使用关系公式来计算。[0368]如以上参考图8所述，在用户终端10的显示单元上显示的显示图像的每个像素位置(u，v)对应于相机坐标系中的xy坐标(xc，yc，zc)。如果ned坐标系中的相机的位置和姿态可以根据ned坐标系中表示的飞行路径的位置和显示图像中的每个像素位置(u，v)来估计，并且可以根据所估计的信息将由ned坐标系表示的飞行路径的位置变换为相机坐标系中的位置，则可以精确地将该路径输出到由相机坐标系表示的显示图像上。[0369]将描述计算将ned坐标系中的位置(nedpx)变换为相机坐标系中的位置(cpx)的坐标转换矩阵ctned的处理的具体示例。[0370]图15的(1)是类似于以上参考图11和图12所述的图。用户使用用户终端10捕获在空中飞行预定时间的无人机20的图像。无人机20不一定是携带要运送给用户的包裹的无人机。然而，无人机20需要是可以获取无人机的飞行路径的位置信息(ned坐标上的位置信息)的无人机。[0371]在图15的(1)中所示的示例中，无人机20根据时间(t1)、(t2)和(t3)的时间流逝从右向左飞行。[0372]用户终端10的数据处理单元在存储器中记录至少三个不同位置处的无人机的捕获图像位置。[0373]如图15中所示，例如，在存储器中记录无人机成像位置52-1到52-3，所述无人机成像位置52-1到52-3对应于诸如c-mos之类的相机成像面51上的三个不同位置处的无人机。[0374]在时间(t1)、(t2)和(t3)的ned坐标系中的无人机位置表示如下。[0375]在时间(t1)的无人机位置＝nedpdronet1[0376]在时间(t2)的无人机位置＝nedpdronet2[0377]在时间(t3)的无人机位置＝nedpdronet3[0378]此外，在时间(t1)、(t2)和(t3)的相机坐标系中的成像位置表示如下。[0379]在时间(t1)的无人机成像位置＝mdronet1[0380]在时间(t2)的无人机成像位置＝mdronet2[0381]在时间(t3)的无人机成像位置＝mdronet3[0382]注意，在以上描述中省略了m上面的(～)。这些无人机成像位置是由三维齐次坐标系表示的相机图像平面坐标系中的位置信息。[0383]当使用以下这些参数来表示上述(公式4)、即定义ned坐标系中的对象位置和相机坐标系中的对象成像位置(该对象成像位置是在通过相机对对象进行成像的情况下在成像元件中的对象成像位置)之间的对应关系的(公式4)时，可以获得以下公式(5)：[0384]ned坐标系中的无人机位置nedpdrone；[0385]ned坐标系中的相机位置nedpc；和[0386]相机坐标系中的无人机成像位置＝mdrone。[0387][表达式7][0388][0389]此外，基于上述(公式5)导出以下(公式6)。[0390][表达式8][0391][0392]注意：[0393]crtned是将ned坐标系变换为相机坐标系的旋转矩阵crned的转置矩阵。[0394]a-1是以上参考图14描述的相机内部参数a的逆矩阵。[0395]如果将图15中所示的在时间(t1)到(t3)的ned坐标系中的三个不同无人机位置以及与这些无人机位置对应的相机坐标系中的无人机成像位置代入(公式6)中，获得包括以下(公式7)中所示的三个公式的联立方程式。[0396][表达式9][0397][0398][0399][0400]在上述(公式7)的联立方程式中，以下参数是已知的。[0401]ned坐标系中的无人机位置nedpdrone可以从无人机或无人机管理服务器获取。[0402]相机内部参数a的逆矩阵a-1是已知的。[0403]在时间(t1)到(t3)的无人机成像位置mdronet1到mdronet3是相机成像系统的坐标位置信息，可以通过分析相机捕获图像来获取。[0404]因此，上述(公式7)中所示的联立方程式中的未知参数是以下各个参数：[0405]ned坐标系中的相机位置：nedpc；[0406]将ned坐标系变换为相机坐标系的旋转矩阵crned的转置矩阵：crtned；和[0407]归一化系数：λt1、λt2和λt3。[0408]这里，上述(公式7)中所示的联立方程式中的未知参数是这九个参数(位置的三个要素、姿态的三个要素和三个归一化系数)：[0409]ned坐标系中的相机位置：nedpc；[0410]将ned坐标系变换为相机坐标系的旋转矩阵crned的转置矩阵：crtned；和[0411]归一化系数：λt1、λt2和λt3，[0412]并且这些参数的值可以通过求解包括三个公式的联立方程式来计算(信息的数量为9个)。[0413]如图16中所示，可以通过使用计算参数的值来计算将ned坐标系中的位置(nedpx)变换为相机坐标系中的位置(cpx)的坐标变换矩阵(ctned)。[0414]图16的(3)中所示的坐标变换矩阵(ctned)、即将ned坐标系中的位置(nedpx)变换为相机坐标系中的位置(cpx)的坐标变换矩阵(ctned)是通过利用ned坐标系的元素来替换以上参考图9描述的将ned坐标系中的位置(nedpx)变换为相机坐标系中的位置(cpx)的坐标变换矩阵(ctned)的矩阵元素中的世界坐标系的元素而获得的矩阵。[0415]即，将ned坐标系中的位置(nedpx)变换为相机坐标系中的位置(cpx)的坐标变换矩阵(ctned)可以由以下(公式8)来表示。[0416][表达式10][0417][0418]上述(公式8)中所示的坐标变换矩阵(ctned)的矩阵元素由通过求解上述(公式7)中所示的联立方程式而获得的参数构成。[0419]因此，通过求解上述(公式7)中所示的联立方程式，可以计算将ned坐标系中的位置(nedpx)变换为相机坐标系中的位置(cpx)的坐标变换矩阵(ctned)。[0420]以此方式，作为本公开的信息处理装置的用户终端10首先获取图15的(1)或者图16的(1)中所示的时间(t1)到(t3)的ned坐标系中的三个不同无人机位置以及与这些无人机位置对应的相机坐标系中的无人机成像位置。[0421]接着，求解上述(公式7)中所示的联立方程式以获取以下未知参数。[0422]ned坐标系中的相机位置：nedpc[0423]将ned坐标系变换为相机坐标系的旋转矩阵crned的转置矩阵：crtned[0424]接着，使用计算出的参数来生成坐标变换矩阵(ctned)、即将ned坐标系中的位置(nedpx)变换为相机坐标系中的位置(cpx)的坐标变换矩阵(ctned)。[0425]当使用该坐标变换矩阵(ctned)时，可以将ned坐标系中表示的位置(例如无人机的飞行位置)变换为相机坐标系中表示的位置。[0426]此外，可以根据将ned坐标系中的位置(nedpx)变换为相机坐标系中的位置(cpx)的坐标变换矩阵(ctned)来计算其逆矩阵(ctned-1)。[0427]逆矩阵(ctned-1)用作将相机坐标系中的位置(cpx)变换为ned坐标系中的位置(nedpx)的坐标变换矩阵(nedtc)。[0428]以此方式，可以计算两个坐标变换矩阵：[0429](a)将ned坐标系中的位置(nedpx)变换为相机坐标系中的位置(cpx)的坐标变换矩阵(ctned)；和[0430](b)将相机坐标系中的位置(cpx)变换为ned坐标系中的位置(nedpx)的坐标变换矩阵(nedtc)，[0431]并且完成相机坐标系和ned坐标系之间的对应关系的分析。[0432]如上所述，如果可以在这三个坐标变换矩阵(即图10中所示的ctws、ctned和wstned这三个坐标变换矩阵)当中计算出至少两个坐标变换矩阵，则可以进行三个坐标系(即如下这三个坐标系)之间的变换：[0433](1)相机坐标系；[0434](2)ned坐标系；和[0435](3)世界坐标系(slam坐标系)(＝参考坐标系)，[0436]并且由任何坐标系表示的位置都可以表示为另一个坐标系中的位置。[0437]在图10中所示的三个坐标变换矩阵当中，将世界坐标系(slam坐标系)中的位置(wspx)变换为相机坐标系中的位置(cpx)的坐标变换矩阵(ctws)可以通过使用相机、即用户终端10进行slam处理来计算。[0438]此外，通过上述处理，可以计算将ned坐标系中的位置(nedpx)变换为相机坐标系中的位置(cpx)的坐标变换矩阵(ctned)。[0439]结果，图10中所示的三个坐标系之间的坐标变换处理成为可能。[0440]例如，还可以计算将ned坐标系中的位置(nedpx)变换为世界坐标系(slam坐标系)(＝参考坐标系)中的位置(wspx)的坐标变换矩阵(wstned)。[0441]通过这些处理，完成了分析由无人机和用户终端使用的不同坐标上的位置之间的关系以计算坐标变换矩阵的坐标分析处理(处理1)。[0442]当应用在(处理1)中计算的坐标变换矩阵时，无人机20可以获取由无人机20使用的ned坐标系中的位置作为世界坐标系(slam坐标系)(＝参考坐标系)中的位置，并且进一步获取用户终端10的捕获图像中的计划着陆位置作为世界坐标系(slam坐标系)(＝参考坐标系)中的位置。[0443]结果，用户终端10可以在接下来的(处理2)中生成“虚拟无人机相机图像”。[0444]即，可以通过应用在(处理1)中计算的坐标变换矩阵来生成被配置为在(处理2)中生成“虚拟无人机相机图像”的关系公式。[0445]注意，参考图15和图16描述的处理是在如下前提下的处理：在三个不同位置处的无人机的成像时间段期间，即对于如图15的(1)或图16的(1)中所示的时间(t1)到(t3)的无人机成像时间，相机的位置和姿态不发生变化。[0446]在三个不同位置处的无人机的成像时间段期间相机的位置或姿态发生变化的情况下，需要执行考虑到相机的位置或姿态的变化的处理。[0447]以下，将参考图17描述这样的处理示例。[0448]同样在该处理示例中，获取ned坐标系中的三个不同无人机位置和与这些无人机位置对应的相机坐标系中的无人机成像位置，并且基于这些获取的信息来生成将ned坐标系中的位置(nedpx)变换为相机坐标系中的位置(cpx)的坐标变换矩阵(ctned)。[0449]在无人机的成像时间段期间相机的位置或姿态发生变化的情况下，如图17的(1)中所示，捕获不同位置处的无人机20的图像的相机的位置或姿态不同。[0450]在图17的(1)中所示的示例中，捕获在时间(t1)的无人机的图像的相机的成像面是相机成像面51(t1)，捕获在时间(t2)的无人机的图像的相机的成像面是相机成像面51(t2)，并且两者具有不同的位置或姿态。[0451]这里，假设将世界坐标系(slam坐标系)变换为在时间(t1)的相机坐标系的坐标变换矩阵为(ct1tws)。[0452]此外，假设将世界坐标系(slam坐标系)变换为在时间(t2)的相机坐标系的坐标变换矩阵为(ct2tws)。[0453]注意，将世界坐标系(slam坐标系)变换为在时间(tn)的相机坐标系的坐标变换矩阵(ctntws)是对应于在时间(n)的坐标变换矩阵(ctws)的矩阵，该坐标变换矩阵(ctws)将以上参考图9描述的三维空间中的一个点(x)的在世界坐标系(slam坐标系)中的位置(wspx)变换为相机坐标系中的位置(cpx)。[0454]可以在由用户终端10执行的slam处理(即并行执行相机位置识别(定位)和环境地图创建(地图构建)的同时定位与地图构建(slam)处理)中获取构成用于变换为在时间(tn)的相机坐标系的坐标变换矩阵(ctntws)的矩阵元素。[0455]因此，可以通过slam处理来计算如图17中所示的时间(tn)的坐标变换矩阵(ctntws)，其包括将世界坐标系(slam坐标系)变换为在时间(t1)的相机坐标系的坐标变换矩阵(ct1tws)和将世界坐标系(slam坐标系)变换为在时间(t2)的相机坐标系的坐标变换矩阵(ct2tws)。[0456]另外，将在时间(t1)的相机坐标系变换为在时间(t2)的相机坐标系的坐标变换矩阵为(ct2tct1)，并且可以如下计算。[0457]ct2tct1＝ct2tws×ct1tws-1[0458]作为本公开的图像处理装置的用户终端10通过在捕获在时间(t1)的无人机的图像时将上述坐标变换矩阵ct2tct1应用到在时间(t1)的在相机的成像面上的无人机成像位置来执行坐标变换。通过该坐标变换，将在时间(t1)的相机坐标系中的无人机成像位置变换为在时间(t2)的相机坐标系中的无人机成像位置。[0459]此外，要变换为在时间(t1)的相机的成像面的无人机位置、即nedp'dronet1[0460]可以通过以下公式来表示。[0461]nedp'dronet1＝nedpdronet1+(ct2rtned)·(ct2rct1)·(ct1pct2)[0462]因此，可以将两个不同相机坐标系上的无人机成像位置变换为符合一个共同相机坐标系的无人机成像位置。[0463]当对与三个不同无人机位置对应的无人机成像位置进行以上处理时，可以将与三个不同无人机位置对应的无人机成像位置设定在一个共同相机坐标系上。[0464]图18的(1)示出了捕获在三个不同位置处的无人机的图像的相机的位置或姿态不同的情况的示例。[0465]如图18的(1)中所示，相机(用户终端10)的位置或姿态在时间(t1)、(t2)和(t3)不同，并且具有相互不同的位置或姿态的相机捕获在时间(t1)、(t2)和(t3)的无人机20的图像。[0466]假设在最新的时间(t3)输出无人机20的飞行路径和计划飞行路径的情况。在这种情况下，用户终端10的数据处理单元执行以下处理。[0467](1)建立用于执行将坐标变换矩阵(ct3tct1)应用于在时间(t1)的无人机成像位置的坐标变换的方程式。[0468](2)建立用于执行将坐标变换矩阵(ct3tct2)应用于在时间(t2)的无人机成像位置的坐标变换的方程式。[0469]通过这些坐标变换处理，将在时间(t1)和(t2)的相机坐标系中的无人机成像位置变换为在时间(t3)的相机坐标系中的无人机成像位置。[0470]由于建立了这些方程式，因此可以建立用于在一个共同相机坐标系(时间(t3)的相机坐标系)上设定与三个不同无人机位置对应的无人机成像位置的联立方程式。[0471]即，可以建立用于在一个共同相机坐标系(时间(t3)的相机坐标系)上设定以下三个无人机成像位置的联立方程式。[0472]在时间(t1)的无人机成像位置＝mdronet1[0473]在时间(t2)的无人机成像位置＝mdronet2[0474]在时间(t3)的无人机成像位置＝mdronet3[0475]注意，在以上描述中省略了m上面的(～)。这些无人机成像位置是由三维齐次坐标系表示的相机坐标系中的位置信息。[0476]此后，执行与以上参考图15和图16描述的处理类似的处理。[0477]首先，如图18的(2)中所示，生成包括在时间(t1)到(t3)的无人机成像位置＝mdronet1到mdronet3中的每个和ned坐标系中的每个无人机位置之间的对应关系的公式在内的联立方程式、即上述(公式7)的联立方程式。[0478]接着，通过使用通过求解联立方程式而获得的参数来计算图18的(3)中所示的坐标变换矩阵(ctned)、即将ned坐标系中的位置(nedpx)变换为相机坐标系中的位置(cpx)的坐标变换矩阵(ctned)。[0479]此外，与上述处理类似，可以基于坐标变换矩阵(ctned)而计算的逆矩阵(ctned-1)用作将相机坐标系中的位置(cpx)变换为ned坐标系中的位置(nedpx)的坐标变换矩阵(nedtc)。[0480]以此方式，可以计算出两个坐标变换矩阵：[0481](a)将ned坐标系中的位置(nedpx)变换为相机坐标系中的位置(cpx)的坐标变换矩阵(ctned)；和[0482](b)将相机坐标系中的位置(cpx)变换为ned坐标系中的位置(nedpx)的坐标变换矩阵(nedtc)，[0483]并且完成了相机坐标系和ned坐标系之间的对应关系的分析。[0484]由于进行了这样的处理，因此即使在三个不同位置处的无人机的成像时间段期间相机的位置和姿态发生变化的情况下，也可以计算对ned坐标系中的位置(nedpx)和相机坐标系中的位置(cpx)的坐标位置进行变换的坐标变换矩阵。[0485]通过参考图15和图16描述的处理以及参考图17和18描述的处理当中的任何处理，完成分析由无人机和用户终端使用的不同坐标上的位置之间的关系以计算坐标变换矩阵的坐标分析处理(处理1)。[0486]接下来，将描述(处理1)(即如下(处理1))的处理顺序：[0487](处理1)分析由无人机和用户终端使用的不同坐标上的位置关系以计算坐标变换矩阵的坐标分析处理[0488]图19和后续附图中所示的流程图是示出用于描述由本公开的信息处理装置(例如，诸如智能电话之类的用户终端10)执行的处理序列的流程图的图。[0489]根据图19和后续附图中所示的流程的处理可以根据存储在信息处理装置内部的存储器中的程序、在控制单元(数据处理单元)的控制下执行，该控制单元(数据处理单元)包括具有信息处理装置的程序执行功能的cpu等。[0490]在下文中，将依次描述图19和后续附图中所示的流程的各个步骤中的处理。[0491]注意，可以并行执行图19中所示的从步骤s111到s114的处理和从步骤s121到s123的处理。[0492]首先，将描述从步骤s111到s114的处理。[0493](步骤s111)[0494]步骤s111中的处理是由用户终端10捕获空中的无人机的图像的处理。[0495]例如，在时间t(n)，使用诸如智能电话之类的用户终端10的相机来捕获飞行中的无人机20的图像。[0496]即，如以上参考图11至图12所描述的那样捕获飞行中的无人机20的图像。[0497]如图11中所示，用户使用用户终端10捕获在空中飞行预定时间的无人机20的图像。无人机20不一定是携带要运送给用户的包裹的无人机。然而，无人机20需要是可以获取无人机的飞行路径的位置信息(ned坐标上的位置信息)的无人机。[0498](步骤s112)[0499]接着，在步骤s112中，用户终端10获取在时间t(n)的捕获图像中的无人机成像位置信息(相机坐标系中的成像位置信息(mdronet(n)))。注意，该文档中给出了描述，同时省略了m上面的(～)。[0500]该无人机成像位置是在时间t(n)的相机坐标系(齐次坐标系)所表示的成像位置。[0501](步骤s113)[0502]接下来，在步骤s113中，用户终端10获取在时间t(n)的无人机的位置信息(ned坐标系中的位置信息(nedpdronet(n)))。[0503]如图20中所示，作为本公开的信息处理装置的用户终端10可以从无人机20或对无人机20等进行控制的控制中心的无人机管理服务器40获取在ned坐标系中表示的飞行路径信息。[0504](步骤s114)[0505]接着，在步骤s114中，用户终端10将在时间t(n)的无人机的成像位置信息(相机坐标系中的成像位置信息(mdronet(n)))和位置信息(ned坐标系中的位置信息(nedpdronet(n)))与时间t(n)相关联地记录在存储器中。[0506]接下来，将描述与从步骤s111到s114的处理并行执行的从步骤s121到s123的处理。[0507](步骤s121)[0508]在步骤s121中，用户终端10执行以下处理。[0509]在时间t(n)，即在步骤s111中的无人机成像定时，执行slam处理。[0510]如上所述，slam处理是并行执行相机位置识别(定位)和环境地图创建(地图构建)的处理。[0511](步骤s122)[0512]接着，在步骤s122中，用户终端10基于步骤s121中的slam处理的结果来计算将世界坐标系(slam坐标系)变换为成像时间t(n)的相机坐标系的坐标变换矩阵(ct(n)tws)。[0513]步骤s122中的该处理对应于以上参考图17的(1)描述的处理。[0514](步骤s123)[0515]接着，在步骤s123中，用户终端10在存储器中记录在步骤s122中计算的坐标变换矩阵(ct(n)tws)、即将世界坐标系(slam坐标系)变换为成像时间t(n)的相机坐标系的坐标变换矩阵(ct(n)tws)。[0516]如果完成了从步骤s111到s114的处理以及从步骤s121到s123的处理，则执行步骤s124中的处理。[0517](步骤s124)[0518]在步骤s124，用户终端10确定存储器中是否记录有三个或多个条目。[0519]即，确定存储器中是否记录了基于在三个不同无人机位置处的捕获图像的数据。[0520]将参考图21描述记录在存储器中的特定记录数据的示例。[0521]图21示出记录了基于在三个不同无人机位置处的捕获图像的数据的示例。[0522]如图21中所示，在存储器中记录与空中的无人机成像时间(t(n)等)对应的条目。在每个条目中，将以下数据记录为与无人机成像时间对应的数据。[0523](1)时间(t)(＝无人机成像时间)[0524](2)相机坐标系中的无人机成像位置[0525](3)ned坐标系中的无人机位置[0526](4)将世界坐标系(slam坐标系)变换为相机坐标系的坐标变换矩阵[0527]“(2)相机坐标系中的无人机成像位置”是在图19中所示的流程的步骤s112中获取的捕获图像中的无人机成像位置信息(相机坐标系中的成像位置信息(mdronet(n))等)。[0528]“(3)ned坐标系中的无人机位置”是在图19中所示的流程的步骤s113中获取的、在图像捕获定时的空中的无人机的位置信息(ned坐标系中的位置信息(nedpdronet(n))等)。[0529]“(4)将世界坐标系(slam坐标系)变换为相机坐标系的坐标变换矩阵”是在图19中所示的流程的步骤s122中计算的、将世界坐标系(slam坐标系)变换为成像时间的相机坐标系的坐标变换矩阵(ct(n)tws等)。[0530]在存储器中的与成像时间对应的各个条目中，记录了与这些无人机成像时间对应的数据。[0531]在图19中所示的流程图的步骤s124中，确定存储器中是否记录有三个或多个条目。[0532]即，确定存储器中是否记录了基于在三个不同无人机位置处的捕获图像的数据。[0533]如图21中所示，在存储器中记录了基于在三个不同无人机位置处的捕获图像的数据的情况下，处理进行到下一步骤s131。[0534]另一方面，在存储器中没有记录基于在三个不同无人机位置处的捕获图像的数据的情况下，在步骤s124中确定为否，并且处理进行到步骤s125。[0535](步骤s125)[0536]在步骤s125中，将时间设定参数n设定为下一个时间(n+1)，并且在下一个时间(n+1)执行从步骤s111到s114的处理和从步骤s121到s123的处理。[0537]即，在时间(n+1)，捕获位于与时间(n)不同的位置处的无人机的图像以执行处理。[0538](步骤s131)[0539]如图21中所示，在步骤s124中确定在存储器中记录了基于在三个不同无人机位置处的捕获图像的数据的情况下，处理进行到步骤s131。[0540]如图22中所示，用户终端10在步骤s131中执行以下处理。[0541]将无人机成像时间的相机坐标系变换为输出无人机飞行路径的时间t(out)的相机坐标系的坐标变换矩阵(ct(out)tct(n)等)被计算并且被记录在存储器中。[0542]该处理对应于以上参考图17描述的处理。[0543]将参考图23描述要记录在存储器中的坐标变换矩阵(ct(out)tct(n)等)的示例。[0544]在步骤s131中要记录在存储器中的数据是图23中所示的(5)的数据，即如下数据：[0545](5)将在捕获无人机的图像时的相机坐标系变换为在输出飞行路径时的相机坐标系的坐标变换矩阵。[0546]注意，在图23中所示的示例中，图23中所示的与成像时间对应的三个条目当中的时间＝t(n+2)被假定为无人机飞行路径输出时间t(out)。[0547]也就是说，[0548]t(n+2)＝t(out)。[0549]在这种情况下，如图23中所示，仅在成像时间＝t(n)和在成像时间＝t(n+1)将坐标变换矩阵附加地记录为“(5)将在捕获无人机的图像时的相机坐标系变换为在输出飞行路径时的相机坐标系的坐标变换矩阵”。[0550]在成像时间＝t(n+2)的数据中，在捕获无人机的图像时的相机坐标系与在输出飞行路径时的相机坐标系一致，因此，不需要附加地记录坐标变换矩阵。[0551]对于成像时间＝t(n)的条目，[0552]添加将在捕获无人机的图像时(t＝(n))的相机坐标系(ct(n))变换为在输出飞行路径时的相机坐标系(ct(out))的坐标变换矩阵：[0553]ct(out)tct(n)。[0554]此外，对于成像时间＝t(n+1)的条目，[0555]添加将在捕获无人机的图像时(t＝(n+1))的相机坐标系(ct(n+1))变换为在输出飞行路径时的相机坐标系(ct(out))的坐标变换矩阵：[0556]ct(out)tct(n+1)。[0557](步骤s132)[0558]如图22的流程中所示，接下来，用户终端10在步骤s132中执行以下处理。[0559]通过对无人机成像时间的相机坐标系中的无人机成像位置应用坐标变换矩阵(ctctctn)来执行坐标变换处理，以及与无人机飞行路径输出时间t(out)的相机坐标系对应的无人机成像位置被计算并且被记录在存储器中。[0560]该处理对应于以上参考图17和图18的(1)描述的处理。[0561]将参考图23描述要记录在存储器中的与无人机飞行路径输出时间t(out)的相机坐标系对应的无人机成像位置的示例。[0562]在步骤s132中要记录在存储器中的数据是图23中所示的(6)的数据，即如下数据：[0563](6)与无人机飞行路径输出时间t(out)的相机坐标系对应的无人机成像位置。[0564]注意，在图23中所示的示例中，图23中所示的与成像时间对应的三个条目当中的时间＝t(n+2)被假定为无人机飞行路径输出时间t(out)。[0565]也就是说，[0566]t(n+2)＝t(out)。[0567]在这种情况下，在步骤s132中，用户终端10计算以下数据并且将计算的数据记录在存储器中。[0568]对于无人机成像时间＝t(n)的数据的处理是以下处理。[0569]通过对无人机成像时间＝t(n)的相机坐标系(ct(n))中的无人机成像位置(mdront(n))应用坐标变换矩阵(ct(out)tct(n))来执行坐标变换处理。即，执行以下坐标变换处理。[0570]λ(mdronetn)＝a·(ctouttned)·(nedpdronetn)[0571]通过以上计算公式获取的坐标是与无人机飞行路径输出时间t(out)的相机坐标系对应的无人机成像位置。该坐标位置被记录在存储器中。[0572]此外，对于无人机成像时间＝t(n+1)的数据的处理是以下处理。[0573]通过对无人机成像时间＝t(n+1)的相机坐标系(ct(n+1))中的无人机成像位置(mdront(n+1))应用坐标变换矩阵(ct(out)tct(n+1))来执行坐标变换处理。即，执行以下坐标变换处理。[0574]λ(mdronetn+1)＝a·(ctouttned)·(nedpdronetn+1)[0575]通过以上计算公式获取的坐标是与无人机飞行路径输出时间t(out)的相机坐标系对应的无人机成像位置。该坐标位置被记录在存储器中。[0576]此外，对于无人机成像时间＝t(n+2)的数据的处理是以下处理。[0577]无人机成像时间＝t(n+2)的相机坐标系(ct(n+2))与无人机飞行路径输出时间t(out)的相机坐标系(ct(out))一致。[0578]因此，不需要坐标变换，并且将无人机成像时间＝t(n+2)的相机坐标系(ct(n+2))中的无人机成像位置(mdront(n+2))按原样记录在存储器中。[0579]这些记录的数据是记录在图23中所示的项目(6)中的数据。[0580]接下来，将描述图22中所示的流程中的步骤s133和后续步骤的处理。[0581](步骤s133)[0582]在步骤s133中，用户终端10执行以下处理。[0583]生成联立方程式(公式7)，其包括记录在存储器中的在三个不同位置处的ned坐标系中的每个无人机位置和与各个无人机位置对应的每个无人机成像位置(时间t(out)的相机坐标系上的成像位置)之间的对应关系的公式。[0584]要生成的联立方程式是以上参考图15的(2)、图16的(2)和图18的(2)描述的联立方程式，并且是以上描述为(公式7)的联立方程式。[0585]注意，在步骤s132中计算的位置、即与无人机飞行路径输出时间t(out)的相机坐标系对应的无人机成像位置被用作构成(公式7)中所示的联立方程式的三个公式中所包括的无人机成像位置(mdronetn)。[0586]即，使用参考图23描述的在存储器中记录的数据的项目(6)中所记录的变换后的坐标位置。[0587](步骤s134)[0588]接着，在步骤s134中，用户终端10计算将通过求解在步骤s133中生成的联立方程式(公式7)而获取的参数包括在内作为矩阵元素的坐标变换矩阵(ct(out)tned)，即将ned坐标系中的位置(nedpx)变换为相机坐标系中的位置(ct(out)px)的坐标变换矩阵(ct(out)tned)(公式8)。[0589]该坐标变换矩阵(ct(out)tned)对应于以上参考图16的(3)和图18的(3)描述的坐标变换矩阵(ctned)，并且对应于以上描述为(公式8)的坐标变换矩阵(ctned)。[0590]作为这些处理的结果，完成了坐标变换矩阵(ctned)、即将ned坐标系中的位置(nedpx)变换为相机坐标系中的位置(cpx)的坐标变换矩阵(ctned)的计算。[0591]注意，在步骤s122中计算将世界坐标系(slam坐标系)变换为成像时间t(n)的相机坐标系的坐标变换矩阵(ctws)。[0592]如上所述，如果可以在这三个坐标变换矩阵(即图10中所示的ctws、ctned和wstned这三个坐标变换矩阵)当中计算出至少两个坐标变换矩阵，则可以进行三个坐标系(即如下这三个坐标系)之间的变换：[0593](1)相机坐标系；[0594](2)ned坐标系；和[0595](3)世界坐标系(slam坐标系)(＝参考坐标系)，[0596]并且由任何坐标系表示的位置都可以表示为另一个坐标系中的位置。[0597]当执行根据图19和图22中所示的流程的处理时，计算两个坐标变换矩阵，这两个坐标变换矩阵包括：[0598]将世界坐标系(slam坐标系)变换为成像时间t(n)的相机坐标系的坐标变换矩阵(ctws)；和[0599]将ned坐标系中的位置(nedpx)变换为相机坐标系中的位置(cpx)的坐标变换矩阵(ctned)。[0600]结果，可以进行图10中所示的三个坐标系(即如下三个坐标系)之间的变换：[0601](1)相机坐标系；[0602](2)ned坐标系；和[0603](3)世界坐标系(slam坐标系)(＝参考坐标系)，[0604]并且由任一坐标系表示的位置都可以表示为另一个坐标系的位置。[0605]当使用图10中所示的三个坐标系之间的坐标变换矩阵时，无人机20可以获取由无人机20使用的ned坐标系中的位置作为世界坐标系(slam坐标系)(＝参考坐标系)中的位置，并且进一步获取用户终端10的捕获图像中的计划着陆位置作为世界坐标系(slam坐标系)(＝参考坐标系)中的位置。[0606]如上所述，根据本公开的信息处理装置(例如，用户终端10)执行上述(处理1)、即以下(处理1)。[0607](处理1)分析由无人机和用户终端使用的不同坐标上的位置关系以计算坐标变换矩阵的坐标分析处理[0608]当执行(处理1)时，计算使得能够进行图10中所示的三个坐标系(即如下三个坐标系)之间的变换的坐标变换矩阵：[0609](1)相机坐标系；[0610](2)ned坐标系；和[0611](3)世界坐标系(slam坐标系)(＝参考坐标系)，[0612]例如，计算将ned坐标系中的位置(nedpx)变换为世界坐标系(slam坐标系)(＝参考坐标系)中的位置(wspx)的坐标变换矩阵(wstned)等。[0613]如上所述，(处理1)中计算的坐标变换矩阵被应用于用于生成要在接下来(处理2)中生成的“虚拟无人机相机图像”的参数计算。[0614][4-2.(处理2)关于由用户终端执行的计划着陆位置成像处理、以及基于捕获图像的虚拟无人机相机图像的生成处理和发送处理的细节][0615]接下来，将描述参考图1的(1)所描述的(处理2)、即以下(处理2)的细节：[0616](处理2)由用户终端捕获计划着陆位置的图像、基于捕获图像生成“虚拟无人机相机图像”、并且将所生成的“虚拟无人机相机图像”、计划着陆位置的gps位置信息等发送给无人机或无人机管理服务器的处理。[0617]在该(处理2)中，首先，如图24中所示，用户1使用用户终端10来捕获无人机20要着陆的地面上的位置(计划着陆位置)的图像。接着，用户终端10的数据处理单元基于捕获图像生成“虚拟无人机相机图像”。此外，用户终端10将所生成的“虚拟无人机相机图像”、计划着陆位置的gps位置信息等发送给无人机或无人机管理服务器。[0618]例如，作为无人机20以高精度而没有任何位置偏差地在图24中所示的由用户1指定的计划着陆位置处着陆所需的信息，例如，需要以下信息。[0619](1)计划着陆位置的经度和纬度信息(ned坐标系中的位置)[0620](2)在假设使用无人机上安装的向下相机捕获计划着陆位置的图像的情况下的虚拟图像(以下，该图像被称为虚拟无人机相机图像)[0621](3)虚拟无人机相机图像上的计划着陆位置[0622]在(处理2)中，这些信息被生成并且被发送给无人机或无人机管理服务器。[0623]首先，图24中所示的用户1使用图24中所示的用户终端10来捕获计划着陆位置的图像。[0624]用户终端10的数据处理单元基于捕获图像生成“虚拟无人机相机图像”。[0625]注意，“虚拟无人机相机图像”是在由空中的无人机20的无人机相机22捕获计划着陆位置的情况下估计要捕获的虚拟图像。[0626]用户1使用用户终端10捕获计划着陆位置的图像。此外，如图25的(1a)和图25的(2a)中所示，用户1指定捕获图像中的计划着陆位置的图像区域。例如，执行用手指轻敲计划着陆位置的图像区域或滑动手指以便画圆的处理。如图25的(1b)和图25的(2b)中所示，正在用户终端10上执行的应用检测由用户执行的指定图像区域的操作，并且将计划着陆位置识别标记输出到由用户指定的位置。[0627]用户终端10的数据处理单元基于包括该计划着陆位置识别标记的捕获图像执行图像变换处理，以生成包括计划着陆位置识别标记的“虚拟无人机相机图像”。[0628]此外，用户终端10分析计划着陆位置的捕获图像等，并且生成要发送给无人机20或无人机管理服务器40的数据。[0629]注意，用户1可以向用户终端10输入生成“虚拟无人机相机图像”所需的数据中的一部分和要发送给无人机20或无人机管理服务器40的数据。[0630]例如，用户经由用户终端10的输入单元输入以下数据。[0631](1)在使用用户设备10捕获计划着陆位置的图像时用户设备10距计划着陆位置的高度[0632](2)由用户设备10捕获的图像中的计划着陆位置的图像区域[0633](3)当无人机20下降到计划着陆位置时的偏航角(方位角)(可选)[0634](4)虚拟无人机相机图像的高度(可选)[0635]在下文中，将描述其具体的数据输入处理示例。[0636](1)在使用用户设备10捕获计划着陆位置的图像时用户设备10距计划着陆位置的高度[0637]用户1向用户终端10输入在使用用户设备10捕获计划着陆位置的图像时用户设备10距计划着陆位置的高度。[0638]注意，关于在捕获图像时的高度，例如，可以被配置为使得用户的身高被预先登记在用户设备10的存储器中，并且用户设备10的数据处理单元从存储器中获取登记信息作为在捕获图像时的高度。[0639](2)由用户设备10捕获的图像中的计划着陆位置的图像区域[0640]在使用用户设备10捕获包括计划着陆位置的图像之后，用户1输入表示捕获图像的哪个图像区域是计划着陆位置的图像区域的区域指定信息。[0641]例如，用户1将捕获图像显示在用户终端10的显示单元上，并且用手指轻敲图像内的计划着陆位置的图像区域或滑动手指以便画圆。[0642]用户终端10的数据处理单元检测由用户1触摸的屏幕区域以识别图像内的计划着陆位置的图像区域，获取与计划着陆位置的图像区域对应的像素位置信息，以及将获取的像素位置信息记录在用户终端10的存储器中。[0643](3)当无人机20下降到计划着陆位置时的偏航角(方位角)[0644]如果需要，用户指定当无人机20下降到计划着陆位置时的偏航角(方位角)。[0645]存在需要从特定方向下降的情况，例如，在计划着陆位置周围有高建筑物的情况等。在这样的情况下，用户执行指定当无人机20下降到计划着陆位置时的偏航角(方位角)并且将这样的指定的信息发送给无人机20或无人机管理服务器40的处理。[0646](4)虚拟无人机相机图像的高度(可选)[0647]“虚拟无人机相机图像”是用户终端10的数据处理单元对由用户终端10捕获的计划着陆位置的图像进行变换而生成的图像，并且是在假设使用安装在无人机上的向下相机来捕获计划着陆位置的图像的情况下的虚拟图像。[0648]用户还可以指定捕获由用户终端10的数据处理单元生成的“虚拟无人机相机图像”的相机的高度。用户终端10的数据处理单元根据用户的指定来生成估计要在从由用户指定的高度俯视计划着陆位置时捕获的“虚拟无人机相机图像”。[0649]注意，在没有输入用户指定信息的情况下，生成通过从预设的默认高度俯视计划着陆位置而获得的“虚拟无人机相机图像”。[0650]注意，可以被配置为使得可以使用由掌握无人机的规格的运送服务方或无人机制造商预先指定的高度数据作为默认值。[0651]如果执行了由用户1执行的计划着陆位置的图像捕获并且获取了需要的数据(诸如上述(1)到(4)的数据)，则用户终端10的数据处理单元执行对由用户1捕获的图像(即计划着陆位置的捕获图像)的变换处理以生成通过从正上方捕获计划着陆位置而获得的“虚拟无人机相机图像”，并且进一步使用所生成的图像、由用户输入的数据等生成要发送给无人机20或无人机管理服务器40的数据。[0652]此外，用户终端10的数据处理单元将所生成的数据发送给无人机20或无人机管理服务器40。[0653]图26中所示的流程图是示出当用户终端10执行(处理2)、即以下(处理2)时的详细序列的流程图。[0654](处理2)由用户终端捕获计划着陆位置的图像、基于捕获图像生成“虚拟无人机相机图像”、并且将所生成的“虚拟无人机相机图像”、计划着陆位置的gps位置信息等发送给无人机或无人机管理服务器的处理。[0655]在下文中，将参考该流程图描述每个步骤中的处理。[0656](步骤s201)[0657]首先，在步骤s201中，用户1使用用户终端10捕获计划着陆位置的图像。[0658]如图24中所示，用户1捕获包括计划着陆位置的图像。[0659](步骤s202)[0660]接着，在步骤s202中，用户1向用户终端10输入在捕获计划着陆位置的图像时的用户终端10的高度信息。[0661]用户终端10的数据处理单元将输入的高度信息记录在存储器中。[0662]注意，如上所述，关于在捕获图像时的高度，例如，可以被配置为使得用户的身高被预先登记在用户设备10的存储器中，并且用户设备10的数据处理单元从存储器中获取登记信息作为在捕获图像时的高度。[0663](步骤s203)[0664]接着，在步骤s203中，用户1输入用户终端10的显示单元上显示的捕获图像中包括的计划着陆位置的图像区域指定信息。[0665]如上所述，例如，用户1在用户终端10的显示单元上显示捕获图像，并且用手指轻敲图像内的计划着陆位置的图像区域或滑动手指以便画圆。[0666]该处理是以上参考图25描述的处理。用户1在用户终端10的显示单元上显示通过捕获计划着陆位置而获得的图像，并且指定捕获图像中的计划着陆位置的图像区域，如图25的(1a)和图25的(2a)中所示。例如，执行用手指轻敲计划着陆位置的图像区域或滑动手指以便画圆的处理。[0667]在用户终端10的数据处理单元中执行的应用检测由用户1触摸的屏幕区域以识别图像内的计划着陆位置的图像区域，检测由用户1执行的指定图像区域的操作，并且将计划着陆位置识别标记输出到由用户指定的位置，如图25的(1b)和图25的(2b)中所示。此外，与计划着陆位置的图像区域对应的像素位置信息被获取并且被记录在存储器中。[0668](步骤s204)[0669]接着，在步骤s204中，用户终端10的数据处理单元对捕获图像进行变换，并且生成“虚拟无人机相机图像”，该“虚拟无人机相机图像”是在假设由空中的无人机20的无人机相机22来捕获计划着陆位置的图像的情况下的估计捕获图像。[0670]注意，如以上参考图25所述，用户终端10的数据处理单元基于包括该计划着陆位置识别标记的捕获图像执行图像变换处理，以生成包括计划着陆位置识别标记的“虚拟无人机相机图像”。[0671]注意，虚拟无人机相机图像生成处理所需的信息(例如无人机20的无人机相机22的规格信息(例如，诸如无人机相机22的姿态、焦点位置和视角之类的参数))可以由用户设定，或者可以使用预定值(默认值)。替选地，可以使用从无人机20或无人机管理服务器40获取的值。[0672]后面将描述步骤s204中的虚拟无人机相机图像生成处理的细节。[0673](步骤s205)[0674]最后，在步骤s205中，用户终端10的数据处理单元将在步骤s204中生成的“虚拟无人机相机图像”、计划着陆位置的gps位置信息以及与所生成的“虚拟无人机相机图像”对应的属性数据发送给无人机20或无人机管理服务器40。[0675]无人机20使用这些数据来执行参考图1描述的(处理3)和(处理4)。[0676]即，作为(处理3)的处理，无人机20首先执行基于从用户终端10接收到的计划着陆位置的gps位置信息移动到计划着陆位置上方的空中的处理。[0677]接着，在(处理4)中，无人机20执行将从用户终端10发送的“虚拟无人机相机图像”与无人机相机22的捕获图像进行核对的处理，确认无人机相机22的捕获图像中包括的计划着陆位置，并且执行向计划着陆位置着陆的处理。[0678]通过这些处理，无人机20可以以高精度着陆在由用户指定的计划着陆位置处。[0679]接下来，将描述在图26中所示的流程的步骤s204中执行的“虚拟无人机相机图像”生成处理的细节。[0680]在步骤s204中，用户终端10的数据处理单元对捕获图像进行变换，并且生成“虚拟无人机相机图像”，该“虚拟无人机相机图像”是在假设由无人机相机捕获计划着陆位置的图像的情况下的估计拍摄图像。[0681]将描述该“虚拟无人机相机图像”生成处理的细节。[0682]用户终端10的数据处理单元首先计算世界坐标系(slam坐标系)(＝参考坐标系)中的天顶方向向量。[0683]该向量计算处理使用在(处理1)中计算的将ned坐标系中的位置(nedpx)变换为世界坐标系(slam坐标系)(＝参考坐标系)中的位置(wspx)的坐标变换矩阵(wstned)、或者在(处理1)的slam处理中计算的用户终端10的位置和姿态信息。[0684]注意，天顶方向是通过将ned坐标系的z轴方向旋转180度而获得的方向，即与z轴相反的方向。[0685]接着，用户终端10的数据处理单元计算以下值(a)到(d)。[0686]用户终端10的数据处理单元计算如下值(a)至(d)：[0687]在世界坐标系(slam坐标系)(＝参考坐标系)中的：[0688](a)计划着陆位置平面(z＝0的着陆平面)的姿态(psrws)，和[0689](b)计划着陆位置(wspps)；以及[0690]在ned坐标系中的：[0691](c)计划着陆位置平面的姿态(z＝0的着陆平面)(psrned)，和[0692](d)计划着陆位置(nedpps)。[0693]注意，[0694]可以通过在(处理2)中应用使用用户终端10的着陆计划位置的捕获图像的slam处理来计算在上述世界坐标系(slam坐标系)(＝基准坐标系)中的：[0695](a)计划着陆位置平面的姿态(z＝0的着陆平面)(psrws)，和[0696](b)计划着陆位置(wspps)。[0697]注意，例如，在作为本技术人的在先申请的专利文献2(日本专利申请特开第5920352号)中描述了应用slam处理的地图生成处理、即包括在相机捕获图像中的外部环境的地图生成处理，并且可以应用该技术。[0698]此外，可以使用在(处理1)中执行的slam处理的结果和通过应用slam处理而计算的坐标变换矩阵(wstned)(即将ned坐标系中的位置(nedpx)变换为世界坐标系(slam坐标系)(＝参考坐标系)中的位置(wspx)的坐标变换矩阵(wstned))、根据以下(公式9)来计算在上述ned坐标系中的值：[0699](c)计划着陆位置平面的姿态(z＝0的着陆平面)(psrned)，和[0700](d)计划着陆位置(nedpps)。[0701]psrned＝psrws·nedrwst,[0702]nedpps＝nedrws(wspps-wspned)[0703]...(公式9)[0704]被配置为生成“虚拟无人机相机图像”的在用户终端10的捕获图像上的位置和“虚拟无人机相机图像”上的位置之间的关系公式(对应像素位置关系公式)由以下(公式10)来表示。注意，以下(公式10)是在用户终端10的相机和无人机20的无人机相机22(向下相机)符合针孔相机模型的前提下生成的关系公式。[0705](公式10)是根据以下坐标系之间的变换信息(公式8)(表1)和针孔相机模型(公式3)来计算的，并且是使得如果指定了“虚拟无人机相机图像”上的像素位置[un，vn]则能够计算由用户捕获的图像上的对应像素位置[us，vs]的关系公式。[0706](1)虚拟无人机相机坐标系(ned坐标系)[0707](2)着陆平面坐标系[0708](3)世界坐标系(slam坐标系)[0709][表达式11][0710][0711]上述(公式10)是表示通过由用户终端10的相机来捕获计划着陆位置而获得的捕获图像上的像素位置和“虚拟无人机相机图像”上的像素位置之间的对应关系的对应像素位置关系公式，该“虚拟无人机相机图像”是在假设由安装在无人机20上的虚拟无人机相机来捕获计划着陆位置的图像的情况下的估计捕获图像。[0712]注意，构成上述(公式10)的多个计算公式对应于以下数据计算公式。[0713][表达式12][0714][0715]该计算公式是在由着陆平面的位置和姿态表示的坐标系中的将虚拟无人机相机图像的焦点位置连接到与虚拟无人机相机图像上的坐标位置对应的着陆平面的地点的向量的计算公式。[0716][表达式13][0717][0718]该计算公式是在由着陆平面的位置和姿态表示的坐标系中的将用户终端的位置连接到与用户终端的捕获图像上的坐标位置对应的着陆平面的地点的向量的计算公式。[0719][表达式14][0720]psrned·(nedpps-nedpn)[0721]该计算公式是在由着陆平面的位置和姿态表示的坐标系中的将虚拟无人机相机图像的焦点位置连接到计划着陆位置的向量的计算公式。[0722][表达式15][0723][0724]该计算公式是在由着陆平面的位置和姿态表示的坐标系中的通过从用户终端的位置减去计划着陆位置而获得的向量的计算公式。[0725]注意，如以下表以及图27和图28中所示地设定上述(公式10)中的各个参数。[0726][表1][0727][0728][0729]如上述表中所示，(公式10)中的所有参数是由用户终端10执行的(处理1)和(处理2)、从无人机20或无人机管理服务器40获取的数据、存储在用户终端10中的数据、或者由用户输入到用户终端10的数据中的任一个，并且可以使用这些数据来生成上述(公式10)中所示的对应像素位置关系公式。[0730]在对应像素位置关系公式中使用的一些参数是使用坐标变换矩阵而计算的参数，该坐标变换矩阵应用于(处理1)中计算的三个坐标系(即如下三个坐标系)之间的变换：[0731](1)相机坐标系；[0732](2)ned坐标系；和[0733](3)世界坐标系(slam坐标系)(＝参考坐标系)。[0734]注意，以上表以及图27和图28中所示的ned坐标系中的“虚拟无人机相机图像”的姿态(nrned)和焦点位置(nedpn)是被估计为捕获与“虚拟无人机相机图像”相同的图像的无人机相机22的姿态(ned坐标系中的姿态(nrned))和被估计为捕获与“虚拟无人机相机图像”相同的图像的无人机相机22的焦点位置(ned坐标系中的焦点位置(nedpn))。[0735]这些参数可以由操作用户终端10的用户来确定。替选地，可以在用户终端10中执行“虚拟无人机相机图像”生成处理的情况下使用预设的默认值。[0736]注意，关于这些参数，即对于ned坐标系中的“虚拟无人机相机图像”的姿态(nrned)和焦点位置(nedpn)的各个参数，在用户终端10使用无人机20不知道的用户指定参数的情况下，将这些参数(“虚拟无人机相机图像”的姿态(nrned)和焦点位置(nedpn))与由用户终端10生成的“虚拟无人机相机图像”一起从用户终端10发送给无人机20或无人机管理服务器40。[0737]用户终端10使用上述(公式10)中所示的关系公式、即用户终端10的捕获图像上的位置和“虚拟无人机相机图像”上的位置之间的关系公式(对应像素位置关系公式)来生成“虚拟无人机相机图像”。[0738]用户终端10根据以下处理过程、使用上述(公式10)中所示的关系公式(对应像素位置关系公式)来执行“虚拟无人机相机图像”生成处理。[0739]首先，用户终端10通过使用上述(公式10)来计算与“虚拟无人机相机图像”上的(齐次坐标系中的)像素位置[un，vn，1]对应的用户终端10的捕获图像上的(齐次坐标系中的)像素位置[us，vs，1]。[0740]接着，将用户终端10的捕获图像上的像素位置[us，vs]的输出值(颜色)设定为“虚拟无人机相机图像”上的像素位置[un，vn]的输出值(颜色)。[0741]对“虚拟无人机相机图像”的所有像素执行该处理以生成“虚拟无人机相机图像”。[0742]在图26中所示的流程的步骤s204中，根据上述过程、使用用户终端10的捕获图像来生成“虚拟无人机相机图像”。[0743]注意，如以上参考图25所述，用户终端10的数据处理单元基于包括该计划着陆位置识别标记的捕获图像执行图像变换处理，以生成包括计划着陆位置识别标记的“虚拟无人机相机图像”。[0744]在接下来的步骤s205中，用户终端10将以下数据发送给无人机20或无人机管理服务器40。[0745](1)“虚拟无人机相机图像”[0746](2)计划着陆位置的gps位置信息[0747](3)与“虚拟无人机相机图像”对应的属性数据[0748]用户终端10将这些数据发送给无人机20或无人机管理服务器40。[0749]注意，(3)与“虚拟无人机相机图像”对应的属性数据具体包括例如以下数据。[0750](3a)“虚拟无人机相机图像”中的计划着陆位置的坐标信息(un，vn)[0751](3b)被估计为捕获与“虚拟无人机相机图像”相同的图像的无人机相机22的姿态(ned坐标系中的姿态(nrned))[0752](3c)被估计为捕获与“虚拟无人机相机图像”相同的图像的无人机相机22的焦点位置(ned坐标系中的焦点位置(nedpn))[0753]注意，预定值(默认值)可以用作上述(2)和(3)的参数。例如，可以使用预先记录在用户终端10和无人机20两者的存储器中的默认值。[0754]无人机20使用上述(3a)到(3c)的数据来执行参考图1描述的(处理3)和(处理4)。[0755][4-3.(处理3和4)关于由无人机执行的使用虚拟无人机相机图像执行在计划着陆位置处的着陆的处理的细节][0756]接下来，将描述由无人机20执行的使用虚拟无人机相机图像执行向计划着陆位置的着陆的处理的细节，即图1中所示的(处理3)和(处理4)的处理的细节。[0757]这些(处理3)和(处理4)由无人机20的无人机控制装置21执行。[0758]在执行图1中所示的(处理3)和(处理4)的处理时，无人机20的无人机控制装置21直接从用户终端10或经由无人机管理服务器40接收用户终端10的发送数据、即以下数据。[0759](1)“虚拟无人机相机图像”[0760](2)计划着陆位置的gps位置信息[0761](3)与“虚拟无人机相机图像”对应的属性数据(3a到3c)[0762](3a)“虚拟无人机相机图像”中的计划着陆位置的坐标信息(un，vn)[0763](3b)被估计为捕获与“虚拟无人机相机图像”相同的图像的无人机相机22的姿态(ned坐标系中的姿态(nrned))[0764](3c)被估计为捕获与“虚拟无人机相机图像”相同的图像的无人机相机22的焦点位置(ned坐标系中的焦点位置(nedpn))[0765]无人机20的无人机控制装置21使用用户终端10的发送数据来执行图1中所示的(处理3)和(处理4)的处理。[0766]如图29中所示，首先，在(处理3)中，无人机20的无人机控制装置21根据从用户终端10发送的计划着陆位置的gps位置信息来控制无人机20，并且到达计划着陆位置上方的空中。[0767]此后，如图30中所示，在(处理4)中，无人机20的无人机控制装置21进行将从用户终端10发送的“虚拟无人机相机图像”与无人机相机22的捕获图像进行核对的处理，确认无人机相机22的捕获图像中包括的计划着陆位置，并且执行朝向计划着陆位置的着陆处理。[0768]无人机20的无人机控制装置21的数据处理单元在通过上述(处理4)中的图像核对确认计划着陆位置的处理中，使用从用户终端10发送的以下数据来执行处理。也就是说，[0769](3a)“虚拟无人机相机图像”中的计划着陆位置的坐标信息(un，vn)；[0770](3b)被估计为捕获与“虚拟无人机相机图像”相同的图像的无人机相机22的姿态(ned坐标系中的姿态(nrned))；和[0771](3c)被估计为捕获与“虚拟无人机相机图像”相同的图像的无人机相机22的焦点位置(ned坐标系中的焦点位置(nedpn))。[0772]无人机20的无人机控制装置21的数据处理单元使用这些数据来确认无人机相机22的捕获图像中包括的计划着陆位置。[0773]无人机20开始朝向计划着陆位置下降，并且由无人机相机22在由上述(3b)和(3c)的参数(即如下这些参数)指示的位置和姿态处捕获的图像成为与从用户终端10接收到的“虚拟无人机相机图像”相同的图像：[0774](3b)被估计为捕获与“虚拟无人机相机图像”相同的图像的无人机相机22的姿态(ned坐标系中的姿态(nrned))；和[0775](3c)被估计为捕获与“虚拟无人机相机图像”相同的图像的无人机相机22的焦点位置(ned坐标系中的焦点位置(nedpn))。[0776]此外，无人机20的无人机控制装置21的数据处理单元根据由无人机相机22捕获的图像使用上述(3a)的参数(即以下参数)以根据由无人机相机22捕获的图像来识别计划着陆位置：[0777](3a)“虚拟无人机相机图像”中的计划着陆位置的坐标信息(un，vn)。[0778]通过该处理，无人机20的无人机控制装置21使无人机20朝向所识别的计划着陆位置着陆。[0779]通过这些处理，无人机20的无人机控制装置21可以以高精度将无人机20着陆在由用户1指定的计划着陆位置处。[0780][5.关于其他实施例][0781]接下来，将描述与上述实施例不同的其他实施例。[0782]在上述实施例中，在图1中所示的(处理2)中，由用户终端10捕获计划着陆位置的图像，并且使用由用户终端10获得的捕获图像、使用上述(公式10)中所示的关系公式(对应像素位置关系公式)来生成“虚拟无人机相机图像”。[0783]上述(公式10)中所示的关系公式中包括的参数中的一部分是可以使用在(处理1)中计算的将ned坐标系中的位置(nedpx)变换为世界坐标系(slam坐标系)(＝参考坐标系)中的位置(wspx)的坐标变换矩阵(wstned)来计算的参数。[0784]因此，在(处理1)中，用户终端10进行计算坐标变换矩阵(wstned)的处理，该坐标变换矩阵(wstned)将ned坐标系中的位置(nedpx)变换为世界坐标系(slam坐标)(＝参考坐标系)中的位置(wspx)。[0785]例如，如以上参考图11和图12所描述的，在(处理1)中执行的计算坐标变换矩阵(wstned)的处理需要用户1使用用户终端10来捕获空中的无人机的运动图像的处理，并且存在用户的负担和用户终端10的处理负荷增加的问题。[0786]将ned坐标系中的位置(nedpx)变换为世界坐标系(slam坐标系)(＝参考坐标系)中的位置(wspx)的坐标变换矩阵(wstned)的计算处理可以被配置为由用户终端10以外的设备(例如能够与用户终端10通信的无人机管理服务器40或无人机20的信息处理装置)来执行。[0787]例如，可以被配置为使得能够与用户终端10通信的无人机管理服务器40或无人机20保持预先计算的坐标变换矩阵(wstned)，并且将所保持的数据从无人机管理服务器40或无人机20提供给用户终端10。[0788]替选地，例如，可以被配置为使得：捕获由用户终端10捕获的图像(例如，以上参考图11和图12描述的空中的无人机的运动图像)，将捕获图像发送给无人机管理服务器40或无人机20，以及无人机管理服务器40或无人机20侧的信息处理装置计算坐标变换矩阵(wstned)并且将计算出的坐标变换矩阵发送给用户终端10。[0789]即，可以被配置为使得无人机管理服务器40或无人机20分析从用户终端10接收到的无人机的捕获图像，执行与上述(处理1)类似的处理以计算将ned坐标系中的位置(nedpx)变换为世界坐标系(slam坐标系)(＝参考坐标系)中的位置(wspx)的坐标变换矩阵(wstned))，并且将计算出的坐标变换矩阵发送给用户终端10。[0790]注意，坐标变换矩阵(wstned)的计算处理所需的处理的仅一部分可以由无人机管理服务器40或无人机20侧的信息处理装置来执行。[0791]例如，无人机管理服务器40或无人机20侧的信息处理装置保持“将图像和ned坐标系相关联的数据库(db)”，使用该数据库来检索与从用户终端10接收到的无人机的捕获图像具有高相似度的db注册图像，并且选择与检索到的db注册图像相关联地记录在db中的ned坐标系。[0792]例如，“将图像和ned坐标系相关联的db(数据库)”是这样的数据库，在该数据库中注册了通过从地面捕获空中的无人机而获得的图像和与该图像相关联的ned坐标系中的位置和姿态(ned坐标系中的相机位置和姿态)信息。[0793]该数据库是预先生成的。即，生成通过使用具有各种不同位置和姿态的相机来捕获空中的无人机而获得的图像，并且构建如下数据库(db)，在该数据库(db)中将ned坐标系中的位置和姿态(ned坐标系中的相机位置和姿态)与这些图像相关联。[0794]将参考图31来描述在使用该数据库的情况下的用户终端10的处理配置。[0795]图31是示出与以上参考图5描述的配置图类似的执行(处理1)和(处理2)的用户终端的配置的框图。[0796]图31与上述图5的不同之处在于(处理1)执行单元110的配置。[0797]图31具有省略了图5中所示的图像分析单元111的配置。[0798]在图31中，(处理1)执行单元110将从相机101输入的无人机的捕获图像经由通信单元130发送给诸如无人机管理服务器40之类的外部设备。[0799]诸如无人机管理服务器40之类的外部设备包括“将图像和ned坐标系相关联的数据库(db)”。诸如无人机管理服务器40之类的外部设备执行将从用户终端10接收到的无人机的捕获图像和数据库中注册的图像进行核对的处理，并且选择匹配或类似的注册图像。[0800]此外，与所选择的注册图像对应地记录在数据库中的无人机位置和姿态信息(ned坐标系)被获取并且被发送给用户终端10。[0801]用户终端10的(处理1)执行单元110的坐标变换矩阵生成单元113输入无人机位置和姿态信息(ned坐标系)，进一步通过使用从同时定位与地图构建单元(slam)112输入的用户终端10的自身位置和姿态信息来分析相机坐标系和ned坐标系中的坐标之间的对应位置关系，并且计算使得能够将一个坐标系的位置变换为另一个坐标系的位置的坐标变换矩阵。[0802]在该配置中，省略了由用户终端10执行的图像分析，并且减少了用户终端10上的处理负荷。[0803]注意，在使用“将图像和ned坐标系相关联的数据库(db)”的情况下的处理序列如下。[0804](步骤s1)[0805]首先，捕获由用户终端10捕获的图像(例如，以上参考图11和图12描述的空中的无人机的运动图像)，并且将捕获图像发送给无人机管理服务器40或无人机20。[0806](步骤s2)[0807]接着，无人机管理服务器40或无人机20侧的信息处理装置执行将从用户终端10接收到的图像和“将图像和ned坐标系相关联的db”的登记图像进行核对的处理。[0808]无人机管理服务器40或无人机20侧的信息处理装置选择与从用户终端10接收到的图像匹配或类似的db注册图像，获取与所选择的db注册图像相关联地记录的ned坐标系中的位置和姿态(ned坐标系中的相机位置和姿态)，并且将所获取的ned坐标系中的相机位置和姿态发送给用户侧的用户终端10。[0809](步骤s3)[0810]接着，用户终端10基于通过在用户终端10侧执行的slam处理计算的slam坐标系中的相机位置和姿态以及从无人机管理服务器40或无人机20接收到的ned坐标系中的相机位置和姿态来计算将ned坐标系中的位置(nedpx)变换为世界坐标系(slam坐标系)(＝参考坐标系)中的位置(wspx)的坐标变换矩阵(wstned)。[0811]以这种方式，可以在多个设备之间共享处理。[0812]注意，可以被配置为使得：预先将“将图像和ned坐标系相关联的数据库(db)”发送给用户终端10，并且用户终端10使用注册在该数据库中的数据来执行处理。[0813]此外，在上述实施例中，在(处理2)中，用户1执行如下处理：使用用户终端10捕获期望使无人机20着陆的地面上的预定位置(计划着陆位置)的图像，并且基于捕获图像生成“虚拟无人机相机图像”。[0814]注意，“虚拟无人机相机图像”是在由空中的无人机20的无人机相机22捕获计划着陆位置的情况下估计要捕获的虚拟图像。[0815]可以被配置为使得“虚拟无人机相机图像”生成处理也由无人机管理服务器40或无人机20侧的信息处理装置而不是用户终端10来执行。[0816]在这种情况下，用户1使用用户终端10捕获期望使无人机20着陆的地面上的预定位置(计划着陆位置)的图像，并且将捕获图像发送给无人机管理服务器40或无人机20。[0817]无人机管理服务器40或无人机20的信息处理装置分析从用户终端10接收到的计划着陆位置的捕获图像，并且执行与上述(处理2)类似的处理以生成“虚拟无人机相机图像”、即在由空中的无人机20的无人机相机22捕获计划着陆位置的情况下估计要捕获的虚拟图像。[0818]以此方式，可以被配置为使得在无人机管理服务器40或无人机20中执行上述(处理1)和(处理2)中所需的数据分析。在这种情况下，用户1仅需要使用用户终端10来捕获(处理1)和(处理2)中所需的图像，并且将捕获图像发送给无人机管理服务器40或无人机20。[0819][6.关于本公开的信息处理装置的配置示例][0820]接下来，将描述本公开的信息处理装置的配置示例。[0821]图32是示出作为本公开的信息处理装置的用户终端100和安装在无人机20上的无人机控制装置200的配置示例的图。[0822]例如，用户终端100是诸如智能电话之类的配备有相机的通信终端。可以使用诸如pc或相机设备之类的设备，而不限于智能电话。[0823]用户终端100具有能够与无人机控制装置200和无人机管理服务器300通信的配置。[0824]无人机控制装置200使用例如与无人机管理服务器300的通信信息或与gps卫星的通信信息，使无人机20根据预定飞行路径飞行。[0825]如图中所示，用户终端100包括相机151、数据处理单元152、存储单元(存储器)153、通信单元154、显示单元155、输入单元156和输出单元157。[0826]相机151例如用于捕获无人机的图像的处理或slam处理中的图像捕获。[0827]数据处理单元152执行上述处理，具体地，执行诸如以上参考图1描述的(处理1)和(处理2)之类的处理。即，执行以下处理。[0828](处理1)计算被配置为将由无人机和用户终端使用的不同坐标上的位置表示为一个参考坐标上的位置的坐标变换矩阵的坐标系分析处理[0829](处理2)由用户终端捕获计划着陆位置的图像、基于捕获图像生成“虚拟无人机相机图像”、并且将所生成的“虚拟无人机相机图像”、计划着陆位置的gps位置信息等发送给无人机或无人机管理服务器的处理[0830]数据处理单元152控制要在用户终端100中执行的处理，例如上述(处理1)和(处理2)中所需的slam处理和图像捕获控制。[0831]数据处理单元152例如包括具有程序执行功能的诸如cpu之类的处理器，并且根据存储在存储单元153中的程序来执行处理。[0832]存储单元(存储器)153用作由数据处理单元152执行的程序的存储区和工作区。存储单元(存储器)153还用作要应用于处理的各种参数的存储区。存储单元(存储器)153包括ram、rom等。[0833]通信单元154执行与无人机控制装置200和无人机管理服务器300的通信。例如，执行从无人机控制装置200或无人机管理服务器300接收与无人机20的gps位置相对应的飞行路径信息等的处理。[0834]显示单元155显示相机捕获图像，例如，显示无人机的捕获图像、计划着陆位置的捕获图像等。[0835]输入单元156是由用户操作的单元，并且用于各种处理，例如，输入用户请求(例如诸如图像捕获和slam处理之类的数据处理的开始和结束)的处理。[0836]输出单元157包括声音输出单元、图像输出单元等。[0837]接下来，将描述无人机控制装置200的配置。[0838]无人机控制装置200包括数据处理单元201、飞行控制单元202、相机203、通信单元204和定位传感器(gps信息接收和分析单元)205。[0839]例如，数据处理单元201计划和确定无人机20的飞行路径。例如，基于从无人机管理服务器300接收到的飞行路径指示信息、从用户终端100接收到的计划着陆位置的gps位置信息、“虚拟无人机相机图像”等来计划和确定特定飞行路径。[0840]飞行控制单元202执行飞行控制、着陆控制等，以使无人机控制装置200根据由数据处理单元201确定的飞行路径飞行。[0841]相机203例如捕获计划着陆位置的图像。将捕获图像输入到数据处理单元201，并且数据处理单元201执行与从用户终端100接收到的“虚拟无人机相机图像”的核对处理。数据处理单元201基于核对处理确认相机203的捕获图像中包括的计划着陆位置，并且向飞行控制单元202输出用于执行朝向计划着陆位置的着陆处理的控制命令。[0842]飞行控制单元202根据控制命令执行着陆处理。[0843]通信单元204执行与无人机管理服务器300和用户终端100的通信。[0844]定位传感器(gps信息接收和分析单元)205执行与gps卫星400的通信，基于与gps卫星400的通信信息分析无人机控制装置200的当前位置(纬度、经度和高度)，并且将所分析的信息输出到飞行控制单元202。[0845]飞行控制单元202使用从定位传感器(gps信息接收和分析单元)205输入的信息来执行朝向目标位置的飞行或者在计划着陆位置处的着陆。[0846]注意，在上述实施例中已经描述了无人机的着陆处理的示例，但是本公开的处理不仅适用于无人机的着陆处理，而且也适用于其他飞行器的着陆处理。[0847]可以通过将上述实施例中的无人机替换为飞行器来执行类似的处理。[0848]接下来，将参考图33来描述作为本公开的信息处理装置的用户终端、无人机控制装置和无人机管理服务器可以共同使用的硬件配置示例。[0849]中央处理单元(cpu)501用作根据存储在只读存储器(rom)502或存储单元508中的程序执行各种处理的数据处理单元。例如，执行根据上述实施例中描述的序列的处理。要由cpu 501执行的程序、数据等存储在随机存取存储器(ram)503中。cpu 501、rom 502和ram 503经由总线504相互连接。[0850]cpu 501经由总线504连接到输入/输出接口505，并且包括各种传感器、相机、开关、键盘、鼠标、麦克风的输入单元506和包括显示器和扬声器的输出单元507连接到输入/输出接口505。[0851]连接到输入/输出接口505的存储单元508使用例如usb存储器、sd卡、硬盘等来配置，并且存储要由cpu 501执行的程序和各种类型的数据。通信单元509用作经由诸如因特网或局域网之类的网络的数据通信的发送/接收单元，并且与外部设备进行通信。[0852]连接到输入/输出接口505的驱动器510驱动可移动介质511(诸如磁盘、光盘、磁光盘和诸如存储卡之类的半导体存储器)，并且执行数据记录或读取。[0853][7.本公开的配置的总结][0854]已经参考具体实施例对本公开的实施例进行了详细描述。然而，不言而喻，本领域技术人员可以在不偏离本公开的要旨的范围内对实施例进行修改和替换。换言之，本发明已经以示例的形式公开，而不应被限制性地解释。为了确定本公开的要旨，应考虑权利要求书的范围。[0855]注意，本说明书中公开的技术可以具有以下配置。[0856](1)一种信息处理装置，包括：[0857]数据处理单元，所述数据处理单元执行对相机捕获图像的变换处理，[0858]其中，所述数据处理单元：[0859]基于通过利用用户终端捕获无人机的计划着陆位置的图像而获得的捕获图像来生成虚拟无人机相机图像，所述虚拟无人机相机图像是在假设安装在所述无人机上的虚拟无人机相机已经捕获了所述计划着陆位置的图像的情况下的估计捕获图像，以及[0860]生成表示所述用户终端的捕获图像上的像素位置和所述虚拟无人机相机的捕获图像上的像素位置之间的对应关系的对应像素位置关系公式，并且通过使用所述对应像素位置关系公式、使用所述用户终端的捕获图像来生成所述虚拟无人机相机图像。[0861](2)根据(1)所述的信息处理装置，其中，[0862]所述数据处理单元通过将所述用户终端的捕获图像上的像素位置的像素值设定到所述虚拟无人机相机的捕获图像上与所述用户终端的捕获图像上的像素位置相对应的像素位置来生成所述虚拟无人机相机图像。[0863](3)根据(1)或(2)所述的信息处理装置，其中，[0864]所述数据处理单元计算用于所述无人机的位置控制的第一坐标系和表示所述用户终端的相机捕获图像的像素位置的第二坐标系的坐标变换矩阵，并且通过使用通过应用所计算的坐标变换矩阵而计算的参数来生成所述对应像素位置关系公式。[0865](4)根据(3)所述的信息处理装置，其中，[0866]所述数据处理单元计算将用于所述无人机的位置控制的第一坐标系和表示所述用户终端的相机捕获图像的像素位置的第二坐标系变换为一个参考坐标系的坐标变换矩阵，并且通过使用通过应用所计算的坐标变换矩阵而计算的参数来生成所述对应像素位置关系公式。[0867](5)根据(4)所述的信息处理装置，其中，[0868]所述数据处理单元执行计算所述用户终端的位置和姿态的同时定位与地图构建slam处理，并且使用所述slam处理的结果来计算将表示所述用户终端的相机捕获图像的像素位置的第二坐标系变换为作为一个参考坐标系的slam坐标系的坐标变换矩阵。[0869](6)根据(5)所述的信息处理装置，其中，[0870]所述slam坐标系是固定的世界坐标系。[0871](7)根据(3)至(6)中任一项所述的信息处理装置，其中，[0872]用于所述无人机的位置控制的第一坐标系是ned坐标系，以及[0873]表示所述用户终端的相机捕获图像的像素位置的第二坐标系是相机坐标系。[0874](8)根据(1)至(7)中任一项所述的信息处理装置，其中，[0875]所述数据处理单元执行以下(处理1)和(处理2)：[0876](处理1)计算被配置为将由所述无人机和所述用户终端使用的不同坐标上的位置表示为一个参考坐标上的位置的坐标变换矩阵的坐标系分析处理；以及[0877](处理2)基于由所述用户终端捕获的所述计划着陆位置的图像生成所述虚拟无人机相机图像并且将所生成的虚拟无人机相机图像、所述计划着陆位置的gps位置信息等发送给所述无人机或无人机管理服务器的处理。[0878](9)根据(8)所述的信息处理装置，其中，[0879]所述数据处理单元在(处理2)中将所述虚拟无人机相机图像的属性数据与所述虚拟无人机相机图像一起发送给所述无人机或所述无人机管理服务器。[0880](10)根据(9)所述的信息处理装置，其中，[0881]所述属性数据包括以下(a)到(c)中的至少任何数据：[0882](a)所述虚拟无人机相机图像中的所述计划着陆位置的坐标信息；[0883](b)被估计为捕获与所述虚拟无人机相机图像相同的图像的无人机相机的姿态信息；以及[0884](c)被估计为捕获与所述虚拟无人机相机图像相同的图像的所述无人机相机的焦点位置。[0885](11)一种信息处理系统，包括：[0886]用户终端；以及[0887]无人机，[0888]其中，所述用户终端基于通过利用所述用户终端捕获所述无人机的计划着陆位置的图像而获得的捕获图像来生成虚拟无人机相机图像，所述虚拟无人机相机图像是在假设安装在所述无人机上的虚拟无人机相机已经捕获了所述计划着陆位置的图像的情况下的估计捕获图像；并且将所生成的虚拟无人机相机图像发送给所述无人机，以及[0889]所述无人机执行将所述虚拟无人机相机图像与安装在所述无人机上的无人机相机的捕获图像进行核对的处理，并且执行控制以着陆在所述无人机相机的捕获图像中包括的所述计划着陆位置处。[0890](12)根据(11)所述的信息处理系统，其中，[0891]所述用户终端经由无人机管理服务器将所述虚拟无人机相机图像发送给所述无人机。[0892](13)根据(11)或(12)所述的信息处理系统，其中，[0893]所述用户终端生成表示所述用户终端的捕获图像上的像素位置和所述虚拟无人机相机的捕获图像上的像素位置之间的对应关系的对应像素位置关系公式，并且通过使用所述对应像素位置关系公式、使用所述用户终端的捕获图像来生成所述虚拟无人机相机图像。[0894](14)根据(13)所述的信息处理系统，其中，[0895]所述用户终端计算将用于所述无人机的位置控制的第一坐标系和表示所述用户终端的相机捕获图像的像素位置的第二坐标系变换为一个参考坐标系的坐标变换矩阵，并且通过使用通过应用所计算的坐标变换矩阵而计算的参数来生成所述对应像素位置关系公式。[0896](15)根据(14)所述的信息处理系统，其中，[0897]所述用户终端执行计算所述用户终端的位置和姿态的同时定位与地图构建slam处理，并且使用所述slam处理的结果来计算将表示所述用户终端的相机捕获图像的像素位置的第二坐标系变换为作为一个参考坐标系的slam坐标系的坐标变换矩阵。[0898](16)根据(15)所述的信息处理系统，其中，[0899]所述slam坐标系是固定的世界坐标系，[0900]用于所述无人机的位置控制的第一坐标系是ned坐标系，以及[0901]表示所述用户终端的相机捕获图像的像素位置的第二坐标系是相机坐标系。[0902](17)根据(11)至(16)中任一项所述的信息处理系统，其中，[0903]所述用户终端将作为所述虚拟无人机相机图像的属性数据的以下(a)到(c)中的至少任何数据与所述虚拟无人机相机图像一起发送给所述无人机：[0904](a)所述虚拟无人机相机图像中的所述计划着陆位置的坐标信息；[0905](b)被估计为捕获与所述虚拟无人机相机图像相同的图像的无人机相机的姿态信息；以及[0906](c)被估计为捕获与所述虚拟无人机相机图像相同的图像的所述无人机相机的焦点位置。[0907](18)一种在信息处理装置中执行的信息处理方法，[0908]所述信息处理装置包括数据处理单元，所述数据处理单元执行对相机捕获图像的变换处理，[0909]所述信息处理方法包括：[0910]由所述数据处理单元基于通过利用用户终端捕获无人机的计划着陆位置的图像而获得的捕获图像来生成虚拟无人机相机图像，所述虚拟无人机相机图像是在假设安装在所述无人机上的虚拟无人机相机已经捕获了所述计划着陆位置的图像的情况下的估计捕获图像，以及[0911]由所述数据处理单元生成表示所述用户终端的捕获图像上的像素位置和所述虚拟无人机相机的捕获图像上的像素位置之间的对应关系的对应像素位置关系公式，并且通过使用所述对应像素位置关系公式、使用所述用户终端的捕获图像来生成所述虚拟无人机相机图像。[0912](19)一种在包括用户终端和无人机的信息处理系统中执行的信息处理方法，所述信息处理方法包括：[0913]由所述用户终端基于通过利用所述用户终端捕获所述无人机的计划着陆位置的图像而获得的捕获图像来生成虚拟无人机相机图像，所述虚拟无人机相机图像是在假设安装在所述无人机上的虚拟无人机相机已经捕获了所述计划着陆位置的图像的情况下的估计捕获图像；并且将所生成的虚拟无人机相机图像发送给所述无人机，以及[0914]由所述无人机执行将所述虚拟无人机相机图像与安装在所述无人机上的无人机相机的捕获图像进行核对的处理，并且执行控制以着陆在所述无人机相机的捕获图像中包括的所述计划着陆位置处。[0915](20)一种使信息处理装置执行信息处理的程序，[0916]所述信息处理装置包括数据处理单元，所述数据处理单元执行对相机捕获图像的变换处理，[0917]所述程序使数据处理单元：[0918]执行基于通过利用用户终端捕获无人机的计划着陆位置的图像而获得的捕获图像来生成虚拟无人机相机图像的处理，所述虚拟无人机相机图像是在假设安装在所述无人机上的虚拟无人机相机已经捕获了所述计划着陆位置的图像的情况下的估计捕获图像，以及[0919]生成表示所述用户终端的捕获图像上的像素位置和所述虚拟无人机相机的捕获图像上的像素位置之间的对应关系的对应像素位置关系公式，并且通过使用所述对应像素位置关系公式、使用所述用户终端的捕获图像来生成所述虚拟无人机相机图像。[0920]此外，说明书中描述的一系列处理可以通过硬件、软件或两者的复杂配置来执行。在使用软件执行处理的情况下，可以通过将记录处理序列的程序安装在内置于专用硬件的计算机中的存储器上或通过将程序安装在可以执行各种处理的通用计算机中来执行处理。例如，可以预先将程序记录在记录介质中。除了从记录介质安装在计算机上之外，还可以经由诸如局域网(lan)和因特网之类的网络接收程序，并且将接收到的程序安装在记录介质(诸如内置硬盘)上。[0921]注意，说明书中描述的各种处理不仅根据描述以时序方式执行，而且可以根据执行处理的设备的处理性能或需要而并行或单独执行。此外，本说明书中的术语“系统”是指多个装置的逻辑集合配置，并且不限于将各个配置的装置设置在同一壳体中的系统。[0922]工业适用性[0923]如上所述，根据本公开的一个实施例的配置，实现了能够精确地将无人机着陆在由用户指定的计划着陆位置处的配置。[0924]具体地，例如，用户终端基于通过利用用户终端捕获无人机的计划着陆位置而获得的捕获图像来生成虚拟无人机相机图像，该虚拟无人机相机图像是在假设安装在无人机上的虚拟无人机相机已经捕获了计划着陆位置的图像的情况下的估计捕获图像；并且将所生成的虚拟无人机相机图像发送给无人机。无人机将虚拟无人机相机图像与由无人机相机捕获的图像进行核对，并且着陆在由无人机相机捕获的图像中的计划着陆位置处。用户终端生成表示用户终端的捕获图像上的像素位置和虚拟无人机相机的捕获图像上的像素位置之间的对应关系的对应像素位置关系公式，并且使用所生成的关系公式来生成虚拟无人机相机图。[0925]根据该配置，实现了能够精确地将无人机着陆在由用户指定的计划着陆位置处的配置。[0926]参考标记列表[0927]10 用户终端(信息处理装置)[0928]20 无人机[0929]21 无人机控制装置(信息处理装置)[0930]22 无人机相机[0931]30 gps卫星[0932]40 无人机管理服务器[0933]51 相机成像面[0934]61 对象[0935]62 对象图像[0936]100 用户终端[0937]101 相机[0938]102 输入单元[0939]110 (处理1)执行单元[0940]111 图像分析单元[0941]112 同时定位与地图构建单元[0942]113 图像变换矩阵生成单元[0943]120 (处理2)执行单元[0944]121 发送数据生成单元[0945]122 虚拟无人机相机图像生成单元[0946]130 通信单元[0947]151 相机[0948]152 数据处理单元[0949]153 存储单元(存储器)[0950]154 通信单元[0951]155 显示单元[0952]156 输入单元[0953]157 输出单元[0954]200 无人机控制装置[0955]201 数据处理单元[0956]202 飞行控制单元[0957]203 相机[0958]204 通信单元[0959]205 定位传感器(gps信息接收和分析单元)[0960]300 无人机管理服务器[0961]501 cpu[0962]502 rom[0963]503 ram[0964]504 总线[0965]505 输入/输出接口[0966]506 输入单元[0967]507 输出单元[0968]508 存储单元[0969]509 通信单元[0970]510 驱动器[0971]511 可移动介质









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!