可用泊车位识别装置、可用泊车位识别方法和程序与流程 专利技术说明

计算;推算;计数设备的制造及其应用技术1.本发明涉及信息处理装置、信息处理方法和程序，更具体地，涉及不会受到泊车位(parking space)的环境的影响且能够实现接近于人类感觉的快速且顺畅的泊车辅助的信息处理装置、信息处理方法和程序。2.相关申请的交叉参考3.本技术要求2020年12月21日提交的美国优先权专利申请us 63/128297和2021年3月5日提交的日本优先权专利申请jp 2021-035452的权益，它们的全部内容通过引用而被并入本文中。背景技术：4.近年来，人们对泊车辅助系统越来越感兴趣。在日常的各种驾驶场景中存在着使车辆泊车的场面，并且目前需要更安全、更舒适且更便利的泊车辅助系统。5.例如，已经提出了一种基于相机图像来检测泊车位、且针对已检测到的泊车位执行用于泊车的泊车辅助的技术(参见专利文献1)。6.引用列表7.[专利文献][0008][专利文献1]：日本专利申请特开jp 2017-111803a技术实现要素：[0009][要解决的技术问题][0010]然而，在专利文献1所记载的技术中，在执行泊车位的检测时没有考虑深度信息。[0011]因此，在如果无法识别深度就难以执行泊车位的检测的情形下，难以以与人类在检测泊车位时的感觉相近的感觉来判别泊车位，于是恐怕就难以实现顺畅的泊车辅助。[0012]本发明是鉴于上述这种状况而做出的，并且特别地，本发明不会受到泊车位的环境的影响而能够实现接近于人类感觉的快速且顺畅的泊车辅助。[0013][解决问题的技术方案][0014]根据本发明一个方面的信息处理装置和程序是如下这样的信息处理装置和程序，其包括电路，所述电路被配置为：接收车辆的周围环境的图像数据；接收所述车辆的所述周围环境的深度数据(depth data)；基于所述图像数据和所述深度数据来生成具有多个像素单位的3d语义分割图像，所述多个像素单位中的每个像素单位都包括所述深度数据和类别信息；以及基于所述3d语义分割图像来搜索可用的泊车位。[0015]根据本发明一个方面的信息处理方法是如下这样的信息处理方法，其包括：生成车辆的周围环境的图像数据；生成所述车辆的所述周围环境的深度数据；基于所述图像数据和所述深度数据来生成具有多个像素单位的3d语义分割图像，所述多个像素单位中的每个像素单位都包括所述深度数据和类别信息；以及基于所述3d语义分割图像来搜索可用的泊车位。[0016]在本发明一个方面中，获取车辆的周围环境的图像数据，获取所述车辆的所述周围环境的深度数据，生成具有多个像素单位的3d语义分割图像，所述多个像素单位中的每个像素单位都包括所述深度数据和类别信息，并且基于所述3d语义分割图像来搜索可用的泊车位。附图说明[0017]图1是用于说明泊车辅助功能的限制的图。[0018]图2是用于说明通过泊车辅助功能实现的驾驶辅助的示例的图。[0019]图3是用于说明应用了本发明的技术的泊车辅助功能的概要的图。[0020]图4是示出了车辆控制系统的构造示例的框图。[0021]图5是示出了感测区域的示例的图。[0022]图6是用于说明本发明的泊车辅助控制部的构造示例的图。[0023]图7是用于说明图6中的3d语义分割处理部的构造示例的图。[0024]图8是示出了3d语义分割信息的图。[0025]图9是用于说明泊车位的检测示例的图。[0026]图10是用于说明泊车位的检测示例的图。[0027]图11是用于说明3d语义分割信息生成处理的流程图。[0028]图12是用于说明泊车辅助处理的流程图。[0029]图13是用于说明泊车位搜索模式处理的流程图。[0030]图14是用于说明泊车模式处理的流程图。[0031]图15是用于说明通用计算机的构造示例的图。具体实施方式[0032]下面将会参照附图来详细说明本发明的优选实施方案。请注意，在本说明书和附图中，向具有实质上相同的功能构造的构成要素赋予了相同的附图标记，且因此省略了对它们的重复说明。[0033]在下文中，将会说明用于实施本技术的方式。将会按照以下顺序给出说明。[0034]1.本发明的概要[0035]2.车辆控制系统的构造[0036]3.用于实现本发明的泊车辅助功能的泊车辅助控制部的构造示例[0037]4.通过软件来运行的示例[0038][1.本发明的概要][0039]下面将会说明，通过应用本发明的技术，能够在不会受到泊车位的环境的影响的情形下实现接近于人类感觉的快速且顺畅的泊车辅助的技术的概要。[0040]关于诸如识别泊车位且自动泊车或引导到最佳泊车路径等泊车辅助功能，虽然已经以各种形式进行了商业化，但是在任何一种情况下都强加有各种各样的限制。[0041]例如，在第一泊车辅助功能中，如图1中的虚线所示，无论泊车位是否已经被访问过(即，即使在未预先登记于车辆中的泊车位处)，都可以泊车；然而，对于没有白线或者具有模糊不清的白线的泊车位，则不能泊车。[0042]此外，例如，在第二泊车辅助功能中，如图1中的点划线所示，无论是否存在白线，对于有白线的泊车位或没有白线的泊车位，都可以泊车。然而，第二泊车辅助功能仅仅对之前已经访问过的泊车位(即，已预先登记在车辆中的泊车位)发挥作用。[0043]也就是说，为了实现上述泊车辅助功能，设定了与下列两者分别对应的情况：目标泊车位是否存在有白线；以及该泊车位是否已经被预先登记。注意，在图1中，横轴代表白线的有无(是否存在有白线)的程度，并且纵轴代表被执行事件的有无(是否已经预先登记)的程度。[0044]因此，在根据本发明的泊车辅助功能中，如图1中的实线所示，不管目标泊车位是否已被预先登记在车辆中(目标泊车位是否已经被访问过)或者是否存在有白线，通过适当地识别诸如泊车位或已停泊车辆的方向(并排式泊车或纵列式泊车)等周边状况，都能够如同由人类执行的泊车操作一样地实现快速且顺畅的泊车辅助。[0045]例如，如图2的左部所示，将会考虑当在车身的左右两侧设置有诸如相机等传感器sc1-1和sc1-2的车辆c1在泊车位sp1处进行泊车时的泊车辅助。[0046]注意，在图2中，该图中的等腰三角形标记的等腰边所示出的凸部的方向被假定为车辆c1的前方。[0047]如图2的左部所示，车辆c1必须至少一次经过泊车位sp1的前方，以便通过安装于左侧的传感器sc1-1来检测作为可泊车的空位的泊车位sp1的位置。[0048]此外，例如，如图2的右部所示，将会考虑当在车身的左右两侧设置有诸如超声波传感器等传感器sc11-1和sc11-2的车辆c2在泊车位sp2处进行泊车时的泊车辅助。[0049]在图2的右部的情况下，车辆c2必须至少一次经过泊车位sp2附近，以便通过安装于车辆c2左侧的传感器sc11-1来检测作为可泊车的空位的泊车位sp2。[0050]也就是说，如参照图2所说明的那样，在考虑了通过在车身的左右两侧设置相机或超声波传感器等来进行泊车辅助的情况下，必须预先经过目标泊车位的前方或附近。[0051]因此，在参照图2所说明的泊车辅助的示例中，很难如同人类执行泊车操作的情况下那样，目视地搜索目标空位，将搜索到的空位判定为目标泊车位，并且开始泊车操作。[0052]于是，在利用上述泊车辅助来执行泊车的情况下，在直到车辆经过作为空位的泊车位的前方或附近之前，该车辆会不停地在停车场(parking lot)中巡回绕行。[0053]此时，在某些情况下，尽管车辆乘载人员能够目视地识别出作为空位的泊车位，但也可能发生即使在该人员已知晓没有空位的范围内也为了搜索泊车位而到处绕行的情形。[0054]结果，在完成泊车之前就有可能耗费了不必要的时间，并且对于车辆乘载人员来说，就有可能感觉不到迅速且顺畅的泊车，反而感觉到泊车操作是不舒适的。[0055]因此，在应用了本发明的技术的泊车辅助功能中，通过使用了3d(三维(three-dimensional))语义分割的物体识别处理来掌握车辆的周围环境的状况，先明确泊车位，然后执行泊车操作。[0056]例如，如图3所示，在车辆c11的前部设置有用于检测图像和深度数据的传感器sc31。[0057]首先，在车辆c11中，基于由传感器sc31检测到的前方的深度数据和图像，通过执行使用了3d语义分割的物体识别处理来识别周围环境的状况。接下来，在车辆c11中，基于物体识别结果，在直到与车辆c11前部相距预定距离的位置为止的范围(例如，在车辆前面至少15米的位置或与车辆前部相距15米至30米的位置)内搜索作为泊车目标的空位。[0058]然后，根据与车辆c11前部相距预定距离的范围的搜索结果，当搜索到空位时，将所搜索到的空位识别为作为泊车目标的泊车位sp11，计算出用于泊车的例如如该图中粗实线所示的泊车路径，并且控制车辆c11使其沿着所计算出的泊车路径进行操作。[0059]通过实现这种泊车操作，就执行了与人类泊车操作的情况类似的泊车辅助，上述人类泊车操作例如是目视地搜索空位并且当所搜索到的空位被识别为泊车位时执行泊车操作等。[0060]结果，能够实现不会给作为乘客的人员带来不舒服感觉的快速且顺畅的泊车辅助。[0061]此外，因为通过使用了3d语义分割的物体识别处理来识别了周围环境的状况，并且明确了泊车位，所以无论泊车位的环境如何，即使在各种不同场所的泊车位中，也都能实现舒适的泊车辅助。[0062][2.车辆控制系统的构造][0063]图4是示出了车辆控制系统11的构造示例的框图，该车辆控制系统11是本技术适用的移动设备控制系统的示例。[0064]车辆控制系统11被设置在车辆1中，并且执行与车辆1的出行辅助及自动行驶相关的处理。[0065]车辆控制系统11包括处理器21、通信部22、地图信息累积部23、gnss(全球导航卫星系统(global navigation satellite system))收信部24、外部识别传感器25、车内传感器26、车辆传感器27、记录部28、出行辅助及自动行驶控制部29、dms(驾驶员监控系统(driver monitoring system))30、hmi(人机界面(human machine interface))31以及车辆控制部32。[0066]处理器21、通信部22、地图信息累积部23、gnss收信部24、外部识别传感器25、车内传感器26、车辆传感器27、记录部28、出行辅助及自动行驶控制部29、驾驶员监控系统(dms)30、人机界面(hmi)31以及车辆控制部32经由通信网络41相互可通信地连接。例如，通信网络41包括诸如can(控制器局域网络(controller area network))、lin(本地互连网络(local interconnect network))、lan(本地局域网络(local area network))、flexray(注册商标)或以太网(ethernet(注册商标))等符合数字双向通信规范的车载通信网络或总线等。通信网络41可以取决于要被通信的数据的类型而被选择性地使用。例如，can适用于与车辆控制有关的数据，并且ethernet适用于大容量数据。注意，车辆控制系统11的各部分可以不经由通信网络41而是利用无线通信进行直接连接，该无线通信假定了诸如nfc(近场通信(near field communication))或蓝牙(bluetooth(注册商标))等以相对较近的距离实现的通信。[0067]注意，下文中，在车辆控制系统11的各部分经由通信网络41进行通信的情况下，将会省略对通信网络41的说明。例如，在处理器21和通信部22经由通信网络41进行通信的情况下，仅将其说明为处理器21和通信部22进行通信。[0068]处理器21包括诸如cpu(中央处理单元(central processing unit))和mpu(微处理单元(micro processing unit))等各种处理器。处理器21控制整个车辆控制系统11。[0069]通信部22与车辆内部和外部的各种设备、其他车辆、服务器、基站等进行通信，并且进行各种数据的发送和接收。此时，通信部22可以使用多种通信方式进行通信。[0070]现在将会概略地说明通信部22能够执行的与车辆外部的通信。通信部22通过诸如5g(第五代移动通信系统(5th generation mobile communication system))、lte(长期演进(long term evolution))或dsrc(专用短程通信(dedicated short range communication))等无线通信方式，经由基站或接入点，与存在于外部网络上的服务器(在下文中，被称为外部服务器)等进行通信。与通信部22进行通信的外部网络例如是因特网、云网络、或者运营商固有的网络等。通信部22与外部网络进行通信的通信方式没有特别限制，只要该通信方式是能够以预定速度以上的通信速度和预定距离以上的距离来执行数字双向通信的无线通信方式即可。[0071]此外，例如，通信部22可以使用p2p(点对点(peer to peer))技术与存在于本车附近的终端进行通信。例如，存在于本车附近的终端可以是：由诸如步行者或自行车等以相对较低的速度移动的移动体佩戴着的终端、以位置固定的方式安装于店铺等中的终端、或者mtc(机器型通信(machine type communication))终端。此外，通信部22还可以执行v2x通信。v2x通信例如是指诸如下列之类的本车与其他物体之间的通信：本车与其他车之间的车辆-车辆间(vehicle to vehicle)通信、本车与路侧设备之间的车辆-基础设施间(vehicle to infrastructure)通信、本车-家间(vehicle to home)通信、或者本车与步行者所持有的终端之间的车辆-步行者间(vehicle to pedestrian)通信，等等。[0072]通信部22可以从外部接收例如被用来更新用于对车辆控制系统11的操作进行控制的软件的程序。通信部22进一步可以从外部接收地图信息、交通信息、车辆1周围环境的信息等。此外，例如，通信部22可以把与车辆1相关的信息、车辆1周围环境的信息等向外部发送。由通信部22向外部发送的与车辆1相关的信息的示例例如包括：表示车辆1的状态的数据；以及利用识别部73得到的识别结果等。此外，例如，通信部22执行与诸如e-call(一种紧急呼叫救援服务)等车辆紧急呼叫系统相对应的通信。[0073]现在将会概略地说明通信部22能够执行的与车辆内部的通信。通信部22可以使用例如无线通信技术与车辆内部的各设备进行通信。通信部22可以通过能够利用诸如无线lan、bluetooth(注册商标)、nfc、或wusb(无线usb(wireless usb))等无线通信技术以预定速度以上的通信速度执行数字双向通信的通信方式，与车内设备进行无线通信。通信方式不限于上述这些，例如，通信部22也可以使用有线通信技术与车辆内的各设备进行通信。例如，通信部22可以经由与连接终端(未示出)连接的线缆通过有线通信技术与车辆内部的各设备进行通信。通信部22可以通过能够利用诸如usb(通用串行总线(universal serial bus))、hdmi(高清多媒体接口(high-definition multimedia interface))(注册商标)或mhl(移动终端高清影音标准接口(mobile high-definition link))等有线通信技术以预定速度以上的通信速度执行数字双向通信的通信方式，与车辆内部的各设备进行通信。[0074]这里，例如，车内设备是指车辆内的未连接到通信网络41的设备。作为车内设备，例如可以想到的是：由诸如驾驶员等搭乘者持有的移动设备或可穿戴设备、或者被携带到车内且暂时安装着的信息设备等。[0075]例如，通信部22接收诸如无线电波信标、光波信标或fm多路广播等由道路交通信息通信系统(vics(车辆信息和通信系统(vehicle information and communication system))(注册商标))发送的电磁波。[0076]地图信息累积部23累积从外部获得的地图和由车辆1创建的地图中的一者或两者。例如，在地图信息累积部23中累积有三维高精度地图、或者具有比高精度地图的精度低的精度且覆盖广泛区域的全局地图等。[0077]高精度地图例如是动态地图、点云地图、矢量地图等。例如，动态地图是包括动态信息、准动态信息、准静态信息和静态信息这四层的地图，并且从外部服务器等被提供至车辆1。点云地图是包括点云(点云数据)的地图。这里，矢量地图是指其中把诸如车道和信号位置等交通信息与点云地图关联起来的、适合于adas(高级驾驶员辅助系统(advanced driver assistance system))的地图。[0078]点云地图和矢量地图可以是例如从外部服务器等提供而来的，或者可以是基于雷达52或lidar系统53等的感测结果且作为用于执行与稍后说明的本地地图的匹配的地图而由车辆1创建出来并且被累积于地图信息累积部23中的。此外，在由外部服务器等提供了高精度地图的情况下，为了削减通信容量，从外部服务器等获取关于车辆1今后要行驶的规划路径的例如数百米见方的地图数据。[0079]gnss收信部24从gnss卫星接收gnss信号，并且获取车辆1的位置信息。所接收到的gnss信号被提供至出行辅助及自动行驶控制部29。注意，gnss收信部24不限于使用gnss信号的方式，例如，也可以使用信标来获取位置信息。[0080]外部识别传感器25包括用于识别车辆1的外部状况的各种传感器，并且把来自各传感器的传感器数据提供至车辆控制系统11的各部分。外部识别传感器25中所包含的传感器的种类和数量是任意的。[0081]例如，外部识别传感器25包括相机51、雷达52、lidar(光检测及测距(light detection and ranging)，或者激光成像检测及测距(laser imaging detection and ranging))系统53、以及超声波传感器54。本实施方案不限于此，例如，外部识别传感器25可以包括相机51、雷达52、lidar系统53和超声波传感器54之中的一种以上传感器。相机51、雷达52、lidar系统53和超声波传感器54的数量没有特别限制，只要它们是在现实中能够安装到车辆1上的数量即可。此外，外部识别传感器25中所包含的传感器的种类不限于上述示例，例如，外部识别传感器25也可以包含其他种类的传感器。稍后将会说明外部识别传感器25中所包含的各传感器的感测区域的示例。[0082]注意，相机51的摄像方式没有特别限制，只要它是能够测距的摄像方式即可。例如，作为相机51，可以根据需要来采用诸如tof(飞行时间(time of flight))相机、立体相机(stereo camera)、单眼相机(monocular camera)、红外线相机等各种摄像方式的相机。本实施方案不限于此，例如，相机51可以与测距无关，而仅简单地获得拍摄图像(所摄取图像)。[0083]此外，例如，外部识别传感器25可以包括用于检测车辆1的氛围的氛围传感器。氛围传感器是用于检测诸如天气、气象、亮度等氛围的传感器，并且例如可以包括诸如雨滴传感器、雾传感器、日照传感器、雪传感器和照度传感器等各种传感器。[0084]此外，例如，外部识别传感器25包括用于检测车辆1周围环境中的声音及音源的位置等的麦克风。[0085]车内传感器26包括用于检测车辆内部信息的各种传感器，并且把来自各传感器的传感器数据提供至车辆控制系统11的各部分。车内传感器26中所包含的各种传感器的种类localization and mapping))等技术而被创建出来的三维高精度地图，或者是占用栅格地图(ogm：occupancy grid map)等。例如，三维高精度地图是上述点云地图。占用栅格地图是如下的地图：其中，车辆1周围环境的三维或二维空间被分割为预定尺寸的网格(栅格)，并且以网格为单位来表示物体的占用状态。例如，物体的占用状态是由该物体的有无或该物体的存在概率来表示的。例如，本地地图还被用于由识别部73实现的对车辆1外部状况的检测处理和识别处理。[0094]注意，自身位置推定部71可以基于gnss信号和来自车辆传感器27的传感器数据来推定车辆1的自身位置。[0095]传感器融合部72执行用于把多个不同类型的传感器数据(例如，从相机51提供的图像数据和从雷达52提供的传感器数据)组合起来以便获得新信息的传感器融合处理。用于把不同类型的传感器数据组合起来的方法包括综合、融合、联合等。[0096]识别部73实施用于检测车辆1外部状况的检测处理和用于识别车辆1外部状况的识别处理。[0097]例如，识别部73基于来自外部识别传感器25的信息、来自自身位置推定部71的信息、以及来自传感器融合部72的信息等，实施针对车辆1外部状况的检测处理和识别处理。[0098]具体地，例如，识别部73针对车辆1周围环境中的物体执行检测处理及识别处理等。例如，物体检测处理是用于检测物体的有无、尺寸、形状、位置、运动等的处理。例如，物体识别处理是用于识别物体的诸如类型等属性或用于验证特定物体的处理。注意，检测处理和识别处理不一定是明确地划分开的，有时可以重叠。[0099]例如，识别部73通过执行聚类(clustering)来检测车辆1周围环境中的物体，上述聚类用于把基于由lidar系统53或雷达52等获得的传感器数据的点云按照点云的各个簇块(cluster)进行分类。据此，检测出车辆1周围环境中的物体的有无、尺寸、形状和位置。[0100]例如，识别部73通过执行追迹(tracking)来检测车辆1周围环境中的物体的运动，上述追迹用于追随通过聚类而被分类成的点云簇块的运动。据此，检测出车辆1周围环境中的物体的速度和行进方向(移动矢量)。[0101]例如，识别部73通过对从相机51提供的图像数据执行诸如语义分割等物体识别处理，来识别车辆1周围环境中的物体的类型。[0102]注意，作为要被识别部73检测出或识别出的物体，例如，假定可以是车辆、人、自行车、障碍物、建造物、道路、交通灯、交通标志或道路标识。[0103]例如，识别部73可以基于累积在地图信息累积部23中的地图、由自身位置推定部71得到的对自身位置的推定结果、以及由识别部73得到的对车辆1周围环境中的物体的识别结果，来执行针对车辆1周围环境中的交通规则的识别处理。通过这一处理，识别部73能够识别出交通灯的位置和状态、交通标志和道路标识的内容、交通管制的内容、以及可行驶车道等。[0104]例如，识别部73可以针对车辆1周围环境的氛围执行识别处理。作为将要由识别部73识别的周围环境的氛围，假定可以是天气、温度、湿度、亮度、路面状态等。[0105]行动规划部62创建车辆1的行动规划。例如，行动规划部62通过执行路径规划及路径追随的处理来创建行动规划。[0106]注意，全局路径规划是用于规划从起点到目的地的大致路径的处理。这样的路径规划被称为路线规划，并且其包括如下的处理：在由该路径规划所规划的路径中考虑到车辆1的运动特性，生成能够实现车辆1附近的安全且平稳的行驶的路线(本地路径规划(local path planning))。[0107]路径追随是这样一种处理：其规划出能够按照由路径规划所规划的路径且在所规划的时间内安全且正确地行驶的操作。例如，行动规划部62可以基于路径追随这一处理的结果来计算车辆1的目标速度和目标角速度。[0108]操作控制部63为了实现由行动规划部62创建的行动规划而对车辆1的操作进行控制。[0109]例如，操作控制部63控制稍后所述的车辆控制部32中所包含的转向控制部81、制动控制部82和驱动控制部83，并且执行加速/减速控制及方向控制以使得车辆1在利用路线规划而计算出的路线上行驶。例如，操作控制部63执行旨在实现adas的功能的协调控制，所述adas的功能例如是：碰撞规避或冲击减缓、跟随行驶、车辆定速行驶、本车的碰撞警告、本车的车道偏离警告等。例如，操作控制部63执行为了实现能够使车辆不依赖于驾驶员的操作而自主地行驶的自动驾驶等的协调控制。[0110]dms 30基于来自车内传感器26的传感器数据以及输入到稍后所述的hmi 31的输入数据等，来执行对驾驶员的认证处理以及对驾驶员状态的识别处理等。在这种情况下，例如，作为将要由dms 30识别的驾驶员状态，假定可以是身体状况、清醒程度、专注程度、疲劳程度、视线方向、醉酒程度、驾驶操作、姿势等。[0111]注意，dms 30可以执行对驾驶员以外的搭乘者的认证处理以及对搭乘者状态的识别处理。此外，例如，dms 30可以基于来自车载传感器26的传感器数据来执行对车辆内部状况的识别处理。例如，作为将要被识别的车辆内部状况，假定可以是温度、湿度、亮度、臭味等。[0112]hmi 31执行各种数据和指令等的输入，并且向驾驶员等呈现各种数据。[0113]现在将会概略地说明由hmi 31执行的数据输入。hmi 31包括用于允许人类输入数据的输入设备。hmi 31基于从该输入设备输入进来的数据或指令等来生成输入信号，并且将输入信号提供至车辆控制系统11的各部分。hmi 31包括作为输入设备的诸如触摸面板、按钮、开关或操纵杆等操作元件。数据输入不限于此，例如，hmi 31可以进一步包括能够利用诸如语音或手势等除手动操作以外的方法来输入信息的输入设备。此外，例如，hmi 31可以使用下列设备作为输入设备：利用红外线或无线电波的远程控制设备；或者与车辆控制系统11的操作对应的诸如移动设备或可穿戴设备等外部连接设备。[0114]现在将会概略地说明由hmi 31执行的数据呈现。hmi 31针对搭乘者或车辆外部生成视觉信息、听觉信息和触觉信息。此外，hmi 31执行用于对所生成的各条信息的输出、输出内容、输出时序、输出方法等进行控制的输出控制。hmi 31生成且输出下列信息以作为视觉信息：诸如操作画面、车辆1的状态显示、警告显示、或表示车辆1周围环境的状况的监控图像等由图像或光表示的信息。此外，hmi 31生成且输出下列信息以作为听觉信息：诸如语音引导、警告音和/或警告信息等由声音表示的信息。此外，hmi 31生成且输出下列信息以作为触觉信息：例如通过力、振动、运动等赋予给搭乘者的触觉的信息。[0115]作为被hmi 31用来输出视觉信息的输出设备，例如，可以采用通过自身显示图像来呈现视觉信息的显示设备或通过投影图像来呈现视觉信息的投影仪设备。注意，显示设备除了可以是具有通常显示器的显示设备之外，还可以是诸如平视显示器(head-up display)、透过式显示器、或具有ar(增强现实(augmented reality))功能的可穿戴设备等能够在搭乘者的视野中显示出视觉信息的设备。此外，在hmi 31中，也可以采用如下的显示设备以作为输出视觉信息的输出设备：该显示设备被包含于设置在车辆1上的导航设备、仪表板、cms(相机监控系统(camera monitoring system))、电子式后视镜、或灯等类似物中。[0116]作为被hmi 31用来输出听觉信息的输出设备，例如，可以采用音频扬声器、头戴式耳机或入耳式耳机。[0117]作为被hmi 31用来输出触觉信息的输出设备，例如，可以采用使用了触觉技术的触觉元件。例如，触觉元件被设置在诸如转向盘或座椅等会与车辆1的搭乘者发生接触的部分处。[0118]车辆控制部32控制车辆1的各部分。车辆控制部32包括转向控制部81、制动控制部82、驱动控制部83、车身系统控制部84、灯光控制部85以及喇叭控制部86。[0119]转向控制部81检测且控制车辆1的转向系统的状态等。例如，该转向系统包括：具有转向盘等的转向机构；以及电动助力转向系统等。例如，转向控制部81包括：用于控制该转向系统的诸如ecu(电子控制单元)等控制单元；以及用于驱动该转向系统的致动器等。[0120]制动控制部82检测且控制车辆1的制动系统的状态等。例如，该制动系统包括：具有制动器踏板等的制动机构；abs(防抱死制动系统(antilock brake system))；以及再生制动机构等。例如，制动控制部82包括用于控制该制动系统的诸如ecu(电子控制单元)等控制单元。[0121]驱动控制部83检测且控制车辆1的驱动系统的状态等。例如，该驱动系统包括：用于产生诸如加速器踏板、内燃机或驱动用马达等的驱动力的驱动力产生装置；以及用于将驱动力传递至车轮的驱动力传递机构等。例如，驱动控制部83包括用于控制该驱动系统的诸如ecu(电子控制单元)等控制单元。[0122]车身系统控制部84检测且控制车辆1的车身系统的状态等。例如，该车身系统包括无钥匙进入系统、智能钥匙系统、电动车窗装置、电动座椅、空调、安全气囊、安全带和换挡杆等。例如，车身系统控制部84包括用于控制该车身系统的诸如ecu(电子控制单元)等控制单元。[0123]灯光控制部85检测且控制车辆1的各种灯光的状态等。作为要被控制的灯，例如，假定可以是前照灯、倒车灯、雾灯、转向灯、刹车灯、投射灯、保险杠的显示灯等。灯光控制部85包括用于执行灯光控制的诸如ecu(电子控制单元)等控制单元。[0124]喇叭控制部86检测且控制车辆1的汽车喇叭的状态等。例如，喇叭控制部86包括用于控制汽车喇叭的诸如ecu(电子控制单元)等控制单元。[0125]图5是示出了由图4中的外部识别传感器25的相机51、雷达52、lidar系统53、超声波传感器54等进行感测的感测区域的示例的图。注意，图5示意性地示出了从上面观察的车辆1的状态，其中左端侧是车辆1的前端(头)侧，并且右端侧是车辆1的后端(尾)侧。[0126]感测区域101f和感测区域101b示出了超声波传感器54的感测区域的示例。感测区域101f利用多个超声波传感器54来覆盖车辆1的前端周边。感测区域101b利用多个超声波传感器54来覆盖车辆1的后端周边。[0127]例如，感测区域101f和感测区域101b中的感测结果被用于车辆1的泊车辅助。[0128]感测区域102f至感测区域102b示出了短距离或中等距离用的雷达52的感测区域的示例。感测区域102f在车辆1的前方覆盖到比感测区域101f更远的位置。感测区域102b在车辆1的后方覆盖到比感测区域101b更远的位置。感测区域102l覆盖车辆1的左侧面的后部周边。感测区域102r覆盖车辆1的右侧面的后部周边。[0129]例如，感测区域102f中的感测结果被用来检测存在于车辆1前方的车辆、行人等。例如，感测区域102b中的感测结果被用于车辆1后方处的碰撞规避等功能。例如，感测区域102l和感测区域102r中的感测结果被用来检测车辆1侧方的盲区中的物体。[0130]感测区域103f至感测区域103b示出了相机51的感测区域的示例。感测区域103f在车辆1的前方覆盖到比感测区域102f更远的位置。感测区域103b在车辆1的后方覆盖到比感测区域102b更远的位置。感测区域103l覆盖车辆1的左侧面的周边。感测区域103r覆盖车辆1的右侧面的周边。[0131]例如，感测区域103f中的感测结果可以被用于交通灯或交通标志的识别、车道偏离预防辅助系统和自动前照灯控制系统。例如，感测区域103b中的感测结果可以被用于泊车辅助和环视系统。例如，感测区域103l和感测区域103r中的感测结果可以被用于环视系统。[0132]感测区域104示出了lidar系统53的感测区域的示例。感测区域104在车辆1的前方覆盖到比感测区域103f更远的位置。另一方面，感测区域104在左右方向上的范围比感测区域103f窄。[0133]例如，感测区域104中的感测结果被用来检测诸如周围车辆等物体。[0134]感测区域105示出了远距离用的雷达52的感测区域的示例。感测区域105在车辆1的前方覆盖到比感测区域104更远的位置。另一方面，感测区域105在左右方向上的范围比感测区域104窄。[0135]例如，感测区域105中的感应结果被用于acc(自适应巡航控制(adaptive cruise control))、紧急制动、碰撞规避等。[0136]注意，外部识别传感器25中所包含的相机51、雷达52、lidar系统53和超声波传感器54这些传感器各者的感测区域可以具有除了图5中所示的构造以外的各种构造。具体地，超声波传感器54也可以感测车辆1的侧方，或者lidar系统53可以感测车辆1的后方。此外，各传感器的安装位置不限于上述各示例。此外，传感器的数量可以是一个或多个。[0137][3.实现本发明的泊车辅助功能的泊车辅助控制部的构造示例][0138]接下来，将会参照图6来说明实现本发明的泊车辅助功能的泊车辅助控制部201的构造示例。[0139]泊车辅助控制部201是由上述车辆控制系统11中的出行辅助及自动行驶控制部29来实现的。[0140]泊车辅助控制部201基于从相机202-1至202-q、tof相机203-1至203-r和雷达204-1至204-s提供的图像数据、深度数据(测距结果)和雷达探测结果来实现泊车辅助功能。[0141]注意，在没有特别必要将它们区分开的情况下，相机202-1至202-q、tof相机203-1至203-r和雷达204-1至204-s将会分别被简称为相机202、tof相机203和雷达204，并且其他构造也会被类似地称呼。[0142]相机202和tof相机203具有与图4中的相机51对应的构造，并且雷达204具有与图4中的雷达52对应的构造。[0143]注意，泊车辅助控制部201除了可以通过使用图6中的相机202-1至202-q、tof相机203-1至203-r以及雷达204-1至204-s的检测结果之外，还可以通过使用图4中的外部识别传感器25和车辆传感器27的各种构造的检测结果来实现泊车辅助功能。[0144]泊车辅助控制部201基于从相机202、tof相机203和雷达204提供的图像数据和深度数据，以图像数据的像素为单位将图像数据和深度数据进行关联。现在，权利要求中的以像素为基础的深度数据是以图像数据的像素为单位的深度数据的示例。[0145]泊车辅助控制部201除了通过使用按像素单位被关联的深度数据之外，还通过使用包括图像数据、深度数据和雷达探测结果的信息来执行3d语义分割处理，并且生成其中按像素单位把深度数据和物体识别结果进行关联的3d语义分割图像。[0146]泊车辅助控制部201基于3d语义分割图像来搜索泊车位，并且对车辆1去往所搜索到的泊车位的泊车操作进行辅助。[0147]此时，泊车辅助控制部201以泊车位搜索模式和泊车模式这两种操作模式进行操作，以实现泊车辅助功能。[0148]也就是说，首先，泊车辅助控制部201在泊车位搜索模式下进行操作，基于3d语义分割图像来搜索泊车位，并且存储搜索结果。[0149]然后，当搜索到泊车位时，泊车辅助控制部201将操作模式切换为泊车模式，规划去往所搜索到的泊车位的路径，并且按所规划的路径控制车辆1的操作以便完成泊车。[0150]通过以这样的操作来实现泊车辅助功能，就如同人类在执行泊车操作时的情况一样，在执行了泊车位的搜索之后再执行泊车操作，因而可以实现快速且顺畅的泊车辅助。[0151]更具体地，泊车辅助控制部201包括分析部261、行动规划部262和操作控制部263。[0152]分析部261具有与图4中的分析部61对应的构造，行动规划部262具有与图4中的行动规划部62对应的构造，并且操作控制部263具有与图4中的操作控制部63对应的构造。[0153]分析部261包括自身位置推定部271、传感器融合部272和识别部273。[0154]自身位置推定部271、传感器融合部272和识别部273分别具有与图4中的自身位置推定部71、传感器融合部72和识别部73对应的构造。[0155]自身位置推定部271包括slam(同时定位与地图构建)处理部301和ogm(占用栅格地图)存储部302，以作为用于实现自动泊车辅助处理的功能。[0156]slam(同时定位与地图构建)处理部301同时执行用于实现自动泊车辅助功能的自身位置推定和周边地图创建。具体地，slam处理部301基于通过把从传感器融合部272提供的来自多个传感器的信息进行综合(或融合或联合)而得到的信息(在下文中，也被简称为综合信息)，来执行自身位置推定并且创建例如作为ogm(占用栅格地图)的周边三维地图，并且将所创建的地图存储在ogm存储部302中。[0157]ogm存储部302存储由slam处理部301创建的ogm，并且在必要时将ogm提供至行动规划部262。[0158]识别部273包括物体检测部321、物体追迹部322、3d语义分割处理部323以及情境感知部324。[0159]例如，物体检测部321基于从传感器融合部272提供的综合信息来检测物体的有无、尺寸、形状、位置、运动等，由此检测出物体。物体追迹部322用于对由物体检测部321检测到的物体进行追迹。[0160]3d语义分割处理部323基于由相机202拍摄到的图像数据、由tof相机203检测出的深度数据(测距结果，即，以传感器为基础的深度数据)以及雷达204的探测结果来执行三维语义分割(3d语义分割)，并且生成3d语义分割结果。注意，稍后在下面将会参照图7来说明3d语义分割处理部323的详细构造。[0161]例如，情境感知部324包括如下的识别器，在该识别器上已经执行了利用dnn(深度神经网络(deep neural network)，其是第一神经网络)等的机器学习，而且，情境感知部324基于3d语义分割结果根据物体和物体之间的关系来识别状况(例如，泊车位)。[0162]更具体地，情境感知部324包括泊车位检测部324a，并且致使泊车位检测部324a基于3d语义分割结果根据物体和物体之间的关系来检测泊车位。[0163]例如，泊车位检测部324a基于3d语义分割结果根据诸如下列的多个物体识别结果之间的相互关系来识别且检测泊车位：由具有允许车辆停泊的尺寸的诸如白线等框包围的空间；即使没有白线但也具有允许车辆停泊的尺寸且还具有阻轮器(wheel stopper)的空间；以及存在于车辆和支柱之间的具有允许车辆停泊的尺寸的空间。[0164]行动规划部262包括路径规划部351，并且在由识别部273检测到泊车位时，行动规划部262规划用于从本车的当前位置停泊到已检测出的泊车位中的路径。操作控制部263控制车辆1的操作，以便实现由行动规划部262创建的行动规划，直到车辆1停泊在由识别部273识别出的泊车位中为止。[0165][3d语义分割处理部的构造示例][0166]接下来，将会参照图7来说明3d语义分割处理部323的构造示例。[0167]3d语义分割处理部323包括预处理部371、图像特征量提取部372、单眼深度推定部373、3d锚定网格生成部374、稠密融合处理部375、预处理部376、点云特征量提取部377、雷达探测结果特征量提取部378和类型判定部379。[0168]预处理部371针对从相机202按时间序列提供的图像数据施加预定的预处理(对比度校正、或边缘增强等)，并且将经过预处理后的图像数据输出到图像特征量提取部372和类型判定部379。[0169]图像特征量提取部372从经过预处理后的图像数据中提取图像的特征量作为图像特征量，然后将图像特征量输出到单眼深度推定部373、点云特征量提取部377和类型判定部379。[0170]单眼深度推定部373基于图像特征量来推定单眼深度(测距图像)，并且将单眼深度作为稠密深度数据(基于图像的深度数据，亦即，以图像为基础的深度数据)输出到稠密融合处理部375。例如，单眼深度推定部373使用从一条二维图像数据中的消失点(vanishing point)到从中提取了图像特征量的特征点(feature point)的距离信息来推定单眼深度(测距图像)，并且将所推定的单眼深度作为稠密深度数据输出到稠密融合处理部375。[0171]3d锚定网格生成部374基于由tof相机203检测到的测距结果来生成其中把三维锚定位置形成为格子状的3d锚定网格，并且将3d锚定网格输出到稠密融合处理部375。[0172]稠密融合处理部375通过融合从3d锚定网格生成部374提供的3d锚定网格和从单眼深度推定部373提供的稠密深度来生成稠密融合(dense fusion)，并且将该稠密融合输出到点云特征量提取部377。[0173]预处理部376对包括从tof相机203提供的测距结果的点云数据施加诸如去除噪声等预处理，并且将经过预处理后的点云数据输出到点云特征量提取部377和类型判定部379。[0174]点云特征量提取部377基于从图像特征量提取部372提供的图像特征量和从稠密融合处理部375提供的稠密融合，从由预处理部376提供的经过预处理后的点云数据中提取点云特征量，并且将点云特征量输出到类型判定部379。[0175]雷达探测结果特征量提取部378从由雷达204提供的雷达204的探测结果中提取雷达探测结果特征量，并且将雷达探测结果特征量输出到类型判定部379。[0176]类型判定部379基于从预处理部371提供的点云数据(深度数据)，将从预处理部376提供的图像数据的各像素中的深度数据进行关联，由此以图像数据中的像素为单位将深度数据进行关联。此时，类型判定部379可以视需要来生成通过把点云数据和雷达204的雷达探测结果(基于雷达探测结果的深度数据(点云))合成而获得的深度数据，并且以图像数据中的像素为单位将深度数据进行关联。由此，可以弥补tof相机203。也就是说，例如，即使在由于雾等原因而导致tof相机203的可靠性程度低于预定阈值的场景中，通过利用使用无线电波的雷达204的雷达探测结果，也能够在可靠性程度不低于预定阈值的情况下执行测距。在这种情况下，雷达204优选地是与相机202类似地具有高分辨率的所谓成像雷达。此外，由于可以使用雷达204的雷达探测结果来计算出与物体的相对速度，因此可以计算出物体是否在移动，并且例如可以通过添加以像素为单位的速度信息来提高物体识别性能。更具体地，可以通过针对各像素使用x、y、z、vx、vy和vz这六个参数来实现物体识别处理，由此提高物体识别精度。注意，vx、vy和vz分别是x、y和z方向上的速度信息。[0177]此外，例如，类型判定部379包括如下的识别器，该识别器通过使用诸如dnn(深度神经网络(deep neural network)，其是第二神经网络)等机器学习来执行3d语义分割处理，并且类型判定部379基于从图像特征量提取部372提供的图像特征量、从点云特征量提取部377提供的点云特征量以及从雷达探测结果特征量提取部378提供的雷达探测结果特征量，以图像数据的像素为单位来实施物体识别处理，以明确类型(类别)。注意，在情境感知(context awareness)中使用的深度神经网络与在3d语义分割中使用的深度神经网络可以是不同的或者可以是相同的。[0178]也就是说，例如，如图8所示，类型判定部379以由图像p11的网格表示的像素为单位将深度数据(x,y,z)进行关联。此外，类型判定部379通过基于深度数据、图像特征量、点云特征量和雷达探测结果特征量执行以像素为单位的3d语义分割处理，来判定类型(类别)(seg)。然后，类型判定部379通过以像素为单位将类型判定结果和深度数据进行关联，来设定3d语义分割信息(x,y,z,seg)。[0179]类型判定部379生成包括以像素为单位设定的3d语义分割信息(x,y,z,seg)的图像作为3d语义分割图像。结果，3d语义分割图像就成为这样的图像：在该图像中形成有各个类型(类别)的区域。[0180]通过物体识别处理而被识别为物体的类型(类别)例如是车道、人行道、行人、自行车或摩托车的骑手、车辆、卡车、公共汽车、摩托车、自行车、建筑物、墙壁、护栏、桥梁、隧道、电线杆、交通标志、交通信号、白线等。关于例如在类型(类别)上被分类为车辆的像素，例如，在该像素周围同样也存在有被分类为车辆类型(类别)的像素，并且由这些像素形成的区域在整体上就形成了在视觉上可辨别为车辆的图像。因此，形成了以图像内的像素为单位进行分类的各个类型(类别)的区域。[0181]注意，已经说明了其中类型判定部379通过基于深度数据、图像特征量、点云特征量和雷达探测结果特征量以像素为单位执行3d语义分割处理来判定类型的示例。[0182]然而，也可以按如下这样来实现3d语义分割处理：代替深度数据的使用的是，仅使用2d(二维)图像数据和图像特征量来执行2d语义分割处理，以像素为单位来判定类型，然后以像素为单位将深度数据进行关联。此外，还可以在不使用雷达探测结果特征量的情况下执行3d语义分割处理。[0183][由情境感知部对泊车位的检测(第一部分)][0184]接下来，将会说明由情境感知部324对泊车位的检测。[0185]如上所述，3d语义分割信息包括以所摄取的图像数据中的像素为单位的深度数据和类型。[0186]因此，情境感知部324利用被称为情境感知处理的处理，基于3d语义分割信息且使用以通过对周围环境进行摄像而获得的图像中的像素为单位的类型判定结果来明确物体之间的关系，并且根据所明确的物体之间的关系来识别周围环境的状况。[0187]在该示例中，情境感知部324包括泊车位检测部324a，并且致使泊车位检测部324a基于3d语义分割信息来执行情境感知处理，从而根据物体之间的关系来检测图像中的泊车位。[0188]例如，在图9中的图像p31的情况下，泊车位检测部324a基于以像素为单位的深度数据和类型，且根据图像p31中的支柱ch11和停车状态下的车辆ch12之间的位置关系、以及空间的尺寸和形状等，将由实线表示的范围识别为泊车位。[0189]例如，在图9中的图像p32的情况下，泊车位检测部324a基于以像素为单位的深度数据和类型，且根据图像p32中的多个阻轮器ch21的排列间隔、以及空间的尺寸和形状等，将由实线表示的范围识别为泊车位。[0190]此外，例如，在图9中的图像p33的情况下，泊车位检测部324a基于以像素为单位的深度数据和类型，且根据图像p33中的投币式泊车的可倾倒式阻轮器ch31和白线ch32之间的排列间隔、以及空间的尺寸，将由实线表示的范围识别为泊车位。[0191]此外，例如，在图9中的图像p34的情况下，泊车位检测部324a基于以像素为单位的深度数据和类型，且根据图像p34中的车辆ch41和用于多层泊车的支柱ch42之间的位置关系、以及空间的尺寸和形状等，将由实线表示的范围识别为泊车位。[0192]如上所述，情境感知部324(的泊车位检测部324a)起到了在其上已经执行了诸如深度神经网络(dnn)等机器学习的识别器的作用，由此，基于3d语义分割信息中所包含的深度数据及类型(类别)信息根据多个识别结果之间的关系来检测泊车位。[0193]注意，用于实现情境感知部324(的泊车位检测部324a)且在其上已经执行了利用dnn的机器学习的识别器和用于实现类型判定部379且在其上已经执行了利用dnn的机器学习的识别器可以是相互不同的或可以是相同的。[0194]然后，情境感知部324的泊车位检测部324a把泊车位(该泊车位是作为参照图9所说明的泊车位而被检测出来的该区域中未停泊有车辆的空位)检测出来以作为目标泊车位，该目标泊车位是泊车辅助功能的泊车目标。[0195][由情境感知部对泊车位的检测(第二部分)][0196]虽然上面已经说明了停车场中的泊车位的检测方法，但是现在将会说明对道路上的泊车位而非停车场中的泊车位进行检测的示例。[0197]例如，考虑利用相机202来摄取如图10所示的图像p51的情况。[0198]图像p51是当该图中的上方作为图10的右部所示的俯瞰图中的车辆c51的前侧而被摄像时所获得的图像。在图像p51中，车辆c61至c64呈纵列地停泊在道路的左侧。[0199]针对图像p51中的各像素，设定了包括深度数据和类型(类别)的3d语义分割信息。因此，如图10的右部所示，情境感知部324的泊车位检测部324a可以识别图像p51中的车辆c61和c62各自与右后方车辆c51相距的距离，并且可以从这两个距离之差来识别出泊车位sp51的存在。[0200]更具体地，例如，基于车辆c62的右前端部与白线之间的距离dl、到车辆c62的右前端部为止的距离、视觉上可看到的车辆c61的右后端部的宽度ds、以及到车辆c61的右后端部为止的距离，情境感知部324的泊车位检测部324a就可以明确由图10中的虚线表示的矩形空位的尺寸。具体地，利用使用了基于3d语义分割信息的离线学习特征量提取器的泊车位识别处理和使用了诸如距离dl和宽度ds等距离信息的泊车位识别处理这两者，来明确空位的尺寸。[0201]因此，当情境感知部324的泊车位检测部324a能够从所明确的空位的尺寸中识别出该尺寸大到足以让车辆c51停泊时，泊车位检测部324a就把由图10中的虚线表示的矩形空位识别为泊车位sp51。[0202]如上所述，基于如图10中的图像p51所示的图像和相应的3d语义分割信息，情境感知部324的泊车位检测部324a能够将车辆c61和c62之间的空位识别为泊车位。[0203]结果，仅用二维图像p51很难识别出前方约15米至30米的诸如泊车位sp51等空位，但通过设定3d语义分割信息，即使在仅能看到车体的右后部的边缘部的情况下，也能够适当地检测出泊车位sp51。[0204][3d语义分割图像生成处理][0205]接下来，将会参照图11的流程图来说明利用3d语义分割处理部323生成3d语义分割图像的3d语义分割图像生成处理。[0206]在步骤s11中，预处理部371获取从相机202提供的所摄取的图像数据。[0207]在步骤s12中，3d锚定网格生成部374和预处理部376获取由tof相机203感测到的深度数据(测距结果)。[0208]在步骤s13中，雷达探测结果特征量提取部378获取雷达204的探测结果以作为雷达探测结果。[0209]在步骤s14中，预处理部371对从相机202提供的图像数据施加预定的预处理(对比度校正、或边缘增强等)，并且将经过预处理后的图像数据输出到图像特征量提取部372和类型判定部379。[0210]在步骤s15中，图像特征量提取部372从经过预处理后的图像数据中提取图像的特征量以作为图像特征量，并且将图像特征量输出到单眼深度推定部373、点云特征量提取部377和类型判定部379。[0211]在步骤s16中，单眼深度推定部373基于图像特征量来推定单眼深度(测距图像)，并且将单眼深度作为稠密深度(以图像为基础的深度数据)输出到稠密融合处理部375。[0212]在步骤s17中，3d锚定网格生成部374基于由tof相机203检测的深度数据(测距结果)来生成其中把三维锚定位置形成为网格的3d锚定网格，并且将3d锚定网格输出到稠密融合处理部375。[0213]在步骤s18中，稠密融合处理部375通过融合从3d锚定网格生成部374提供的3d锚定网格和从单眼深度推定部373提供的稠密深度来生成稠密融合数据，并且将稠密融合数据输出到点云特征量提取部377。[0214]在步骤s19中，预处理部376对包括从tof相机203提供的深度数据(测距结果)的点云数据施加诸如去除噪声等预处理，并且将预处理后的点云数据输出到点云特征量提取部377和类型判定部379。[0215]在步骤s20中，点云特征量提取部377基于从图像特征量提取部372提供的图像特征量和从稠密融合处理部375提供的稠密融合数据，从由预处理部376提供的经过预处理后的点云数据中提取点云特征量，并且将点云特征量向类型判定部379输出。[0216]在步骤s21中，雷达探测结果特征量提取部378从由雷达204提供的雷达204的探测结果中提取雷达探测结果特征量，并且将雷达探测结果特征量输出到类型判定部379。[0217]在步骤s22中，类型判定部379基于从预处理部371提供的点云数据，将从预处理部376提供的图像数据的各像素中将深度数据进行关联，由此以图像数据中的像素为单位将深度数据进行关联。[0218]在步骤s23中，类型判定部379通过基于以像素为单位的深度数据、从图像特征量提取部372提供的图像特征量、从点云特征量提取部377提供的点云特征量以及从雷达探测结果特征量提取部378提供的雷达探测结果特征量的3d语义分割处理来实施物体识别处理，以像素为单位判定图像数据的类型(类别)，并且生成3d语义分割信息(x,y,z,seg)。[0219]在步骤s24中，类型判定部379生成其中针对所摄取的图像数据以像素为单位将3d语义分割信息(x,y,z,seg)进行关联的图像以作为3d语义分割图像，并且将这些图像按时间序列进行存储。[0220]在步骤s25中，判断是否已经执行了停止操作，并且在尚未执行停止操作的情况下，处理返回到步骤s11。也就是说，重复步骤s11至s25的处理，直到已经执行了停止操作。[0221]然后，在步骤s25中给出了停止操作的指令的情况下，处理结束。[0222]通过上述处理，针对按时间序列拍摄到的图像数据中的每条图像数据，以像素为单位设定3d语义分割信息，并且进一步地，重复用于生成包括3d语义分割信息的图像以作为3d语义分割图像的处理，并且依次存储这些图像。[0223]然后，使用按时间序列依次生成的3d语义分割图像，来实现稍后说明的泊车辅助处理。[0224]此外，由于通过上述处理而独立于其他处理地将3d语义分割图像按时间序列依次存储，因此在其他处理中，能够执行使用按时间序列生成的3d语义分割图像的处理。[0225]例如，物体检测部321可以基于3d语义分割图像来检测物体。此外，物体追迹部322可以针对物体检测部321的物体检测结果，使用3d语义分割图像来对物体进行追迹。此外，在稍后说明的泊车模式中的处理中，泊车位的周围环境的3d语义分割图像可以被用于如下的处理：该处理是，确认是否由于发现了障碍物等而导致泊车位变得不可用，直到完成了将车辆停泊至泊车位中为止。[0226][泊车辅助处理][0227]接下来，将会参照图12的流程图来说明泊车辅助处理。[0228]在步骤s41中，泊车辅助控制部201判断泊车辅助处理是否开始了。例如，泊车辅助控制部201可以基于用于给出开始泊车辅助处理的指令的诸如hmi 31等输入设备是否已经被操作，来判断泊车辅助处理是否开始了。[0229]此外，泊车辅助控制部201可以基于是否已经从3d语义分割图像中检测到表示停车场入口的信息，来判断泊车辅助处理是否开始了。[0230]在步骤s41中，在判断为已经给出了开始泊车辅助处理的指令的情况下，处理进行到步骤s42。[0231]在步骤s42中，泊车辅助控制部201控制hmi 31以使其呈现表示泊车辅助处理已经开始的信息。[0232]在步骤s43中，泊车辅助控制部201将操作模式设定为泊车位搜索模式，并且控制hmi 31以使其呈现当前操作模式为泊车位搜索模式。[0233]在步骤s44中，泊车辅助控制部201致使分析部261的识别部273中的情境感知部324执行泊车位搜索模式处理，以使其搜索泊车位，并且登记作为搜索结果的泊车位。注意，下面将会参照图13的流程图来详细说明泊车位搜索模式处理。[0234]在步骤s45中，泊车辅助控制部201判断在情境感知部324中是否已登记了可用的泊车位。注意，“已登记”的含义并不意味着自己家中的泊车位等被预先登记了，而是意味着该泊车位等被暂时登记在情境感知部324中。[0235]在步骤s45中，在判断为已登记了可用的泊车位的情况下，处理进入步骤s46。[0236]在步骤s46中，泊车辅助控制部201将操作模式切换且设定为泊车模式，并且控制hmi 31以使其呈现操作模式为泊车模式。[0237]在步骤s47中，泊车辅助控制部201致使行动规划部262执行泊车模式处理以停泊车辆。注意，下面将会参照图14的流程图来详细说明泊车模式处理。[0238]在步骤s48中，泊车辅助控制部201判断泊车辅助处理是否已经终止。更具体地，泊车辅助控制部201通过呈现已经利用泊车模式处理完成了停泊或者没有泊车位且难以执行停泊，来判断泊车辅助处理是否已经终止。[0239]在步骤s48中，在判断为泊车辅助处理已经终止的情况下，处理进入步骤s49。[0240]在步骤s49中，泊车辅助控制部201控制hmi 31以使其呈现泊车辅助处理已经终止。[0241]在步骤s50中，泊车辅助控制部201判断是否已经执行了使车辆1的操作停止的停止操作，并且在判断为尚未执行车辆1的停止操作的情况下，处理返回到步骤s41。[0242]另一方面，在步骤s45中，在判断为没有登记可用的泊车位的情况下，处理进入步骤s51。[0243]在步骤s51中，泊车辅助控制部201控制hmi 31以使其呈现没有泊车位，并且处理进行到步骤s48。[0244]此外，在步骤s41中，在尚未给出开始泊车辅助处理的指令的情况下，处理进行到步骤s50。[0245]也就是说，在尚未给出开始泊车辅助处理的指令并且尚未执行车辆1的停止操作的情况下，重复步骤s41和s50的处理。[0246]然后，在步骤s50中，在已经执行了车辆1的停止操作的情况下，处理被终止。[0247]根据上述处理，在泊车位搜索模式中，执行基于3d语义分割信息的泊车位搜索，并且在搜索到且登记了泊车位的情况下，执行车辆1去往作为搜索结果而被登记的泊车位的泊车操作。[0248]此外，在未搜索到泊车位且未登记可用的泊车位的情况下，呈现出没有泊车位且难以执行停泊。[0249]根据上述处理，在执行泊车位搜索模式处理之后执行泊车模式处理，因而与人类执行泊车操作的情况一样，在找到周围环境中的泊车位之后执行泊车操作。因此，可以实现快速且顺畅的泊车辅助。[0250][泊车位搜索模式处理][0251]接下来，将会参照图13的流程图来说明泊车位搜索模式处理。[0252]在步骤s71中，情境感知部324获取在3d语义分割处理部323中登记的3d语义分割图像。[0253]在步骤s72中，情境感知部324致使泊车位检测部324a基于3d语义分割图像来搜索泊车位。这里，例如，由情境感知部324的泊车位检测部324a实施的泊车位搜索处理是参照图9和图10所说明的情境感知处理。[0254]在步骤s73中，情境感知部324登记(更新)所搜索到的泊车位及其位置的信息，以作为由泊车位检测部324a实施的基于3d语义分割图像的泊车位搜索结果。[0255]通过上述处理，利用基于3d语义分割图像的情境感知处理来搜索泊车位，并且把搜索到的泊车位依次登记在泊车位检测部324a中。[0256]注意，由于只要泊车位搜索模式继续，就会重复同样的处理，因此，在已经搜索到的可用泊车位由于例如出现障碍物或停泊了别的车辆而变得不再是可用泊车位的情况下，已经登记的泊车位信息就被删除且更新。[0257]此外，类似地，即使在某个位置未曾作为可用泊车位而被检索出来的情况下，在泊车位搜索模式中，如果车辆从该泊车位驶离，那么该泊车位被重新搜索到，并且被重新登记。[0258]此外，在搜索到多个泊车位的情况下，登记所述多个泊车位的位置信息。[0259][泊车模式处理][0260]接下来，将会参照图14的流程图来说明泊车模式处理。[0261]在步骤s91中，行动规划部262读取已在泊车位检测部324a中登记的泊车位的位置信息。在登记了多个泊车位的位置信息的情况下，就读取多个泊车位的位置信息。[0262]在步骤s92中，行动规划部262将所读取的泊车位的位置信息之中的与本车的位置相距最短距离的泊车位设定为目标泊车位。此时，可以存在有询问用户是否将最短距离处的泊车位设定为目标泊车位的步骤。可供选择地，可以在布置于车辆内部的显示器上显示多个泊车位，并且用户可以从多个泊车位中选择目标泊车位。[0263]在步骤s93中，行动规划部262致使路径规划部351将去往目标泊车位的路径规划为泊车路径。[0264]在步骤s94中，行动规划部262控制hmi 31以使其呈现由路径规划部351规划的去往目标泊车位的泊车路径。[0265]在步骤s95中，行动规划部262致使操作控制部263让车辆1沿着泊车路径操作。[0266]在步骤s96中，行动规划部262判断是否已经完成泊车。在步骤s96中，在判断为泊车尚未完成的情况下，处理进行到步骤s97。[0267]在步骤s97中，例如，行动规划部262基于最新的3d语义分割图像来判断目标泊车位是否变为不可用状态。也就是说，判断在车辆沿着泊车路径移动时是否由于在目标泊车位中发现障碍物因而导致泊车位变得不可用，或者判断在车辆朝着泊车路径移动时是否由于另一车辆进入目标泊车位因而导致泊车位变得不可用。[0268]在步骤s96中，在目标泊车位并未变得不可用的情况下，处理返回到步骤s94。也就是说，只要还在沿着泊车路径执行操作且目标泊车位没有变得不可用，就重复步骤s94至s97的处理，直到完成泊车为止。[0269]此外，在步骤s97中，在判断为目标泊车位变得不可用的情况下，处理进行到步骤s98。[0270]在步骤s98中，行动规划部262判断在所读取的泊车位的位置信息中是否存在有其他泊车位的位置信息。[0271]在步骤s98中，在判断为在所读取的泊车位的读取位置信息中存在有其他泊车位的位置信息的情况下，处理返回到步骤s92。[0272]也就是说，将新的泊车位重新设定为目标泊车位，并且重新设定泊车路径，重复步骤s94至s97的处理。[0273]然后，在步骤s96中，在判断为已经完成泊车的情况下，处理进入到步骤s100。[0274]在步骤s100中，行动规划部262控制hmi 31以使其呈现用于提供泊车已完成的通知的图像。[0275]此外，在步骤s98中，在没有其他泊车位的情况下，处理进入到步骤s99。[0276]在步骤s99中，行动规划部262控制hmi 31以使其呈现用于通知没有找到泊车位且无法泊车的图像。[0277]根据上述处理，将已经被登记为泊车位的位置信息之中的与本车最接近的位置信息的泊车位设定为目标泊车位，规划泊车路径，并且执行沿着泊车路径的操作，从而实现自动泊车。[0278]此时，在本车向目标泊车位中停泊的时候，在由于检测到目标泊车位中存在有障碍物或者由于另一车辆正在停泊到目标泊车位中因而导致泊车位变得不可用的情况下，并且当已经登记有其他泊车位的位置信息时，将其他泊车位之中的与本车最接近的位置处的泊车位重新设定为目标泊车位，并且执行停泊。[0279]通过上述一系列处理，基于由相机202拍摄到的图像、由tof相机203检测出的深度数据(测距结果)、以及雷达204的探测结果，以图像中的像素为单位设定深度数据(三维位置)和物体的类型(类别)，并且生成3d语义分割图像。[0280]此外，通过基于3d语义分割图像的情境感知处理来检测泊车位，并且登记位置信息。[0281]然后，基于已登记的泊车位的位置信息来设定泊车路径，并且控制泊车操作。[0282]结果，除了图像特征量之外，还组合了作为三维信息的点云特征量和雷达探测结果特征量，并且以像素为单位来判定类型(类别)，因而可以实现更准确的类型判定。[0283]此外，由于可以利用使用了其中已经以高精度执行了类型判定的3d语义分割图像的情境感知处理来明确泊车位，因此能够不会受到泊车位的环境的影响而适当地搜索各种泊车位。此外，由于可以在由车辆的相机拍摄到的图像中设定泊车位之后设定泊车路径，因此在即使不经过泊车位附近的情况下也能设定泊车路径。[0284]结果，由于可以基于由相机摄取的图像中的信息来明确泊车位，然后设定泊车路径并且进行泊车，因此如同人类执行泊车操作的情况一样，可以实现快速且顺畅的泊车辅助。[0285][4.由软件执行的示例][0286]顺便提及，上述一系列处理可以由硬件或软件执行。在通过软件执行该一系列处理的情况下，把构成该软件的程序从记录介质安装到集成于专用硬件中的计算机、或者能够通过安装有各种程序来执行各种功能的通用计算机等。[0287]图15示出了通用计算机的构造示例。在该个人计算机中，内置有cpu(中央处理单元(central processing unit))1001。输入/输出接口1005经由总线1004连接到cpu 1001。rom(只读存储器(read only memory))1002和ram(随机访问存储器(random access memory))1003被连接到总线1004。[0288]在输入/输出接口1005上可以连接有：输入部1006，其包括用于让用户输入操作命令的诸如键盘和鼠标等输入设备；输出部1007，其将处理操作画面和处理结果的图像输出到显示设备；存储部1008，其包括用于存储程序和各种数据的硬盘驱动器；以及通信部1009，其包括局域网络(lan)适配器等且经由以因特网为代表的网络进行通信处理。此外，在输入/输出接口1005上还可以连接有驱动器1010，该驱动器1010针对诸如磁盘(包括软盘)、光盘(包括cd-rom(压缩盘只读存储器(compact disc-read only memory))或dvd(数字多功能盘(digital versatile disc)))、磁光盘(包括md(迷你盘(mini disc)))或半导体存储器等可移除式存储介质1011来进行数据的读写。[0289]cpu 1001根据存储于rom 1002中的程序或者从诸如磁盘、光盘、磁光盘或半导体存储器等可移除式存储介质1011中读出且安装到存储部1008中并且从存储部1008加载到ram 1003中的程序来执行各种处理。此外，ram 1003还适当地存储由cpu 1001执行各种处理时所需的数据等。[0290]在如上所述构造而成的计算机中，例如，cpu 1001将存储于存储部1008中的程序经由输入/输出接口1005和总线1004加载到ram 1003中，并且执行该程序，从而执行上述一系列处理。[0291]例如，将要由计算机(cpu 1001)执行的程序可以被记录在作为封装介质等的可移除式存储介质1011上以便被提供。此外，该程序可以经由诸如局域网、因特网或数字卫星广播等有线或无线传输介质而被提供。[0292]在计算机中，程序可以通过将可移除式存储介质1011附接到驱动器1010上以便经由输入/输出接口1005被安装到存储部1008上。此外，程序可以经由有线或无线传输介质被通信部1009接收，并且被安装在存储部1008中。除上述方法以外，程序可以被预先安装在rom 1002或存储部1008中。[0293]注意，由计算机执行的程序可以是根据本说明书中所说明的顺序按时间顺序执行处理的程序，或者可以是并行地执行处理或者在诸如被调用等必要的时机下执行处理的程序。[0294]注意，图15中的cpu 1001实现了图6中的泊车辅助控制部201的功能。[0295]此外，在本说明书中，术语“系统”是指多个构成要素(设备、模块(部件)等)的集合，并且无论所有构成要素是否在同一壳体中。因此，安置于独立的壳体中且经由网络连接起来的多个设备以及含有安置于一个壳体中的多个模块的一个设备都可以是系统。[0296]注意，本发明的实施方案不限于上述这些实施方案，例如，可以在不脱离本发明要旨的情况下进行各种变形。[0297]例如，本发明可以采用云计算的构造，在该云计算中，利用网络由多个设备分担和共同处理一个功能。[0298]此外，上述流程图中所说明的各步骤可以由一个设备执行，或者可以由多个设备分担地执行。[0299]此外，在一个步骤中包括了多个处理的情况下，该一个步骤中所包括的多个处理可以由一个设备执行，或者可以由多个设备分担地执行。[0300]注意，本发明可以具有以下技术方案。[0301][1]一种信息处理装置，其包括电路，[0302]所述电路被配置为：[0303]接收车辆的周围环境的图像数据；[0304]接收所述车辆的所述周围环境的深度数据；[0305]基于所述图像数据和所述深度数据来生成具有多个像素单位的3d语义分割图像，所述多个像素单位中的每个像素单位都包括所述深度数据和类别信息；并且[0306]基于所述3d语义分割图像来搜索可用泊车位。[0307][2]根据[1]所述的信息处理装置，其中[0308]所述电路被配置为：[0309]基于所述图像数据和所述深度数据来生成以像素为基础的深度数据；并且[0310]通过基于所述以像素为基础的深度数据对所述图像数据执行3d语义分割处理来生成所述3d语义分割图像，所述类别信息是由所述3d语义分割处理进行分类的。[0311][3]根据[2]所述的信息处理装置，其中[0312]所述电路被配置为：[0313]基于所述深度数据来提取点云特征量；并且[0314]通过基于所述点云特征量对所述图像数据执行所述3d语义分割处理来生成所述3d语义分割图像。[0315][4]根据[3]所述的信息处理装置，其中[0316]所述电路被配置为：[0317]从所述图像数据中提取图像特征量；并且[0318]基于所述深度数据和所述图像特征量来提取所述点云特征量。[0319][5]根据[4]所述的信息处理装置，其中[0320]所述电路被配置为：[0321]基于所述图像特征量来生成稠密深度数据；并且[0322]基于所述深度数据和所述稠密深度数据来提取所述点云特征量。[0323][6]根据[5]所述的信息处理装置，其中[0324]所述电路被配置为：[0325]基于所述深度数据来生成3d锚定网格；[0326]通过融合所述稠密深度数据和所述3d锚定网格来生成稠密融合数据；并且[0327]基于所述图像特征量和所述稠密融合数据来提取所述点云特征量。[0328][7]根据[4]至[6]中任一项所述的信息处理装置，其中[0329]所述电路被配置为：[0330]接收由雷达探测到的雷达探测结果，所述雷达具有围绕所述车辆的视野；[0331]从所述雷达探测结果中提取雷达探测结果特征量；并且[0332]通过基于所述点云特征量、所述图像特征量和所述雷达探测结果特征量对所述图像数据执行所述3d语义分割处理来生成所述3d语义分割图像。[0333][8]根据[7]所述的信息处理装置，其中[0334]所述深度数据是由光学测距传感器生成的；并且[0335]所述电路被配置为：在由所述光学测距传感器生成的所述深度数据的可靠性程度等于或小于预定阈值的情况下，基于所述雷达探测结果特征量对所述图像数据执行所述3d语义分割处理。[0336][9]根据[7]或[8]所述的信息处理装置，其中[0337]所述雷达探测结果包括：所述车辆的所述周围环境中的物体在移动时的速度信息。[0338][10]根据[1]所述的信息处理装置，其中[0339]所述电路被配置为：[0340]通过对所述图像数据执行2d语义分割处理来生成2d语义分割图像；[0341]基于所述图像数据和所述深度数据来生成以像素为基础的深度数据；并且[0342]基于所述2d语义分割图像和所述以像素为基础的深度数据来生成所述3d语义分割图像。[0343][11]根据[2]至[9]中任一项所述的信息处理装置，其中[0344]所述3d语义分割处理被配置为是通过包括深度神经网络(dnn)的机器学习来予以执行的。[0345][12]根据[1]至[11]中任一项所述的信息处理装置，其中[0346]所述电路被配置为：基于所述3d语义分割图像中的多个区域之间的关系来搜索所述可用泊车位，所述多个区域中的每个区域都包括所述类别信息。[0347][13]根据[12]所述的信息处理装置，其中[0348]所述电路被配置为：通过执行用于分析所述多个区域之间的所述关系的情境感知处理来搜索所述可用泊车位。[0349][14]根据[13]所述的信息处理装置，其中，[0350]所述情境感知处理被配置为是通过包括深度神经网络(dnn)的机器学习来予以执行的。[0351][15]根据[1]至[14]中任一项所述的信息处理装置，其中[0352]所述电路被配置为：[0353]把所搜索到的所述可用泊车位登记到存储器中；[0354]规划去往已登记的所述可用泊车位的路径；并且[0355]沿着所规划的路径控制所述车辆的泊车操作。[0356][16]根据[15]所述的信息处理装置，其中[0357]所述电路被配置为：[0358]在多个可用泊车位被登记到所述存储器中的情况下，将所述多个可用泊车位之中的最接近的可用泊车位设定为目标泊车位；[0359]规划去往所述目标泊车位的路径；并且[0360]沿着所规划的路径控制所述车辆的泊车操作。[0361][17]根据[16]所述的信息处理装置，其中[0362]所述电路被配置为：[0363]在所述车辆的泊车操作的期间，基于所述3d语义分割图像来继续确认所述目标泊车位是否可用；[0364]在所述目标泊车位变得不可用的情况下，把已登记到所述存储器中的所述多个可用泊车位之中的与当前的所述目标泊车位相邻的次接近的可用泊车位设定为新的目标泊车位；[0365]规划去往所述新的目标泊车位的路径；并且[0366]沿着所规划的路径控制所述车辆的泊车操作。[0367][18]根据[15]所述的信息处理装置，其中[0368]所述电路被配置为：[0369]在多个可用泊车位被登记到所述存储器中的情况下，将所述多个可用泊车位之中的由用户选择的可用泊车位设定为目标泊车位；[0370]规划去往所述目标泊车位的路径；并且[0371]沿着所规划的路径控制所述车辆的泊车操作。[0372][19]一种信息处理方法，包括：[0373]生成车辆的周围环境的图像数据；[0374]生成所述车辆的所述周围环境的深度数据；[0375]基于所述图像数据和所述深度数据来生成具有多个像素单位的3d语义分割图像，所述多个像素单位中的每个像素单位都包括所述深度数据和类别信息；以及[0376]基于所述3d语义分割图像来搜索可用泊车位。[0377][20]一种非暂时性且计算机可读的存储介质，在所述存储介质中存储有计算机代码，所述计算机代码在被处理器运行时就致使所述处理器执行如下的信息处理方法，所述信息处理方法包括：[0378]基于车辆的周围环境的图像数据和所述车辆的所述周围环境的深度数据来生成具有多个像素单位的3d语义分割图像，所述多个像素单位中的每个像素单位都包括所述深度数据和类别信息；以及[0379]基于所述3d语义分割图像来搜索可用泊车位。[0380][21]一种泊车位判定方法，包括下列步骤：[0381]生成图像数据，所述图像数据是由具有车辆前方视野的相机摄取的；[0382]生成深度数据，所述深度数据是以对车辆前方进行感测的深度传感器为基础而生成的；[0383]通过将所述深度数据和所述图像数据进行关联，来生成以像素为基础的深度信息；[0384]基于所述以像素为基础的深度信息对所述图像数据执行3d语义分割，以生成具有多个区域的3d分割图像，所述多个区域中的每个区域都包括类别信息；以及[0385]基于所述3d分割图像来判定可用泊车位。[0386][22]根据[21]所述的方法，还包括：基于所述图像数据来生成以图像为基础的深度数据，并且[0387]其中，所述生成深度数据的步骤包括：把所述以深度传感器为基础的深度数据与所述以图像为基础的深度数据组合起来。[0388][23]根据[21]所述的方法，还包括：生成雷达传感器数据，所述雷达传感器数据是以雷达为基础而生成的；[0389]其中，所述以像素为基础的深度信息是基于所述深度数据、所述图像数据和所述雷达传感器数据而生成的。[0390][24]根据[21]所述的方法，其中，所述判定可用泊车位的步骤包括：分析所述3d分割图像中的多个物体之间的关系。[0391][25]根据[21]所述的方法，其中，所述执行3d语义分割的步骤包括：将所述以像素为基础的深度信息输入到第一神经网络。[0392][26]根据[21]所述的方法，其中，所述判定可用泊车位的步骤包括：将所述3d分割图像输入到第二神经网络。[0393][27]根据[21]所述的方法，其中，所述可用泊车位处于所述车辆的前面。[0394][28]根据[27]所述的方法，其中，所述可用泊车位在所述车辆的前面至少15米。[0395][29]根据[21]所述的方法，还包括：在显示器中显示所述可用泊车位。[0396][30]一种泊车辅助系统，包括：[0397]第一传感器，其被布置在车辆上并被构造为对车辆前方进行感测，所述第一传感器包括相机且生成图像数据；[0398]第二传感器，其被布置在所述车辆上并被构造为对车辆前方进行感测，所述第二传感器生成深度数据；以及[0399]电路，其被配置为：[0400]接收所述图像数据和所述深度数据；[0401]通过将所述深度数据和所述图像数据进行关联，来生成以像素为基础的深度信息；[0402]基于所述以像素为基础的深度信息对所述图像数据执行3d语义分割，以生成具有多个区域的3d分割图像，所述多个区域中的每个区域都包括类别信息；并且[0403]基于所述3d分割图像来判定可用泊车位。[0404][31]一种信息处理装置，其包括电路，[0405]所述电路被配置为：[0406]接收图像数据和深度数据，其中，所述图像数据是由具有车辆前方视野的相机摄取的，并且所述深度数据是以对车辆前方进行感测的深度传感器为基础而生成的；[0407]通过将所述深度数据和所述图像数据进行关联，来生成以像素为基础的深度信息；[0408]基于所述以像素为基础的深度信息对所述图像数据执行3d语义分割，以生成具有多个区域的3d分割图像，所述多个区域中的每个区域都包括类别信息；并且[0409]基于所述3d分割图像来判定可用泊车位。[0410]本领域技术人员应当理解，根据设计需求和其他因素，本发明可以出现各种变形、组合、子组合和变更，这些变形、组合、子组合和变更都落入所附权利要求或其等同物的保护范围内。[0411][附图标记说明][0412]201：泊车辅助控制部[0413]202和202-1至202-q：相机[0414]203和203-1至203-r：tof相机[0415]204和204-1至204-s：雷达[0416]261：分析部[0417]262：行动规划部(action planning unit)[0418]271：自身位置推定部[0419]272：传感器融合部[0420]273：识别部[0421]301：slam处理部[0422]302：ogm存储部[0423]321：物体检测部[0424]322：物体追迹部[0425]323：3d语义分割处理部(3d semantic segmentation processing unit)[0426]324：情境感知部(context awareness unit)[0427]324a：泊车位检测部[0428]351：路径规划部[0429]371：预处理部(pre-processing unit)[0430]372：图像特征量提取部[0431]373：单眼深度推定部(monocular depth estimation unit)[0432]374：3d锚定网格生成部(3d anchor grid generation unit)[0433]375：稠密融合处理部(dense fusion processing unit)[0434]376：预处理部[0435]377：点云特征量提取部[0436]378：雷达探测结果特征量提取部[0437]379：类型判定部









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!