一种校准车辆的摄像头间距的方法和装置以及其持续学习消失点估计模型的方法和装置与流程

车辆装置的制造及其改造技术一种校准车辆的摄像头间距的方法和装置以及其持续学习消失点估计模型的方法和装置1.本发明要求于2020年4月24日向美国专利局提交的美国专利申请第63/014,884号和2020年12月17日向美国专利局提交的美国专利申请第17/125,087号的优先权和权益，其全部内容通过引用合并于此。技术领域2.本发明涉及一种使用消失点(vanishing point)、对象和车道信息来校准车辆的摄像头间距(pitch)的方法和装置以及其持续学习(continual learning)消失点估计(estimation)模型的方法。背景技术：3.当今的车辆结合it技术提供各种功能，并以安装各种驾驶员辅助系统(a dvanced driver assist system，adas)的形式发展，以提高车辆的行驶稳定性并确保用户的使用便利性。4.此时，驾驶员辅助系统(adas)使用先进的传感装置和智能成像装置执行自适应前照灯、避免前方碰撞、防止车道偏离、盲点监控和改进的后方监控等功能。5.所述驾驶员辅助系统基于感知(perception)模型分析从诸如摄像头、激光雷达传感器和雷达传感器之类的视频图像检测装置传输的行驶图像以检测车辆的周围环境信息。6.并且，在分析所述行驶图像时，需要测量行驶图像中的对象与车辆之间的距离，为此，在计算出摄像头的间距后，利用已计算的间距计算出对象在实际驾驶环境中与车辆的距离。7.在另一方面，在车辆行驶过程中，车辆在车道路面的凹槽等中发生滚动，相应地，固定安装在车辆中的摄像头的间距也会发生变化，从而应对其进行准确的估计。8.另外，为了估计摄像头的间距，通常使用行驶图像中的消失点来估计间距，或者使用自我运动(ego-motion)，即摄像头的运动来估计间距。9.对使用行驶图像的消失点的方法而言，检测行驶图像中的消失点，并通过计算从摄像头原点到消失点和行驶图像的中心点之间的角度来估计，其优点在于，不需要用于间距估计的单独点，并且可以完全自动完成，但其缺点在于，根据驾驶环境的不同，可能难以检测到行驶图像中的消失点，从而间距估计的准确性降低。10.此外，对使用自我运动的方法而言，通过使用行驶图像的前后帧来计算每个帧中对象的移动状态以估计间距，其优点在于，与使用消失点的方法相比，具有更高的准确性，但其缺点在于，由于需要分析行驶图像的前后帧，因此与使用消失点的方法相比，需要更多的计算量，从而需要更多的计算资源，不仅如此，由于根据驾驶环境而发生的不稳定特征或不规则照明度变化，无法准确检测运动。技术实现要素：11.技术问题12.本发明的目的在于解决所有上述问题。13.本发明的另一目的在于与现有技术相比能够准确地估计车辆的摄像头间距。14.本发明的又一目的在于与现有技术相比能够以较少的计算量估计车辆的摄像头间距。15.本发明的再一目的在于能够持续学习用于检测消失点的消失点估计模型。16.技术方案17.根据本发明的一实施例，一种校准车辆的摄像头间距的方法，其中，包括：(a)车辆行驶过程中从摄像头获取行驶图像时，校准装置将所述行驶图像分别输入到对象检测网络和车道检测网络，使所述对象检测网络检测所述行驶图像上的多个对象以输出多个对象检测信息，使所述车道检测网络检测所述行驶图像上的多个车道以输出多个车道检测信息；(b)所述校准装置进行如下处理：通过对多个所述对象检测信息进行剖析来生成与每个对象对应的多个对象剖析信息，并通过对多个所述车道检测信息进行剖析来生成与每个车道对应的多个车道剖析信息，将多个所述对象剖析信息输入到基于对象的间距估计模块以使所述基于对象的间距估计模块(i)参考多个所述对象剖析信息从多个所述对象中选择第1目标对象，通过使用所述第1目标对象的第1高度的第1间距估计来生成第1间距，(ii)参考多个所述对象剖析信息从多个所述对象中选择第2目标对象，通过使用所述第2目标对象的宽度(w idth)的第2间距估计来生成第2间距；将通过分析所述行驶图像来检测消失点的消失点估计网络的消失点检测信息和多个所述车道剖析信息输入到基于车道的间距估计模块以使所述基于车道的间距估计模块(i)通过使用多个所述车道剖析信息的第3间距估计来生成第3间距，(ii)通过使用所述消失点检测信息的第4间距估计来生成第4间距；以及(c)所述校准装置通过将所述第1间距至所述第4间距输入到间距确定模块来使所述间距确定模块综合所述第1间距至所述第4间距以输出对应于所述行驶图像的确定间距。18.根据一实施例，在所述(c)的处理中，所述校准装置使所述间距确定模块参考多个所述对象剖析信息从多个所述对象中选择第3目标对象，并使用所述第3间距计算所述第3目标对象的第2高度，然后通过确认所述第2高度是否在高度阈值内来验证所述第3间距，(i)所述第3间距有效时，输出所述第3间距作为所述确定间距，(ii)所述第3间距无效时，比较对应于所述第1间距的第1目标对象与对应于所述第2间距的第2目标对象，所述第1目标对象与所述第2目标对象相同的情况下，输出所述第1间距和所述第2间距中任一个作为所述确定间距，所述第1目标对象与所述第2目标对象不同的情况下，输出所述第1目标对象和所述第2目标对象中与所述车辆的横向距离小的特定目标对象所对应的特定间距作为所述确定间距，(iii)没有从所述行驶图像中检测到的对象和车道时，输出所述第4间距作为所述确定间距。19.根据一实施例，所述校准装置使所述间距确定模块选择多个第1候选对象中与所述车辆的横向距离最小的第1特定对象作为所述第3目标对象，多个所述第1候选对象的所述横向距离小于等于第1距离阈值，没有边界框的切割，对象类别为车辆类别，并且不重叠。20.根据一实施例，在所述(c)的处理中，所述校准装置使所述间距确定模块对所述确定间距应用前一帧中的前一间距值和平滑(smoothing)以对所述确定间距进行间距平滑，并且进行容差(tolerance)处理，所述容差处理使用间距变化阈值限制帧之间的最大间距变化。21.根据一实施例，(d)所述校准装置参考所述确定间距和所述第4间距获得间距损失，并使用所述间距损失对所述消失点估计网络进行车载持续学习。22.根据一实施例，所述校准装置(i)在所述车辆运行期间，使用所述间距损失对所述消失点估计网络进行实例级增量学习(instance-wise incremental learning)以实现快速适应，(ii)在所述车辆行驶完后，利用行驶过程中采样的数据对所述消失点估计网络进行平衡(balanced)持续学习以恢复由于所述快速适应而可能发生的灾难性遗忘(catastrophic forgetting)现象。23.根据一实施例，所述校准装置(i)在所述车辆运行期间，使用所述间距损失对所述消失点估计网络进行实例级增量学习以实现快速适应，(ii)将用于所述实例级增量学习的采样数据传输到学习服务器以使所述学习服务器使用所述采样数据对所述消失点估计网络所对应的参考(reference)消失点估计网络进行服务器端持续学习，将通过所述服务器端持续学习更新的多个参数传输到所述校准装置，(iii)在所述车辆行驶完后，使用从所述学习服务器接收的多个所述参数更新所述消失点估计网络。24.根据一实施例，(e)所述校准装置(i)将所述设备上学习的训练的消失点估计网络模型传输到学习服务器以使所述学习服务器评估从至少一个其他车辆传输过来的至少一个其他训练的消失点估计网络模型与所述训练的消失点估计网络模型以选择最佳消失点估计网络模型，将所述最佳消失点估计网络模型传输到所述校准装置，(ii)使用从所述学习服务器传输过来的所述最佳消失点估计网络模型更新所述消失点估计网络。25.根据一实施例，在所述(b)步骤中，所述校准装置使所述基于对象的间距估计模块参考多个所述对象剖析信息选择多个第2候选对象中与所述车辆的横向距离最小的第2特定对象作为所述第1目标对象，多个所述第2候选对象的所述横向距离小于等于第2距离阈值，没有边界框的切割，对象类别为车辆类别，并且不重叠，参考所述第1目标对象的检测历史获得所述第1目标对象的平均高度，所述平均高度大于等于最小高度阈值且小于等于最大高度阈值时，将所述平均高度确定为所述第1高度，所述平均高度小于所述最小高度阈值或大于所述最大高度阈值时，将所述最小高度阈值与所述最大高度阈值的平均值确定为所述第1高度。26.根据一实施例，在所述(b)步骤中，所述校准装置使所述基于对象的间距估计模块参考多个所述对象剖析信息选择多个第3候选对象中与所述车辆的横向距离最小的第3特定对象作为所述第2目标对象，多个所述第3候选对象的所述横向距离小于等于第3距离阈值，没有边界框的切割，对象类别为车辆类别，不重叠，2d边界框与3d边界框的差值小于等于框差阈值，并且边界框的纵横比大于等于纵横比阈值。27.根据一实施例，在所述(b)步骤中，所述校准装置使所述基于车道的间距估计模块参考多个所述车道剖析信息选择第1车道和第2车道，使用所述第1车道和第2车道检测目标消失点，使用所述目标消失点进行所述第3间距估计，其中，所述第1车道和第2车道为直线，大于等于长度阈值，并在所述车辆的坐标系上彼此平行。28.根据本发明的另一实施例，一种用于校准车辆的摄像头间距的校准装置，其中，包括：存储器，其存储用于校准车辆的摄像头间距的指令；和处理器，其根据存储在所述存储器中的所述指令执行用于校准车辆的摄像头间距的操作，所述处理器进行如下处理：(i)车辆行驶过程中从摄像头获取行驶图像时，将所述行驶图像分别输入到对象检测网络和车道检测网络，使所述对象检测网络检测所述行驶图像上的多个对象以输出多个对象检测信息，使所述车道检测网络检测所述行驶图像上的多个车道以输出多个车道检测信息；(i i)通过对多个所述对象检测信息进行剖析来生成与每个对象对应的多个对象剖析信息，并通过对多个所述车道检测信息进行剖析来生成与每个车道对应的多个车道剖析信息，将多个所述对象剖析信息输入到基于对象的间距估计模块以使所述基于对象的间距估计模块(i)参考多个所述对象剖析信息从多个所述对象中选择第1目标对象，通过使用所述第1目标对象的第1高度的第1间距估计来生成第1间距，(ii)参考多个所述对象剖析信息从多个所述对象中选择第2目标对象，通过使用所述第2目标对象的宽度(width)的第2间距估计来生成第2间距；将通过分析所述行驶图像来检测消失点的消失点估计网络的消失点检测信息和多个所述车道剖析信息输入到基于车道的间距估计模块以使所述基于车道的间距估计模块(i)通过使用多个所述车道剖析信息的第3间距估计来生成第3间距，(ii)通过使用所述消失点检测信息的第4间距估计来生成第4间距；以及(iii)通过将所述第1间距至所述第4间距输入到间距确定模块来使所述间距确定模块综合所述第1间距至所述第4间距以输出对应于所述行驶图像的确定间距。29.根据一实施例，所述处理器在所述(iii)的处理中，使所述间距确定模块参考多个所述对象剖析信息从多个所述对象中选择第3目标对象，并使用所述第3间距计算所述第3目标对象的第2高度，然后通过确认所述第2高度是否在高度阈值内来验证所述第3间距，(i)所述第3间距有效时，输出所述第3间距作为所述确定间距，(ii)所述第3间距无效时，比较对应于所述第1间距的第1目标对象与对应于所述第2间距的第2目标对象，所述第1目标对象与所述第2目标对象相同的情况下，输出所述第1间距和所述第2间距中任一个作为所述确定间距，所述第1目标对象与所述第2目标对象不同的情况下，输出所述第1目标对象和所述第2目标对象中与所述车辆的横向距离小的特定目标对象所对应的特定间距作为所述确定间距，(iii)没有从所述行驶图像中检测到的对象和车道时，输出所述第4间距作为所述确定间距。30.根据一实施例，所述处理器使所述间距确定模块选择多个第1候选对象中与所述车辆的横向距离最小的第1特定对象作为所述第3目标对象，多个所述第1候选对象的所述横向距离小于等于第1距离阈值，没有边界框的切割，对象类别为车辆类别，并且不重叠。31.根据一实施例，所述处理器在所述(iii)的处理中，使所述间距确定模块对所述确定间距应用前一帧中的前一间距值和平滑(smoothing)以对所述确定间距进行间距平滑，并且进行容差(tolerance)处理，所述容差处理使用间距变化阈值限制帧之间的最大间距变化。32.根据一实施例，所述处理器还进行如下处理：(iv)参考所述确定间距和所述第4间距获得间距损失，并使用所述间距损失对所述消失点估计网络进行车载持续学习。33.根据一实施例，所述处理器(i)在所述车辆运行期间，使用所述间距损失对所述消失点估计网络进行实例级增量学习(instance-wise incremental learning)以实现快速适应，(ii)在所述车辆行驶完后，利用行驶过程中采样的数据对所述消失点估计网络进行平衡(balanced)持续学习以恢复由于所述快速适应而可能发生的灾难性遗忘(catastrophic forgetting)现象。34.根据一实施例，所述处理器(i)在所述车辆运行期间，使用所述间距损失对所述消失点估计网络进行实例级增量学习以实现快速适应，(ii)将用于所述实例级增量学习的采样数据传输到学习服务器以使所述学习服务器使用所述采样数据对所述消失点估计网络所对应的参考(reference)消失点估计网络进行服务器端持续学习，将通过所述服务器端持续学习更新的多个参数传输到所述校准装置，(iii)在所述车辆行驶完后，使用从所述学习服务器接收的多个所述参数更新所述消失点估计网络。35.根据一实施例，所述处理器还进行如下处理：(v)(i)将所述设备上学习的训练的消失点估计网络模型传输到学习服务器以使所述学习服务器评估从至少一个其他车辆传输过来的至少一个其他训练的消失点估计网络模型与所述训练的消失点估计网络模型以选择最佳消失点估计网络模型，将所述最佳消失点估计网络模型传输到所述校准装置，(ii)使用从所述学习服务器传输过来的所述最佳消失点估计网络模型更新所述消失点估计网络。36.根据一实施例，所述处理器在所述(ii)的处理中，使所述基于对象的间距估计模块参考多个所述对象剖析信息选择多个第2候选对象中与所述车辆的横向距离最小的第2特定对象作为所述第1目标对象，多个所述第2候选对象的所述横向距离小于等于第2距离阈值，没有边界框的切割，对象类别为车辆类别，并且不重叠，参考所述第1目标对象的检测历史获得所述第1目标对象的平均高度，所述平均高度大于等于最小高度阈值且小于等于最大高度阈值时，将所述平均高度确定为所述第1高度，所述平均高度小于所述最小高度阈值或大于所述最大高度阈值时，将所述最小高度阈值与所述最大高度阈值的平均值确定为所述第1高度。37.根据一实施例，所述处理器在所述(ii)的处理中，使所述基于对象的间距估计模块参考多个所述对象剖析信息选择多个第3候选对象中与所述车辆的横向距离最小的第3特定对象作为所述第2目标对象，多个所述第3候选对象的所述横向距离小于等于第3距离阈值，没有边界框的切割，对象类别为车辆类别，不重叠，2d边界框与3d边界框的差值小于等于框差阈值，并且边界框的纵横比大于等于纵横比阈值。38.根据一实施例，所述处理器在所述(ii)的处理中，使所述基于车道的间距估计模块参考多个所述车道剖析信息选择第1车道和第2车道，使用所述第1车道和第2车道检测目标消失点，使用所述目标消失点进行所述第3间距估计，其中，所述第1车道和第2车道为直线，大于等于长度阈值，并在所述车辆的坐标系上彼此平行。39.除此之外，本发明还提供一种计算机可读记录介质，其用于记录用于执行本发明方法的计算机程序。40.有益效果41.本发明通过使用构成车辆的驾驶辅助装置的感知模块的输出，与现有技术相比，可以更准确地估计车辆的摄像头间距。42.本发明通过使用构成车辆的驾驶辅助装置的感知模块的输出，与现有技术相比，可以以更少的计算量估计车辆的摄像头间距。43.本发明通过持续学习用于检测消失点的消失点估计模型，可以准确地检测消失点，从而可以更准确地估计车辆的摄像头间距。附图说明44.用于描述本发明实施例的以下附图仅为本发明实施例的一部分，并且本发明所属领域的普通技术人员(以下称为“普通技术人员”)可以基于这些附图获得其他附图，而无需进行任何创造性工作。45.图1为根据本发明的一实施例的用于校准车辆的摄像头间距的校准装置的示意图。46.图2为根据本发明的一实施例的校准车辆的摄像头间距的方法的示意图。47.图3a和图3b为在根据本发明一实施例的校准车辆的摄像头间距的方法中使用物体对象高度来估计间距的状态的示意图。48.图4a和图4b为在根据本发明一实施例的校准车辆的摄像头间距的方法中使用物体对象宽度来估计间距的状态的示意图。49.图5为根据本发明一实施例的校准车辆的摄像头间距的方法中在行驶图像上选择自我车道的过程图。50.图6为根据本发明的一实施例的校准车辆的摄像头间距的方法中的消失点估计网络的示意图。51.图7为根据本发明一实施例的校准车辆的摄像头间距的方法中计算的间距中确定行驶图像的间距的过程图。52.图8至图10分别为根据本发明的一实施例的校准车辆的摄像头间距的方法中的持续学习消失点估计网络的状态图。具体实施方式53.以下本发明的详细描述参见附图，所述附图以说明方式示出了可以实施本发明的具体实施例，以阐明本发明的目的、技术方案和优点。对这些实施例进行了充分详细的描述，以使本领域技术人员能够实施本发明。54.另外，在本发明的内容及权利要求书中，术语“包括”及其变形并不意图排除其他技术特征、附加物、组件或步骤。对于本发明普通技术人员而言，本发明的其他目的、优点及特性中一部分可从本说明书获知，而一部分可从本发明的实施获知。以下的例示及附图作为实例提供，而并不是意图限制本发明。55.进一步地，本发明包括本说明书所示实施例的所有可能的组合。应当理解，本发明的各种实施例尽管不同但不必相互排斥。例如，本文记载的特定形状、结构及特性在一个实施例中在不超出本发明的精神及范围的前提下可通过其他实施例实现。并且，应当理解，所公开的每个实施例中各组件的位置或配置可在不超出本发明的精神及范围的前提下变更。因此，后述的详细说明并不用于限定本发明，只要能够进行适当的说明，本发明的范围应根据与其权利要求保护范围等同的所有范围和所附的权利要求保护范围而被限定。附图中类似的附图标记在多个方面指示相同或类似的功能。56.为了使本领域普通技术人员能够容易地实施本发明，下面将参考附图详细描述本发明的优选实施例。57.图1为根据本发明的一实施例的用于校准车辆的摄像头间距的校准装置的示意图，参见图1，校准装置1000可以包括存储器1001，其存储用于使用针对从车辆的摄像头获得的行驶图像的对象检测信息和车道检测信息来估计摄像头间距的指令；和处理器1002，其根据存储在存储器1001中的指令执行用于估计车辆的摄像头间距的操作。58.具体地，校准装置1000通常可以使用计算装置(例如，计算机处理器、存储器、存储装置、输入和输出装置，和可以包括常规计算装置的其他组件的装置；电子通讯装置，如路由器、交换机等；电子信息存储系统，如网络附加存储(nas)和存储区域网络(san))和计算机软件(即，使计算装置以特定方式运行的指令)的组合来实现所需的系统性能。59.另外，计算装置的处理器可以包括诸如微处理单元(mpu，micro processing unit)或中央处理单元(cpu，central processing unit)、高速缓冲(cache memory)、数据总线(data bus)之类的硬件配置。另外，计算装置可以进一步包括操作系统、执行特定目的的应用程序的软件配置。60.然而，不排除计算装置包括为实现本发明而集成介质、处理器和存储器的形式的集成处理器的情况。61.下面将参照图2描述使用根据如上所述配置的根据本发明一实施例的校准装置1000校准车辆的摄像头间距的方法。62.首先，从安装在车辆，作为一例，自动驾驶汽车中的摄像头获取行驶图像时，校准装置1000可以将行驶图像分别输入到对象检测网络1100和车道检测网络1200，以使对象检测网络1100检测行驶图像上的对象并输出对象检测信息，使车道检测网络1200检测行驶图像上的车道并输出车道检测信息。63.此时，对象检测网络1100可以实现为使用深度学习(deep learning)的基于cnn(convolutional neural network)的对象检测网络，也可以实现为基于视觉特征和浅层(shallow)学习的分类器，但不限于此，并且可以使用能够从行驶图像检测多个对象的各种算法。另外，对象检测网络1100的输出可以包括多个对象类别信息，所述对象类别信息为通过分析诸如多个2d边界框或多个3d边界框之类的对象区域信息和每个边界框所对应的多个对象的类别而获得的，但本发明不限于此，可以包括与对象相关的各种信息，例如轿车、卡车或suv等有关车辆类型的信息等。64.此外，车道检测网络1200可以实现为使用深度学习的基于cnn的车道检测网络，也可以实现为图像处理和计算机视觉算法，但不限于此，可以使用能够从行驶图像中检测多个车道的各种算法，并且车道检测网络1200的输出可以为由n阶多项式方程式表示的车道模型。65.接下来，校准装置1000可以通过对多个对象检测信息进行剖析并对与每个对象对应的多个对象剖析信息和多个车道检测信息进行剖析来生成与每个车道对应的多个车道剖析信息。66.此时，多个对象剖析信息可以包括针对每个对象的宽度(width)和高度(height)，但本发明不限于此，并且可以包括关于每个对象的各种信息。67.另外，多个车道剖析信息可以包括针对每个车道的多个直线度(straight ness)、多个长度(length)和车辆坐标上的多个倾斜度，但本发明不限于此，可以包括针对每个车道的各种信息。68.接下来，校准装置1000可以将行驶图像或车道检测信息输入到消失点估计网络1210以使消失点估计网络1210通过学习运算检测行驶图像上的消失点，并进行追踪消失点。69.接下来，校准装置1000可以进行如下处理：将多个对象剖析信息输入到基于对象的间距估计模块1110以使基于对象的间距估计模块1100参考多个对象剖析信息从多个对象中选择第1目标对象，通过使用第1目标对象的第1高度的第1间距估计来生成第1间距，参考多个对象剖析信息从多个对象中选择第2目标对象，通过使用第2目标对象的宽度的第2间距估计来生成第2间距。70.另外，校准装置1000可以进行如下处理：通过分析行驶图像或车道检测信息来检测消失点的消失点估计网络1210的消失点检测信息和将多个车道剖析信息输入到基于车道的间距估计模块1220以使基于车道的间距估计模块1220通过使用多个车道剖析信息的第3间距估计来生成第3间距，通过使用消失点检测信息的第4间距估计来生成第4间距。71.基于对象的间距估计模块1000生成第1间距和第2间距，下面将更详细地描述基于车道的间距估计模块1220生成第3间距和第4间距的过程。72.首先，基于对象的间距估计模块1110参考多个对象剖析信息，从行驶图像上检测到的多个对象中选择多个第2候选对象，多个所述第2候选对象与车辆的横向距离(lateral distance)小于等于第2距离阈值(threshold)，没有边界框的切割，对象类别为车辆类别，并且不重叠，可以将多个所选的第2候选对象中具有最小横向距离的第2特定对象选择为第1目标对象。73.此时，横向距离可以为车辆与对象在与车辆的车宽方向垂直的方向上的距离，第2距离阈值例如可以为10m，但本发明不限于此，可以将能够清晰识别的任意横向距离设置为第2距离阈值。另外，未切割边界框的对象可以为边界框不跨越行驶图像的边界的对象。此外，作为车辆类别的对象可以为具有针对如轿车、suv、卡车、公共汽车等的汽车类型的类别的对象，未重叠的对象可以为边界框与其他对象的边界框不重叠，或即使重叠但边界框的底部(bottom)坐标更接近于行驶图像下端的对象。74.然后，基于对象的间距估计模块1100可以参考第1目标对象的检测历史获得第1目标对象的平均高度，平均高度大于等于最小高度阈值且小于等于最大高度阈值时，将平均高度确定为第1高度，平均高度小于最小高度阈值或大于最大高度阈值时，将最小高度阈值与最大高度阈值的平均值确定为第1高度。75.此时，可以为每个车辆类别设置最小高度阈值和最大高度阈值。作为一例，根据车辆类别，对于轿车、suv或类似尺寸的车辆，可以将最小高度阈值设置为1.4m，将最大高度阈值设置为1.8m，而对于公共汽车、卡车等车辆，可以将最小高度阈值设置为2.5m，将最大高度阈值设置为4m。76.另外，基于对象的间距估计模块1100可以使用第1目标对象的第1高度通过二分搜索(binary search)生成第1间距，或者可以通过直接运算生成第1间距。77.即，基于对象的间距估计模块1100通过二分搜索接收当前间距p、间距搜索角度α、第1目标对象的边界框b和第1目标对象的第1高度h作为输入，以输出新估计的间距角度p'。78.此时，min_angle可以表示为p-α，max_angle可以表示为p+α，计算车辆坐标系中第1目标对象的边界框b的高度的函数为vcs_h(b)时，在vcs_h(b)！＝h的状态下，可以通过p'＝binary search(b，h，min_angle，max_angle)来估计，并且可以更新min_angle和max_angle。在另一方面，binary search(b，h，min_angle，max_angle)可以为搜索间距以使第1目标对象的边界框b的高度变为第1高度h的函数。79.此外，参见图3a和图3b，基于对象的间距估计模块1100使用如图3a中针孔(pinhole)摄像头模型的类似于三角形的比例表达式，根据焦距：边界框高度＝z：目标对象高度(第1高度)，通过目标对象距离z＝(焦距)*(目标对象高度)/(边界框高度)计算距离z，如图3b所示，第1间距θ可以使用所计算的距离z通过以下数学式来估计。[0080][0081][0082][0083]第二，基于对象的间距估计模块1100可以参考多个对象剖析信息选择多个第3候选对象中与车辆的横向距离最小的第3特定对象作为第2目标对象，多个第3候选对象的横向距离小于等于第3距离阈值，没有边界框的切割，对象类别为车辆类别，不重叠，2d边界框与3d边界框的差值小于等于框差阈值，并且边界框的纵横比大于等于纵横比阈值。[0084]此时，横向距离可以为车辆与对象在与车辆的车宽方向垂直的方向上的距离，第3距离阈值例如可以为3m，但本发明不限于此，可以将能够清晰识别的任意横向距离设置为第3距离阈值。并且，未切割边界框的对象可以为边界框不跨越行驶图像的边界的对象。另外，作为车辆类别的对象可以为具有针对如轿车、suv、卡车、公共汽车等的汽车类型的类别的对象，未重叠的对象可以为边界框与其他对象的边界框不重叠，或即使重叠但边界框的底部坐标更接近于行驶图像下端的对象。此外，2d边界框与3d边界框的差值小于等于框差阈值的对象可以为几乎在车辆前面的对象，并且边界框的纵横比大于等于纵横比阈值的对象可以为从正面看不到侧面的对象。即，在十字路口等处，可以从车辆的正面看到侧面时，该对象的边界框具有较小的纵横比，为防止这种情况，不选择边界框的纵横比小于纵横比阈值的对象。[0085]此后，基于对象的间距估计模块1100可以参考第2目标对象的车辆类别确定第2目标对象的宽度。[0086]此时，第2目标对象的宽度可以由根据第2目标对象的每个车辆类别设置的宽度确定。作为一例，根据车辆类别，对于轿车、suv或类似尺寸的车辆，可以设置为1.8m，而对于公共汽车、卡车等车辆，可以设置为1.8m，但本发明不限于此，可以根据每个车辆类别以特定常数设置。这可以设置为对于相同的车辆类别具有相同的宽度，因为在同一车辆类别中根据车辆类型的宽度差异不大。[0087]并且，参见图4a和图4b，基于对象的间距估计模块1100使用如图4a中针孔摄像头模型的类似于三角形的比例表达式，根据边界框宽度：f＝实际宽度：z，通过计算第2目标对象的距离z，如图4b所示，第2间距θ可以使用所计算的第2目标对象的距离z通过以下数学式来估计。[0088][0089][0090][0091]第三，基于车道的间距估计模块1200可以参考多个车道剖析信息选择第1车道和第2车道，使用第1车道和第2车道检测目标消失点，使用目标消失点估计第3间距，其中，所述第1车道和第2车道为直线，大于等于距离阈值，并在车辆的坐标系上彼此平行。[0092]作为一例，基于车道的间距估计模块1220可以参考多个车道剖析信息，所述车道剖析信息包括表示在行驶图像上检测到的车道的直线度的直线度(s traightness)、在行驶图像上检测到的车道的长度以及车道在车辆坐标系上的倾斜度，选择第1车道和第2车道作为用于检测消失点的车道，所述第1车道和第2车道满足为直线、车道长度处于距离阈值上、在车辆坐标系上平行的条件。此时，在将车道从行驶图像坐标系转换到车辆坐标系时，可以使用前一帧的摄像头参数。[0093]并且，基于车道的间距估计模块1220可以使用所选的第1车道和第2车道的车道方程式计算交叉点以检测消失点，并使用所检测到的消失点和摄像头的中心估计第3间距。[0094]此时，检测到n个车道时，可以使用如图5所示的搜索树(search tree)来选择两条车道。[0095]即，从多个车道中检测与车辆对应的自我车道，两侧自我车道被检测时，确认是否满足可用性条件，即其为直线且大于等于特定距离阈值，如果两侧自我车道均满足可用性条件，则确认是否满足倾斜度有效性验证条件，即两条车道平行，如果只有一条车道满足可用性条件，则检测满足可用性条件的替代车道以确认是否满足有效性验证条件。并且，仅检测到左自我车道或右自我车道时，检测分别满足可用性条件的替代车道以确认是否满足倾斜度验证条件。如此可以选择满足可用性条件和倾斜度验证条件的两条车道。[0096]第四，基于车道的间距估计模块1220通过使用消失点估计网络1210的消失点检测信息来追踪消失点估计网络1210中检测到的消失点，并且可以使用参考在制备摄像头时设置为默认(default)的eol(end of line)间距追踪的消失点来估计第4间距。[0097]此时，参见图6，为了直接从行驶图像中检测消失点，消失点估计网络1210可以使用cnn(convolutional neural network)，或者可以使用以如消失点gnet(guided network for lane and road marking detection and recognition)的多任务(multi-task)cnn结构同时检测车道和消失点的基于感知的网络，但本发明不限于此，可以实现为独立的消失点检测网络。[0098]接下来，校准装置1000可以通过将第1间距至第4间距输入到间距确定模块1300来使间距确定模块1300将第1间距至第4间距集成(ensemble)以输出对应于行驶图像的确定间距。[0099]在另一方面，第1间距估计至第4间距估计中的每一个都具有以下优点和缺点。[0100]第1间距估计的优点在于，由于调整间距以保持高度，因此可以进行稳定的间距估计，并且对象选择范围较宽，从而可以在比第2间距估计更宽的范围内操作，但其缺点在于，难以将间距估计应用于高度范围过宽的对象，例如行人或两轮车辆等。[0101]并且，第2间距估计的优点在于，由于调整间距以保持宽度，因此可以进行稳定的间距估计，并且高度具有最小/最大区域，但宽度在车辆之间变化(variation)很小，可以固定为常数，从而其准确度高于第1间距估计，但其缺点在于，无法对如行人或两轮车等进行操作，并且由于对象选择的限制，必须在比第1间距估计更窄的运动范围内操作。[0102]另外，第3间距估计的优点在于，在直线区域上很准确，在平坦的道路上也能很好地操作，但其缺点在于，在弯道上不准确，只有在有车道时才能操作。[0103]此外，第4间距估计的优点在于，无论对象和车道如何，在所有情况下都有输出，但其缺点在于，由于准确度问题，难以将间距变化(variance)保持在较低水平。[0104]因此，校准装置1000使间距确定模块1300将第1间距至第4间距集成以利用第1间距估计至第4间距估计中每一个的优点并补偿缺点，从而可以确定行驶图像的每一帧中的间距。[0105]作为一例，参见图7，间距确定模块1300可以参考多个对象剖析信息从多个对象中选择第3目标对象，并使用第3间距计算第3目标对象的第2高度，然后通过确认第2高度是否在高度阈值内来验证第3间距。此时，间距确定模块1300可以选择多个第1候选对象中与车辆的横向距离最小的第1特定对象作为第3目标对象，多个所述第1候选对象的横向距离小于等于第1距离阈值，没有边界框的切割，对象类别为车辆类别，并且不重叠。[0106]此后，作为验证第3间距的结果，第3间距有效时，间距确定模块1300可以输出第3间距作为确定间距。[0107]然而，第3间距无效时，间距确定模块1300可以比较对应于第1间距的第1目标对象与对应于第2间距的第2目标对象，第1目标对象与第2目标对象相同的情况下，输出第1间距和第2间距中任一个作为确定间距，第1目标对象与第2目标对象不同的情况下，输出第1目标对象和第2目标对象中与车辆的横向距离小的特定目标对象所对应的特定间距作为确定间距。[0108]并且，没有从行驶图像中检测到的对象和车道时，间距确定模块1300可以输出第4间距作为确定间距。[0109]另外，间距确定模块1300对确定间距应用前一帧中的前一间距值和平滑(smoothing)以对确定间距进行间距平滑，并且进行容差(tolerance)处理，所述容差处理使用间距变化阈值限制帧之间的最大间距变化。[0110]即，间距确定模块1300可以通过应用前一帧中的前一间距值和平滑来进行针对确定间距的间距平滑以防止间距的突然变化，并且通过容差处理使用阈值限制帧之间的最大间距变化。然而，间距确定模块1300可以在对象不存在后首次出现时解除对间距变化的限制。另外，对象在与车辆，即自我车辆不同的道路平面上时，可以进行容差处理。[0111]在另一方面，可以训练消失点估计网络1210以通过持续学习从行驶图像中检测消失点。[0112]此时，对于消失点估计网络1210的持续学习，可以使用设备上持续学习、合作(cooperative)持续学习、服务器端持续学习等。[0113]首先，参见图8，在设备上持续学习中，校准装置1000可以参考确定间距和第4间距获得间距损失，并且使用间距损失对消失点估计网络1210进行设备上持续学习。此时，尽管校准装置1000进行了设备上持续学习，与此不同地，也可以通过单独的学习装置进行设备上持续学习。[0114]此时，校准装置1000在所述车辆运行期间，可以使用间距损失对消失点估计网络1210进行实例级增量学习(instance-wise incremental learning)以实现快速适应(fast adaptation)，在车辆行驶完后，利用行驶过程中采样的数据对消失点估计网络1210进行平衡(balanced)持续学习以恢复由于快速适应而可能发生的灾难性遗忘(catastrophic forgetting)现象。[0115]即，一般来说，由于在检测车辆的驾驶环境时使用连续的图像序列作为输入，如果在特定帧中错误地估计消失点，则在后续帧中很有可能会保持错误的消失点.从而在行驶过程中，通过比较从间距确定模块1300输出的确定间距与第4间距来获得间距损失，间距损失大于阈值时，进行实例级增量学习以实现快速适应，在驾驶完成后，为了恢复由于驾驶过程中的快速适应而可能发生的灾难性遗忘现象，可以利用驾驶过程中采样的数据进行平衡持续学习。[0116]另外，参见图9，在合作(cooperative)持续学习中，所述校准装置100可以将设备上学习的训练的消失点估计网络模型传输到学习服务器以使学习服务器评估从至少一个其他车辆传输过来的至少一个其他训练的消失点估计网络模型与训练的消失点估计网络模型以选择最佳消失点估计网络模型，将最佳消失点估计网络模型传输到校准装置1000，使用从学习服务器传输过来的最佳消失点估计网络模型更新消失点估计网络12010。[0117]即，参见图8，每辆车通过上述的设备上持续学习进行持续学习，将所学习的模型和数据传输到学习服务器时，学习服务器对每辆车的模型进行评估并选择最佳模型，然后通过将所选的最佳模型传输到每辆车，每辆车可以通过合作持续学习来更新消失点估计网络。[0118]另外，参见图10，在服务器端持续学习中，所述校准装置1000在车辆运行期间，可以使用间距损失对消失点估计网络1210进行实例级增量学习以实现快速适应，将用于实例级增量学习的采样数据传输到学习服务器以使学习服务器使用采样数据对消失点估计网络1210所对应的参考(reference)消失点估计网络进行服务器端持续学习，将通过服务器端持续学习更新的多个参数传输到校准装置1000，在车辆行驶完后，使用从学习服务器接收的多个参数更新消失点估计网络1210。[0119]即，在每辆车中，只进行快速适应，在学习服务器中进行持续学习，然后将持续学习的消失点估计网络或多个相应的参数传输并更新到每辆车。[0120]另外，上述根据本发明的实施例可以以可通过各种计算机组件执行的程序指令的形式来实现并记录在计算机可读记录介质中。所述计算机可读记录介质可以包括单独或组合的程序指令、数据文件、数据结构等。记录在所述计算机可读记录介质中的程序指令可以是为本发明专门设计和配置的，或者可以是计算机软件领域的技术人员已知和可用的。计算机可读记录介质的示例包括诸如硬盘、软盘和磁带的磁性介质，诸如cd-rom、dvd的光学记录介质，诸如软盘(floptical disk)的磁光介质(magneto-optical media)以及专门配置用于存储和执行程序指令的硬件装置，例如rom、ram、闪存等。程序指令的示例不仅包括诸如由编译器生成的那些机器语言代码，而且还包括可以由计算机使用解释器等执行的高级语言代码。所述硬件装置可以配置为作为至少一个软件模块操作以执行根据本发明的处理，反之亦然。[0121]在上文中，已经参考诸如具体组件等的特定事项以及有限的实施例和附图描述了本发明，但这仅有助于更全面地理解本发明，而本发明不限于上述实施例，本发明所属领域的普通技术人员可以根据这些描述设计出各种修改和变化。[0122]因此，本发明的精神不应限于上述实施例，除所附权利要求外，凡与这些权利要求等效或等同的修改，均应包含在本发明的精神范围内。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!