一种基于红外热图像人脸轮廓识别的增强显示系统及方法

计算;推算;计数设备的制造及其应用技术1.本发明涉及汽车主动安全领域，具体涉及一种基于红外热图像人脸轮廓识别的增强显示系统及方法。背景技术：2.柱对汽车安全有不可替代的作用，这决定了a柱不可替代性。因此a柱盲区可以在符合相关标准的前提下尽量减小，但不可消除。故通过其它技术路线消除a柱是提高汽车安全性的重要途径。3.目前，已经有人提出基于人眼三维重构下的a柱盲区消除。然而基于可见光下的人眼三维重构系统难以在夜间等光线黑暗的情况下准确捕捉人眼位置，这就造成这种技术的适用性较低，难以解决夜间转弯时的汽车安全性问题。4.目前，绝大部分汽车都已经装有行车雷达用以探测盲区的物体，其虽然可以探测a柱盲区中的物体，但无法准确的显示在汽车a柱的显示屏上，驾驶员无法直观的感受到盲区内物体的远近及大小。技术实现要素：5.针对现有技术存在的上述缺陷，提供了一种基于红外热图像人脸轮廓识别的增强显示系统及方法，具有适用性更广、投影显示更直观、抵抗环境光干扰强的特点。6.本发明为解决上述技术问题所采用的技术方案是：7.一种基于红外热图像人脸轮廓识别的增强显示系统，其特征在于：包括用于采集驾驶员面部轮廓信息的双目红外摄像头、用于获取车外a柱外侧盲区图像的双目摄像头、显示屏以及控制单元；双目红外摄像头设在车内正对驾驶员面部顶部的车身上，且双目红外摄像头的轴线在汽车方向盘平面的法平面上；双目摄像头布设在车外的a柱下方和车头相连接处，靠近驾驶员一侧的a柱上的双目摄像头相比于远离驾驶员一侧的a柱上的双目摄像头向车外倾斜布设；显示屏分别安装在汽车内部的两侧a柱上；双目红外摄像头、双目摄像头以及显示屏分别与控制单元电性相连。8.按上述技术方案，位于车外的双目摄像头分为右目摄像头和左目摄像头；右目摄像头采集到的图像为主要图像，左目摄像头采集到的图像为辅助图像。9.一种基于红外热图像人脸轮廓识别的增强显示方法，其特征在于：方法应用于如上所述的基于红外热图像人脸轮廓识别的增强显示系统，包括：10.s1：通过双目红外摄像头获取驾驶员人脸信息的热图像，控制单元依据人脸信息的热图像获取人眼在热像图中的坐标位置；11.s2：比较人眼在同一帧下的两幅热图像的坐标，根据相似三角形关系，获得深度信息，再由坐标变换矩阵获得人眼坐标在世界坐标系下的三维坐标信息，完成红外热图像下的人眼三维坐标重构；12.s3：依据实时获取的人眼三维坐标重构，对位于车外的双目摄像头的视图进行第一透视变换、第二透视变换以及裁剪得到用于显示在显示屏上的图像；13.s4，汽车控制单元根据双目摄像头的图像获得汽车盲区障碍物的视差图，并根据视差进行距离的计算。14.按上述技术方案，s1包括如下步骤，15.s11：双目红外摄像头通过对温度的感知，从而判断是否存在驾驶员，若存在驾驶员进入s12，若不存在驾驶员继续检测；16.s12：当检测出人脸时，首先判断是否佩戴有眼镜，若没有配戴眼镜则进入s13，若判断佩戴有眼镜则进入s14；17.s13：直接对人脸进行轮廓检测，建立平均人脸模型，通过平均人脸模型确定人眼所在roi(region of interest)区域，并在roi区域内寻找人眼位置，若找不到则将roi区域的中点认为是人眼所在位置；18.s14：若在热图像中的人脸中检测到黑框，则将黑框位置设置为roi区域，并使用霍夫变换寻找roi区域的圆，从而确定驾驶员瞳孔在热图像中的坐标；若在热图像中的人脸中检测到黑色区域，则在人脸轮廓识别后进行偏光眼镜轮廓检测，根据偏光眼镜下的人眼位置模型估算人眼位置坐标。19.按上述技术方案，s13中，轮廓检测包括人脸轮廓和人脸部位轮廓。20.按上述技术方案，s31：依据汽车控制单元计算出的人眼在世界坐标系下的实时坐标，和已知的a柱显示屏顶角坐标以及显示屏中心坐标，计算得到图像的第一透视变换矩阵，将右目视图通过第一透视变换矩阵进行第一透视变换；21.s32：通过测量获得车外双目摄像头的成像平面的中心坐标和四个顶点的坐标，计算得到图像的第二透视变换矩阵，将右目视图通过第二透视变换矩阵进行第二透视变换；22.s33：根据a柱显示屏的大小，对右目视图进行相应的裁剪。23.按上述技术方案，s4包括，24.s41：控制单元在右目视图的裁剪范围内，不断寻找距离车外双目摄像头较近的、有可能威胁到车头的障碍物，并将其划归为危险障碍物，在汽车a柱显示屏的图像上增强显示危险障碍物的轮廓；25.s42：依据车外双目摄像头的左目视图，根据相似三角形关系，获得危险障碍物的深度信息，并标记危险障碍物距离汽车的距离，完成显示屏的显示增强功能。26.本发明具有以下有益效果：27.基于红外热图像下的人眼三维坐标重构，采用两次图像的透视变换，不仅增加了a柱盲区消除系统的适用范围和抗干扰能力，还使得a柱显示屏显示的盲区图像更加精确。同时，还增加了显示增强功能，将盲区危险物体的轮廓和距离标记在a柱显示屏上，可以更好的提示驾驶员，增强转向过程中安全性，更好的利用了a柱显示屏，增强了a柱显示屏的显示功能。附图说明28.图1是本发明提供实施例的系统的结构示意图；29.图2是本发明提供实施例的增强显示方法的流程框图；30.图中，1、双目红外摄像头；2、双目摄像头；3、显示屏；4、控制单元；5、方向盘。具体实施方式31.下面结合附图和实施例对本发明进行详细说明。32.参照图1～图2所示，本发明提供的一种基于红外热图像人脸轮廓识别的增强显示系统，包括用于采集驾驶员面部轮廓信息的双目红外摄像头1、用于获取车外a柱外侧盲区图像的双目摄像头2、显示屏3以及控制单元4；双目红外摄像头设在车内正对驾驶员面部顶部的车身上，且双目红外摄像头的轴线在汽车方向盘5平面的法平面上；双目摄像头布设在车外的a柱下方和车头相连接处，靠近驾驶员一侧的a柱上的双目摄像头相比于远离驾驶员一侧的a柱上的双目摄像头向车外倾斜布设(为了更好的进行盲区图像的透视变换)，双目摄像头不断采集a柱盲区图像。显示屏分别安装在汽车内部的两侧a柱上；双目红外摄像头、双目摄像头以及显示屏分别与控制单元电性相连。车外双目摄像头和车内双目红外摄像头分别与汽车的控制单元连接，将采集的图像信息不断输入；同时控制单元将处理好的图像及信息输出到a柱的显示屏上。33.进一步，位于车外的双目摄像头分为右目摄像头和左目摄像头；右目摄像头采集到的图像为主要图像，采集到的盲区图像设置为主要图像，经过图像处理输出至a柱显示屏上；左目摄像头采集到的图像为辅助图像，采集到的图像仅用于探测深度。34.基于上述系统本发明还提供了一种基于红外热图像人脸轮廓识别的增强显示方法，方法应用于上述的基于红外热图像人脸轮廓识别的增强显示系统，包括：35.s1：通过双目红外摄像头获取驾驶员人脸信息的热图像，并将其输入至汽车控制单元；控制单元依据人脸信息的热图像获取人眼在热像图中的坐标位置。36.s2：双目红外摄像头获取人眼在热图像中的坐标后，比较人眼在同一帧下的两幅热图像的坐标，根据相似三角形关系，获得深度信息，再由坐标变换矩阵获得人眼坐标在世界坐标系下的三维坐标信息，完成红外热图像下的人眼三维坐标重构。在车内有左右两个上述的红外摄像头，根据两摄像头确定的人眼瞳孔在热图像中的位置，以及两摄像头的内外参数及坐标，可以得到人眼瞳孔的深度信息，最终完成人眼三维坐标的重构。37.s3：依据实时获取的人眼三维坐标重构，对位于车外的双目摄像头的视图进行第一透视变换、第二透视变换以及裁剪得到用于显示在显示屏上的图像，将图像投影到a柱显示屏上。由于a柱显示屏的显示平面不与人眼视平面平行，同时人眼视平面也不总与车外双目摄像头的成像平面平行，故为了成像更加精确，进行两次图像的透视变换，使得人眼视平面、a柱显示屏成像平面、车外双目摄像头成像平面三个面相平行。汽车控制单元不断将处理好的右目图像传输到a柱显示屏，形成初步的和周围环境相匹配的盲区图像显示。38.s4，汽车控制单元根据双目摄像头的图像获得汽车盲区障碍物的视差图，并根据视差进行距离的计算。双目摄像头的右目采集到的图像和左目采集到的图像，经过算法计算后，可以得到盲区物体的深度信息。39.进一步，s1包括如下步骤，40.s11：双目红外摄像头通过对温度的感知，从而判断是否存在驾驶员，若存在驾驶员进入s12，若不存在驾驶员继续检测。41.s12：当检测出人脸时，首先判断是否佩戴有眼镜，若没有配戴眼镜则进入s13，若判断佩戴有眼镜则进入s14；若驾驶员佩戴有眼镜，由于红外摄像头采集热量的工作原理，眼镜在红外热图像中显示为一个黑框或黑色区域(近似眼镜显示为黑框和偏光眼镜显示为黑色区域)。42.s13：直接对人脸进行轮廓检测，建立平均人脸模型(通过给定的一组人脸图像取平均值获得平均人脸模型)，通过平均人脸模型确定人眼所在roi区域，并在roi区域内寻找人眼位置(在roi区域内提取眼部特征，如使用霍夫变换提取roi区域内的圆特征；根据这些眼部特征定位人眼在图像中的位置)。若找不到则将roi区域的中点认为是人眼所在位置。43.s14：若在热图像中的人脸中检测到黑框，则将黑框位置设置为roi区域，并使用霍夫变换寻找roi区域的圆，从而确定驾驶员瞳孔在热图像中的坐标；若在热图像中的人脸中检测到黑色区域，则在人脸轮廓识别后进行偏光眼镜轮廓检测，根据偏光眼镜下的人眼位置模型估算人眼位置坐标。44.进一步，s13中，轮廓检测包括人脸轮廓和人脸部位轮廓，如人脸部各个位置如眉骨、鼻梁等特征轮廓。45.进一步，s31：依据汽车控制单元计算出的人眼在世界坐标系下的实时坐标，和已知的a柱显示屏顶角坐标以及显示屏中心坐标，计算得到图像的第一透视变换矩阵，将右目视图通过第一透视变换矩阵进行第一透视变换。46.s32：由于车外双目摄像头是固定在a柱下方的，通过测量获得车外双目摄像头的成像平面的中心坐标和四个顶点的坐标，计算得到图像的第二透视变换矩阵，将右目视图通过第二透视变换矩阵进行第二透视变换。47.s33：根据a柱显示屏的大小，对右目视图进行相应的裁剪。48.进一步，s4包括，49.s41：控制单元在右目视图的裁剪范围内，不断寻找距离车外双目摄像头较近的、有可能威胁到车头的障碍物，并将其划归为危险障碍物，在汽车a柱显示屏的图像上增强显示危险障碍物的轮廓。50.s42：依据车外双目摄像头的左目视图，根据相似三角形关系，获得危险障碍物的深度信息，并标记危险障碍物距离汽车的距离，完成显示屏的显示增强功能。51.进一步，选取距离汽车较近、有碰撞可能的物体，并将其划归为危险障碍物，在汽车a柱显示器的图像上勾勒出此物体的轮廓，增加了a柱盲区消除系统的适用范围和抗干扰能力。标记危险障碍物距离汽车的距离，以便驾驶员可以更加直观的观察到盲区景象。52.本发明的工作原理：53.基于红外热图像下的人眼三维坐标重构，采用两次图像的透视变换，不仅增加了a柱盲区消除系统的适用范围和抗干扰能力，还使得a柱显示屏显示的盲区图像更加精确。同时还增加了显示增强功能，将盲区危险物体的轮廓和距离标记在a柱显示屏上，可以更好的提示驾驶员，增强转向过程中安全性。54.以上的仅为本发明的较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明申请专利范围所作的等效变化，仍属本发明的保护范围。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!