基于视频的运动鲁棒心脏脉冲峰峰间隔测量方法及装置

计算;推算;计数设备的制造及其应用技术1.本发明涉及一种心脏脉冲峰峰间隔检测技术，尤其是涉及一种基于视频的运动鲁棒心脏脉冲峰峰间隔测量方法及装置。背景技术：2.信息技术在公安事业中发挥了巨大的价值，尤其是在21世纪，信息技术的发展突飞猛进，“天眼”的广泛部署，新兴的检测手段与基于大数据的数据分析系统都大大提高了案件的侦破效率。目前，当公安对嫌疑人进行审讯时，其涉及到笔录和录像两种信息记录方式。针对这一传统的审讯环节，技术人员进行进一步信息挖掘，通过计算面部皮肤区域的rgb颜色变化从而推导出人体的远程光电容积信号。通过监测这一生理信号的变化可以判断被测者是否对关键问题敏感，从而更好的辅助公安干警进行案件审讯。在神经心理学中，情绪往往与人的心率变异性有关，当人处于紧张情绪状态时，机体便会促使交感神经系统兴奋、迷走神经系统抑制，从而调动体内资源以应对紧急情况，心率变异性可以反应一个人交感神经和迷走神经的兴奋状态。而要计算一个人的心率变异性，就需要得到一个人的心脏脉冲峰峰间隔序列。于是，精准且实时的采集这些生理信号十分必要的。3.二十世纪初，美国的约翰.a.拉森发明了“测谎仪”。随后，伦纳德.基拉进一步对其进行改造并发扬光大。该设备能够同时测量人的血压、脉搏、呼吸、皮肤电流和肌肉活动。当人说谎或是对一些事件紧张时，这些生理信号会不由人主观控制的发生特异性变化。譬如人在说谎时，往往此人会发生心率加快，呼吸幅度增大，呼吸频率放缓等现象。经过专业培训的“测谎师”们可以根据这些生理信号波动判断一个人是否说谎。在审讯过程中，警方可以申请让“测谎师”使用“测谎仪”对涉事人员进行心理分析。虽然“测谎师”给出的结论以及生理信号波谱并不能作为评判犯人说谎的证据，但是依旧可以为警方提供参考，判断被试者的情绪或者心理是否出现异常。然而，将这类“测谎仪”应用到实际的公安场景中也有许多困难与限制：4.第一，这类“测谎仪”成本高昂、线材过多，导致其实际部署十分不便，且一旦被试者不配合测量或是动作幅度较大，其记录的效果将会大打折扣。此外，使用这类设备还需要专业的“测谎师”，存在较大实现难度。5.第二，在审讯环节中，被试者往往不会主动配合，而这类“测谎仪”又并不隐蔽。因此被试者有可能会故意通过身体的运动去干扰该设备的生理信号测量。而这类设备的抵抗运动干扰的能力往往不强，获取的生理信号可信度不高。6.第三，这类“测谎仪”设备往往只记录原始的生理信号，而没有做进一步的信号分析工作，无法充分挖掘信息，信号利用率不高。技术实现要素：7.本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种估计准确性高、成本低、使用方便的基于视频的运动鲁棒心脏脉冲峰峰间隔测量方法及装置。8.本发明的目的可以通过以下技术方案来实现：9.一种基于视频的运动鲁棒心脏脉冲峰峰间隔测量方法，包括以下步骤：10.采集包含人脸的图像序列，对目标人脸进行跟踪，形成目标人脸图像序列；11.对所述目标人脸图像序列中的各图像进行皮肤区域分割，获得感兴趣区域；12.获得所述感兴趣区域的rgb信号；13.对所述rgb信号进行干扰消除处理，获得远程光电容积信号；14.采用多个间隔估计器对所述远程光电容积信号进行心脏脉冲峰峰间隔估计，并获得对应的概率密度函数；15.将各间隔估计器的估计结果进行融合处理，获得最终的心脏脉冲峰峰间隔。16.进一步地，所述目标人脸进行跟踪具体为：17.对所述包含人脸的图像序列中的第一帧图像进行目标人脸的识别及标记，提取输入图像特征，采用相关滤波跟踪算法对后续各帧图像进行处理，实现对目标人脸的跟踪。18.进一步地，采用以link-net为主干的深度网络进行所述皮肤区域分割，获得感兴趣区域。19.进一步地，所述感兴趣区域的rgb信号表示为：20.x(t)≈uc·i0·c0·(1+i(t))+us·i0·s(t)+up·i0·p(t)21.其中，i0为亮度强度的固定部分，c0表示反射强度，uc为皮肤反射的单位颜色向量，us为光谱的单位颜色向量，up表示rgb通道的相对脉动强度，i(t)、s(t)和p(t)均为零均值信号，i(t)表示亮度强度的不同部分，s(t)表示镜面反射的不同部分，p(t)表示心脏脉搏信号。22.进一步地，所述干扰消除处理包括光照干扰消除和运动干扰消除。23.进一步地，所述光照干扰消除具体为：24.构建一对角矩阵n，该对角矩阵n满足n·uc·i0·c0＝1，其中1＝(1 1 1)t；25.光照干扰消除后的信号表示为26.所述运动干扰消除具体为：27.对矩阵进行归一化和投影处理，得到矩阵[0028][0029]其中，pp为投影矩阵；[0030]对进行奇异值分解，得到两个主成分，其公式为：[0031][0032]其中，q1与q2分别为第一主成分和第二主成分的左奇异向量，v1与v2分别为第一主成分和第二主成分的右奇异向量，λ1与λ2分别为第一主成分和第二主成分对应的特征值；[0033]构建一投影矩阵p，该投影矩阵p满足p·q1＝0；[0034]获得远程光电容积信号[0035]进一步地，根据贝叶斯定理将各间隔估计器的估计结果进行融合处理。[0036]进一步地，采用三个间隔估计器对远程光电容积信号进行心脏脉冲峰峰间隔估计：[0037][0038][0039][0040]其中，corr、amdf和map表示三种间隔估计器，x[n]表示输入的离散信号，x[0]表示分析窗口的中心，n表示计算窗口大小。[0041]进一步地，根据人的心率范围确定所述计算窗口大小n的取值范围。[0042]本发明还提供一种基于视频的运动鲁棒心脏脉冲峰峰间隔测量装置，应用于刑侦环境，包括相连接的摄像头和计算机，所述计算机包括：[0043]光电容积信息获取模块，用于在由摄像头采集的包含人脸的图像序列中提取感兴趣区域，获得所述感兴趣区域的rgb信号，对所述rgb信号进行干扰消除处理，获得远程光电容积信号；[0044]心脏脉冲间隔计算模块，采用多个间隔估计器对所述远程光电容积信号进行心脏脉冲峰峰间隔估计，并获得对应的概率密度函数，将各间隔估计器的估计结果进行融合处理，获得最终的心脏脉冲峰峰间隔。[0045]与现有技术相比，本发明具有如下有益效果：[0046]1、本发明充分挖掘审讯视频中的生理信号信息，通过基于模型的降噪算法获取远程光电容积描记信号，进行更加精确的心脏脉冲峰峰间隔估计，有效提高估计准确性。[0047]2、本发明可以进行实时的心率测量。[0048]3、本发明在对人脸数据进行处理时，使用了深度机器学习算法，保证能够在各种姿态和运动状态下对人脸进行跟踪。[0049]4、本发明的心脏脉冲峰峰间隔测量装置不需要额外的线缆，也不会对被测者施加任何限制，能够长时间准确隐蔽的进行远程光电容积信号监测，成本低，使用方便。附图说明[0050]图1为本发明的流程示意图；[0051]图2为本发明以link-net为主干的深度网络结构示意图；[0052]图3为本发明的link-net中计算模块的具体示意图，其中，(3a)为编码模块示意图，(3b)为解码模块示意图；[0053]图4为本发明方法与经典的峰值检测算法以及pos算法的实验结果对比图，其中，(4a)本发明算法(基于奇异值分解的光电容积提取算法与概率融合算法)，(4b)为基于奇异值分解的光电容积提取算法与峰值检测算法，(4c)为pos算法与概率融合算法，(4d)为pos算法与峰值检测算法。具体实施方式[0054]下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。[0055]实施例1[0056]如图1所示，本实施例提供一种基于视频的运动鲁棒心脏脉冲峰峰间隔测量方法，该方法包括：[0057]步骤s101：采集包含人脸的图像序列，判断是否为第一帧，若是，则进行人脸检测，对第一帧图像进行机器自动识别或是人工勾选的方式选择目标人脸，提取输入图像特征(hog，cn，cnn特征层)，若不是，则跳过。[0058]应用高效卷积算子(相关滤波算法)对目标人脸进行跟踪，形成目标人脸图像序列。以y表示响应输出，x表示输入图像特征，w表示滤波模板，则[0059][0060]其中滤波模板w是通过构造损失函数，并使用高斯牛顿法(gauss-newton)和共轭梯度法(conjugate gradient)将其最小化得到的。[0061]步骤s102：对目标人脸图像序列中的各图像上框定出来的人脸进行皮肤区域分割。[0062]根据相关滤波算法的输出结果对图像序列进行裁切，得到主体为人脸的图像矩阵，使用以link-net为主干的深度网络图像进行皮肤区域分割。其采用的网络结构如图2所示。[0063]图2中，左边表示编码部分，右边表示解码部分，conv代表卷积，full-conv代表全卷积(反卷积)，/2代表下采样的步长是2，*2代表上采样的因子是2。其具体的每个模块如图3所示，其中卷积层之间使用批处理归一化以及relu激活函数，其编码块基于resnet18构建。[0064]将分割得到的区域作为感兴趣区域。[0065]步骤s103：对感兴趣区域内的rgb信号进行建模：[0066]x(t)≈uc·i0·c0·(1+i(t))+us·i0·s(t)+up·i0·p(t)[0067]其中i0为亮度强度的固定部分，c0表示反射强度。uc，us，up是3×1的向量，uc为皮肤反射的单位颜色向量，us为光谱的单位颜色向量，up表示rgb通道的相对脉动强度。i(t)，s(t)和p(t)是零均值信号，i(t)为亮度强度的不同部分，这与光源照度变化有关；s(t)表示镜面反射的不同部分，它与身体运动有关，身体运动会影响光源、皮肤表面和相机之间的几何结构；p(t)表示心脏脉搏信号。[0068]步骤s104：消除光源照度随时间变化对信号的影响，这可以通过对x(t)进行时间归一化来实现。将rgb信号除以它们的时间均值μ(x)：在建模公式中，时间均值被认为是一个时间间隔内的稳定分量uc·i0·c0。此外，时域归一化可以消除相机量化噪声的影响。[0069]因此，计算一个3×3对角矩阵n，其满足n·uc·i0·c0＝1，其中1＝(1 1 1)t，我们使用该矩阵对x(t)进行时域上的归一化。[0070][0071]求取所述感兴趣区域的空间平均，构建原始rgb信号矩阵[0072]对所述矩阵进行归一化和投影处理，得到矩阵[0073][0074]其中，pp为投影矩阵，n为归一化矩阵，本实施例中，n对角矩阵，对角元素是对应通道的时间平均值的倒数。[0075]步骤s105：对进行奇异值分解，得到两个主成分，其公式为：[0076][0077]其中，q1与q2分别为第一主成分和第二主成分的左奇异向量，v1与v2分别为第一主成分和第二主成分的右奇异向量，λ1与λ2分别为第一主成分和第二主成分对应的特征值。[0078]进一步地，找到一个投影矩阵，抑制信号中的第一主成分q1·λ1·v1t，其满足以下等式：[0079]p·q1＝0[0080]根据svd的性质，有q1t·q1＝1，于是对上述公式进行以下变化：[0081]p·q1＝q1-q1[0082]p·q1＝q1-q1·q1t·q1[0083]p·q1＝(i-q1·q1t)·q1[0084]由于向量q1不为0，于是有：[0085]p＝i-q1·q1t[0086]因此，找到一个向量q1和投影矩阵p。得到投影信号矩阵，即远程光电容积信号：[0087][0088]步骤s106：使用多个间隔估计器对滤波后的信号u(t)进行心脏脉冲峰峰间隔估计。[0089]本实施例采用三个间隔估计器，第一个间隔估计器是一个改良的自相关函数，其定义如下：[0090][0091]第二个间隔估计器是一个改良的平均幅度差函数，其定义如下：[0092][0093]第三个间隔估计器是一个改良的最大振幅对函数，其定义如下：[0094][0095]对于每个可能的滞后n，确定相距n个样本的任何一对样本的最大振幅。如果分析窗口中存在两个相距nibi个样本的峰，则map[n]在nibi时取值会达到最大。[0096]x[n]表示间隔估计器输入的离散信号，本发明中将滤波后的信号u(t)转为离散信号输入。[0097]将三个估计器函数作为他们的后验概率密度函数p(n|corr),p(n|amdf),p(n|map)。这些概率密度函数描述了在一个特定估计量的条件下，n为峰峰间隔值的“真实”概率。这种解释是合理的，因为每个估计器的行为就类似一个概率密度函数，其函数数值越大，对应的是真实ibi值的可能性就越大。为了获得适当的概率密度函数，即没有负概率的曲线下的面积，每个估计量只需简单地进行线性缩放即可。[0098]步骤s107：融合三个估计器得到的概率密度函数，现在，给定这三个独立的估计量，目标是确定在这三个估计量组合下n的最可能值：[0099][0100]其中p(n|corr，amdf，map)表示n为给定联合估计器输出的真实区间长度的条件概率。根据贝叶斯定理，后验概率可以表示为公式：[0101][0102]其中分母是不依赖于n的恒定比例因子，因此可以被忽略。在合理的假设下，每个估计器的似然概率仅取决于信号的真实间隔长度，而不取决于其他估计器的输出，因此可以重写上述公式的分子，从而得出[0103]p(n|corr，amdf，map)∝p(corr|n)p(amdf|n)p(map|n)p(n)[0104]再次使用贝叶斯定理，上述公式可以化为：[0105]p(n|corr，amdf，map)∝p(n|corr)p(n|amdf)p(n|map)p(n)-2[0106]假设未知先验p(n)满足均匀分布，这将上述公式简化为:[0107]p(n|corr，amdf，map)∝p(n|corr)p(n|amdf)p(n|map)[0108]因此，通过对采集的生理信号施加三个估计器。将所有的输出通过线性缩放后转化为概率密度函数并点乘。乘积最大值所对应的下标用以计算信号的心脏脉冲峰峰间隔。[0109]根据心脏脉冲的峰峰间隔可进行准确的心率变异性判定，从而有利于实现对测试者情绪的判断。[0110]上述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。[0111]在进行信号提取的过程中，roi区域的准确提取与否极大的影响远程光电容积描记信号的提取效果。因此，为了验证本发明所使用的roi提取方法的优越性，我们将其与其他roi提取方法进行对比。我们使用了公开的vipl-hr数据集进行实验，我们以心率估计为目的，统计在静止与运动状态下，估计的心率与实际心率之间的平均绝对误差(mae)。[0112]表1平均绝对误差[0113][0114][0115]在表1中，eco+linknet为本实施例所采用的感兴趣区域提取方法。从表中可以看出，本实施例的平均绝对误差值相对其他方法更小。这表明该方法提取的面部区域更加完整，引入的背景干扰更小。[0116]为了验证本发明对pos算法的改进以及心脏峰峰间隔的估计性能。本实施例与经典的峰值检测算法以及pos算法进行对比。实验数据通过招揽10名志愿者进行采集。将统计得到的数据通过bland-altman图进行展现。从图4中的对比中可以看出，结合概率融合的本实施例在四种组合形式的实验结果中，对心脏脉冲峰峰间隔估计的效果最好。其95％的估计误差界限为-420毫秒到440毫秒，而改进的pos&ampd、pos&概率融合、pos&ampd分别为-480毫秒到680毫秒，-580毫秒到610毫秒，-440毫秒到470毫秒。另外，本实施例的平均误差为6.7ms，而其他三种组合形式分别为99ms、15ms、15ms。本实施例的均方根误差(rmse)为210ms，其他三种组合形式的rmse分别为260ms、290ms和230ms。如图4所示，本实施例估计的心脏脉冲峰峰间隔值与参考的真实值的差值大多小于200ms。[0117]实施例2[0118]本实施例提供一种基于视频的运动鲁棒心脏脉冲峰峰间隔测量装置，包括相连接的摄像头和计算机，所述计算机包括：[0119]光电容积信息获取模块，用于在由摄像头采集的包含人脸的图像序列中提取感兴趣区域，获得所述感兴趣区域的rgb信号，对所述rgb信号进行干扰消除处理，获得远程光电容积信号；[0120]心脏脉冲间隔计算模块，采用多个间隔估计器对所述远程光电容积信号进行心脏脉冲峰峰间隔估计，并获得对应的概率密度函数，将各间隔估计器的估计结果进行融合处理，获得最终的心脏脉冲峰峰间隔。[0121]本发明上述装置可方便应用于审讯室中对嫌疑人生理信号的测量并计算他的心脏脉冲峰峰间隔。本发明采用非接触无导线的方式，不仅在审讯室中更加容易部署，并且不易被嫌疑人察觉。非接触式光电容积描记则通过记录人脸固定区域反射光强的周期性变化来推导光电容积信号，进而推算人的心率和以及心脏脉冲峰峰间隔。上述装置通过鲁棒的提取光电容积信息并通过多个间隔估计器获得更准确的心脏脉冲峰峰间隔。[0122]以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!