用于心电节律自动分类的多模态特征融合模型构建方法 专利技术说明

计算;推算;计数设备的制造及其应用技术1.本发明属于生物医学信号处理技术领域，涉及一种用于心电节律自动分类的多模态特征融合模型构建方法。背景技术：2.心电图(ecg)是诊断心脏异常的最具代表性和最重要的非侵入性工具。使用标准12导联心电图诊断心律失常、心肌梗死或冠状动脉闭塞等心脏异常的有效性已在多项研究中得到证实。传统的心电图分析方法主要通过经验丰富的心血管疾病专家对心电图进行人工识别，然而该方法耗费大量的人力财力且普及率不高，尤其是在医疗水平有限的地区，由于医生专业知识水平参差不齐、病人间个体差异不同、不同个体间心电信号具有多样性等众多因素，导致缺乏经验的医生对心电图的判断准确率不高，从而无法满足人们的就医需求。随着计算机硬件技术和算法的进步，国内外大量学者开始研究基于计算机辅助诊断系统的(compute aided diagnosis systems，cads)心电信号自动分类技术，该技术能为医生提供参考，辅助医生对心电信号进行判断。因此，为了弥补医生专业水平间的差距，提高就诊效率及准确率，将心电信号自动分类技术应用于临床诊断具有重要的意义。3.在过去几十年中，研究人员已经提出了多种检测cads技术。其中一类是基于信号处理技术和手动提取专家特征的机器学习算法，基于临床知识和规则算法提取的专家特征具有良好的临床解释性，在某些心电类别检测上可以达到不错的精度，但是这些方法难以泛化到其他类别，这是因为在心电分割和提取特征的时候会丢失一些有用的关键信息，从而使得模型无法学习到所有有用的特征。另外一类是基于端到端的无需手动提取特征的深度神经网络，研究人员开发出多种深度学习网络，例如多层感知机(multilayer perceptron,mlp)、卷积神经网络(convolutional neural network,cnn)、递归神经网络(recurtional neural network,rnn)、长短期记忆(long-short-term memory,lstm)等，深度学习模型提高了不同分类任务的准确率，取得了与临床心脏病专家近似的准确度。4.目前，有关心律失常自动诊断模型的研究主要有以下三个方面的不足：5.(1)由于数据集的局限性，大多数关于心律失常自动诊断的研究工作都是在单一数据集上进行，所提出的方法和模型不具有普适性以及泛化能力。6.(2)大部分有关心律失常自动诊断的研究工作都是通过一维心电序列提取的单模态特征进行建模分析，基于心电信号的非平稳性和复杂性，提取多模态特征有利于优化分析结果。7.(3)目前很多研究都是基于12导联心电信号进行的，12导联心电可以提供更丰富的心律失常信息，不同导联会从不同的空间角度反映心脏的电活动，导致不同导联在同一时刻呈现不同的形态，但如何有效地融合不同导联的空间特征形态是目前算法研究的重点。技术实现要素：8.有鉴于此，本发明的目的在于提供一种用于心律失常自动分类的多模态特征融合模型构建方法，利用双通道深度神经网络分别从一维心电序列和二维心电时频图中提取不同维度的特征，并结合注意力机制更好地让特征提取网络关注心电波段的关键特征位置，从而获得更丰富的心律失常信息，有效实现多种心律失常信号的自动分类。9.为达到上述目的，本发明提供如下技术方案：10.一种用于心电节律自动分类的多模态特征融合模型构建方法，该模型是一个双通道深度神经网络，采用双通道瓶颈残差网络与不同注意力机制相结合，分别从一维心电序列和二维心电时频图中提取不同维度的多模态特征并进行特征融合，然后利用融合的多模态特征实现心律失常信号的自动分类。11.该方法具体包括以下步骤：12.s1：对采集的ecg信号去噪，得到去噪后的一维心电序列；13.s2：对经步骤s1处理后的ecg信号进行短时傅里叶变换得到二维心电时频图；由于每条心电导联都可以转换为一张二维时频谱图像，为了全面获取每条导联中隐藏的病理特征信息，本发明将12条导联信号进行了全部转换，每张时频图的分辨率统一设置为224×224，得到二维心电时频图的输入是x2∈r12×224×224；14.s3：构建并训练基于注意力机制的多模态特征融合模型(ec-mam)，具体是：通过构建双通道瓶颈残差网络，分别从一维心电序列和二维心电时频图中提取不同维度的多模态特征并进行特征融合，并将双通道瓶颈残差网络与通道域注意力机制和混合域注意力机制相结合，使用通道域注意力机制增强一维心电序列中的重要特征，使用通道域注意力机制和空间域注意力机制增强二维心电时频图中的重要特征，通过多次迭代训练过滤掉冗余特征，进一步提高心电信号识别正确率。15.进一步，步骤s1中，对采集的ecg信号去噪具体包括：使用陷波滤波器去除工频干扰，使用改进的小波阈值算法去除基线漂移和肌电干扰。16.针对频率分布范围较广的基线漂移和肌电干扰，本发明利用改进的小波阈值算法将其去除。本发明基于传统阈值设置的不足，对其进行了改进，改进后的阈值公式如下所示：[0017][0018][0019]其中，σj为每层小波系数的标准差，λj为每层的小波阈值，n为信号采样点数。w(j,k)为含噪信号经小波分解后得到的各层小波系数，其中j表示层数，k表示个数。[0020]传统阈值不随分解层数改变，而心电信号中的噪声分布具有随机性，心电信号经小波分解后，噪声成分随着分解层数的增加，信号中噪声成分逐层减少，真实心电信号逐层增多，因此，固定不变的阈值用于不同的分解层中会导致真实信号的系数被过多去除或者噪声成分过多残留。改进后的阈值既可以有效保留真实信号的小波系数，又可以有效去除噪声信号的小波系数。[0021]针对传统软硬阈值函数存在的不足，本发明提出了一种改进的阈值函数，由此得到的小波系数如下：[0022][0023]其中，为经小波阈值处理后的系数，w(j,k)为小波阈值处理前的系数。a为可调节参数。[0024]上式克服了软硬阈值函数的缺点，当处理前的系数趋近于阈值时，处理后的系数接近于0，保证了在阈值点处的连续性，从而避免硬阈值函数中产生的震荡现象；当处理前系数逐渐增大时，经阈值函数处理后的系数逐渐接近处理前系数，有效解决了软阈值函数中存在的恒定偏差问题，使信号在去噪后失真较小。[0025]进一步，步骤s2中，将心电图的时域表示转换为对应的时频谱图像，以反映随时间变化的频率关系，进而用于心律失常的特征提取。[0026]进一步，步骤s3中，构建ec-mam模型的步骤为：将预处理好的一维心电序列和二维心电时频图并行送入双通道瓶颈残差网络结构中，分别得到通过通道注意力机制和混合注意力机制增强的重要特征，即序列特征(sequence feature)和时频特征(time-frequency feature)；序列特征和时频特征经过特征融合层处理后得到融合特征(fused feature)，最终通过分类层处理得到心律失常信号的分类结果。[0027]进一步，步骤s3中，利用堆叠的一维瓶颈残差结构和二维瓶颈残差结构来构建双通道瓶颈残差网络。[0028]进一步，步骤s3中，在引入通道域注意力机制后的一维瓶颈残差网络结构包括：一维卷积层、一维批量归一化层、激活层、一维最大化池化层、基于通道域注意力机制的瓶颈残差模块、一维最大池化层和线性层。[0029]进一步，步骤s3中，所述通道域注意力机制(ca)的模块结构为：通道域注意力机制的输入为经过若干卷积和池化等处理的特征图f∈fl×c，其中l表示特征图长度，c表示特征通道数；特征图f通过全局平均池化对特征进行压缩得到特征图f1；在“压缩”运算之后跟随着一个“激励”模块，“激励”模块首先采用带有降维系数r的全连接层，其后跟着一个relu激活函数，接着是一个维度增加全连接层，使得维度恢复到输入的特征通道数c；特征图f1经过“激励”模块后得到大小为1×c的特征图f2，最后将特征图f2与输入特征图f∈fl×c进行点乘运算，得到输出特征图r∈rl×c。[0030]进一步，步骤s3中，在引入混合域注意力机制后的二维瓶颈残差网络结构包括：二维卷积层、二维批量归一化层、激活层、二维最大化池化层、的基于混合域注意力机制的瓶颈残差模块、二维最大池化层和线性层。[0031]进一步，步骤s3中，所述混合域注意力机制(hybird-domain attention，ha)的模块结构是通过串行的方式把空间域注意力模块(spatial-domain attention，sa)和通道域注意力模块(channel-domain attention，ca)连接在一起；[0032]ha模块的输入为经过若干卷积和池化等处理的心电特征图f∈rw×h×c，w、h、c分别代表特征图的宽度、高度、通道数；[0033]混合域注意力机制中的通道域注意力模块(h-ca)包括两个独立的池化操作分支：全局最大池化、全局平均池化，然后采用带有降维系数r的全连接层，其后跟着一个relu激活函数，接着是一个维度增加全连接层，使得维度恢复到输入的特征通道数；最后两个分支中的通道注意力权重经过sigmoid函数激活之后，与输入特征图f点乘之后得到特征图再将特征图与输入特征图f相加，得到特征图t∈tw×h×c；[0034]混合域注意力机制模块中的空间域注意力模块(h-sa)的输入为特征图t，h-sa模块包括两个独立并行的分支，每个分支对特征图做不同的池化操，然后空间域注意力权重经过sigmoid函数激活操作后，与输入特征图t点乘之后得到特征图[0035]最后，把h-sa模块的输出特征图与h-sa模块的输入特征图t相加，得到特征图r∈rw×h×c。[0036]进一步，步骤s3中，训练ec-mam，具体是：采用交叉熵损失函数作为ec-mam模型的损失函数并对其进行优化，最终得到心律失常信号的分类结果。[0037]本发明的有益效果在于：[0038]1)本发明提取了多模态特征。使用双通道网络分别提取十二导联心电信号的一维时间序列特征和二维时频特征，再利用特征融合层将两种模态特征整合。[0039]2)本发明使用瓶颈残差结构加深网络层次，提升深度神经网络的学习能力。瓶颈残差结构具有增加网络深度、加强特征传递和减少参数数量的优点。为了高效的学习一维心电序列和二维心电时频图中的特征，本发明利用堆叠的一维瓶颈残差结构和二维瓶颈残差结构作为特征提取网络，将提取的两类特征通过特征融合层进行特征融合，最后利用融合后的多模态特征作为分类依据，经由分类层生成多标签心律失常的分类结果。[0040]瓶颈残差结构是一种特殊的残差神经网络结构，既解决了深层神经网络的性能随深度的增加而饱和甚至退化的问题，又具有增加网络深度、加强特征传递和减少参数数量的优点，因此本发明使用堆叠的瓶颈残差结构作为特征提取网络，便于提取更深层次的隐藏特征。[0041]3)本发明为了进一步优化特征提取网络，使网络能够自适应增强重要特征的学习，并且尽可能减少次要特征的影响，本发明将注意力机制与双通道瓶颈残差特征提取网络相结合，利用注意力机制，特征提取网络可以学习不同心律失常信号的重要特征，将那些对分类具有较大判别性的特征赋予更大的权重，对噪音等特征赋予更小的权重，通过多次迭代训练过滤掉冗余特征，进一步提高心电信号的识别正确率，从而可以尽可能完整保留一维心电序列和二维心电时频图中有用的信息，减少有价值信息的丢失。[0042]针对一维心电序列，引入通道域注意力机制可以让特征提取网络更加关注不同通道之间的关系，通过对通道间的特征关系进行聚合，自适应的调整各通道之间的特征值；针对二维心电时频图，引入混合域注意力机制，不仅可以强化重要通道特征和抑制无用通道特征，还可以对二维时频图中需要特别关注的区域进行高效地学习，以保存时频图中的关键特征。混合域注意力机制使二维瓶颈残差结构同时增强空间域和通道域上的重要特征。在心律失常信号的分类处理中，引入注意力机制可以更好的让特征提取网络关注心电波段的关键特征位置。[0043]4)本发明的算法性能稳定、可靠，预期有很好的实际应用潜力。[0044]本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可degree atrioventricular block，iavb)，左束支阻滞(left bundle branch block，lbbb)，右束支阻滞(right bundle branch block，rbbb)，房性早搏(premature atrial contraction，pac)，室性早搏(premature ventricular contractions，pvc)，窦性心动过缓(sinus bradycardia，sb)，窦性心动过速(sinus tachycardia，stach)，正常(normal，snr)。图2显示了每种信号类别的片段。为了评估本发明提出的模型性能，将数据集随机划分为10个大小相等的子集，8个子集用于模型训练，其余两个子集分别用于验证和测试。划分前将数据集随机打乱，这样能够防止心电数据存在的数值上的隐藏规律对训练过程产生影响，即防止过拟合的产生，从而避免隐藏规律影响心电数据的分类结果。[0065]由于本实施例中构建的模型为双通道，该模型的输入为并行的双输入，包括一维心电时间序列和二维心电时频图两部分。对于一维心电时间序列，根据混合数据集中信号样本的特点做如下处理。在混合数据集中，心电信号样本的长度从6秒到60秒不等，中位数是30秒。由于瓶颈残差网络接收具有恒定长度的信号，因此将短于30秒的信号补零，长于30秒的信号截断为最后30秒，如图3所示。心电信号自身的采样频率为500hz，因此一维心电时间序列的输入x1∈r12×15000。对于二维心电时频图，由于每条心电导联都可以转换为一张二维时频谱图像，为了全面获取每条导联中隐藏的病理特征信息，本实施例将12条导联信号进行了全部转换，每张时频图的分辨率统一设置为224×224。因此二维心电时频图的输入是x2∈r12×224×224。[0066]步骤s2：对数据进行预处理。[0067]为了提高模型性能和分类结果的准确度，对原始数据进行预处理，包括信号去噪、数据归一化、数据增强。[0068]心电信号中噪声的存在会影响信号的质量，掩盖信号的形态特征，也会降低信噪比。因此必须从心电信号中去除这些干扰，以确保准确的ecg分析。心电信号中主要的噪声来源包括三种，分别是基线漂移、工频干扰以及肌电干扰。基线漂移的频率范围在0.05～1hz之间，肌电干扰的频率范围在5～2000hz之间，工频干扰的频率根据不同国家或地区交流电工频频率而定，通常为50hz或60hz。在本实施例中，根据工频干扰、肌电干扰和基线漂移频率特点的不同，使用陷波滤波器滤除工频干扰，使用改进的小波阈值消除基线漂移和肌电干扰。[0069]小波阈值法是基于小波变换对信号进行去噪的方法，选择合适的阈值和构造合适的小波阈值函数可以获得良好的去噪效果。本实施例选取db10小波作为小波基，考虑心电样本的采样频率为500hz，因此利用小波变换对心电信号进行8尺度分解，第8层的频率范围为0～0.98hz，包含了基线漂移噪声，第一、二、三层的高频细节分量上主要包含了肌电干扰，因此，本发明使用改进的阈值和阈值函数对以上四层小波系数做阈值处理，然后对处理后的各层细节系数进行重构。[0070]在小波阈值去噪的过程中，阈值作为分割噪声与有用信号的分界，在整个流程中起着重要的作用。传统阈值不随分解层数改变，而心电信号中的噪声分布具有随机性，心电信号经小波分解后，噪声成分随着分解层数的增加，信号中噪声成分逐层减少，真实心电信号逐层增多，因此，固定不变的阈值用于不同的分解层中会导致真实信号的系数被过多去除或者噪声成分过多残留，即噪声的整体估计σ与不同分解层的噪声估计存在一定的误差。本发明基于传统阈值设置的不足，对其进行了改进，改进后的阈值公式如式(1)所示：[0071][0072][0073]式(1)和式(2)中，σj为每层小波系数的标准差，λj为每层的小波阈值，n为信号采样点数。w(j,k)为含噪信号经小波分解后得到的各层小波系数，其中j表示层数，k表示个数。[0074]传统的小波阈值函数有两种，分别是硬阈值函数和软阈值函数。硬阈值函数处理原理是，对阈值内的信号直接置零，对阈值外的信号保留原信号，该方法虽然保留了阈值以外的原始信息，具有良好的保真性，但在阈值处不连续，因此经硬阈值函数处理后信号会产生大量震荡点。软阈值函数处理原理是，同样对阈值内的信号置零，但对阈值外的信号，当信号大于0时，将原信号减去阈值，当信号小于0时，将原信号加上阈值。软阈值函数解决了硬阈值函数在阈值处不连续的不足，但会导致经阈值处理前后的系数存在恒定偏差，从而造成信号失真。本实施例针对传统软硬阈值函数存在的不足，提出了一种改进的阈值函数。由此得到的小波系数如下：[0075][0076]上式(3)中，w(j,k)为处理前的系数，为经小波阈值处理后的系数。a为可调节参数，本实施例结合去噪评估指标(信噪比、均方差)的结果确定调节参数a，当a＝100时可以获得最佳的去噪效果。如图4所示，经过去噪处理，心电信号中噪声干扰减少，能够更加明显地显示出心电信号本身的特征，从而更容易对心电信号进行分类，提高分类准确率。[0077]为了减轻噪声和异常值的影响，统一不同量纲的心电特征，加快网络训练速度，在本实施例中，使用z-score归一化，该方法基于原始数据的均值和标准差来进行数据的标准化，处理后的数据均值为0，方差为1，符合标准正态分布，且无量纲。如以下公式所示，μ为样本平均值，σ为数据标准差。为保证训练数据和测试数据使用相同的数据转化，需使用相同的μ和σ来归一化测试集和训练集。[0078][0079]为了进一步缓解神经网络的过拟合现象，本实施例使用数据扩展的方式进行数据增强，即在时间轴上对心电信号进行缩放，拓宽和丰富训练数据的分布。[0080]步骤s3：获得二维心电时频图。[0081]选取不同类别的心电图记录，利用stft将心电图i导联的时序信号转换为对应的时频谱图像，时频谱图像的可视化结果如图5所示，由于心电信号的频率范围大约在0.05hz～100hz，其中信号能量主要集中在0.5hz～40hz，为了方便观察时频谱的细节信息，该图纵轴的频率范围设置在0～50hz。在图5中，展示了nsr、rbbb、af和iavb四种不同心电信号的i导联对应的时频谱图像，可以看到不同疾病的时频谱图像之间存在较大差异，即展示了不同的时频域特征信息，因此可以利用深度神经网络基于二维心电时频谱图提取特征并进行分类，从而达到心律失常自动诊断的目的。[0082]使用短时傅里叶变换有两个关键参数需要确定，即窗函数和窗函数长度。本实施例选用汉宁窗(hannwindow)作为窗函数，汉宁窗是一种基于加权余弦的平滑窗口函数，汉宁窗适合处理有多个频率分量、频谱表现比较复杂的信号，而心电信号中不同的特征波具有不同的频率特点，因此选用汉宁窗分析心电信号的时频图。具体公式如下：[0083][0084]在选定了分析窗函数之后，需要确定窗函数的长度，窗口长度对短时傅里叶变换的影响非常大。使用不同窗长转换的时频谱对比图像如图6所示。将窗长设置过长时，如图6(a)，采用的窗口长度为512，在加大运算量的同时，导致时间分辨率太低，时域不够精确，无法在时域上有效分析心电信号特点。将窗长设置过短时，如图6(c)，采用的窗口长度为128，导致频率分辨率太低，丢失了心电信号信息，无法精确分析心电信号的频率分量，因此，最终选择最佳的窗口长度为256，如图6(b)所示，兼顾了频率分辨率和时域分辨率，合理地选择窗函数的长度，有利于提高对信号时频域的分析性能。[0085]步骤s4：构建基于注意力机制的多模态特征融合模型(ec-mam)。[0086]本实施例提出的基于注意力机制的多模态特征融合模型(ec-mam)是一个双通道深度神经网络，每个通道在不同注意力机制的作用下分别提取一维心电序列和二维心电时频图的多模态特征信息。ec-mam模型结构图如图7所示。ec-mam模型的基本流程为：将预处理好的一维心电序列和二维心电时频图并行送入双通道网络结构中，分别得到通过通道注意力机制和混合注意力机制增强的重要特征，即序列特征(sequence feature)和时频特征(time-frequency feature)。序列特征和时频特征经过特征融合层处理后得到融合特征(fused feature)，最终通过分类层处理得到心律失常信号的分类结果。[0087]进一步的，本实施例在构建模型时，具体搭建步骤如下：[0088](1)瓶颈残差模块[0089]在本实施例中，分别使用1d cnn、2d cnn提取一维心电序列特征和二维心电时频图特征。为了提升深度神经网络的学习能力，在本实施例提出的ec-mam模型中，使用堆叠的卷积池化层提取心电信号的特征。但是由于非线性激活函数的存在，每次输入到输出的过程都几乎是不可逆的，这也造成了许多不可逆的信息损失，即网络的加深容易造成梯度消失的问题。因此，利用残差网络来解决深层神经网络的性能随深度的增加而饱和甚至退化的问题。残差网络的核心是残差块，残差块是由一些网络层组合而成的，如图8所示，残差块依次包括卷积层、批量归一化层、激活层、丢弃层、卷积层、批量归一化层、激活层，网络通过训练后可以判断出来网络中的哪些层是冗余层，这些冗余层经过残差块后，输入和输出完全相同。残差块让网络拥有恒等映射的能力，能够在加深网络的时候，能保证深层网络的表现至少和浅层网络持平。[0090]瓶颈残差结构是一种特殊的残差结构，如图9所示，相比普通的残差结构，该结构利用1×1卷积核使原通道数先减小再增大，通道数先减少可以更加有效、直观地进行数据的训练和特征提取，1×1卷积核的引入也使网络的参数大大减少，减少计算量的同时还可以增加模型的深度。[0091](2)注意力机制[0092]瓶颈残差结构具有增加网络深度、加强特征传递和减少参数数量的优点。瓶颈残差结构中的卷积操作是对一个局部区域进行特征融合，通过提高感受野融合更多特征，但经过卷积运算产生的特征映射不能利用这个区域之外的相关信息。为了获取全局信息，本实施例在瓶颈残差结构的基础上引入了注意力模块。首先在一维瓶颈残差结构中引入通道域注意力机制(ca)，以12导联的一维心电序列为例，不同通道方向上包含的特征信息的重要程度各有不同，通道域注意力机制关注的是每个通道上的特征向量对分类结果的影响。通过通道域注意力模块可以学习到每个通道对应的权重，来表示该通道对结果的重要程度，权重越大表示该通道信息越重要。本实施例使用的通道域注意力模块结构图如图10所示。ca的输入为经过若干卷积、池化等处理的特征图f∈fl×c。特征图f通过全局平均池化对特征进行压缩得到特征图f1，f1可称为通道特征描述值，这一步操作也称为“压缩”。为了充分利用“压缩”操作产生的聚合信息，在“压缩”运算之后跟随着一个“激励”操作，该操作的目标是完全捕获通道的依赖信息。为了实现这个目标，“激励”操作的函数需要满足以下两个条件：第一，必须能学习通道之间的非线性关系，增强网络的非线性学习能力；第二，必须能学习非互斥关系，确保可以作用在多个通道上。激活函数的门机制可以满足这两个条件，因此使用的两个激活函数分别是relu函数和sigmoid函数。另外为了控制模型复杂度使其具有更好的泛化能力，使用了两个全连接层来参数化门机制。因此“激励”模块首先采用带有降维系数r的全连接层，其后跟着一个relu激活函数，接着是一个维度增加全连接层，使得维度恢复到输入的特征通道数c。降维系数r是一个超参数，本实施例选择r＝8。特征图f1经过“激励”模块后得到大小为1×c的特征图f2，f2代表了各个通道的重要程度，也可以表示各个通道间的相关性。最后将特征图f2与输入特征图f∈fl×c进行点乘运算，得到输出特征图r∈rl×c，r便是学习到通道域注意力之后得到的特征图。[0093]然后在二维维瓶颈残差结构中引入混合域注意力机制(ha)。混合域注意力(ha)模块是通过串行的方式把空间域注意力模块(sa)和通道域注意力模块(ca)连接在一起，以12导联的二维心电时频图为例，并非时频图上的所有区域都包含了有用的特征信息，空间域注意力机制利用卷积神经网络对需要特别关注的区域进行高效地学习，将原始时频图中的空间信息转化到另外一个空间当中，以保存时频图中的关键特征。混合域注意力模块通过同时对二维时频图的空间域和通道域添加注意力，弥补通道域注意力和空间域注意力的不足，使卷积神经网络可以同时增强空间域和通道域上的重要特征。本实施例设计的混合注意力模块ha的结构如图11所示。ha模块的输入为经过若干卷积、池化等处理的心电特征图f∈rw×h×c，w、h、c分别代表特征图的宽度、高度、通道数。混合域注意力机制中的通道域注意力模块(h-ca)用来增强二维时频图中重要通道的特征，与增强一维心电序列的通道域注意力模块(ca)不同的是，h-ca包括两个独立的池化操作分支：全局最大池化、全局平均池化。h-ca模块结构图如图12所示。由于h-ca模块中通道注意力权重经过sigmoid函数激活之后，每个权值都限制在[0,1]之间，与输入特征图f点乘之后得到特征图经过多次迭代之后信号会减弱，因此引入残差神经网络中的恒等映射思想，将输出特征图再与输入特征图f相加，得到特征图t∈tw×h×c，减少了重要信息损失。特征图t∈tw×h×c的计算公式如下：[0094][0095]经过h-ca模块计算后的特征图t，捕获了二维心电时频图在通道域上的特征信息，对重要通道赋予了更大的权重。然后把特征图串行输入到空间域注意力模块进行空间域注意力的计算，以获取特征图在空间域上的注意力权重。混合域注意力机制中的空间域注意力模块(h-sa)结构图如图13所示。h-sa模块的输入为经过h-ca模块的特征图t∈tw×h×c，h-sa模块同样包括两个独立并行的分支，每个分支对特征图做不同的池化操作。h-sa模块获取到的空间域注意力权重同样经过sigmoid函数激活操作，所以把h-sa模块的输出与h-sa模块的输入特征图t相加，得到特征图r∈rw×h×c。r的计算公式如下：[0096][0097](3)基于注意力机制的瓶颈残差模块[0098]本实施例提出的模型中使用基于不同注意力机制的瓶颈残差结构提取一维心电序列特征和二维心电时频图特征，具体的网络结构如图14所示。[0099]步骤s5：对构建的网络模型进行训练。[0100]在本实施例中，对于模型的训练，为了提高训练效率，使用小批量梯度下降算法，每次迭代时，随机选取一小部分训练样本来计算梯度并更新参数，可以大大减小收敛所需要的迭代次数，同时可以使收敛到的结果更加接近梯度下降的效果。[0101]学习率是神经网络优化时的重要超参数。在本实施例中，使用adam优化算法训练模型，adam算法和传统的随机梯度下降不同，不但使用动量作为参数更新方向，而且可以自适应调整学习率。在本实施例中，初始化学习速率为0.001，每迭代10次后，学习率减小为原来的50％。[0102]采用交叉熵损失函数作为模型的损失度量函数，交叉熵损失函数可以较好地应用于分类任务，故在训练过程中使用。模型中的dropout参数设置为0.4。实验共训练50个周期(epoch)，批尺寸(batch size)设置为64。[0103]步骤s6，使用训练好的网络模型对心电数据进行分类。[0104]使用精准率(precidion)、召回率(recall)、f1分数、受试者工作曲线面积(roc)、准确率(accuracy)等评价指标以评估模型的效果。这些指标的分数越高代表模型的分类效果越好。由表1可以看出，本实施例提出的模型在基于12导联心电的心律失常分类任务中取得了良好的性能表现，对于9种心律失常类型，平均f1分数达到85.1％、平均准确率达到了96.6％、平均精准率和平均召回率均在84％以上，在识别房颤(af)、窦性心动过缓(sb)、正常心电信号(snr)三种类别的心律失常信号时，f1分数均在0.9以上。图15展示了本实施例提出的模型在测试集上的混淆矩阵，混淆矩阵对角线上的分数为召回率。[0105]表1本发明的ec-mam模型在测试集上的性能指标[0106][0107]验证实验：[0108]为了验证本实施例提出的心律失常自动诊断模型的有效性，本实施例设计了两组消融实验。[0109](1)第一组消融实验[0110]模型1：基于注意力机制的单模态一维心电分类网络(one dimensional electrocardiogram classification network based on single-model information and attention mechanism，1d-ec-sam)。该模型只提取一维心电时间序列特征。本模型作为基线模型用以测试基于一维心电时间序列的单模态特征在心律失常分类任务上的性能。[0111]模型2：基于注意力机制的单模态二维心电分类网络(two dimensional electrocardiogram classification network based on single-model information and attention mechanism，2d-ec-sam)。该模型只提取二维心电时频图特征。本模型作为基线模型用以测试基于二维心电时频图的单模态特征在心律失常分类任务上的性能。[0112]模型3：该模型是本发明提出的模型，即基于注意力机制的多模态心电分类网络(electrocardiogram classification network based on multi-model information and attention mechanism，ec-mam)。该模型融合了十二导联心电信号的一维时间序列特征和二维时频特征。本模型是为了验证多模态融合特征是否对模型性能有提高作用。[0113]在第一组消融实验中，构建了以上三个模型。如表2所示，比较了基于不同模态特征的十二导联的心律失常分类性能。通过比较三个模型在九种疾病分类上的f1平均值，可以看到ec-mam》1d-ec-sam》2d-ec-sam，只提取一维心电时间序列特征的单模态模型在多数疾病类型上的分类效果优于只提取二维心电时频图特征的单模态模型，但实施例1中提出的多模态特征模型ec-mam在多标签心律失常分类任务中具有最好的分类性能。由此验证了融合多模态特征对于提升模型性能的有效性。[0114]表2第一组消融实验提出的模型与本发明模型在测试集上的性能对比[0115][0116](2)第二组消融实验[0117]模型4：ec-mmi(electrocardiogram classification network based on multi-model information)：多模态心电分类网络。该模型相比第3个模型去掉了双通道网络中的注意力机制。本模型是为了验证注意力机制对于模型性能提升的有效性。[0118]相比本发明提出的模型ec-mam，ec-mmi去掉了双通道网络中的注意力机制。对比结果如表3所示，增加了注意力机制的模型，其分类性能比未添加注意力的模型有较大提升，在九种疾病分类上的f1平均值提高了两个百分点。由表3中可分析得到，注意力机制主要提高了pac和pvc这两类心律失常信号的识别准确率，很多模型对pac和pvc这两类心律失常信号的分类都存在困难。一方面可能是混合数据集中pac和pvc样本数量较少，导致模型对这两类信号的分类难度大；另一方面，pac和pvc在心电图中表现的病理特征与其他类型的心律失常疾病相似，这也导致模型对pac和pvc分类时容易产生错误。因此增加了注意力机制的深度神经网络具有更强的特征提取能力，能够从数据中自动识别更具有判别性的隐藏特征，对易混淆的心律失常信号做出更准确的预测。[0119]表3第二组消融实验提出的模型与本发明模型在测试集上的性能对比[0120][0121][0122]为了保证对比的公平性，所有的模型参数和训练参数设置均相同。相比其他两个模型，本发明提出的ec-mam在多标签心律失常分类任务中具有最好的分类性能。由此验证了融合多模态特征对于提升模型性能的有效性。[0123]最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!