一种基于三维精细化残差网络的腔隙性脑梗死识别系统

计算;推算;计数设备的制造及其应用技术1.本发明属于计算机辅助医疗技术领域，尤其涉及一种基于三维精细化残差网络的腔隙性脑梗死识别系统。背景技术：2.本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。3.腔隙性脑梗死占缺血性脑梗死的20%-30%，其病灶是一种直径为3-15mm的圆形或者卵圆形的位于皮层下由液体填充的小腔，称为腔隙（lacune），它是脑小血管疾病最常见的影像学表现之一。腔隙性脑梗死灶较小，通常无或仅表现为轻微的神经功能缺损症状，常常被忽视而导致漏诊，延误患者治疗，影响其预后。而且其导致的患者临床特征具有显著的异态性，腔隙的部位、数量的差异对患者的神经功能缺损症状以及症状的严重程度所产生的影响不尽相同。为了腔隙性脑梗死的早期干预和二级预防，针对腔隙性梗死灶的准确诊断就显的尤为重要。研究表明，导致腔隙梗死灶发生的主要原因是大脑半球、脑干深部的小的深穿动脉管壁出现病变，此类动脉直径在100-400μm之间，并且没有分支和终支吻合支，向大脑半球的深部区域提供血液供应。因而腔隙多分布于此类动脉的供血区，常见部位为豆状核、丘脑、脑桥、基底核、内囊、尾状核等。由于其特殊的病理过程，腔隙在磁共振fliar序列图像上往往呈现出中间部位与脑脊液相似的低信号，周围有平滑高信号的圆形或类圆形的病灶。在腔隙的肉眼识别过程中，其极易与血管周围间隙相混淆。但与腔隙不同的是，血管周围间隙在t2加权像或者flair图像上没有围绕病灶的高信号圈（病灶跨越白质高信号区的情况除外，这时就需要依靠依靠二者形态的差异，对其作出区分）。4.通常腔隙性脑梗死灶会以ct图像或磁共振图像的形式呈现给医务人员，相较于ct图像，磁共振图像更清晰，检出率更高。目前先进的磁共振成像技术主要有3d-t1加权成像、t2加权成像、流体衰减翻转恢复（flair）成像。这三种成像方法，虽然改善了人类识别腔隙的性能，但是值得注意的是由人工来识别腔隙不但会有主观性，而且会耗费大量的人力和时间。5.随着现代科学技术特别是深度学习技术的进步，半自动的腔隙性脑梗死灶识别技术得到了飞速的发展，并且越来越成为现代临床医学诊断与医疗的有力工具。尽管腔隙性脑梗死灶识别技术在磁共振成像领域取得的了巨大的成功，但是，受到机理和材料技术等限制，由现行的医学影像设备成像结合医生识别来确定腔隙性脑梗死灶的方法在许多方面不尽如意，例如磁共振成像的空间分辨率不够高，腔隙灶易与血管周围间隙混淆等，加之医生之间的阅片水平存在差距，这就导致了由肉眼观察所确定的病灶存在一定几率的误判。技术实现要素：6.为克服上述现有技术的不足，本发明提供了一种基于三维精细化残差网络的腔隙性脑梗死识别系统，基于三维精细化残差网络构建腔隙性脑梗死识别模型，能够实现腔隙性脑梗死的自动分割、识别和提取，辅助医生做出诊断。7.为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：一种基于三维精细化残差网络的腔隙性脑梗死识别系统，包括：图像获取模块，用于获取脑磁共振t1成像模式的图像；腔隙性脑梗死识别模块，用于基于预先训练的腔隙性脑梗死识别模型，对所述图像进行腔隙性脑梗死识别；其中，所述腔隙性脑梗死识别模型基于三维精细化残差网络训练得到，所述三维精细化残差网络包括依次连接的多个卷积层、全局平均池化层、多个残差模块和全连接网络。8.进一步地，所述残差模块的输入分为两路，一路连接n个卷积层，另一路连接n-1个卷积层，且两路的输出相融合作为所述残差模块的输出，其中，n大于1。9.进一步地，每个所述卷积层后均连接批归一化和relu激活函数。10.进一步地，所述三维精细化残差网络中，所述多个残差模块依次连接，且在前的残差模块均包括两个输出端，一个输出端连接至下一个残差模块，另一个输出端连接至通道注意力支路，最后一个残差模块以前一个残差模块和通道注意力支路的输出作为输入。11.进一步地，所述三维精细化残差网络包括四个依次连接的残差模块和三个依次连接的通道注意力模块，第一残差模块和第二残差模块的另一个输出端均连接至第一通道注意力模块，第三残差模块的另一个输出端均连接至第二通道注意力模块，第三通道注意力模块的输出端连接至第四残差模块。12.进一步地，所述通道注意力模块包括依次连接的拼接层、全局池化层、第一卷积层、relu函数、第二卷积层和sigmoid激活函数，且所述sigmoid激活函数的输出与拼接层的输出融合作为所述通道注意力模块的输出。13.进一步地，所述全连接网络为三层全连接网络，第一层包括200个神经元，第二层包括100个神经元，第三层包括2个神经元。14.进一步地，所述全连接网络连接tversky损失函数。15.进一步地，所述腔隙性脑梗死识别模型的训练方法包括：获取多组带标签的脑磁共振t1加权图像，分别将t1加权图像和标签转换为矩阵数据，形成多组训练数据；根据所述多组训练数据，基于三维精细化残差网络训练得到腔隙性脑梗死识别模型。16.进一步地，将每组t1加权图像和标签转换为矩阵数据后，还结合标签相应的矩阵数据，确定该组t1加权图像中腔隙区域开始和结束的切片，分别向外扩展多个切片图像，得到一组训练数据。17.以上一个或多个技术方案存在以下有益效果：为增加腔隙与血管周围间隙的区分度，本技术基于三维精细化残差网络进行腔隙性脑梗死的识别，所述三维精细化残差网络的开始加入全局平均池化提取上下文语义信息，使得提取的信息具有一致性，全局平均池化层后连接由残差模块组成的多尺度残差网络，兼顾了空间细节和语义信息，从而能够更全面的捕获图像特征，为后续的分割提供保障，最后通过全连接网络实现分类，提高了分类精度。18.在多尺度残差网络基础上，为了对低级阶段到高级阶段的空间细节和语义信息进行融合，增加了通道注意力模块，避免了图片分辨率消失的问题，达到更精确的分割。附图说明19.构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。20.图1为本发明实施例中所述三维精细化残差网络架构图；图2为本发明实施例中所述三维精细化残差网络中残差模块的结构图；图3为本发明实施例中所述三维精细化残差网络中通道注意力模块的结构图；图4为基于本发明实施例中所述系统进行腔隙性脑梗死识别的精确率（precision）曲线图；图5为基于本发明实施例中所述系统进行腔隙性脑梗死识别的准确率（accuracy）曲线图；图6为基于本发明实施例中所述系统进行腔隙性脑梗死识别的dice指标曲线图；图7为基于本发明实施例中所述系统进行腔隙性脑梗死识别的预测标签图和真实的标签。具体实施方式21.应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。22.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。23.在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。24.实施例一为了实现腔隙性脑梗死识别的准确性和实时性，本实施例提供了一种基于三维精细化残差网络的腔隙性脑梗死识别系统，包括：图像获取模块，用于获取脑磁共振t1成像模式的图像，又称t1加权图像。25.通过磁共振扫描仪采集被测对象的脑部mr图像，mr图像具有多个成像参数，即mr图像具有反映t1弛豫时间的t1值、反映t2弛豫时间的t2值以及反映质子密度的弛豫时间值等。mr图像若主要反映的是组织间t1值差别，则为t1加权图像（t1 weighted image, t1wi）；若主要反映的是组织间t2值差别，则为t2加权图像（t2 weighted image, t2wi）；若主要反映的是组织间质子密度弛豫时间差别，则为质子密度加权图像(proton densityweighted image，pdwi)。本实施例采用t1加权图像。26.所述t1加权图像为三维数据，包括多个二维切片图像，在进行腔隙性脑梗死识别之前，首先进行预处理，将所述t1加权图像转换为矩阵数据。27.腔隙性脑梗死识别模块，用于基于预先训练的腔隙性脑梗死识别模型，对所述图像进行腔隙性脑梗死识别。28.所述腔隙性脑梗死识别模型的训练方法包括：步骤1：对所述图像进行预处理，剔除了一些无关背景，并考虑了体素周围10张图片的上下文语义信息。29.所述步骤1具体包括：步骤1.1：获取多组带标签的脑磁共振t1加权图像，分别将t1加权图像和标签转换为矩阵数据。所述t1加权图像为三维数据，包括多个二维切片图像，每个二维图像均可通过二维矩阵表示，多个二维图像组成的三维数据通过三维矩阵表示，具体地，分别获取多个二维切片图像和标签数据，并转换为矩阵数据。其中，标签矩阵数据中，分别用0和1表示背景和脑部区域的腔隙灶。本实施例借助python语言实现。30.步骤1.2：对于每组带标签的脑磁共振t1加权图像，均进行以下预处理，获取多组训练数据：将每组t1加权图像和标签转换为矩阵数据后，还结合标签相应的矩阵数据，确定该组t1加权图像中腔隙区域开始和结束的切片，分别向外扩展多个切片图像，得到一组训练数据。31.结合所述标签相应的矩阵数据，识别出具有标签1的相应切片；然后查找带有标签1的二维矩阵索引位置，分别记为start_image和end_image，分别用于表示三维图片含有标签的开始的切片位置和结束的切片位置。按照标签开始和结束的位置信息，将三维数据图片进行截取，保留我们需要的脑部区域，另外，我们在含有标签的基础上向外扩张了10张图像。32.通过上述预处理，一方面通过标签的识别剔除了无关背景，另一方面，为了提高后续模型对腔隙的区分能力，考虑了腔隙区域体素周围多幅图像作为上下文语义信息。33.再进行了上述处理之后，还进行了训练数据的扩增，包括随机裁剪、随机翻转和尺度变换等方式。34.每个腔隙尺寸大小大约在5-10立方mm，在一幅图中，含有腔隙的标签的数量在2到15个数量之内，其他的均为无关的背景信息。首先，对于腔隙样本，在其z轴方向上，我们选取含有腔隙的样本，之后，在含有腔隙样本的基础之上开始和结尾处再扩张10张图片。最后，我们将所有的得到的腔隙样本随机裁剪为0.6乘0.6乘0.6立方毫米大小，然后将得到的腔隙使用随机翻转和尺度变换增强六倍，得到4000多个腔隙。35.步骤2：根据所述多组训练数据，基于三维精细化残差网络训练得到腔隙性脑梗死识别模型。36.其中，如图1所示，所述三维精细化残差网络包括依次连接的多个卷积层、全局平均池化层、多个残差模块（resnet）和全连接网络，其中，所述多个残差模块依次连接，在前的残差模块均包括两个输出端，一个输出端连接至下一个残差模块，另一个输出端连接至通道注意力支路，最后一个残差模块以前一个残差模块和通道注意力支路的输出作为输入。具体地，所述残差模块的数量记为n，所述通道注意力支路包括n-1个通道注意力模块，第一通道注意力模块以第一残差模块和第二残差模块的输出作为输入，第二通道注意力模块以第三残差模块和第一通道注意力模块的输出作为输入，……，第i通道注意力模块以第i+1残差模块和第i-1通道注意力模块的输出作为输入，2≤i≤n-2，第n-1通道注意力模块以第n-2通道注意力模块的输出为输入，输出端连接至第n残差模块，所述第n残差模块连接至全连接网络。37.残差网络是对数据进行二分类的有效方法，采用残差网络中的残差模块作为分割的主干网络，另外为了增加网络的全局信息，例如分割标签的边缘和纹理，在网络开始，加入全局平均池化，来提取上下文语义信息，使得提取的信息具有一致性。除此之外，为了提高腔隙的分割效果，还加入了通道注意力模块。通过全局平均池化和卷积结合能够提取到全局的上下文语义信息，由低级残差模块的提取到的特征图和高级阶段的提取的特征图做融合并生成对应的权重去更新各支路上的特征信息，能够增强腔隙和背景之间的区别。38.所述多个残差模块不同的阶段具有不同的分割能力，在低级阶段，网络具有更高的空间细节信息和小的感受野，而在高级阶段，网络具有大的感受野和更高的语义信息，根据这个特点，本实施例使用通道注意力模块将低级阶段的信息融合到高级阶段，以防止图片分辨率消失的问题，达到更精确的分割。本实施例中，综合精度和实时性，选取了四个残差模块作为特征提取的主干网络，同时使用精细化网络，帮助主干网络对于腔隙的特征通道赋予多的权重，对于背景信息的特征赋予低的权重。具体地，所述三维精细化残差网络包括四个依次连接的残差模块和三个依次连接的通道注意力模块。第一残差模块具有两个输出端，一个输出端连接至第二残差模块，另一个输出端连接至第一通道注意力模块；第二残差模块具有两个输出端，一个输出端连接至第三残差模块，另一个输出端连接至第一通道注意力模块，第一通道注意力模块的输出端连接至第二通道注意力模块；第三残差模块具有两个输出端，一个输出端连接至第四残差模块，另一个输出端连接至第二通道注意力模块，第二通道注意力模块的输出端连接至第三通道注意力模块，第三通道注意力模块的输出端连接至第四残差模块。第四残差模块的输出端与全连接网络连接。39.如图2所示，所述残差模块也包括主干网络和分支网络，所述主干网络包括依次连接的多个卷积层，所述分支网络也包括多个依次连接的卷积层，且分支网络中卷积层的数量比主干网络少一个。所述残差模块的输入分别连接主干网络和分支网络，所述主干网络和分支网络的输出的结合记为所述残差模块的输出。通过堆叠卷积层，来提取更加主要的特征。每个所述卷积层后均连接批归一化和relu激活函数，批归一化的作用是为了防止网络训练不稳定，出现梯度爆炸的问题，而relu激活函数则是提高网络的非线性和拟合能力。此外，所述残差模块中还增加了跳跃连接结构，跳跃连接主要的功能是将前面的特征整合到主路径中。本实施例中，所述残差模块的主干网络包括两个卷积层，分支网络包括一个卷积层。40.由于所使用的原数据少，会造成网络过拟合，为了防止网络过拟合，我们在每一个残差模块后面加入了0.5倍的随机失活。加入批归一化（bn）是为了防止网络训练过程中不收敛的问题。41.如图3所示，所述通道注意力模块包括依次连接的拼接层（concat）、全局池化层（global pool）、第一卷积层（conv）、relu函数、第二卷积层（conv）和sigmoid激活函数，且所述sigmoid激活函数的输出与拼接层的输出融合作为所述通道注意力模块的输出。42.所述全连接网络为三层全连接网络，第一层包括200个神经元，第二层包括100个神经元，第三层也即输出层，包括2个神经元，所述输出层输出的输出即为腔隙的分数值。43.为了弥补正负样本的均衡性，本实施例中全连接网络采用tversky loss损失函数，对于脑腔隙数据集，里面的背景比我们关注的对象多200倍，为此，我们在数据预处理方面，剔除了一些无关背景，并考虑了体素周围10张图片的上下文语义信息。虽然取得了一定的效果，但是召回率的值依然达不到理想的效果。如果不平衡标签和背景，在学习的工程中，很有可能陷入局部极小值。为了弥补正负样本的均衡性，所以我们使用了tversky loss损失函数，对于脑腔隙数据集，里面的背景比我们关注的对象多200倍，为此，我们在数据预处理方面，剔除了一些无关背景，并考虑了体素周围10张图片的上下文语义信息。虽然取得了一定的效果，但是召回率的值依然达不到理想的效果。如果不平衡标签和背景，在学习的工程中，很有可能陷入局部极小值。损失函数公式如下所示：其中，a代表预测，b代表真实标签，代表fp（假阳性），代表fn（假阴性），α、β是分别控制假阴性和假阳性的系数。由此，通过调节α、β可以控制假阳性和假阴性的比例，通过调节α、β的大小能够调整网络的泛化性能。44.在训练得到模型之后，我们使用五折交叉验证来训练、验证和测试该模型。通过五折交叉验证，能够确保所有的数据都被测试了一次。然后将测试的结果取平均。训练过程中，初始学习率设置为0.001，选用的优化器为adam。我们在验证集上测试我们的模型并评估模型。45.为了体现实验的效果，我们选取dice、精确率（precision）和准确率（accuracy）作为评估指标。46.如图4，横坐标表示迭代次数，纵坐标表示精确率（precision）（%），实线表示仅采用多个残差模块级联，网络分别训练到500步、1000步、1500步、2000步、2500步和3000步，每一步输入两个图片，验证得出的精确率。虚线表示采用多个残差模块和多个通道注意力模块（cab），然后网络每训练500步，每步输入2张图片验证出来的精确率。从图中可以看出，从图中可以看出，未加入cab模块和加入cab模块之后，精度区分不大，这也意味着，模型在预测对的情况下和真实的腔隙数量相比来说精确率差别不大。47.如图5所示，横坐标表示迭代次数，纵坐标表示准确率（accuracy）（%），实线表示仅采用多个残差模块级联，网络分别训练到500步、1000步、1500步、2000步、2500步和3000步，每一步输入两个图片，验证得出的准确率。虚线表示虚线表示采用多个残差模块和多个通道注意力模块（cab），然后网络每训练500步，每步输入2张图片验证出来的准确率。可以看出，随着迭代次数的增加，加入通道注意力模块相比仅采用残差模块，精度优势越来越明显。在保证了迭代次数的基础上，加入通道注意力模块之后，准确率由75%提升到了80%。通过分析，造成20%错误率的主要因素在于正例样本太少并且样本体积小，而类似非腔隙的背景比例占比较多。48.如图6所示，横坐标表示迭代次数，纵坐标表示相似度（dice）（%），实线表示仅采用多个残差模块级联，网络分别训练到500步、1000步、1500步、2000步、2500步和3000步，每一步输入两个图片，验证得出的准确率。虚线表示虚线表示采用多个残差模块和多个通道注意力模块（cab），然后网络每训练500步，每步输入2张图片验证出来的相似度。相似度表示计算预测为腔隙的集合和真实腔隙之间的相似度，在迭代3000次的时候，加入通道注意力模块后的dice值为72%，相对于未加通道注意力模块的精度有明显提升。这也验证了，加入通道注意力模块的重要性。并且可以看出，当网络训练到1800步时，预测与真实的腔隙的相似度相同，而当大于1800步时，加入cab模块的网络相比不加cab模块精度上升的更多。在网络训练的初期，初始化参数保持一致，通过学习了大量的数据之后，模型会不断的拟合我们需要分割的对象，通道注意力所分配的概率参数在损失函数监督之下不断的优化。49.我们的网络在少量数据集之下，训练出来的模型，极少数图片会出现过拟合的情况，导致真实标签的数量和真实标签的数量不一致。另外，一般情况下，病变的腔隙数量要远远低于非病变的腔隙数量，所以为了提高dice指标，解决类别不平衡的问题，我们使用tversky损失函数，以解决类别不平衡的问题，在精度和dice之间找到更好的平衡。通过调节α、β的大小来调整网络的泛化性能，在这个实验当中，我们设置α=0.3，β=0.7。50.如图7所示，圆形标出的是真实标签，正方形标出的是预测的腔隙。51.本领域技术人员应该明白，上述本发明的各模块或各步骤可以用通用的计算机装置来实现，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本发明不限制于任何特定的硬件和软件的结合。52.上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!