一种基于分型辅助信息的乳腺图像分类方法及设备

计算;推算;计数设备的制造及其应用技术1.本发明属于医学影像处理自动化技术领域，涉及一种医学影像分类方法，尤其是涉及一种基于分型辅助信息的乳腺图像分类方法及设备。背景技术：2.即使在现代医学技术蓬勃发展的今天，乳腺癌仍旧超越了肺癌成为全球第一大癌。作为乳腺癌诊断金标准的病理检查为该类疾病的精准诊疗和制定个体化治疗方案奠定了基础。其中，提供有关肿瘤形态学评估的组织学分级至关重要，这是有利于患者预后估计和预测复发风险程度的独立预后因素。3.目前，根据国际通用的scarff-bloom-richardson乳腺癌组织学分级系统统计癌细胞腺管形成比例、核多型性和核分裂象计数三个参数的总分，可将乳腺癌组织学分级划分三级：grade i得3～5分；grade ii得6～7分；grade iii得8～9分。众多研究表明，基于组织形态学分类的乳腺癌组织学分级与反映基因表达状态的分子分型存在一定关联：相对于i和ii级而言，高级别乳腺癌分化程度更低，癌细胞恶性扩散风险更强，预后不佳，管腔上皮亚型占比较少。因此，有必要深入探究乳腺癌组织学分级和分子分型间的潜在规律，从而提高病理诊断与临床决策的一致性。4.当前，病理科医师依据从苏木精-伊红染色切片中观察到的细胞结构等形态学信息手动鉴别乳腺癌组织学分级。由于人为主观性和病理图像分析复杂繁琐，难以保证鉴别的精度和时效性。随着数字病理的发展，同时在计算机辅助诊断的支持下，高性能的人工智能模型为乳腺癌组织学分级提供了动力，包括以特征工程为主要研究手段的影像组学算法和高度并行化的深度学习算法。即便如此，在运用这些方法前分析病理切片也均需经穿刺活检为前提。此外，石蜡切片及苏木精-伊红染色等操作步骤更是加重了研究负担。技术实现要素：5.本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种准确率高、效率高的基于分型辅助信息的乳腺图像分类方法及设备。6.本发明的目的可以通过以下技术方案来实现：7.一种基于分型辅助信息的乳腺图像分类方法，用于确定待分类图像的组织学分级，该方法包括以下步骤：8.获取待分类图像，对所述待分类图像进行预处理；9.将经预处理的待分类图像拆分为多个序列数据，分别作为不同分类模型的输入，融合各分类模型的分类结果，获得最终分类标签；10.其中，所述分类模型包括主网络和基于分子分型辅助信息向量的辅助监督分支，所述主网络包括多尺度特征提取层，所述辅助监督分支对不同尺度特征提取层的中间输出特征进行调整处理，所述主网络和辅助监督分支的输出结果加权融合后形成所述分类模型的分类结果。11.进一步地，所述分类模型训练时采用的训练数据集包括样本图像以及与该样本图像对应的组织学分级和分子分型标签信息，所述分子分型辅助信息向量基于所述训练数据集构造获得。12.进一步地，所述分子分型辅助信息向量通过以下步骤构造：13.基于所述训练数据集中每个样本的分子分型标签信息，构造满足高斯分布的双节点信息向量，实现信息初始化；14.在所述双节点信息向量中加入随机高斯噪声，进行节点值归一化后，形成所述分子分型辅助信息向量。15.进一步地，所述分子分型标签信息包括管腔上皮型和非管腔上皮型。16.进一步地，所述预处理包括直方图均衡化、裁剪和强度归一化。17.进一步地，所述主网络基于二维卷积神经网络模型构建，包括基于八度卷积的卷积后激活块、同时具有senet和sknet激励的多个主模块以及含有不同空洞率的空洞卷积层的dense-asp3模块，多个所述主模块形成所述多尺度特征提取层。18.进一步地，所述辅助监督分支包括多个分别连接不同尺度特征提取层的gap全局平均池化层和ms attention模块。19.进一步地，所述分类模型训练时，所述主网络采用的损失函数为基于类别f1-score的代价敏感损失函数，所述类别f1-score是一种由精确率和召回率的调和平均数所构成的模型性能评价指标；所述辅助监督分支采用的损失函数为kullback-leibler散度最小化损失函数。20.进一步地，融合各分类模型的分类结果时，不同分类模型的权重基于各分类模型的预测准确率确定。21.本发明还提供一种电子设备，包括一个或多个处理器、存储器和被存储在存储器中的一个或多个程序，所述一个或多个程序包括用于执行如上所述基于分型辅助信息的乳腺图像分类方法的指令。22.与现有技术相比，本发明具有以下有益效果：23.1、本发明设计了一个纳入分子分型的辅助监督分支以促进模型学习与分子分型估计的相关性特征，有效提升模型的性能，提高图像分类精度，效率高。24.2、在网络模型结构设计时，本发明提出了一种命名为ios2-da net的二维卷积神经网络模型。其中，代替了传统卷积层的八度卷积弱化了模型对低频冗余信息的关注度，增强了对具有相似影像特征的病理分级的识别率。采用senet和sknet的双核压缩激励模块模仿人类视觉编码特性，实现了有利于最终决策信息的提取；此外，该网络的dense-asp3模块充分利用了密集的多尺度特征，增强模型的学习能力。25.3、针对不同时间序列的dce-mri影像，本发明提出了基于类别f1-score的代价敏感损失函数，该损失函数充分利用了模型对不同类别的精准率和敏感性的调和从而对样本进行自动损失加权。相对于传统交叉熵损失和focal loss损失而言，该损失函数使得模型在保证特异性的同时，显著性提升了分类召回率，鲁棒性更高。附图说明26.图1为本发明的流程示意图；27.图2为实施例中的一种二维卷积神经网络ios2-da net结构示意图；28.图3为实施例中的基于八度卷积的卷积后激活块的结构示意图；29.图4为实施例中的主模块se_inception_sk的结构示意图；30.图5为实施例中的dense-asp3模块的结构示意图；31.图6为实施例中的一种带有分型辅助监督分支的网络整体结构示意图具体实施方式32.下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。33.如图1所示，本实施例提供一种基于分型辅助信息的乳腺图像分类方法，用于确定待分类图像的组织学分级，该方法包括以下步骤：34.获取待分类图像，对所述待分类图像进行预处理，其中预处理包括直方图均衡化、裁剪和强度归一化等；35.将经预处理的待分类图像拆分为多个序列数据，如包括dce-mri tps 1，tps 2，tps 3序列，分别作为不同分类模型的输入，融合各分类模型的分类结果，获得最终分类标签。36.如图6所示，本实施例使用的分类模型为带有分型辅助监督分支的网络，包括主网络和基于分子分型辅助信息向量的辅助监督分支，所述主网络包括多尺度特征提取层，所述辅助监督分支对不同尺度特征提取层的中间输出特征进行调整处理，所述主网络和辅助监督分支的输出结果加权融合后形成所述分类模型的分类结果。37.如图2所示，本实施例中，主网络基于二维卷积神经网络模型构建，命名为ios2-da net，包括基于八度卷积的卷积后激活块、同时具有senet和sknet激励的多个主模块以及含有不同空洞率的空洞卷积层的dense-asp3模块，多个所述主模块形成所述多尺度特征提取层。其中，如图3所示，采用八度卷积代替传统卷积层构建卷积后激活块，通过超参数α控制卷积层中高低频通道比例，从而弱化模型对低频冗余信息的关注度，在增强对具有相似影像特征的病理分级的识别率的同时也减少了内存和计算资源的消耗。如图4所示，采用senet和sknet的双核压缩激励模块插入到inception中构成ios2-da net的主模块se_inception_sk，能够分别自适应选取并融合不同分支上合适感受野的尺寸以及不同卷积通道的权重参数，提取有利于最终决策的关键信息，本实施例中，主模块设有三个。如图5所示，结合多度信息和扩张卷积的特点，本发明实施例还提出了dense-asp3模块，它将含有不同空洞率(r＝1，r＝2)的空洞卷积层进行密集连接，用于生成分布更为密集的多尺度特征，增强学习能力。38.如图6所示，本实施例中，辅助监督分支包括多个分别连接不同尺度特征提取层的gap全局平均池化层和ms attention模块。gap全局平均池化层将来自ios2-da net三个多尺度ios2层的输出特征串接，利用kullback-leibler(kl)散度最小化损失函数调整上述中间层输出特征，从而获取与分型信息向量最具相关性的预测值。39.上述分类模型在模型训练阶段采用的训练数据集包括样本图像以及与该样本图像对应的组织学分级和分子分型标签信息，所述分子分型辅助信息向量基于所述训练数据集构造获得。辅助监督分支利用的分子分型辅助信息向量通过以下步骤获得：40.(1)信息初始化。基于所述乳腺癌组织学分级数据集中每个样本的分子分型标记，构造满足高斯分布的双节点信息向量，计算公式为：[0041][0042]其中，x对应于信息向量中的节点，s表示分子亚型(非管腔上皮型为0，管腔上皮型为1)。[0043](2)加入随机噪声。在初始化后的分型信息向量中加入随机高斯噪声，以模仿具有不同阅片经验的放射科医师对同一病灶的不同分型诊断结果。如下式所示：[0044][0045]i’s(x)＝is(x)+rs(x)ꢀꢀꢀꢀ(3)[0046](3)节点值归一化。如下式所示：[0047][0048]通过辅助监督分支获得的预测值与ios2-da net初步预测结果加权，即可获得一个分类模型的分类结果：[0049]p＝(1-γ)·p1+γ·p2,0＜γ＜0.5ꢀꢀꢀꢀ(5)[0050]通过加权加权平均法将基于dce-mri tps 1，tps 2，tps 3序列影像的预测结果进行集成融合，获得最终分类标签。融合过程如下所示：[0051](1)取各个基模型的预测准确率作为分类性能权值：[0052][0053](2)该样本的综合预测概率由各基学习器的预测结果加权求和得到：[0054][0055](3)根据p值大小确定集成模型的预测标签：[0056][0057]本实施例中，上述分类模型在训练阶段的训练数据集的通过以下方式构建。本实施例中，共计381例入组病例由病理活检诊断为乳腺癌，且在确诊前均经历过至少一次的术前mri影像学检查，最后获取了256例符合研究纳入标准的病例。由病理科医师参考诺丁汉组织学分级系统给出上述病例的组织学分级评分，grade i共9例；grade ii共113例；grade iii共133例。根据各病例分子分型的免疫组化特征表现进行标注，包括管腔上皮型和非管腔上皮型。考虑到低级别组织学分级的样本量与中高级别间的不均衡性，在本实施例中，将上述乳腺癌组织学分级方法应用于i&ii级和iii级的组织学分级预测研究当中。[0058]截取乳腺dce-mri影像中病灶区域后进行图像预处理，继而建立乳腺癌组织学分级数据集。预处理方法依次为：[0059](1)在确定包含病灶区域的影像序列段后，以病灶位置为中心多尺度截取感兴趣区域图像块，采用双线性插值算法重新调整正方形图像块尺寸至64*64像素大小。[0060](2)采用直方图均衡化增强图像对比度。[0061](3)采用强度归一化操作将图像块像素值缩放至[0,1]，便于网络处理与分析。[0062](4)经十折交叉验证划分乳腺癌组织学分级数据集后，利用python深度学习库keras自带的数据增强方法仅对训练集做实时数据增强操作(旋转、镜像、缩放等)，验证集不做处理。[0063]在分类模型训练前，设置批处理样本数64，初始学习率lr＝0.002，各卷积核加入l2权重正则化，系数为0.005。模型训练时，采用rmsprop优化器加快模型参数寻优。采用基于类别f1-score的代价敏感损失函数cfsl增加模型对困难样本的关注度，表达式为：[0064][0065]其中，f1-score是一种由精确率和召回率的调和平均数所构成的模型性能评价指标，调制项d(x)＝xβ中β是衡量f1-score影响的权重因子。[0066]初始训练轮数为120，当模型训练10轮cfsl未下降，学习率降低为原来的0.2；当30次的微调后cfsl仍未收敛，模型停止训练。保存当前在验证集下最高准确率和较低损失时的模型权重。[0067]在模型评估阶段，本发明实施例首先分别训练基于dce-mri tps 1，tps 2，tps 3序列影像的基学习器模型，通过调整不同的超参数α，以确立网络模型结构中最佳的高低频通道比例，此时固定训练损失函数为focal loss(α＝1,β＝2)。实验结果如表1所示。[0068]表1八度卷积中不同高低频通道比例对预测结果影响[0069][0070]由表1可知，当基于tps 1，tps 2，tps 3序列影像的基学习器模型的超参数α分别选取0.5，0.375，0.5时，模型的识别精度和显存占用上达到了较好的平衡，分类准确率最高至86.6％。[0071]其次，在上述实验的基础上本发明实施例测试了不同损失函数对模型预测的影响，结果如表2所示。[0072]表2不同损失函数对模型性能的评价[0073][0074][0075]由表2可知，当损失函数分别选取经典的交叉熵损失、focal loss和cfsl时，在确保模型准确性足够高的前提下应尽量选择sen与spec较为均衡的预测模型。当设置权重因子β＝0.3的cfsl，基于dce-mri tps 1序列影像的基学习器模型预测性能最好，auc高达0.902，f1-score达0.906。同样地，在基于dce-mri tps 3序列影像的基学习器模型，本发明实施例选择权重因子β＝2.0的cfsl损失下的训练权重作为最佳权重。对于基于dce-mri tps 2序列影像的基学习器模型，虽然利用最佳权重因子(β＝2.0)的cfsl训练时的模型性能略逊色于带有最佳权重因子(β＝1.0)的focal loss和交叉熵损失，但模型的sen与spec相差最小，性能更加稳定。因此，本发明实施例仍认为权重因子β＝2.0的cfsl损失适用于基于dce-mri tps 2序列影像的基学习器模型。[0076]最后，本实施例利用分子分型辅助信息构建模型辅助监督分支，以降低预测结果的假阳性。实验结果如表3所示。[0077]表3分型辅助信息比例对最终预测结果的影响[0078][0079][0080]由表3可知，当引入分子分型辅助监督分支后，模型在保持良好auc和f1-score性能的前提下假阳性得以降低，即在实际应用过程中模型有更小的概率将grade i&ii误判为grade iii，能够有效辅助临床医生制定更为精准的治疗方案。[0081]经上述评估可知，本发明实施例通过二维卷积神经网络自动提取乳腺癌dce-mri成像中各组织学分级相关特征，能够实现精准预测病理分级的目的；相较于仅利用病理图像进行分析的方法而言，本方法减少了穿刺活检取样等繁琐步骤，识别效率和精度更高，同时，引入分子分型辅助信息也进一步提升了模型的预测性能。[0082]上述图像分类方法如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。[0083]以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!