基于多源数据融合的肝移植受者预后预测装置

医药医疗技术的改进;医疗器械制造及应用技术1.本发明属于肝移植受者预后检测与评价技术领域，具体涉及一种基于多源数据融合的肝移植受者预后预测装置。背景技术：2.肝癌是一种全身性疾病，肝癌发展到一定阶段，肿瘤细胞可能转移到其他器官(肺部、骨骼、脑等)。进行肝移植前，现阶段的检查检测不到，术后因免疫抑制状态，潜伏在其他器官的微病灶可能导致肝癌复发。不少研究者在这一问题上做出了很多努力和贡献，尝试进行术后受者的胸部、上腹部ct、肿瘤多组学数据或肿瘤标志物afp表达的分析对患者进行预后是否好转的预测。3.近年来，深度学习技术在各行各业迅猛发展，结合深度学习技术进行医疗辅助成为了越来越多的人努力的目标和方向。如何利用深度学习探究肝移植受者的多源数据域之间可能存在的联系以实现更加精准的肝移植受者预后预测，将是一项令人期待的工作。4.具体来看，对于每个术后受者，从不同数据域的检测得到的数据均隐含着两种语义信息：一致性信息，即不同数据域的数据共享的一致的语义信息，可以体现为共享一个语义特征空间；互补性信息，即一个数据域的数据包含了其他数据域所缺乏的信息，可以利用多个数据域之间的互补信息来增强模型。如何引入深度学习模型充分利用每个术后受者其多源数据域数据来实现更高效的特征提取并充分挖掘不同数据域之间一致性和互补性，以综合多数据域的信息更加全面地表述肝移植术后受者对象的疾病情况，从而能够实现更加精准的肝移植受者预后预测。5.专利文献cn113140318a公开了一种基于深度学习的肝移植术后肺部感染风险预测方法，包括：，s1-建立数据集：s2-定制神经网络模型；通过精心选择术前、术中及术后的综合数据，包括一般资料、临床特征、实验室检验、影像学检查和麻醉记录，合理处理数据缺失、错漏等问题，构建完备的数据集，按照数据集的规模定义合适的神经网络分类模型，通过迭代训练直至神经网络收敛，得到的分类模型能够对新病例的预期寿命进行较准确的预测，针对不同情况采取不同治疗措施；该方法虽然利用深度学习技术实现对肝移植术后肺部感染预测模型的构建和评估，由于没有结合病理相关数据进行预测，移植后的其他一些风险，如是否排斥并不清楚，即不能实现对移植后免疫情况的预测。技术实现要素：6.鉴于上述，本发明目的是提供一种基于多源数据的肝移植受者预后预测装置，以解决以往单源检测得到的数据不足以反应肝移植受者全面信息或者未同时考虑多源数据的一致性和互补性而导致移植受者预后预测准确性差的问题。7.为实现上述发明目的，实施例提供的一种基于多源数据融合的肝移植受者预后预测装置，包括：8.包括存储器、处理器以及存储在所述存储器中并可在所述处理器上执行的计算机程序，其特征在于，所述存储器中存有参数优化后的预后预测模型，所述预后预测模型包括影像学特征提取模块、多组学特征提取模块、肿瘤特征离散化模块、肿瘤离散特征提取模块、特征融合模块、预测模块；9.所述处理器执行所述计算机程序时实现以下步骤：10.获取肝移植受者的影像学数据、肿瘤标志物表达量、肿瘤免疫组化表达量和肿瘤多组学数据，并将肿瘤多组学数据表征为细胞系多关系图；11.利用预后预测模型进行预后预测，包括：利用影像学特征提取模块对影像学数据进行特征提取以输出影像学数据表征；利用多组学特征提取模块对细胞系多关系图进行特征提取以输出多组学数据表征；利用肿瘤特征离散化模块对肿瘤标志物表达量和肿瘤免疫组化表达量进行离散化处理，以得到肿瘤离散特征；利用肿瘤离散特征提取模块对肿瘤离散特征进行特征提取以输出肿瘤离散数据表征；利用特征融合模块对影像学数据表征、多组学数据表征以及肿瘤离散数据表征进行融合处理，以输出多源数据一致性表征和多源数据交互性表征；利用预测模块对多源数据一致性表征和多源数据交互性表征进行预测计算以输出预后预测结果。12.在一个实施例中，所述肿瘤多组学数据包括基因组学数据、蛋白组学数据、代谢组学数据，将肿瘤多组学数据表征为细胞系多关系图，包括：13.以基因作为结点，并以基因组学数据作为结点特征，依据基因组学数据确定的基因之间的相关性、根据蛋白组学数据确定的基因之间的蛋白相互作用、根据代谢组学数据确定的基因之间的代谢通路信息构建结点之间的连边，依此构建细胞系多关系图。14.在一个实施例中，所述影像学特征提取模块采用基于resnet为核的lstm架构模型，将影像学数据构建成图像批次序列后，利用resnet提取图像批次序列的图像特征序列，然后利用lstm对图像特征序列进行特征提取以得到影像学数据表征。15.在一个实施例中，所述多组学特征提取模块采用基于graclus层次化池化的图卷积神经网络结构，即利用每层图卷积神经网络对细胞系多关系图进行特征提取后，利用graclus池化层对特征提取后的细胞系多关系图进行粗化得到粗化后的细胞系多关系图，将粗化后的细胞系多关系图中每个结点特征连接一起作为多组学数据表征。16.在一个实施例中，所述基于graclus层次化池化的图卷积神经网络结构包括至少3层gatv2图卷积层，每个gatv2图卷积层包括图卷积操作和graclus池化操作，利用图卷积操作对输入的粗化后细胞系多关系图对应的多种结点特征、多种边组成的矩阵进行卷积运算以更新结点特征后，再利用graclus池化操作将经过图卷积操作得到的细胞系多关系图进行粗化处理以更新图结构和结点特征，得到粗化后细胞系多关系图；将最后的粗化后细胞系多关系图中的结点特征进行连接操作以进行全局池化，得到多组学数据表征。17.在一个实施例中，所述肿瘤特征离散化模块采用xgboost模型，利用xgboost模型分别对输入的肿瘤标志物表达量和肿瘤免疫组化表达量进行离散化处理，以输出肿瘤离散特征，肿瘤标志物表达量对应的肿瘤离散特征属于一种特征域，肿瘤免疫组化表达量对应的肿瘤离散特征属于另外一种特征域。18.在一个实施例中，所述肿瘤离散特征提取模块包括embedding层和基于cross网络的特征交叉层，并引入特征域感知，利用特征域感知和embedding层将不同特征域的肿瘤离散数据特征分别转换为对应特征域下的嵌入特征，并将不同特征域的嵌入特征连接为一个特征向量，接着利用多层特征交叉层对特征向量进行特征交叉，以得到肿瘤离散数据表征。19.在一个实施例中，所述特征融合模块包括多源数据一致性融合模块、多源数据互补性融合模块，所述多源数据一致性融合模块对输入的影像学数据表征、多组学数据表征以及肿瘤离散数据表征采用权重不同的域适应的映射头分别进行特征映射，得到三种数据域对应的三种数据表征，通过将三种数据表征中两两数据表征之间的互信息之和最大化保证每种数据域对应数据表征的一致性，进而得到每种数据域的一致性表征，三种数据域一致性表征求和组成多源数据一致性表征，其中，数据域包括影像学数据域、多组学数据域、肿瘤离散数据域；20.所述多源数据互补性融合模块对输入的影像学数据表征、多组学数据表征以及肿瘤离散数据表征采用权重不同的域适应的映射头分别进行特征映射，得到三种数据域对应的三种数据表征，通过将三种数据表征中两两数据表征之间的互信息之和最小化保证每种数据域对应数据表征的互补性，进而得到每种数据域的互补性表征，三种数据域互补性表征连接组成多源数据互补性表征。21.在一个实施例中，所述预后预测模型的参数优化过程，包括：22.首先，获取样本数据，并以肝移植受者病情是否好转作为样本数据的真值标签，其中，样本数据包括肝移植受者的影像学数据、肿瘤标志物表达量、肿瘤免疫组化表达量和肿瘤多组学数据；23.然后，利用肿瘤标志物表达量、肿瘤免疫组化表达量并以真值标签进行监督的情况下，对肿瘤特征离散化模块进行预训练，以优化肿瘤特征离散化模块的参数；24.最后，固定肿瘤特征离散化模块的参数不同，并构建总损失，利用样本数据并以真值标签进行监督的情况下，优化预后预测模型中影像学特征提取模块、多组学特征提取模块、肿瘤离散特征提取模块、特征融合模块以及预测模块的参数；25.其中，总损失包括为预测损失、一致性损失以及交互性损失的加权求和；预测损失为预测模块输出的预后预测结果与真值标签的交叉熵；一致性损失为多源数据一致性表征的信息熵；交互性损失为多源数据交互性表征的信息熵。26.为实现上述发明目的，实施例还提供了一种基于多源数据融合的肝移植受者预后预测装置，包括：27.获取单元，用于获取肝移植受者的影像学数据、肿瘤标志物表达量、肿瘤免疫组化表达量和肿瘤多组学数据；28.表征单元，用于将肿瘤多组学数据表征为细胞系多关系图；29.预测单元，用于利用预后预测模型进行预后预测。30.与现有技术相比，本发明具有的有益效果至少包括：31.多源数据融合能够充分整合肝移植受者的影像学数据、肿瘤标志物表达量、肿瘤免疫组化表达量和肿瘤多组学数据等多源数据信息，相比现有的肝移植受者表征方式，能够容纳更多数据域的生物信息，同时也充分考虑肝移植受者在多源数据层面其反应的信息之间的潜在联系；本发明提出的基于多源数据融合的预后预测模型，在高效提取个体特异性的多源数据的同时，能够充分考虑不同数据源之间的一致性与互补性，以全方面地考虑肝移植受者的病情，从而实现更加精准的肝移植受者预后预测。附图说明32.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。33.图1是实施例提供的预后预测模型的结构示意图；34.图2是实施例提供的利用预后预测模型进行肝移植受者预后预测的流程图；35.图3是实施例提供的基于多源数据融合的肝移植受者预后预测装置的结构示意图。具体实施方式36.为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。37.为实现对肝移植受者预后预测的准确性，实施例提供了一种基于多源数据融合的预后预测模型，该预后预测模型可用于对肝移植受者的预后预测。38.图1是实施例提供的预后预测模型的结构示意图。如图1所示，实施例提供的预后预测模型包括影像学特征提取模块、多组学特征提取模块、肿瘤特征离散化模块、肿瘤离散特征提取模块、特征融合模块、预测模块。39.实施例中，影像学特征提取模块用于对影像学数据进行特征提取以输出影像学数据表征。可选地，影像学特征提取模块采用基于resnet为核的lstm架构模型，接收肝移植受者的影像学数据，通过由上至下的图像分割方法对影像学数据进行分割并构建成一个图像批次(patch)序列，利用resnet提取图像patch序列的图像特征序列，然后利用lstm对图像特征序列进行特征提取以得到影像学数据表征la。40.实施例中，多组学特征提取模块用于对细胞系多关系图进行特征提取以输出多组学数据表征。可选地，多组学特征提取模块采用基于graclus层次化池化的图卷积神经网络结构，即利用每层图卷积神经网络对细胞系多关系图进行特征提取后，利用graclus池化层对特征提取后的细胞系多关系图进行粗化得到粗化后的细胞系多关系图，将粗化后的细胞系多关系图中每个结点特征连接一起作为多组学数据表征。41.其中，细胞系多关系图基于肿瘤多组学构建，其中，肿瘤多组学数据包括基因组学数据、蛋白组学数据、代谢组学数据，在构建细胞系多关系图时，将肿瘤多组学数据表征为细胞系多关系图的结点特征和多种边的特征，即以基因作为细胞系多关系图的结点，并以基因组学数据作为结点特征，依据基因组学数据确定的基因之间的相关性、根据蛋白组学数据确定的基因之间的蛋白相互作用、根据代谢组学数据确定的基因之间的代谢通路信息构建结点之间的连边，依此构建细胞系多关系图。42.在一个可能的实施方式中，多组学特征提取模块采用的基于graclus层次化池化的图卷积神经网络结构包括至少3层gatv2图卷积层，每个gatv2图卷积层包括图卷积操作和graclus池化操作，利用gatv2图卷积层进行特征提取的过程包括：利用图卷积操作对输入的粗化后细胞系多关系图对应的多种结点特征、多种边组成的矩阵进行卷积运算以更新结点特征后，再利用graclus池化操作将经过图卷积操作得到的细胞系多关系图进行粗化处理以更新图结构和结点特征，得到粗化后细胞系多关系图；将最后的粗化后细胞系多关系图中的结点特征进行连接操作以进行全局池化，得到多组学数据表征lb。43.实施例中，肿瘤特征离散化模块用于对肿瘤标志物表达量和肿瘤免疫组化表达量进行离散化处理，以得到肿瘤离散特征。可选地，肿瘤特征离散化模块采用xgboost模型，利用xgboost模型分别对输入的肿瘤标志物表达量和肿瘤免疫组化表达量进行离散化处理，以输出非线性的肿瘤离散特征，其中，肿瘤标志物表达量对应的肿瘤离散特征属于一种特征域，肿瘤免疫组化表达量对应的肿瘤离散特征属于另外一种特征域。44.实施例中，肿瘤离散特征提取模块用于对肿瘤离散特征进行特征提取以输出肿瘤离散数据表征。可选地，肿瘤离散特征提取模块包括embedding层和基于cross网络的特征交叉层，并引入特征域感知，利用特征域感知和embedding层将不同特征域的肿瘤离散数据特征分别转换为对应特征域下的嵌入特征(embeddings)，并将不同特征域的嵌入特征连接为一个特征向量，接着利用多层特征交叉层对特征向量进行特征交叉，以得到肿瘤离散数据表征lc。45.实施例中，特征融合模块用于对影像学数据表征、多组学数据表征以及肿瘤离散数据表征进行融合处理，以输出多源数据一致性表征和多源数据交互性表征。可选地，特征融合模块包括多源数据一致性融合模块、多源数据互补性融合模块，多源数据一致性融合模块对输入的影像学数据表征la、多组学数据表征lb以及肿瘤离散数据表征lc采用权重不同的域适应的映射头分别进行特征映射，得到三种数据域(影像学数据域、多组学数据域、肿瘤离散数据域)对应的三种数据表征，计算两两数据表征之间的互信息，以得到三种互信息，并以通过将三种数据表征中两两数据表征之间的互信息之和(三种互信息之和)最大化保证每种数据域对应数据表征的一致性，进而得到每种数据域的一致性表征，三种数据域一致性表征求和组成多源数据一致性表征。46.多源数据互补性融合模块对输入的影像学数据表征la、多组学数据表征lb以及肿瘤离散数据表征lc采用权重不同的域适应的映射头分别进行特征映射，得到三种数据域对应的三种数据表征，通过将三种数据表征中两两数据表征之间的互信息之和(三种互信息之和)最小化保证每种数据域对应数据表征的互补性，进而得到每种数据域的互补性表征，三种数据域互补性表征连接组成多源数据互补性表征。47.实施例中，预测模块用于对多源数据一致性表征和多源数据交互性表征进行预测计算以输出预后预测结果。可选地，预测模块可以采用全连接网络，即利用全连接网络对多源数据一致性表征和多源数据交互性表征的拼接结果进行预测计算以得到预后预测结果。48.上述构建的预后预测模型在被应用于肝移植受者预后预测之前，还需要进行参数优化，具体地，参数优化包括：49.(a)获取样本数据，并以肝移植受者病情是否好转作为样本数据的真值标签。50.实施例中，样本数据包括肝移植受者的影像学数据、肿瘤标志物表达量、肿瘤免疫组化表达量和肿瘤多组学数据，其中，肿瘤多组学数据包括基因组学数据、蛋白组学数据、代谢组学数据。51.实施例中，样本数据来自于临床肝移植受者的多源数据，例如：采集肝移植受者预后的血液样本进行多组学的数据分析，其中基因组学数据包括基因表达量、拷贝数变异情况和基因突变情况；string数据集记录人类基因/蛋白之间相互作用，gsea数据集记录人类代谢组学信息通路的代谢组学信息；受者预后进行ct检测获得肝脏部位的影像学数据；活性检测受者的肿瘤样本，进行免疫组织化学实验得到肿瘤分期、恶良等情况；检测肿瘤标志物表达量。52.实施例中，还按照上述方式将样本数据中的肿瘤多组学数据表征成细胞系多关系图。53.(b)利用肿瘤标志物表达量、肿瘤免疫组化表达量并以真值标签进行监督的情况下，对肿瘤特征离散化模块进行预训练，以优化肿瘤特征离散化模块的参数。54.实施例中，将肿瘤标志物表达量、肿瘤免疫组化表达量同时输入至肿瘤特征离散化模块中，分别得到对应的肝移植受者病情好转的预测概率，并分别计算与真值标签的交叉熵，以作为损失函数来更新肿瘤特征离散化模块的参数。随后，可使用预训练后的肿瘤特征离散化模块将肿瘤标志物表达量、肿瘤免疫组化表达量分别离散化为其对应的非线性肿瘤离散化特征。55.(c)固定肿瘤特征离散化模块的参数不同，并构建总损失，利用样本数据并以真值标签进行监督的情况下，优化预后预测模型中影像学特征提取模块、多组学特征提取模块、肿瘤离散特征提取模块、特征融合模块以及预测模块的参数。56.具体地，在实施例中，以肝移植受者的影像学数据、肿瘤标志物表达量、肿瘤免疫组化表达量和肿瘤多组学数据作为样本数据，以肝移植受者病情是否好转作为真值标签，对预后预测模型进行参数优化。在参数优化过程中，将多源数据一致性表征ld和多源数据交互性表征le结合输至预测模块，输出表示肝移植受者病况(好转/为好转)的预后预测结果。通过计算不同数据域的一致性表征的信息熵得到一致性损失，计算不同数据域的互补性表征的信息熵作为互补性损失，通过预测模块输出的预后预测结果与真值标签的交叉熵作为预测损失，使用按权求和一致性损失、互补性损失以及预测损失得到总损失，利用总损失更新影像学特征提取模块、多组学特征提取模块、肿瘤离散特征提取模块、特征融合模块以及预测模块的参数。57.上述构建的预后预测模型，在高效提取个体特异性的多源数据的同时，能够充分考虑不同数据源之间的一致性与互补性，以全方面地考虑肝移植受者的病情，从而实现更加精准的肝移植受者预后预测。58.实施例中，基于上述构建的预后预测模型，还提供了一种基于多源数据融合的肝移植受者预后预测装置，包括存储器、处理器以及存储在存储器中并可在处理器上执行的计算机程序，处理器执行所述计算机程序时实现基于多源数据融合的肝移植受者预后预测过程，具体包括以下步骤：59.210，获取肝移植受者的影像学数据、肿瘤标志物表达量、肿瘤免疫组化表达量和肿瘤多组学数据；60.220，将肿瘤多组学数据表征为细胞系多关系图。61.步骤120中将肿瘤多组学数据表征为细胞系多关系图的方式与上述构建预后预测模型阶段记载的方式相同，此处不再赘述。62.230，利用预后预测模型进行预后预测。63.具体地，利用预后预测模型进行预后预测包括：利用影像学特征提取模块对影像学数据进行特征提取以输出影像学数据表征la；利用多组学特征提取模块对细胞系多关系图进行特征提取以输出多组学数据表征lb；利用肿瘤特征离散化模块对肿瘤标志物表达量和肿瘤免疫组化表达量进行离散化处理，以得到肿瘤离散特征；利用肿瘤离散特征提取模块对肿瘤离散特征进行特征提取以输出肿瘤离散数据表征lc；利用特征融合模块对影像学数据表征la、多组学数据表征lb以及肿瘤离散数据表征lc进行融合处理，以输出多源数据一致性表征ld和多源数据交互性表征le；利用预测模块对多源数据一致性表征ld和多源数据交互性表征le进行预测计算以输出预后预测结果。64.实际应用中，存储器可以为在近端的易失性存储器，如ram，还可以是非易失性存储器，如rom，flash，软盘，机械硬盘等，还可以是远端的存储云。处理器可以为中央处理器(cpu)、微处理器(mpu)、数字信号处理器(dsp)、或现场可编程门阵列(fpga)，即可以通过这些处理器实现基于多源数据融合的肝移植受者预后预测步骤。65.基于上述构建的预后预测模型，实施例还提供了一种基于多源数据融合的肝移植受者预后预测装置，如图3所示，包括：66.获取单元310，用于获取肝移植受者的影像学数据、肿瘤标志物表达量、肿瘤免疫组化表达量和肿瘤多组学数据。67.表征单元320，用于将肿瘤多组学数据表征为细胞系多关系图。68.预测单元330，用于利用预后预测模型进行预后预测。69.具体地，利用影像学特征提取模块对影像学数据进行特征提取以输出影像学数据表征la；利用多组学特征提取模块对细胞系多关系图进行特征提取以输出多组学数据表征lb；利用肿瘤特征离散化模块对肿瘤标志物表达量和肿瘤免疫组化表达量进行离散化处理，以得到肿瘤离散特征；利用肿瘤离散特征提取模块对肿瘤离散特征进行特征提取以输出肿瘤离散数据表征lc；利用特征融合模块对影像学数据表征la、多组学数据表征lb以及肿瘤离散数据表征lc进行融合处理，以输出多源数据一致性表征ld和多源数据交互性表征le；利用预测模块对多源数据一致性表征ld和多源数据交互性表征le进行预测计算以输出预后预测结果。70.需要说明的是，上述实施例提供的基于多源数据融合的肝移植受者预后预测装置在进行肝移植受者预后预测时，应以上述各功能单元的划分进行举例说明，可以根据需要将上述功能分配由不同的功能单元完成，即在终端或服务器的内部结构划分成不同的功能单元，以完成以上描述的全部或者部分功能。71.上述实施例提供的基于多源数据融合的肝移植受者预后预测装置，多源数据融合能够充分整合肝移植受者的影像学、肿瘤标志物、肿瘤免疫组化和肿瘤多组学等多源数据信息，相比现有的肝移植受者表征方式，能够容纳更多数据域的生物信息，同时也充分考虑肝移植受者在多源数据层面其反应的信息之间的潜在联系，进而使得肝移植受者预后预测结果更加准确。72.以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!