基于全局最优匹配的临床诊断报告多媒体展示方法和装置与流程

计算;推算;计数设备的制造及其应用技术1.本发明涉及医学图像处理技术领域，尤其涉及一种基于全局最优匹配的临床诊断报告多媒体展示方法和装置。背景技术：2.在临床影像检查时，影像科医生会出具被检查患者的文字版临床诊断报告以及该患者的医学影像，患者可以通过临床诊断报告对自己的健康状况进行了解。3.然而，一方面，影像科医生出具的文字版临床诊断报告通常是文字性的专业描述，且描述一般比较简约，普通用户通过诊断报告能够了解的信息非常局限。此外，诊断报告中的病灶一般是比较模糊和概括性的位置描述，即使提供了医学影像，普通用户也难以通过诊断报告中的描述直接从医学影像中辨别和观察到病灶区域。另一方面，直接观察医学影像需要一定的影像学知识，阅读医学影像并定位其中的肺结节等病灶存在很高的技术门槛，对于普通患者而言存在很大困难。因此，需要一种更直观、更易理解且更全面的临床诊断报告展示方法，以便于普通用户更好的观察和了解病灶的情况。技术实现要素：4.本发明提供一种基于全局最优匹配的临床诊断报告多媒体展示方法和装置，用以解决现有技术中单独的临床诊断报告信息量不足、理解有局限，而单独的医学影像的阅读门槛高、难以理解的缺陷。5.本发明提供一种基于全局最优匹配的临床诊断报告多媒体展示方法，包括：6.对临床诊断报告进行语义分析处理，得到若干个报告目标的报告特征，并对所述临床诊断报告对应的医学影像进行目标识别，得到多个影像目标的影像特征；其中，所述报告特征和所述影像特征中包含多类不同维度的病灶描述特征；7.基于任一报告目标的报告特征和任一影像目标的影像特征，以及多类病灶描述特征对应的权重，确定所述任一报告目标与所述任一影像目标之间的相似度；8.基于任一报告目标与任一影像目标之间的相似度，对所述若干个报告目标和所述多个影像目标进行全局匹配，得到所述若干个报告目标匹配的影像目标；9.基于所述若干个报告目标及其匹配的影像目标进行多媒体展示。10.根据本发明提供的一种基于全局最优匹配的临床诊断报告多媒体展示方法，所述多类病灶描述特征对应的权重是基于所述多类病灶描述特征的特征提取精度确定的；任一病灶描述特征的特征提取精度越高，所述任一病灶描述特征对应的权重越大。11.根据本发明提供的一种基于全局最优匹配的临床诊断报告多媒体展示方法，所述基于任一报告目标与任一影像目标之间的相似度，对所述若干个报告目标和所述多个影像目标进行全局匹配，具体包括：12.基于任一报告目标与任一影像目标之间的相似度，构建代价矩阵；13.将所述代价矩阵中每一行的相似度减去对应行的最小相似度后，将所述代价矩阵中每一列的相似度减去对应列的最小相似度；14.基于所述代价矩阵进行全局匹配，确定包含所述代价矩阵中所有零值的最小行列数和相应的含零行和含零列；15.若所述最小行列数小于所述报告目标的数量，则确定所述含零行和所述含零列以外的未覆盖最小相似度，将所述含零行和所述含零列以外的相似度减去所述未覆盖最小相似度，以及将所述含零行和所述含零列交集位置处的相似度加上所述未覆盖最小相似度，并基于更新后的代价矩阵进行全局匹配，直至包含所述代价矩阵中所有零值的最小行列数等于所述报告目标的数量。16.根据本发明提供的一种基于全局最优匹配的临床诊断报告多媒体展示方法，所述基于任一报告目标的报告特征和任一影像目标的影像特征，以及多类病灶描述特征对应的权重，确定所述任一报告目标与所述任一影像目标之间的相似度，具体包括：17.对所述若干个报告目标的报告特征和所述多个影像目标的影像特征进行数值转换，得到所述若干个报告目标的报告标准化特征和所述多个影像目标的影像标准化特征；18.基于任一报告目标的报告标准化特征和任一影像目标的影像标准化特征，以及所述多类病灶描述特征对应的权重，确定所述任一报告目标与所述任一影像目标之间的相似度。19.根据本发明提供的一种基于全局最优匹配的临床诊断报告多媒体展示方法，所述对临床诊断报告进行语义分析处理，得到若干个报告目标的报告特征，具体包括：20.对所述临床诊断报告中的影像描述和所述临床诊断报告中的诊断意见进行关联分析，获取所述诊断意见中与所述影像描述的任一第一语义单元相关联的第二语义单元；21.和/或，确定与所述临床诊断报告相关联的历史诊断报告，并获取所述历史诊断报告中与所述临床诊断报告的影像描述的任一第一语义单元相关联的第三语义单元；22.基于所述诊断意见中的第二语义单元和/或所述历史诊断报告中的第三语义单元，以及所述影像描述中的各个第一语义单元，进行语义分析处理，得到若干个报告目标的报告特征。23.根据本发明提供的一种基于全局最优匹配的临床诊断报告多媒体展示方法，所述多类不同维度的病灶描述特征包括：肺结节所在肺、肺结节所在肺叶、肺结节所在肺段、肺结节尺寸和肺结节类型。24.根据本发明提供的一种基于全局最优匹配的临床诊断报告多媒体展示方法，所述基于所述若干个报告目标及其匹配的影像目标进行多媒体展示，具体包括：25.基于所述若干个报告目标匹配的影像目标在对应医学影像中的坐标，依次选取所述若干个报告目标匹配的影像目标所在图层并对当前匹配的影像目标进行突出处理；26.基于所述若干个报告目标匹配的影像目标所在图层结合所述若干个报告目标的报告特征，生成所述临床诊断报告的视频流；27.根据报告模板生成与所述视频流对应的音频流，并将所述视频流和所述音频流进行音视频合成，得到所述临床诊断报告的多媒体展示视频。28.本发明还提供一种基于全局最优匹配的临床诊断报告多媒体展示装置，包括：29.报告影像处理单元，用于对临床诊断报告进行语义分析处理，得到若干个报告目标的报告特征，并对所述临床诊断报告对应的医学影像进行目标识别，得到多个影像目标的影像特征；其中，所述报告特征和所述影像特征中包含多类不同维度的病灶描述特征；30.相似度量单元，用于基于任一报告目标的报告特征和任一影像目标的影像特征，以及多类病灶描述特征对应的权重，确定所述任一报告目标与所述任一影像目标之间的相似度；31.全局匹配单元，用于基于任一报告目标与任一影像目标之间的相似度，对所述若干个报告目标和所述多个影像目标进行全局匹配，得到所述若干个报告目标匹配的影像目标；32.多媒体展示单元，用于基于所述若干个报告目标及其匹配的影像目标进行多媒体展示。33.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于全局最优匹配的临床诊断报告多媒体展示方法。34.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于全局最优匹配的临床诊断报告多媒体展示方法。35.本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述基于全局最优匹配的临床诊断报告多媒体展示方法。36.本发明提供的基于全局最优匹配的临床诊断报告多媒体展示方法和装置，通过获取临床诊断报告中各报告目标的报告特征以及医学影像中各影像目标的影像特征，基于任一报告目标的报告特征和任一影像目标的影像特征，以及多类病灶描述特征对应的权重，确定两者之间的相似度，并基于各个报告目标与各个影像目标两两之间的相似度，对各个报告目标和影像目标进行全局匹配，得到各个报告目标匹配的影像目标，可以准确地将临床诊断报告中的各个报告目标与医学影像中指示同一病灶的影像目标相关联，克服了临床诊断报告中病灶描述简略、医学影像自动识别出的影像目标假阳率高的问题；再基于临床诊断报告中包含的所有报告目标以及各个报告目标所匹配的影像目标进行多媒体展示，可以提供一种更直观、更易理解且更全面的临床诊断报告展示方法，便于普通用户更好的观察和了解病灶的情况。附图说明37.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。38.图1是本发明提供的基于全局最优匹配的临床诊断报告多媒体展示方法的流程示意图之一；39.图2是本发明提供的基于全局最优匹配的临床诊断报告多媒体展示方法的流程示意图之二；40.图3是本发明提供的多媒体展示视频的示意图；41.图4是本发明提供的基于全局最优匹配的临床诊断报告多媒体展示装置的结构示意图；42.图5是本发明提供的电子设备的结构示意图。具体实施方式43.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。44.图1是本发明提供的基于全局最优匹配的临床诊断报告多媒体展示方法的流程示意图，如图1所示，该方法包括：45.步骤110，对临床诊断报告进行语义分析处理，得到若干个报告目标的报告特征，并对所述临床诊断报告对应的医学影像进行目标识别，得到多个影像目标的影像特征；其中，所述报告特征和所述影像特征中包含多类不同维度的病灶描述特征；46.步骤120，基于任一报告目标的报告特征和任一影像目标的影像特征，以及多类病灶描述特征对应的权重，确定所述任一报告目标与所述任一影像目标之间的相似度；47.步骤130，基于任一报告目标与任一影像目标之间的相似度，对所述若干个报告目标和所述多个影像目标进行全局匹配，得到所述若干个报告目标匹配的影像目标；48.步骤140，基于所述若干个报告目标及其匹配的影像目标进行多媒体展示。49.具体地，如图2所示，获取到任一患者的临床诊断报告及其对应的医学影像后，可以分别对临床诊断报告和医学影像进行处理，以识别出上述两种载体中指示的目标以及目标的相关信息。其中，目标可以指示用户关注的任意类型的病灶，例如肺结节等。其中，可以利用自然语言处理技术对临床诊断报告进行语义分析处理，识别出临床诊断报告中对于报告目标的描述文本，并根据报告目标的描述文本确定对应目标的报告特征。对于医学影像，则可以利用计算机视觉算法，例如深度学习网络等人工智能算法对医学影像进行目标识别处理，得到医学影像中的影像目标的目标区域，并根据各个目标区域确定对应目标的影像特征。50.此处，报告目标和影像目标分别是根据临床诊断报告和医学影像获取的病灶，而报告特征和影像特征则分别是通过临床诊断报告和医学影像获取的病灶的病灶特征。由于临床诊断报告中对于病灶的描述较简略和概括化，而通过人工智能算法识别出的病灶存在假阳率高的问题，为了能正确地将临床诊断报告中描述的病灶与人工智能算法从医学影像中识别出的真实病灶关联起来，可以基于多类不同维度的病灶描述特征构造上述报告特征和影像特征，以从不同角度全面描述对应病灶。例如，可以基于肺结节所在肺、肺结节所在肺叶、肺结节所在肺段、肺结节尺寸和肺结节类型等病灶描述特征构造报告特征和影像特征。51.针对任一报告目标和任一影像目标，可以基于任一报告目标的报告特征和任一影像目标的影像特征进行相似性度量，以初步评估二者对应相同病灶的可能性。此处，可以为多类病灶描述特征设置不同的权重，以区分各类病灶描述特征在确认报告目标与影像目标是否对应同一病灶时的影响程度，从而提升报告目标与影像目标之间的匹配准确度。根据任一报告目标的报告特征和任一影像目标的影像特征，以及多类病灶描述特征对应的权重，可以确定该报告目标与该影像目标之间的相似度。52.以肺结节所在肺、肺结节所在肺叶、肺结节所在肺段、肺结节尺寸和肺结节类型等五类病灶描述特征为例，假设通过自然语言处理技术获取的任一报告目标的报告特征为(x1,x2,x3,x4,x5)，通过人工智能算法从医学影像中获取的任一影像目标的影像特征为(y1,y2,y3,y4,y5)，其中x1和y1均指示肺结节所在肺，x2和y2均指示肺结节所在肺叶，x3和y3均指示肺结节所在肺段，x4和y4均指示肺结节尺寸，x5和y5均指示肺结节类型。因此，可以分别对(x1，y1)、(x2，y2)、(x3，y3)、(x4，y4)和(x5，y5)计算特征相似度，再分别结合各类病灶描述特征的权重，可以计算该报告目标与该影像目标之间的相似度。53.考虑到临床诊断报告中对于病灶的描述较简略和概括化，而通过人工智能算法识别出的病灶存在假阳率高，因此若直接基于报告目标与影像目标之间的相似度确定报告目标与影像目标之间的匹配结果，存在匹配不准确的问题。另外，直接基于各个报告目标与各个影像目标之间的相似度确定各个报告目标与各个影像目标之间的匹配结果，其匹配结果受到匹配顺序的影响，存在匹配结果不唯一、准确性不足的问题。对此，本发明实施例利用全局匹配算法，基于任一报告目标与任一影像目标之间的相似度，对各个报告目标和各个影像目标进行全局匹配，得到全局唯一的匹配结果，从而获得各个报告目标匹配的影像目标。54.基于临床诊断报告中包含的所有报告目标以及各个报告目标所匹配的影像目标可以形成病灶结构化信息，并对该病灶结构化信息进行多媒体展示，以提供一种更直观、更易理解且更全面的临床诊断报告展示方法，便于普通用户更好的观察和了解病灶的情况。例如，可以将各个报告目标对应的影像目标在相应医学影像中框出，并在影像目标附近展示对应的报告目标的报告特征。展示方式可以是图文序列形式的报告，还可以在图文序列中插入对应的解说音频，形成视频形式的报告。55.本发明实施例提供的方法，通过获取临床诊断报告中各报告目标的报告特征以及医学影像中各影像目标的影像特征，基于任一报告目标的报告特征和任一影像目标的影像特征，以及多类病灶描述特征对应的权重，确定两者之间的相似度，并基于各个报告目标与各个影像目标两两之间的相似度，对各个报告目标和影像目标进行全局匹配，得到各个报告目标匹配的影像目标，可以准确地将临床诊断报告中的各个报告目标与医学影像中指示同一病灶的影像目标相关联，克服了临床诊断报告中病灶描述简略、医学影像自动识别出的影像目标假阳率高的问题；再基于临床诊断报告中包含的所有报告目标以及各个报告目标所匹配的影像目标进行多媒体展示，可以提供一种更直观、更易理解且更全面的临床诊断报告展示方法，便于普通用户更好的观察和了解病灶的情况。56.基于上述实施例，所述多类病灶描述特征对应的权重是基于所述多类病灶描述特征的特征提取精度确定的；任一病灶描述特征的特征提取精度越高，所述任一病灶描述特征对应的权重越大。57.具体地，在利用自然语言处理技术从临床诊断报告中获取报告目标的报告特征，以及利用人工智能算法从医学影像中获取影像报告的影像特征时，会受到较多因素干扰，例如识别载体(临床诊断报告和医学影像)本身的质量、处理算法的优劣、病灶描述特征本身的提取难度等。因此，通过上述方式获取的报告特征和影像特征中各类病灶描述特征的特征提取精度不一，而不同特征提取精度的病灶描述特征在确认报告目标与影像目标是否对应同一病灶时，其存在的误差对于判定结果的负面影响程度不一。其中，任一类病灶描述特征的特征提取精度越低，即其与真实结果之间的误差较大，该类病灶描述特征存在的误差将会对后续的匹配结果产生更大的负面影响。因此，为了提升报告目标与影像目标之间的匹配准确度，可以基于各类病灶描述特征的特征提取精度确定对应病灶描述特征的权重，且任一类病灶描述特征的特征提取精度越高，该类病灶描述特征对应的权重越大，相应地，任一类病灶描述特征的特征提取精度越低，该类病灶描述特征对应的权重越小。58.基于上述任一实施例，所述基于任一报告目标与任一影像目标之间的相似度，对所述若干个报告目标和所述多个影像目标进行全局匹配，具体包括：59.基于任一报告目标与任一影像目标之间的相似度，构建代价矩阵；60.将所述代价矩阵中每一行的相似度减去对应行的最小相似度后，将所述代价矩阵中每一列的相似度减去对应列的最小相似度；61.基于所述代价矩阵进行全局匹配，确定包含所述代价矩阵中所有零值的最小行列数和相应的含零行和含零列；62.若所述最小行列数小于所述报告目标的数量，则确定所述含零行和所述含零列以外的未覆盖最小相似度，将所述含零行和所述含零列以外的相似度减去所述未覆盖最小相似度，以及将所述含零行和所述含零列交集位置处的相似度加上所述未覆盖最小相似度，并基于更新后的代价矩阵进行全局匹配，直至包含所述代价矩阵中所有零值的最小行列数等于所述报告目标的数量。63.具体地，在对各个报告目标和影像目标进行全局匹配之前，可以基于各个报告目标与各个影像目标之间的相似度，构建代价矩阵。其中，代价矩阵的行对应各个报告目标，代价矩阵的列对应各个影像目标。64.随后，确定代价矩阵中每一行的最小相似度，并将代价矩阵中每一行的相似度减去对应行的最小相似度。然后，确定代价矩阵中每一列的最小相似度，并将代价矩阵中每一列的相似度减去对应列的最小相似度。65.基于代价矩阵进行全局匹配，确定包含代价矩阵中所有零值的最小行列数和相应的含零行和含零列。若最小行列数等于报告目标的数量，则表明当前存在全局最佳匹配，因此，可以基于当前代价矩阵中的零值对应的报告目标与影像目标的配对，确定全局匹配结果。66.若最小行列数等于报告目标的数量，表明当前不存在全局最佳匹配，因此可以确定上述含零行和含零列以外的未覆盖最小相似度(即上述含零行和含零列以外的相似度中的最小值)，并将上述含零行和含零列以外的相似度减去未覆盖最小相似度，以及将上述含零行和含零列交集位置处的相似度加上未覆盖最小相似度。随后，基于更新后的代价矩阵再次进行全局匹配。重复上述步骤，直至包含代价矩阵中所有零值的最小行列数等于报告目标的数量。67.基于上述任一实施例，所述基于任一报告目标的报告特征和任一影像目标的影像特征，以及多类病灶描述特征对应的权重，确定所述任一报告目标与所述任一影像目标之间的相似度，具体包括：68.对所述若干个报告目标的报告特征和所述多个影像目标的影像特征进行数值转换，得到所述若干个报告目标的报告标准化特征和所述多个影像目标的影像标准化特征；69.基于任一报告目标的报告标准化特征和任一影像目标的影像标准化特征，以及所述多类病灶描述特征对应的权重，确定所述任一报告目标与所述任一影像目标之间的相似度。70.具体地，为了方便计算报告目标与影像目标之间的相似度，可以对报告目标的报告特征和影像目标的影像特征进行数值转换，得到报告目标的报告标准化特征和影像目标的影像标准化特征。再基于任一报告目标的报告标准化特征和任一影像目标的影像标准化特征，以及多类病灶描述特征对应的权重，确定该报告目标与该影像目标之间的相似度。71.基于上述任一实施例，所述对临床诊断报告进行语义分析处理，得到若干个报告目标的报告特征，具体包括：72.对所述临床诊断报告中的影像描述和所述临床诊断报告中的诊断意见进行关联分析，获取所述诊断意见中与所述影像描述的任一第一语义单元相关联的第二语义单元；73.和/或，确定与所述临床诊断报告相关联的历史诊断报告，并获取所述历史诊断报告中与所述临床诊断报告的影像描述的任一第一语义单元相关联的第三语义单元；74.基于所述诊断意见中的第二语义单元和/或所述历史诊断报告中的第三语义单元，以及所述影像描述中的各个第一语义单元，进行语义分析处理，得到若干个报告目标的报告特征。75.具体地，在对临床诊断报告进行语义分析时，考虑到临床诊断报告中包含影像描述和诊断意见两部分，且该两部分文本中均包含有一定的病灶描述信息。因此，可以对影像描述和诊断意见进行关联分析，获取诊断意见中与影像描述的任一第一语义单元相关联的第二语义单元。其中，语义单元可以是分词或由逗号隔开的分句等，本发明实施例对此不作具体限定。与影像描述的任一第一语义单元相关联的第二语义单元是指描述的病灶与第一语义单元描述的病灶可能是同一病灶的语义单元。随后，可以结合影像描述的各个第一语义单元以及与第一语义单元相关联的第二语义单元进行语义分析处理，从而丰富病灶的描述信息以提取更准确的报告特征。76.此外，部分临床诊断报告还存在相关联的历史诊断报告，例如部分临床诊断报告中会提及“与xxx年xxx月xxx日片相比较”。因此，可以获取与当前临床诊断报告相关联的历史诊断报告，并获取该历史诊断报告中与当前临床诊断报告的影像描述的任一第一语义单元相关联的第三语义单元。随后，可以结合影像描述的各个第一语义单元以及与第一语义单元相关联的第二语义单元和第三语义单元进行语义分析处理，从而丰富病灶的描述信息以提取更准确的报告特征。77.基于上述任一实施例，上述多类不同维度的病灶描述特征包括但不限于：肺结节所在肺、肺结节所在肺叶、肺结节所在肺段、肺结节尺寸和肺结节类型。78.基于上述任一实施例，所述基于所述若干个报告目标及其匹配的影像目标进行多媒体展示，具体包括：79.基于所述若干个报告目标匹配的影像目标在对应医学影像中的坐标，依次选取所述若干个报告目标匹配的影像目标所在图层并对当前匹配的影像目标进行突出处理；80.基于所述若干个报告目标匹配的影像目标所在图层结合所述若干个报告目标的报告特征，生成所述临床诊断报告的视频流；81.根据报告模板生成与所述视频流对应的音频流，并将所述视频流和所述音频流进行音视频合成，得到所述临床诊断报告的多媒体展示视频。82.具体地，针对任一报告目标，确定该报告目标匹配的影像目标在医学影像中的坐标。依次选取各个报告目标匹配的影像目标所在图层并在图层中对当前匹配的影像目标进行突出处理，例如标红等。基于各个报告目标匹配的影像目标所在图层结合对应报告目标的报告特征，生成临床诊断报告的视频流。其中，该视频流的一帧可以为任一报告目标匹配的影像目标所在图层与该报告目标的报告特征形成的图文帧，如图3所示。根据报告模板生成与该视频流对应的解说音频流，并将该视频流和对应的解说音频流进行音视频合成，得到临床诊断报告的多媒体展示视频。83.下面对本发明提供的基于全局最优匹配的临床诊断报告多媒体展示装置进行描述，下文描述的基于全局最优匹配的临床诊断报告多媒体展示装置与上文描述的基于全局最优匹配的临床诊断报告多媒体展示方法可相互对应参照。84.基于上述任一实施例，图4是本发明提供的基于全局最优匹配的临床诊断报告多媒体展示装置的结构示意图，如图4所示，该装置包括：报告影像处理单元410、相似度量单元420、全局匹配单元430和多媒体展示单元440。85.报告影像处理单元410用于对临床诊断报告进行语义分析处理，得到若干个报告目标的报告特征，并对所述临床诊断报告对应的医学影像进行目标识别，得到多个影像目标的影像特征；其中，所述报告特征和所述影像特征中包含多类不同维度的病灶描述特征；86.相似度量单元420用于基于任一报告目标的报告特征和任一影像目标的影像特征，以及多类病灶描述特征对应的权重，确定所述任一报告目标与所述任一影像目标之间的相似度；87.全局匹配单元430用于基于任一报告目标与任一影像目标之间的相似度，对所述若干个报告目标和所述多个影像目标进行全局匹配，得到所述若干个报告目标匹配的影像目标；88.多媒体展示单元440用于基于所述若干个报告目标及其匹配的影像目标进行多媒体展示。89.本发明实施例提供的装置，通过获取临床诊断报告中各报告目标的报告特征以及医学影像中各影像目标的影像特征，基于任一报告目标的报告特征和任一影像目标的影像特征，以及多类病灶描述特征对应的权重，确定两者之间的相似度，并基于各个报告目标与各个影像目标两两之间的相似度，对各个报告目标和影像目标进行全局匹配，得到各个报告目标匹配的影像目标，可以准确地将临床诊断报告中的各个报告目标与医学影像中指示同一病灶的影像目标相关联，克服了临床诊断报告中病灶描述简略、医学影像自动识别出的影像目标假阳率高的问题；再基于临床诊断报告中包含的所有报告目标以及各个报告目标所匹配的影像目标进行多媒体展示，可以提供一种更直观、更易理解且更全面的临床诊断报告展示方法，便于普通用户更好的观察和了解病灶的情况。90.图5是本发明提供的电子设备的结构示意图，如图5所示，该电子设备可以包括：处理器(processor)510、存储器(memory)520、通信接口(communications interface)530和通信总线540，其中，处理器510，存储器520，通信接口530通过通信总线540完成相互间的通信。处理器510可以调用存储器520中的逻辑指令，以执行基于全局最优匹配的临床诊断报告多媒体展示方法，该方法包括：对临床诊断报告进行语义分析处理，得到若干个报告目标的报告特征，并对所述临床诊断报告对应的医学影像进行目标识别，得到多个影像目标的影像特征；其中，所述报告特征和所述影像特征中包含多类不同维度的病灶描述特征；基于任一报告目标的报告特征和任一影像目标的影像特征，以及多类病灶描述特征对应的权重，确定所述任一报告目标与所述任一影像目标之间的相似度；基于任一报告目标与任一影像目标之间的相似度，对所述若干个报告目标和所述多个影像目标进行全局匹配，得到所述若干个报告目标匹配的影像目标；基于所述若干个报告目标及其匹配的影像目标进行多媒体展示。91.此外，上述的存储器520中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom,read-only memory)、随机存取存储器(ram,random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。92.另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的基于全局最优匹配的临床诊断报告多媒体展示方法，该方法包括：对临床诊断报告进行语义分析处理，得到若干个报告目标的报告特征，并对所述临床诊断报告对应的医学影像进行目标识别，得到多个影像目标的影像特征；其中，所述报告特征和所述影像特征中包含多类不同维度的病灶描述特征；基于任一报告目标的报告特征和任一影像目标的影像特征，以及多类病灶描述特征对应的权重，确定所述任一报告目标与所述任一影像目标之间的相似度；基于任一报告目标与任一影像目标之间的相似度，对所述若干个报告目标和所述多个影像目标进行全局匹配，得到所述若干个报告目标匹配的影像目标；基于所述若干个报告目标及其匹配的影像目标进行多媒体展示。93.又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的基于全局最优匹配的临床诊断报告多媒体展示方法，该方法包括：对临床诊断报告进行语义分析处理，得到若干个报告目标的报告特征，并对所述临床诊断报告对应的医学影像进行目标识别，得到多个影像目标的影像特征；其中，所述报告特征和所述影像特征中包含多类不同维度的病灶描述特征；基于任一报告目标的报告特征和任一影像目标的影像特征，以及多类病灶描述特征对应的权重，确定所述任一报告目标与所述任一影像目标之间的相似度；基于任一报告目标与任一影像目标之间的相似度，对所述若干个报告目标和所述多个影像目标进行全局匹配，得到所述若干个报告目标匹配的影像目标；基于所述若干个报告目标及其匹配的影像目标进行多媒体展示。94.以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。95.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。96.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!