创建合成医学图像的制作方法 专利技术说明

计算;推算;计数设备的制造及其应用技术1.本文的实施例涉及医学成像。具体地但非排他性地，本文的实施例涉及创建合成医学图像。背景技术：2.本公开涉及医学成像领域。医学图像可能稀缺、昂贵，并且有时难以获得。医学图像的示例包括计算机断层摄影(ct)图像(例如，来自ct扫描)，诸如c型臂ct图像、光谱ct图像或相衬ct图像、x射线图像(例如，来自x射线扫描)、磁共振(mr)图像(例如，来自mr扫描)、超声(us)图像(例如，来自超声扫描)、荧光检查图像和核医学图像。3.us2020/00900349a1示出了一种在医学图像数据之间执行图像配准的医学图像诊断装置。其公开了在第一指定值的显示刻度上的医学数据之间的预配准，并且然后在多于一个的第二指定值的显示刻度上执行正式图像配准。第二指定值小于第一指定值。公开了通过使用相对微观结构的匹配方法针对图像的部分配准。在考虑图像中的相对宏观图像信息的情况下，在小于第一指定值的第二指定值的显示刻度上执行更精细的配准，从而实现精细和全局的图像配准。4.us2005/0146536a1公开了一种基于统计的图像混合方法，用于将多个数字子图像一起粘贴成单个最终的粘贴图像。公开了将至少两个数字子图像的像素强度混合在一起以创建其单个粘贴图像。5.在xin yi、ekta walia和paul baby的科学论文“generative adversarial network in medical imaging:a review”中公开了使用生成性对抗网络(gan)来用于创建训练数据。6.本文的实施例的目的是改进医学图像的可用性。技术实现要素：7.如上所述，获得医学图像可能是稀缺的、困难的和/或昂贵的。在该领域中需要大的医学图像库来开发(训练和测试)模型分类器，诸如用于改进的图像读取输出的机器学习模型。克服医学图像数据的这种不足的一种方式是使用合成图像数据。然而，用于生成合成数据的经典方法可以被基于不必表示真实临床数据的体模(例如，专门设计以评估、分析和/或调谐成像设备的性能的物理或合成模型)。8.本文的一些实施例的目的是通过提供用于创建合成医学图像的系统和方法来改善这种情况。9.因此，根据本文的第一方面，提供了一种用于创建合成医学图像的装置。装置包括：存储器，其包括表示指令集的指令数据；以及处理器，其被配置为与存储器通信并且执行指令集。指令集在由处理器执行时使处理器获得第一医学图像和第二医学图像，确定能够被用于将第一医学图像配准到第二医学图像上的弹性变形，以及通过对所确定的弹性变形进行加权并且将加权后的弹性变形应用于第一医学图像的一部分来创建合成医学图像。10.因此以这种方式该装置可以通过在其它(例如真实)医学图像之间进行外推来从其创建合成医学图像。与例如从模型产生的图像相比，所得到的合成图像更可能代表真实的医学图像。这是因为失真(distortion)或外推是基于在人群中实际看到的可变性而做出的(例如，变形的类型是基于实际观察到的差异而不是纯粹的假设差异)。因此，所得到的合成图像中的解剖特征的形状可能落在真实人群中看到的形状的范围内。11.根据第二方面，提供了一种创建合成医学图像的方法。该方法包括：获得第一医学图像和第二医学图像；确定能够被用于将第一医学图像配准到第二医学图像上的弹性变形；以及通过对所确定的弹性变形进行加权并且将经加权的弹性变形应用于第一医学图像的一部分来创建合成医学图像。12.根据第三方面，提供了一种包括计算机可读介质的计算机程序产品，计算机可读介质具有包含在其中的计算机可读代码，计算机可读代码被配置为使得在由合适的计算机或处理器执行时，使计算机或处理器执行第二方面的方法。附图说明13.为了更好地理解并且更清楚地示出本文的实施例可以如何被实施，现在将仅通过示例的方式参考附图，其中：14.图1示出了根据本文的一些实施例的装置；15.图2示出了根据本文的一些实施例的方法；以及16.图3示出了根据本文的一些实施例的另一种方法。具体实施方式17.图1示出了根据本文的一些实施例的用于创建合成图像的装置。该装置可以形成计算机系统(诸如膝上型计算机、台式计算机或其它设备)的一部分(例如被包括在其中)。在一些实施例中，装置100可以形成云/分布式计算布置的一部分。18.该装置包括存储器104和处理器102，存储器104包括表示指令集的指令数据，处理器102被配置为与存储器通信并且执行指令集。通常，指令集在由处理器执行时可以使处理器执行如下描述的方法200或300的任何实施例。19.更具体地，指令集在由处理器执行时致使处理器：i)获得第一医学图像和第二医学图像，ii)确定能够被用于将第一医学图像配准到第二医学图像上的弹性变形，以及iii)通过对所确定的弹性变形进行加权并且将经加权的弹性变形应用于第一医学图像的一部分来创建合成医学图像。20.处理器102可以包括一个或多个处理器、处理单元、多核处理器或模块，其被配置或被编程为以本文中描述的方式控制装置100。在特定实现中，处理器102可以包括多个软件和/或硬件模块，其各自被配置为执行本文描述的方法的单独的或多个步骤或用于执行本文描述的方法的单独的或多个步骤。处理器102可以包括一个或多个处理器、处理单元、多核处理器和/或模块，其被配置或被编程为以本文描述的方式控制装置100。在一些实现中，例如，处理器102可以包括被配置用于分布式处理的多个(例如，互操作的)处理器、处理单元、多核处理器和/或模块。本领域的技术人员应当理解，这种处理器、处理单元、多核处理器和/或模块可以被定位在不同的位置，并且可以执行本文描述的方法的单个步骤的不同步骤和/或不同部分。21.存储器104被配置为存储可以由处理器102执行以执行本文描述的方法的程序代码。备选地或附加地，一个或多个存储器104可以在装置100外部(即，与装置100分离或远离装置100)。例如，一个或多个存储器104可以是另一设备的一部分。存储器104可以被用于存储例如第一医学图像和第二医学图像、所创建的合成图像、从用户接收的用户输入、和/或由装置100的处理器102接收、计算或确定的任何其他信息和/或数据或从装置100外部的任何接口、存储器或装置接收、计算或确定的任何其他信息和/或数据。处理器102可以被配置为控制存储器104以存储第一医学图像和第二医学图像，所创建的合成图像和/或本文描述的任何其他信息。22.在一些实施例中，存储器104可以包括多个子存储器，每个子存储器能够存储一条指令数据。例如，至少一个子存储器可以存储表示指令集的至少一个指令的指令数据，而至少一个其它子存储器可以存储表示指令集的至少一个其它指令的指令数据。23.该装置可以进一步包括用户输入装置106，诸如键盘、鼠标或其他输入设备，其使能用户与该装置交互，例如，以提供以下描述的第一用户输入和/或第二用户输入。在其他实施例中，这种用户输入设备106可以远离装置100，并且装置100可以例如经由有线或无线因特网连接使用电子信号从远程用户输入设备106接收任何用户输入。24.应当理解，图1仅示出了说明本公开的该方面所需的组件，并且在实际实现中，装置100可以包括与所示组件不同的附加组件。例如，装置100可以包括用于为装置100供电的电池或其它电源，或者用于将装置100连接到电力网供电的方式。25.更详细地，第一医学图像可以包括人或动物对象(例如“真实”人或动物对象)的医学图像。例如，可以在医学检查或扫描期间获得第一医学图像。第一医学图像可以包括来自医学图像数据库的库存图像。26.备选地，第一医学图像可以包括合成医学图像(在这种示例中，本文描述的方法因此可以被用于从初始的第一合成图像和第二合成图像创建另外的合成图像)。27.第二医学图像可以包括以与第一医学图像相同或不同的方式获得的图像。例如，第二医学图像可以例如在医学检查或扫描期间被获得。第二医学图像可以包括来自医学图像数据库的库存图像。备选地，第二医学图像可以包括合成医学图像。28.第二医学图像可以包括与第一医学图像相同类型的对象(例如人或动物)的医学图像。第二医学图像可以包括与第一医学图像不同的对象，例如，第一医学图像可以包括第一人(例如，第一患者或对象)的图像，并且第二医学图像可以包括第二人(例如，第二患者或对象)的图像。29.第一医学图像和第二医学图像通常包括共同的特征或重叠的特征(诸如共同的解剖特征)。通常，第一医学图像和第二医学图像可以包括使第一医学图像能够与第二医学图像配准的一个或多个公共界标(在如下描述的步骤ii)中)。例如，第一医学图像和第二医学图像两者都可以包括相同解剖特征的图像。解剖特征的示例包括但不限于肺、心脏、心脏中的心室、脑、胎儿等。30.通常，例如，第一医学图像因此可以包括第一人的特定解剖特征，而第二医学图像可以包括第二人的相同解剖特征。31.第一医学图像和第二医学图像可以包括任何成像模态的医学图像，包括但不限于：计算机断层摄影(ct)图像(例如，来自ct扫描)诸如c型臂ct图像、光谱ct图像或相衬ct图像、x射线图像(例如，来自x射线扫描)、磁共振(mr)图像(例如，来自mr扫描)、超声(us)图像(例如，来自超声扫描)、荧光检查图像、核医学图像或任何其它类型的医学图像。32.在一些实施例中，第一医学图像可以包括与第二医学图像具有相同模态的图像。例如：第一医学图像和第二医学图像可以都是x射线图像或mri图像等。33.第一医学图像和第二医学图像可以包括二维图像。在其它实施例中，第一医学图像和第二医学图像可以包括三维图像。在一些实施例中，第一医学图像和第二医学图像可以包括穿过相应的三维图像体积的二维切片。第一医学图像和第二医学图像将通常包括多个(或一组)图像组件。例如，在第一医学图像和第二医学图像包括二维图像的实施例中，图像组件可以包括像素。例如，在第一医学图像和第二医学图像包括三维图像的实施例中，图像组件可以包括体素。34.回到装置100，在块i)中，在一些实施例中，第一医学图像和/或第二医学图像可以例如从图像数据库被获得。本领域技术人员将理解，第一医学图像和第二医学图像也可以通过其他方式被获得，例如在执行扫描时实时地被获得，或者经由因特网被获得。35.在一些实施例中，装置100可以被配置为接收包括一个或多个人口统计标准(例如，与所需的合成图像的类型有关的标准)的指示的用户输入(本文称为“第三用户输入”)。例如，可以从诸如图1中的用户输入设备106的用户输入设备获得第三用户输入。人口统计标准的实例包括但不限于年龄、性别或种族。36.在一些实施例中，该装置可以被配置为基于图像数据库中的图像中的相应的人类对象的人口统计和人口统计标准从图像的数据库中选择第一医学图像和/或第二医学图像。37.例如，用户可以提供指示他们想要生成具有特定年龄和/或性别的对象的合成图像的用户输入。在框i)中，可以使处理器从医学图像的数据库中从匹配年龄和性别的对象中选择第一医学图像和第二医学图像。以此方式，用户能够生成不同人口统计组的合成医学图像。38.在框ii)中，使处理器确定能够被用于将第一医学图像配准到第二医学图像上的弹性(例如，非刚性)变形。本领域技术人员将熟悉执行图像配准的方法和用于确定可以被用于将第一医学图像配准到第二医学图像上的弹性变形的方法。弹性变形可以包括平移、旋转和/或非线性元素(例如，弹性变形通常可以扭曲第一医学图像)。因此，弹性变形可以被描述为“变形场”。例如在t.netsch et al.的论文“towards real-time multi-modality 3-d medical image registration.”；international conference on computer vision,2001中描述了图像配准的示例方法。然而，本领域技术人员将理解这些是示例，并且适于确定弹性变形以将第一医学图像配准到第二医学图像上的任何方法可以被使用，示例包括界标配准。39.通常，弹性变形可以基于整个第一医学图像上的界标或基于第一医学图像的一部分来被确定。换言之，弹性变形场可以在第一医学图像的一部分上被确定，并且不必在整个第一医学图像上被确定。40.在框iii)中，然后使处理器通过对所确定的弹性变形进行加权(例如，将加权应用于所确定的弹性变形)并且将经加权的弹性变形应用于第一医学图像的一部分来创建合成医学图像。换言之，第一医学图像的一部分被选择并且某一比例额所确定的弹性变形被应用于该部分以便创建合成图像。如此，第一医学图像被变形或被改变以便创建具有几何上在第一医学图像和第二医学图像之间的特征的图像。41.加权可以包括0《w《1范围内的任何值w。例如：完全弹性变形的任何百分比或比例。42.变形量可以是可配置的。例如，在一些实施例中，加权可以是用户可配置的，例如装置100可以被配置为接收包括用于加权的值的第二用户输入(例如来自诸如用户输入设备106的用户输入设备)。以此方式，用户能够指定与第一医学图像相比，合成图像应当如何失真。43.在一些实施例中，指令集在由处理器执行时进一步使处理器：针对多个不同的加权重复框iii)以创建多个不同的合成图像。例如，第二用户输入可以包括多个不同的加权。以此方式，多个不同的合成图像可以以有效的方式被创建。44.如上陈述，通过对所确定的弹性变形进行加权并且将经加权的弹性变形应用于第一医学图像的一部分来创建合成图像。因此，经加权的弹性变形可以被应用于整个第一医学图像或第一医学图像的一部分。因此，在一些实施例中，使处理器创建合成图像包括使处理器将经加权的弹性变形应用于整个第一医学图像，使得所创建的合成图像与第一医学图像的大小相同。在其他实施例中，可以通过将经加权的弹性变形应用于第一医学图像的图像元素的子集来创建合成图像，所得到的合成图像仅包括图像元素的上述子集，例如，合成图像可以包括从完整的第一医学图像中选择的一部分。45.在一些实施例中，装置可以被配置为接收指示感兴趣区域的第一用户输入(例如，来自第一用户输入设备106)以及指令集，当由处理器执行时，致使处理器响应于接收第一用户输入而执行框i)、ii)和iii)。46.第一用户输入可以包括划分感兴趣区域的一组坐标。在一些实施例中，第一医学图像可以被显示给用户并且用户可以使用诸如鼠标或触摸屏的用户输入设备来选择感兴趣区域。47.在第一医学图像和第二医学图像包括三维图像的实施例中，感兴趣区域可以包括体积(本文称为“感兴趣的体积”)。以此方式，用户可以指示完整的第一医学图像的部分或区域，针对该部分或区域需要生成合成图像。例如，允许用户从较大的图像精确地和有效地生成感兴趣区域的合成图像。48.在一些实施例中，图像分割可以进一步用于进一步增强。例如，在一些实施例中，指令集在由处理器执行时进一步使处理器分割第一医学图像以产生分割。在这种实施例中，在框iii)中，使处理器创建合成图像可以包括：使处理器基于分割将经加权的弹性变形应用于包括感兴趣区域的第一医学图像的部分。49.例如，处理器可以从分割确定感兴趣区域的位置。例如，用户可以指示(在第一用户输入中)身体的区域，诸如“胸部区域”。在框iii)中，可以通过对所确定的弹性变形进行加权并且将经加权的弹性变形应用于在分割中被标记为胸部区域的第一医学图像的部分来创建合成医学图像。50.在一些实施例中，感兴趣区域包括解剖特征并且第一用户输入包括解剖特征的指示。在框iii)中，合成医学图像可以通过对所确定的弹性变形进行加权并且将经加权的弹性变形应用于如通过分割所确定的、包括解剖特征(在第一用户输入中被指示)的第一医学图像的部分来被创建。51.以此方式，用户可以指定特定的解剖特征并且以有效的方式创建解剖特征的合成图像。52.本领域技术人员将熟悉图像分割，但是简而言之，图像分割涉及提取关于在图像中捕获的对象或形状的形状/形式信息。这可以通过将图像转换为组成块或“段”来被实现，每个段中的像素或体素具有共同的属性。在一些方法中，图像分割可以包括将模型拟合到图像中的一个或多个特征。53.图像分割的一种方法是基于模型的分割(mbs)，由此目标结构(诸如心脏、脑、肺等)的三角网格以迭代方式适应于图像中的特征。分割模型通常对基于群体的外观特征和形状信息进行编码。这种信息描述了基于群体成员中的目标结构的真实生活形状的允许的形状变化。形状变化可以例如以特征模式(eigenmodes)的形式被编码，特征模式描述方式，其中模型的一部分的改变被约束或依赖于模型的其它一部分的形状。基于模型的分割已经在各种应用中被使用以从医学图像中分割一个或多个目标器官，参见例如ecabert,o.,et al.2008的论文，标题为“automatic model-based segmentation of the heart in ct images”；ieee trans.med.imaging 27(9),1189–1201。54.另一种分割方法使用机器学习(ml)模型来基于相似的像素/体素值和图像梯度将图像转换为多个组成形状(例如，块形状或块体积)。55.然而，本领域技术人员将理解，这些仅仅是示例并且可以对第一医学图像和/或第二医学图像使用任何分割方法。如上描述，分割可以被使用以标识感兴趣区域或解剖特征以便选择完整的第一医学图像的适当区域或部分，从该适当区域或部分创建合成图像。56.因此，提供了一种用于以有效的方式创建合成医学图像的装置，使能用户以针对个体的特定人口统计来创建感兴趣的特定区域或解剖特征的合成图像。57.现在转到另一实施例，如图2所示，在一些实施例中，存在用于创建合成医学图像的方法200。方法200可以由诸如装置100的装置或系统来被执行。方法200还可以由计算机程序的一个或多个块来被执行。58.简言之，在第一步骤202中，方法包括获得第一医学图像和第二医学图像。在第二步骤204中，方法包括确定能够被用于将第一医学图像配准到第二医学图像上的弹性变形。在步骤206中，方法包括通过对所确定的弹性变形进行加权并且将经加权的弹性变形应用于第一医学图像的一部分来创建合成医学图像。59.关于图1的装置100所执行的框i)详细讨论了获得第一医学图像和第二医学图像，并且其中的细节将被理解为同样地应用于方法200的步骤202。以上参照图1的装置100执行的框ii)描述了确定能够被用于将第一医学图像配准到第二医学图像上的弹性变形，并且其中的细节将被理解为同样地应用于方法200的步骤204。以上参照图1的装置100执行的框iii)描述了通过对所确定的弹性变形进行加权并且将经加权的弹性变形应用于第一医学图像的一部分来创建合成医学图像，并且其中的细节将被理解为同样地应用于方法200的步骤206。60.现在转到图3，其示出了由诸如根据一些实施例的装置100的装置实现的方法300。在实施例中，第一医学图像302和第二医学图像304被获得。第一医学图像和第二医学图像被选择使得其匹配性别、年龄和身体的区域(或地带)，如用户在来自用户输入设备106的用户输入中所指示的。第一医学图像和第二医学图像作为输入被提供给第一模块(例如第一计算机模块)306，第一模块306确定可以被用于将第一医学图像配准到第二医学图像上的弹性变形。61.第二模块308分割第一医学图像以产生分割。如上描述，分割可以使用任何分割方法来被执行。分割被使用以确定第一医学图像中的感兴趣区域或感兴趣体积(取决于第一医学图像和第二医学图像分别是二维的还是三维的)。感兴趣区域或感兴趣体积可以基于分割和指示期望的感兴趣的区域或体积的用户输入来被确定(例如，在用户输入中由用户指定的区域或体积可以使用分割被定位于图像中)。第三模块312通过对所确定的弹性变形进行加权并且将经加权的弹性变形应用于第一医学图像中的感兴趣的体积310来创建合成医学图像314。感兴趣体积可以基于来自合成数据的需要来被选择，并且可以包括整个图像。如此，用户可以输入诸如年龄、性别和解剖区域或特征之类的参数，并且快速地和可靠地创建匹配输入参数的合成图像。62.现在转到其他实施例，在另一实施例中，提供了一种包括计算机可读介质的计算机程序产品，计算机可读介质具有包含在其中的计算机可读代码，计算机可读代码被配置为使得在由合适的计算机或处理器执行时，计算机或处理器被致使以执行本文描述的一种或多种方法。诸如方法200或所述方法300。63.因此，应当理解本公开也适用于计算机程序，特别是适用于将实施例付诸实践的载体上或载体中的计算机程序。程序可以是以源代码、目标代码、代码中间源和目标代码的形式诸如部分地编译的形式，或者适于在根据本文描述的实施例的方法的实现中使用的任何其他形式。64.还应当理解，这种程序可以具有许多不同的架构设计。例如，实现方法或装置的功能的程序代码可以被细分为一个或多个子例程。在这些子例程之间分配功能的许多不同方式对于本领域技术人员来说是显而易见的。子例程可以一起被存储在一个可执行文件中以形成自包含程序。这种可执行文件可以包括计算机可执行指令，例如处理器指令和/或解释器指令(例如java解释器指令)。备选地，一个或多个或所有子例程可以被存储在至少一个外部库文件中，并且例如在运行时静态地或动态地与主程序被链接。主程序包含对至少一个子程序的至少一个调用。子例程还可以包括对彼此的函数调用。65.计算机程序的载体可以是能够承载程序的任何实体或设备。例如，载体可以包括数据存储器，诸如rom，例如cd rom或半导体rom或磁记录介质，例如硬盘。此外，载体可以是诸如电或光信号的可传输载体，其可以经由电缆或光缆或由无线电或其它手段来被传输。当程序被包含在这种信号中时，载体可以由这种电缆或其它设备或方式构成。备选地，载体可以是其中嵌入了程序的集成电路，该集成电路适于执行相关方法或在相关方法的执行中使用。66.通过研究附图、公开内容和所附权利要求，本领域技术人员可以理解和实现所公开实施例的变型。在权利要求中，词语“包括”不排除其他元素或步骤，并且不定冠词“一”或“一个”不排除多个。单个处理器或其它单元可以实现权利要求中所述的若干项的功能。在相互不同的从属权利要求中叙述某些措施的事实并不指示不能有利地使用这些措施的组合。计算机程序可以被存储/分布在适当的介质上，诸如与其他硬件一起提供或作为其他硬件的一部分提供的光存储介质或固态介质，但是也可以以其他形式被分布，诸如经由因特网或其他有线或无线电信系统。权利要求中的任何附图标记不应被解释为限制范围。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!