使用人工智能(AI)引擎的断层摄影图像处理的制作方法

计算;推算;计数设备的制造及其应用技术使用人工智能(ai)引擎的断层摄影图像处理技术领域1.本发明涉及使用ai引擎的断层摄影图像处理。断层摄影图像处理可包括使用ai引擎的断层摄影图像重建。断层摄影图像处理可包括使用ai引擎的断层摄影图像分析。背景技术：2.计算机断层摄影(ct)涉及通过在单个扫描操作(“扫描”)中收集投影数据来对目标对象(例如，患者)的内部结构进行成像。ct广泛用于医学领域以观察人体选定部分的内部结构。在理想的成像系统中，辐射射线沿着相应的直线传输路径从辐射源行进，穿过目标对象，然后到达成像系统的相应像素检测器，以产生没有伪影的体数据(例如，体积图像)。除了伪影减少之外，可以基于所得到的体数据来执行放射治疗计划(例如，分割)。然而，在实践中，重建的体数据可能包含伪影，这又导致图像退化并影响随后的诊断和放射治疗计划。技术实现要素：3.本发明提供了一种根据权利要求1所述的使计算机系统使用第一ai引擎执行断层摄影图像重建的方法。在权利要求1的从属权利要求中记载了可选特征。4.本发明提供了一种根据权利要求8所述的使计算机系统使用第二ai引擎执行断层摄影数据分析的方法。在权利要求8的从属权利要求中记载了可选特征。5.本发明提供一种包括指令集的非暂时性计算机可读存储介质，所述指令集响应于计算机系统的处理器的执行，使处理器执行如权利要求中所限定的使用ai引擎的断层摄影图像重建方法。6.本发明提供一种包括指令集的非暂时性计算机可读存储介质，所述指令集响应于计算机系统的处理器的执行，使处理器执行如权利要求中所限定的使用ai引擎的断层摄影数据分析的方法。7.本发明提供了一种被配置为使用ai引擎执行断层摄影图像重建的计算机系统，其中该计算机系统包括：如权利要求中所述的处理器和其上存储有指令的非暂时性计算机可读介质。8.本发明提供一种被配置为使用ai引擎执行断层摄影数据分析的计算机系统，其中所述计算机系统包括：如权利要求中所述的处理器和其上存储有指令的非暂时性计算机可读介质。9.对诸如“第二”，“第三”或“第四”元件之类的元件的引用被提供作为方便的标签，以将一个元件与另一个元件区分开。“第二”，“第三”或“第四”的记载不应被理解为暗示要求较低编号的元件作为权利要求的特征。10.根据本公开的一个方面，提供了用于断层摄影图像重建的示例方法和系统。一个示例方法可以包括：获得二维(2d)投影数据并使用ai引擎处理该2d投影数据，该ai引擎包括多个第一处理层，插入的后投影模块和多个第二处理层。使用ai引擎的示例处理可以包括：通过使用所述多个第一处理层处理所述2d投影数据来生成2d特征数据，使用所述后投影模块从所述2d特征数据重建第一三维(3d)特征体数据，通过使用所述多个第二处理层处理所述第一3d特征体数据来生成第二3d特征体数据。在训练阶段期间，可以一起训练多个第一处理层和多个第二处理层，以学习相应的第一权重数据和第二权重数据，其中后投影模块插入其间。11.根据本公开的另一方面，提供了用于断层摄影图像分析的示例方法和系统。一个示例方法可以包括：获得第一三维(3d)特征体数据并使用ai引擎处理所述第一3d特征体数据，所述ai引擎包括多个第一处理层，插入的前向投影模块和多个第二处理层。使用ai引擎的示例处理可以包括：通过使用所述多个第一处理层处理所述第一3d特征体数据来生成第二3d特征体数据，使用所述前向投影模块将所述第二3d体数据变换成2d特征数据，以及通过使用所述多个第二处理层处理所述2d特征数据来生成分析输出数据。在训练阶段期间，多个第一处理层和多个第二处理层可以一起训练，以学习相应的第一权重数据和第二权重数据，其中前向投影模块插入其间。附图说明12.图1是示出用于放射疗法治疗的示例工艺流程的示意图；13.图2是示出示例成像系统的示意图；14.图3是用于断层摄影图像重建和断层摄影图像分析的示例人工智能(ai)引擎的示意图；15.图4是计算机系统使用第一ai引擎执行断层摄影图像重建的示例性过程的流程图；16.图5是示出用于断层摄影图像重建的第一ai引擎的示例训练阶段和推断阶段的示意图；17.图6是计算机系统使用第二ai引擎执行断层摄影图像分析的示例性过程的流程图；18.图7是示出用于断层摄影图像分析的第二ai引擎的示例训练阶段和推断阶段的示意图；19.图8是示出用于集成断层摄影图像重建和分析的ai引擎的示例训练阶段的示意图；20.图9是用于放射疗法治疗递送的示例性治疗计划的示意图；以及21.图10是用于执行断层摄影图像重建和/或断层摄影图像分析的示例计算机系统的示意图。具体实施方式22.在下面的详细描述中，参考形成说明书的一部分的附图。在附图中，类似的符号通常表示类似的部件，除非上下文另有规定。在详细描述、附图和权利要求中描述的说明性实施例并不意味着限制。在不脱离这里呈现的主题的精神或范围的情况下，可以利用其他实施例，并且可以做出其他改变。将容易理解，如本文大体描述且在附图中说明的本公开的方面可以以广泛的各种不同配置来被布置、替代、组合和设计，所有这些配置均明确涵盖于本文中。23.图1是示出用于放射治疗的示例处理流程110的示意图。示例性过程110可以包括由一个或多个框示出的一个或多个操作、功能或动作。各种框可以被组合为更少的框、被划分为附加的框、和/或基于期望的实现方式而被消除。在图1的示例中，放射治疗通常包括各种阶段，例如：为患者执行图像数据采集的成像系统(参见110)；为患者生成适当的治疗计划(见156)的放射治疗规划系统(见130)；以及根据治疗计划递送治疗的治疗递送系统(见160)。24.更具体地，在图1中的110处，可以使用成像系统来执行图像数据采集以捕获与患者(特别是患者的解剖结构)相关联的图像数据120。可以使用任何合适的一种或多种医学图像模式，诸如计算机断层摄影(ct)，锥形束计算机断层摄影(cbct)，正电子发射断层摄影(pet)，磁共振成像(mri)，磁共振断层摄影(mrt)，单光子发射计算机断层摄影(spect)，其任何组合等。例如，当使用ct或mri时，图像数据120可以包括一系列二维(2d)图像或切片，每个表示患者解剖结构的横截面视图，或者可以包括患者的体积或三维(3d)图像，或者可以包括患者的2d或3d图像的时间序列(例如，四维(4d)ct或4d cbct)。25.在图1中的130处，可以在规划阶段期间执行放射治疗规划，以基于图像数据120生成治疗计划156。可以执行任何合适数量的治疗规划任务或步骤，例如分割、剂量预测、投影数据预测、治疗计划生成等。例如，可以执行分割以生成结构数据140，该结构数据140可以从图像数据120中标识各种段或结构。实际上，可以从图像数据120重建患者解剖结构的三维(3d)体积。将受到辐射的3d体积被称为治疗或辐射体积，其可以被分成多个较小的体积像素(体素)142。每个体素142表示与治疗体积内的位置(i，j，k)相关联的3d元素。结构数据140可以包括与患者解剖结构144、目标146、风险器官(oar)148或任何其他感兴趣结构(例如，组织，骨骼)的轮廓、形状、大小和位置有关的任何合适的数据。例如，使用图像分割，可以围绕图像的一部分绘制线，并将其标记为目标146(例如，用标签＝“前列腺”标记)。线内的所有东西将被视为目标146，而线外的所有东西将不被视为目标146。26.在另一示例中，可以执行剂量预测以生成剂量数据150，剂量数据150指定将被递送到目标146的辐射剂量(在152处表示为“dtar”)和oar 148的辐射剂量(在154处表示为“doar”)。实际上，目标146可以表示需要放射治疗的恶性肿瘤(例如，前列腺肿瘤等)，而oar 148表示可能受到治疗不利影响的邻近健康结构或非目标结构(例如，直肠，膀胱等)。目标146也被称为规划目标体积(ptv)。尽管在图1中示出了示例，治疗体积可以包括具有复杂形状和尺寸的多个目标146和oar 148。此外，尽管显示为具有规则形状(例如，立方体)，但是体素142可以具有任何合适的形状(例如，非规则的)。取决于期望的实现方式，可以基于任何附加的和/或可替换的数据来执行框130处的放射治疗规划，所述附加的和/或可替换的数据诸如处方、疾病分期、生物或放射学数据，遗传数据、化验数据、活检数据、过去的治疗或医疗历史、其任何组合等。27.基于结构数据140和剂量数据150，可以针对一组射束定向或角度生成包括2d注量图数据的治疗计划156。每个注量图指定在特定射束定向和特定时间从辐射源发射的辐射束的强度和形状(例如，如由多叶准直器(mlc)确定的)。例如，实际上，强度调制放射疗法治疗(imrt)或任何其它治疗技术可以包括在机架和治疗床角度恒定时改变射束的形状和强度。可替代地或另外地，治疗计划156可以包括机器控制点数据(例如，颌(jaw)和叶位置)，用于控制治疗递送系统的体积调制弧形疗法(vmat)轨迹数据等。在实践中，可以基于临床医生(例如，肿瘤学家，剂量测定员，规划者等)所规定的目标剂量，诸如基于临床医生的经验，肿瘤的类型和范围，患者几何形状和状况等来执行框130。28.在图1中的160处，在治疗阶段期间执行治疗递送以根据治疗计划156向患者递送辐射。例如，放射疗法治疗递送系统160可以包括可旋转机架164，辐射源166附接到该可旋转机架164。在治疗递送期间，机架164围绕支撑在结构172(例如，台)上的患者170旋转，以根据治疗计划156以各种射束定向发射放射束168。控制器162可用于检取治疗计划156并控制机架164、辐射源166和放射束168以根据治疗计划156递送放射疗法治疗。29.应理解的是，可以使用任何合适的放射疗法治疗递送系统，例如基于机械臂的系统、断层放疗系统、近距离放射治疗、sirex球、其任何组合等。此外，本公开的示例可以适用于粒子递送系统(例如，质子，碳离子等)。这样的系统可以采用随后由类似于mlc的装置成形的散射粒子束，或者采用可调节能量、斑尺寸和驻留时间的扫描束。而且，可以执行oar分割，并且可以期望施加器的自动分割。30.图2是示出示例成像系统200的示意图。尽管示出了一个示例，但是成像系统200可以具有可替换的或附加的部件，这取决于实际中期望的实现方式。在示例性附图2中,成像系统200包括辐射源210；检测器220，其具有沿投影线(定义如下；见285)与辐射源210相对设置的像素检测器；设置在辐射源210和检测器220之间的第一组风扇叶片230；以及第一风扇叶片驱动器235，用于保持风扇叶片230并设定它们的位置。31.成像系统200还可以包括设置在辐射源210和检测器220之间的第二组风扇叶片240，以及保持风扇叶片240并设置其位置的第二风扇叶片驱动器245。风扇叶片230－240的边缘可以被定向为基本上垂直于扫描轴280并且基本上平行于检测器220的跨轴(trans-axial)尺寸。风扇叶片230－240通常设置成比检测器220更靠近辐射源210。它们可以保持宽的打开以使检测器220的整个范围暴露于辐射，但是在某些情况下可以部分关闭。32.成像系统200还可以包括：机架250，其至少保持辐射源210，检测器220以及彼此成固定或已知空间关系的扇叶驱动器235和245；机械驱动器255，其使机架250围绕设置在辐射源210和检测器220之间的目标对象205旋转，其中目标对象205设置在一方面的扇叶230和240以及另一方面的检测器220之间。术语“机架”可以覆盖能够以固定或已知(但可能是可移动的)空间关系保持上述部件的一个或多个结构部件的所有配置。为了图中的直观简化，未示出机架外壳、机架支撑和风扇叶片支撑。33.另外，成像系统200可以包括控制器260、用户接口265和计算机系统270。控制器260可以电耦接到辐射源210、机械驱动器255、风扇叶片驱动器235和245、检测器220和用户接口265。用户接口265可以被配置为使用户能够至少启动对目标对象205的扫描，并且从检测器220收集测量的投影数据。用户接口265可以被配置为呈现所测量的投影数据的图形表示。计算机系统270可以被配置为执行任何合适的操作，诸如根据本公开的示例的断层摄影图像重建和分析。34.机架250可以被配置为在扫描期间围绕目标对象205旋转，使得辐射源210、风扇叶片230和240、风扇叶片驱动器235和245以及检测器220围绕目标对象205旋转。更具体地，机架250可以围绕扫描轴280旋转这些部件。如图2所示，扫描轴280与投影线285相交，并且通常垂直于投影线285。目标对象205通常以基本上固定的关系与扫描轴280对准。该结构提供了一方面的投影线285以及另一方面的扫描轴280和与其对准的目标对象205之间的相对旋转，该相对旋转由角位移值θ度量。35.机械驱动器255可以耦接到机架250以根据控制器260的命令提供旋转。检测器220上的像素检测器阵列可以是定期读取以获取射线摄影投影的数据(以下也称为“测量投影数据”)。检测器220具有彼此垂直的x轴290和y轴295。x轴290垂直于由扫描轴280和投影线285限定的平面，而y轴295平行于该同一平面。检测器220上的每个像素被分配沿x轴290和y轴295的离散(x，y)坐标。为了视觉清晰起见，在图中示出了较少数量的像素。检测器220可以以投影线285为中心以实现目标对象205的全扇形(fan)成像，可以从投影线285偏移以实现目标对象205的半扇形成像，或者可以相对于投影线285移动以允许目标对象205的全扇形和半扇形成像。36.传统上，从2d投影数据重建3d体数据(例如，表示目标对象205)的任务通常是非凡的。如这里所使用的，术语“2d投影数据”(可与“2d投影图像”互换使用)一般可以指表示使用任何合适的成像系统200透射通过目标对象205的照射辐射射线的特性的数据。实际上，2d投影数据可以作为来自成像系统200的输出的线积分集合。2d投影数据可以包含成像伪影，并且由于移动等而源自不同的3d配置。2d投影数据中的任何伪影可以影响随后的诊断和放射疗法治疗计划的质量。37.人工智能(ai)引擎38.根据本公开的示例，可以使用ai引擎来改进断层摄影图像重建和分析。如这里所使用的，术语“ai引擎”可以指能够根据任何合适的ai模型执行算法的计算机系统的任何合适的硬件和/或软件组件。根据期望的实现方式，“ai引擎”可以是基于机器学习模型的机器学习引擎，基于深度学习模型的深度学习引擎等。通常，深度学习是机器学习的子集，其中多层神经网络可用于特征提取以及模式分析和/或分类。深度学习引擎可以包括非线性数据处理的“处理层”的分层结构，其包括输入层、输出层、以及输入层和输出层之间的多个(即，两个或更多个)“隐藏”层。处理层可以从端到端(例如，从输入层到输出层)进行训练，以从输入中提取特征并对特征进行分类以产生输出(例如，分类标签或类别)。39.根据期望的实现方式，可以使用任何合适的ai模型，诸如卷积神经网络，递归神经网络，深度信念网络，生成性对抗网络(gan)，自动编码器，变分自动编码器，用于跟踪目的的长短期存储器架构，或其任何组合等。实际上，通常使用经由连接(称为“突触”，“权重数据”等)互连的处理元件(称为“神经元”，“节点”等)的网络来形成神经网络。例如，卷积神经网络可以使用任何合适的体系结构来实现，诸如unet，lenet，alexnet，resnet，vnet，densenet，octnet等。卷积神经网络的“处理层”可以是卷积层，池化层，解池化层，整流线性单元(relu)层，全连接层，丢失(loss)层，激活层，丢弃(dropout)层，转置卷积层，级联层或其任何组合等。由于与断层摄影图像数据相关联的大量数据，可以实现3d体数据的非均匀采样，诸如使用octnet，补丁/块处理等。40.更详细地，图3是示出用于使用相应ai引擎301－302的断层摄影图像重建和分析的示例系统300的示意图。如本文所使用的，术语“断层摄影图像”通常可以指通过使用诸如ct，cbct，pet，mrt，spect等一种或多种成像模式的计算机断层摄影过程生成的任何合适的数据。在实践中，断层摄影图像可以是2d(例如，描绘对象的横截面的切片图像)；3d(例如，表示对象的体数据)或4d(例如，随时间变化的3d体数据)。41.在图3中的301处(左路径)，可以训练第一ai引擎来执行断层摄影图像重建。第一al引擎301可包括形成标记为“a”的第一神经网络的第一处理层(见311)，插入后投影模块(见312)和形成标记为“b”的第二神经网络的第二处理层(见313)。网络“a”311包括表示为a1，a2，…an1的多个(n1＞1)第一处理层，而网络“b”313包括表示为b1，b2，...bn2的多个(n2＞1)第二处理层。42.如将使用图4和图5进一步描述的，第一ai引擎301可被训练成通过将输入＝2d投影图像数据(见310)变换成输出＝3d特征体数据(见340)来执行2d到3d变换。在训练阶段期间，第一处理层311和第二处理层313可以由后投影模块312链接并一起训练。这样，在随后的推断阶段期间，第一ai引擎301可以在断层摄影图像重建期间利用2d投影空间和3d体积空间中的数据。43.在图3中的302处(右路径)，可训练第二ai引擎以执行断层摄影图像分析。第二ai引擎302可以包括形成标记为“c”的第一神经网络的第一处理层(见314)，插入的前向投影模块(见315)和形成标记为“d”的第二神经网络的第二处理层(见316)。网络“c”314包括表示为c1，c2，...cm1的多个(m1＞1)第一处理层。而网络“d”316包括表示为d1，d2，...dm2的多个(m2＞1)第二处理层。44.如将使用图6和图7进一步描述的，可以训练第二ai引擎302以将输λ＝3d特征体数据(见340)变换为2d特征数据(见360)用于分析。在训练阶段期间，第一处理层314(c1，c2，...cm1)，以及第二处理层316(d1，d2，...dm2)可由前向投影模块315链接并一起训练。这样，在随后的推断阶段期间，第二ai引擎302可以在断层摄影图像分析期间利用2d投影空间和3d体积空间中的数据。实际上，网络“d”316可以被训练以基于2d特征数据360和原始2d投影数据310(见图3中的虚线)执行分析。45.根据本发明的示例，ai引擎301/302可从2d投影空间和3d体积空间两者中的数据学习。这样，与传统的重建方法相比，2d投影空间和3d体积空间之间的变换可以以基本上无损的方式执行，以降低丢失必要特征的可能性。使用本公开的示例，用于断层摄影图像重建的不同构建块可以与神经网络(即，示例“ai引擎”)组合。可行的应用领域可以包括3d体数据或2d投影数据的自动分割，对象/特征检测，分类，数据增强(例如，完成，伪影减少)，其任何组合等。46.与传统方法不同，本公开的示例利用体数据的3d空间以及投影数据的2d空间。由于2d投影数据和3d体数据是同一目标对象的两种表示，所以可以假设分析或处理在一个或另一个中可能是有益的。实际上，输出3d体数据340/350可以是具有ct(hu)值，剂量数据，分割/结构数据，变形矢量，4d时间分辨体数据，其任何组合等的3d/4d体积。输出2d特征数据360(投影)可以是x射线强度数据，衰减数据(两者都可能是能量分辨的)，其修改形式(经移除的对象)，分段，其任何组合等。47.根据本公开的示例，第一假设是断层摄影图像的原始数据包含比所得3d体数据更多的信息。实际上，对于不同的任务，例如噪声抑制，空间分辨率，边缘增强，亨氏单位(hu)精度，其任何组合等，可以稍微调整图像重构。这些稍微调整通常具有折衷，意味着对于任何随后的图像分析(例如分割)潜在有用的信息被丢失。其他信息(例如，运动)可以被重建抑制。实际上，一旦执行图像重建，仅在看到或理解3d体积图像数据中的特征(例如，金属或伪像)存在问题之后，才更详细地回顾2d投影数据。48.根据本公开的示例，第二假设是2d投影数据的分析得益于关于3d图像域的知识。典型的示例可以包括具有体积操纵的先前的重建，随后是用于例如背景减除和肿瘤检测的前向投影。与传统方法不同，2d－3d关系可以是机器学习引擎的固有部分或组成部分。处理层可以学习2d投影数据和3d体数据中的任何合适的信息以完成任务。49.根据期望的实现方式，第一ai引擎301和第二ai引擎302可以被独立地训练和部署(见图4－7)。可替换地，第一ai引擎301和第二ai引擎302可以以集成形式被训练和部署(见图8)。第一ai引擎301和第二ai引擎302可以使用计算机系统270或单独的计算机系统来实现。计算机系统可经由局域网或广域网(例如，因特网)连接到成像系统200的控制器260。如将使用图10描述的，计算机系统270可以提供规划服务(paas)以供用户(例如，临床医生)访问以执行断层摄影图像重建和/或分析。50.断层摄影图像重建51.根据本公开的第一方面，可以训练图3中的第一ai引擎301以执行断层摄影图像重建。将使用图4解释一些示例，图4是计算机系统使用第一ai引擎301执行断层摄影图像重建的示例处理400的流程图。示例性过程400可以包括由诸如410至440的一个或多个框示出的一个或多个操作、功能或动作。各种框可以被组合为更少的框，被划分为附加的框，和/或基于期望的实现方式被消除。示例过程400可以使用任何合适的计算机系统来实现，其示例将使用图10来讨论。52.(a)推断相位53.在图4中的410处，可以获得与目标对象(例如，患者的解剖结构)相关联的2d投影数据310。这里，术语“获得”通常可以指从源(例如，控制器260，存储设备，另一计算机系统等)接收2d或检取投影数据310。如使用图2所解释的，可以使用成像系统200通过围绕目标对象205旋转辐射源210和检测器220来获取2d投影数据310。54.实际上，2d投影数据310可以是来自控制器260的原始数据或经过预处理的原始数据。示例预处理算法可以包括缺陷像素校正，暗场校正，从透射积分到衰减积分的转换(例如，利用空气范数的对数归一化)，散射校正，射束硬化校正，抽取等。2d投影数据310可以是包括来自采集序列的各种预处理实例和附加投影的多通道投影数据。应当理解，可以使用任何合适的断层摄影成像模式来捕获2d投影数据310，诸如x射线断层摄影(例如，ct和cbct)，pet，spect，mrt等。尽管数字断层合成(dts)成像不是直接断层摄影方法，但是相同的原理也是适用的。这是因为dts还使用投影之间的相对几何形状来计算在成像方向上具有有限(取决于扫描弧角)分辨率的相对3d重建。55.在图4中的420，可以使用预处理网络“a”311的第一处理层(a1，a2，…an1)来处理2d投影数据310，以生成2d特征数据320。实际上，网络“a”311可包括具有卷积层、池化层等的卷积神经网络。2d投影数据310中的所有投影可使用网络“a”311或用于投影的不同子集的若干实例来处理。56.在图4中的430，可以使用后投影模块312从2d特征数据320重建第一3d特征体数据330。如这里所使用的，“后投影”一般可以指从2d投影空间到3d体积空间的变换。任何合适的重建算法可以通过后投影模块312来实现，诸如非迭代重建(例如，滤波后投影)，迭代重建(例如，基于代数和统计的重建)等。在实践中，2d特征数据320可以表示网络“a”311的多通道输出。在这种情况下，后投影模块312可以在相应通道上执行多个后投影操作，以形成具有多通道3d表示的对应3d特征体数据330。57.在图4中的440，可以使用网络“b”313的第二处理层(b1，b2，...，bn2)来处理第一3d特征体数据330，以生成第二3d特征体数据340。根据期望的实现方式，网络“b”313可以基于unet架构来实现。具有一般的“u”形，unet的左路径被称为“编码路径”或“收缩路径”，其中以若干下采样分辨率提取高阶特征。58.在一个示例中，网络“b”313可被配置成实现unet的编码路径，在这种情况下，第二处理层(b1，b2，...，bn2)可包括形成体积处理链的卷积层和池化层。网络“b”313可以被看作是找到2d投影数据310的另一表示的编码器类型。如将使用图6所讨论的，unet的右路径被称为“解码路径”或“扩展路径”，并且可以由第二ai引擎302的网络“c”314来实现。59.(b)训练阶段60.图5是示出用于断层摄影图像重建的第一ai引擎301的训练阶段和推断阶段的示例500的示意图。在训练阶段501期间，网络“a”311的第一处理层(a1，a2，...，an1)和网络“b”313的第二处理层(b1，b2，...，bn2)可以通过后投影模块312链接在一起并且一起训练以学习相关联的权重数据。基于训练数据510-520，第一ai引擎301可以学习与第一处理层(a1，a2，...，an1)相关联的第一权重数据(wa1，wa2，...，wan)，以及与第二处理层(b1，b2，...，bn2)相关联的第二权重数据(wb1，wb2，...，wbn)。61.根据期望的实现方式，网络“a”311和网络“b”313可以使用监督学习方法来训练。训练阶段501的目的是训练ai引擎301将输入训练数据＝2d投影数据510映射到输出训练数据＝3d特征体数据520，其表示期望的结果或所属体积。实际上，3d特征体数据520表示用于监督学习的标记，并且诸如轮廓的注释可以用作标记。对于每次迭代，可以使用网络“a”311处理2d投影数据510的子集或全部以生成2d特征数据530，使用后投影模块312处理2d投影数据510的子集或全部以生成3d特征体数据540，并且使用网络“b”313处理2d投影数据510的子集或全部以生成预测结果(参见550)。62.图5中的训练阶段501可以通过估计和最小化预测结果550和由输出训练数据520指定的期望结果之间的损失来引导。参见图5中560处的比较操作。这样，第一权重数据(wa1，wa2，...，wan)和第二权重数据(wb1，wb2，...，wbn)可以在训练阶段501期间被改进，例如通过损失的后向传播等。损失函数的简单示例将是真实结果和预测结果之间的均方误差，但是损失函数可以具有更复杂的公式(例如，切块(dice)损失，jaccard损失，焦点损失等)。该损失可从模型的输出或从模型内的任何离散点估算。63.取决于期望的实现方式，网络“a”311可以被训练以对2d投影数据310执行预处理，诸如通过对2d投影数据310应用卷积滤波器等。通常，网络“a”311可以学习使得网络“b”313能够生成其输出(即，第二2d特征体数据350)所必需的任何合适的特征变换。例如，使用费尔德坎普戴维斯-克莱斯(feldkamp-davis-kress或fdk)重构算法，可以训练网络“a”311来学习fdk算法的卷积滤波器部分。在这种情况下，可以训练网络“b”313以生成表示3d fdk重建输出的第二2d特征体数据350。在训练阶段501期间，网络“a”311可学习可基于2d投影空间中的2d投影数据310对线积分最佳执行的任何合适的任务。64.一旦经过训练和验证，第一ai引擎301可被部署为在推断阶段502期间对当前患者执行断层摄影图像重建。如使用图3和图4所描述的，第一ai引擎301可以在2d投影空间和3d体积空间两者中操作，以使用网络“a”311、后投影模块312和网络“b”313将输入＝2d投影数据310变换成输出＝特征体数据340。已经使用图3和图4讨论了与使用第一ai引擎301的2d到3d转换相关联的各种示例，并且为了简洁在此不再重复。65.取决于期望的实现方式，图3和图5中的网络“b”313可以表示编码网络“b”313和解码网络“c”314两者的组合。这些网络313-314共同形成自动编码网络，以找到输出＝3d特征体数据340/350形式的2d投影数据310的3d表示。一旦经过训练和验证，就可以使用网络“a”311、后投影模块212和组合网络313－314来执行断层摄影图像重建。取决于期望的实现方式，组合网络313－314的最终输出(即，特征体数据340/350)可以用作ai引擎或算法的输入以用于3d分析。组合网络313－314的输出还可以包括4d时间分辨体数据或其它合适的表示。66.断层摄影图像分析67.根据本公开的第二方面，可以训练图3中的第二ai引擎302以执行断层摄影图像分析。将使用图6解释一些示例，图6是计算机系统使用第二ai引擎302执行断层摄影图像分析的示例处理600的流程图。示例性过程600可以包括由诸如610至640的一个或多个框示出的一个或多个操作、功能或动作。各种框可以被组合为更少的框、被划分为附加的框、和/或基于期望的实现方式被消除。示例过程600可以使用任何合适的计算机系统来实现，将使用图10来讨论其示例。在下文中，从网络“c”314的角度来看，输入特征体数据340和输出特征体数据350将被用作示例“第一”和“第二”3d特征体数据"。68.(a)推断阶段69.在图6中的610，可以获得输入＝3d特征体数据340。在一个示例中，输入3d特征体数据340可以是第一ai引擎301的输出或其算法等效物。在后一种情况下，可以使用任何合适的算法，例如3d或4d重建算法等。术语“获得”通常可以指从源(例如，第一ai引擎301、存储设备、另一计算机系统等)接收或检取3d特征体数据340。输入3d特征体数据340可以基于2d投影数据210生成，所述2d投影数据210是使用成像系统200通过围绕目标对象205旋转辐射源210和检测器220而获取的。70.在图6中的620处，可以使用网络“c”314的第一处理层(c1，c2，...，cm1)处理输入3d特征体数据340，以生成输出3d特征体数据350。通常，训练网络“c”314以准备可由前向投影模块315前向投影并由网络“d”316处理的特征，例如以再现输入投影或分段。根据期望的实现方式，网络“c”314可以基于unet架构来实现。unet的右路径被称为“解码路径”或“扩展路径”，其中较低分辨率的特征被上采样到较高分辨率。71.在一个示例中，网络“c”314可被配置以实施解码路径，在此情况下，第一处理层(c1，c2，...，cm1)可以包括一个或多个卷积层和一个或多个解池化层。当与图3中的网络“b”313连接时，通过使用网络“b”313来编码和使用网络“c”314来解码，网络313-314两者都可以被看作是一种类型的编码器-解码器。在这种情况下，与网络“c”314的输入＝3d特征体数据340(即，网络“b”313的输出)相比，输出＝3d特征体数据350可以具有可能更高的(上采样的)分辨率或去噪的、更高维的特征。72.在图6中的630处，可以使用前向投影模块315将3d特征体数据350(即，网络“c”314的输出)前向投影或变换成2d特征数据360。如这里所使用的，“前向投影”通常可以指从3d体积空间到2d投影空间的变换。前向投影(也称为合成投影数据)可以包括诸如衰减路径积分(原始信号)、瑞利散射和康普顿散射的数据。前向投影模块315可以实现任何合适的算法，例如单色或多色；源驱动器或目的地驱动器；基于体素或基于blob；采用射线追踪法、蒙特卡罗法。有限元法等。73.在图6中的640处，可使用网络“d”316的第二处理层(d1，d2，...，dm2)来处理2d特征数据360以产生分析输出数据。根据由网络“d”执行的分析，可以使用任何合适的架构，诸如unet，lenet，alexnet，resnet，v-net，densenet等。下面将讨论由网络“d”316执行的示例分析。74.(b)训练阶段75.图7是示出用于断层摄影图像分析的第二ai引擎302的训练阶段和推断阶段的示例700的示意图。在训练阶段701期间，网络“c”314的第一处理层(c1，c2，...，cm1)和网络“d”316的第二处理层(d1，d2，...，dm2)可由前向投影模块315链接并一起训练以学习相关联的权重数据。基于训练数据710-720，第一ai引擎301可以学习与所述第一处理层(c1，c2，...，cm1)相关联的第一权重数据(wc1，wc2，...，wcm)，以及与第二处理层(d1，d2，...，dm2)相关联的第二权重数据(wd1，wd2，...，wdm)。76.根据期望的实现方式，网络“c”314和网络“d”316可以使用监督学习方法来训练。训练阶段701的目的是训练ai引擎302将输入训练数据＝3d特征体数据710映射到输出训练数据＝分析输出数据720，后者表示期望的结果。对于每次迭代，可以使用(a)网络“c”314来处理3d特征体数据710的子集，以生成解码的3d特征体数据730，使用(b)前向投影模块315以产生2d特征数据740，以及使用(c)网络“d”316以产生预测结果(见750)。77.类似于图5中的示例，图7中的训练阶段701可以通过估计和最小化预测结果750和由输出训练数据720指定的期望结果之间的损失来引导。参见图7中760处的比较操作。这样，第一权重数据(wc1，wc2，...，wcm)和第二权重数据(wd1，wd2，...，wdm)可以在训练阶段701期间被改进，例如通过损失的后向传播等。同样，可以使用简单的损失函数(例如均方误差)或更复杂的函数。78.取决于期望的实现方式，可以使用训练数据710-720来训练网络“d”316以生成与以下各项中的一项或多项相关联的分析输出数据：自动分割，对象检测(例如，器官或骨骼)，特征检测(例如，器官的边缘/轮廓，位于诸如颅骨的骨骼内的3d小尺度结构等)，图像伪影抑制，图像增强(例如，使用超分辨率的分辨率增强)，通过学习体积图像内容(体素)的去截断，移动2d分段的预测，对象或组织移除(例如，骨骼，患者的台或固定装置等)，其任何组合等。这些示例还将在下面进一步讨论。79.一旦被训练和验证，第二ai引擎302可以被部署为在推断阶段702期间对当前患者执行断层摄影图像分析。如使用图3和图6所描述的，第二ai引擎302可以在2d投影空间和3d体积空间两者中操作，以使用网络“c”314，前向投影模块315和网络“d”316将输入＝3d特征体数据340变换成输出＝分析输出数据370。已经使用图3和图6讨论了与使用第二ai引擎302的断层摄影图像分析相关的示例细节，并且为了简洁在此不再重复。80.集成的断层摄影图像重建和分析81.根据本公开的第三方面，可以一起训练图3中的第一和第二ai引擎301－302以执行集成的断层摄影图像重建和分析。将使用图8讨论一些示例，图8是示出用于集成的断层摄影图像重建和分析的ai引擎301－302的示例训练阶段800的示意图。82.在图8的示例中，ai引擎301－302可以被连接以形成集成的ai引擎，其包括插入有后投影模块312的网络“a”311和“b”313，随后是插入有前向投影模块315的网络“c”314和“d”316。训练阶段801的目的是训练集成的ai引擎301－302以将输入训练数据＝2d投影数据810映射到输出训练数据＝分析输出数据820，后者表示期望的结果。对于每次迭代，可以使用网络“a”311，后投影模块312，网络“b”313，网络“c”314，前向投影模块315和网络“d”316来处理2d投影数据810的子集，以生成预测结果(见830)。83.图8中的训练阶段801可以通过估计和最小化预测结果830和由输出训练数据820指定的期望结果之间的损失来引导。使用端到端训练方法，可以改进与相应网络311，313－314和316相关联的权重数据，例如通过损失的后向传播等。通过嵌入后投影模块312和前向投影模块315，训练阶段901可以由2d投影空间和/或3d体积空间中的端到端损失函数来引导。参见图8中输出训练数据820和预测结果830之间的比较860。84.在图8的示例中，来自第一ai引擎301的数据的可选副本可被传送到第二ai引擎302以“跳过”其间的处理层。这为数据流提供了捷径，例如让高频特征跳过或绕过神经网络的较低层。在一个示例中(见840)，来自网络“a”311中的一个处理层(ai)的数据的可选副本可被提供给网络“d”316中的另一处理层(dj)。实际情况将是由网络“a”311移除的散射数据跳过网络“b”313和“c”314，并再次被添加以再现由网络“b”313移除的输入投影或患者运动。这样，可以生成静态图像数据，并且网络“c”314可以再现该输入。在另一示例中(见850)，来自网络“b”313中的一个处理层(bi)的数据的可选副本可被提供给网络“c”314中的另一处理层(cj)。这种跳过方法是卷积神经网络提供的一种可能性，它提供了跳过层的可能性。85.取决于期望的实现方式，图3－8中的第一ai引擎301和/或第二ai引擎302可以被实现为促进以下中的至少一个：86.(a)标识与2d投影数据310和/或3d特征体数据340/350相关联的成像伪影，诸如当伪影的确切来源未知时。在一种方法中，可以使用ai引擎301－302来实现自动编码方法。在训练阶段701期间使用的损失函数可以用于确保2d投影数据310和分析输出数据370基本上相同，并且其间的体数据330－350具有期望的质量(例如，减少的噪声或运动伪影)。另一种方法是提供理想的重建作为标记并训练模型以根据减少的或恶化的(例如，模拟噪声或散射)投影数据预测基本上无伪影的体数据。87.(b)标识与2d投影数据310和/或3d特征体数据340/350相关联的移动区域。在这种情况下，训练数据710－720可以包括发生运动的2d/3d信息，以训练网络“d”316来标识运动区域。88.(c)标识具有与2d投影数据310和/或3d特征体数据340/350相关联的伪影的区域。在这种情况下，训练数据710－720可以包括分段的伪影以训练网络“d”316来标识具有伪影的区域。89.(d)从2d投影数据310和/或3d特征体数据340/350标识解剖结构和/或非解剖结构。通过自动分割，可以标识诸如肿瘤和器官的解剖结构。非解剖结构可包括植入物、固定装置和其他2d/3d图像区域中的材料。在这种情况下，训练数据710－720可以包括识别这种解剖结构和/或非解剖结构的数据。90.(e)减少与2d投影数据310和/或3d特征体数据340/350相关联的噪声。实际上，这可以包括标识投影序列，以供进一步处理(例如标记跟踪、软组织跟踪)。91.(f)跟踪从2d投影数据310或3d特征体数据340/350可标识的患者结构的移动。第一ai引擎301和第二ai引擎302的可行输出可以是一组投影，其中每个像素指示标识基准(或任何其它结构)中心点或分段的概率。这将为每个突起提供结构的位置。该方法的优点在于，可以在3d体积空间中组合出现概率以对每个投影进行依赖的2d预测。可以使用任何合适的跟踪方法，例如使用长短期存储器(lstm)形式的3d体数据等。92.(g)将与2d投影数据310相关联的2d切片分仓到不同的移动仓(或阶段)。通过标识仓，可以训练网络“d”316使用属于某个仓的数据。93.(h)生成具有与2d投影数据310或3d特征体数据340/350相关联的运动的4d图像数据。在这种情况下，网络“d”316可以被训练为针对(g)中的不同仓计算具有若干通道(4d)的一个体积以分辨运动。其他可能性包括在3d体积空间(例如，网络“b”313和“c”314)中使用变分自动编码器来学习变形模型。94.使用ai引擎301－302的自动分割应该与传统的手动方法形成对比。例如，通常需要高度熟练和受过训练的肿瘤学家和放射量测定专家的团队通过在图像数据120上绘制轮廓或分割来手动描绘感兴趣的结构。这些结构由医生手动检查，可能需要调整或重新绘制。在许多情况下，关键器官的分割可以是放射治疗规划的最耗时的部分。在同意这些结构之后，存在额外的劳动密集型步骤来处理这些结构以生成临床上最佳的治疗计划，该治疗计划指定治疗递送数据，诸如射束定向和轨迹，以及对应的2d注量图。这些步骤通常由于不同医师和/或临床区域之间缺乏关于构成“良好”轮廓或分割的共识而变得复杂。实际上，不同临床专家绘制结构或分段的方式可能存在巨大的变化。这种变化可能导致目标区尺寸和形状以及应当接收的最小辐射剂量的oar的精确接近度、尺寸和形状的不确定性。即使对于特定的专家，在不同的日子画分段的方式也可能有变化。95.示例治疗计划96.图9是基于图3中的ai引擎301/302的输出数据生成或改进的示例性治疗计划156/900的示意图。治疗计划156可以使用任何合适的治疗递送系统来递送，该治疗递送系统包括辐射源910以将辐射束920以各种射束角度930投射到表示患者解剖结构的治疗体积960上。97.虽然为了简单起见在图9中未示出，但是辐射源910可以包括用于加速辐射束920的线性加速器和用于修改或调制辐射束920的准直器(例如mlc)。在另一示例中，可以通过以具有各种能量和驻留时间(例如，如在质子疗法中)的特定模式在目标患者上扫描辐射束920来调制辐射束920。控制器(例如，计算机系统)可以用于根据治疗计划156控制辐射源920的操作。98.在治疗递送期间，辐射源910可以通过使用围绕患者的机架而是可旋转的，或者患者可以被旋转(如在一些质子放射疗法解决方案中)以相对于患者以各种射束定向或角度发射放射射束920。例如，可以使用被配置为执行治疗递送数据估计的深度学习引擎来选择五个等间隔的射束角度930a－e(也被标记为“a”，“b”，“c”，“d”和“e”)。实际上，可以选择任何合适数量的梁和/或台或椅子角度930(例如，五个，七个等)。在每个射束角度，放射射束920沿着从辐射源910延伸到治疗体积960的射束轴与位于患者包络外部的注量平面940(也称为交叉平面)相关联。如图9所示，注量平面940通常与等中心相距已知的距离。99.除了射束角度930a－e之外，还需要放射射束920的注量参数用于治疗递送。术语“注量参数”通常可以指辐射束920的特性，例如使用注量图(例如，对应于射束角度930a－e的950a－e)表示的其强度分布。每个注量图(例如，950a)表示在特定射束角度(例如，930a)下在注量平面940上的每个点处的辐射束920的强度。然后可以根据注量图950a－e执行治疗递送，例如使用imrt等。根据注量图950a－e沉积的辐射剂量应当尽可能地对应于根据本公开的示例生成的治疗计划。100.计算机系统101.本公开的示例可以以任何合适的方式来部署，诸如独立系统，基于web的服务规划(paas)系统等。在下文中，将使用图10来描述示例计算机系统(也称为“规划系统”)，图10是示出其中可实现断层摄影图像重建和/或断层摄影图像分析的示例网络环境1000的示意图。根据期望的实现方式，网络环境1000可以包括除图10所示之外的附加和/或可替换组件。本公开的示例可以由硬件、软件或固件或其组合来实现。102.处理器1020执行这里参照图1至图9描述的过程。计算机可读存储介质1030可以存储计算机可读指令1032，计算机可读指令1032响应于处理器1020的执行，使处理器1020执行这里描述的各种处理。计算机可读存储介质1030还可存储任何合适的数据1034，诸如与ai引擎，训练数据，权重数据，2d投影数据，3d体数据，分析输出数据等相关的数据。在图10的示例中，计算机系统1010可由多个用户设备1041－1043经由任何合适的物理网络(例如，局域网，广域网等)来访问。实际上，用户设备1041－1043可由位于任何合适的临床站点的各种用户来操作。103.计算机系统1010可以使用多层架构来实现，该多层架构包括基于web的用户界面(ui)层1021、应用层1022和数据层1023。ul层1021可被配置成提供与用户设备1041－1043交互的任何合适的接口，诸如图形用户界面(gui)、命令行接口(cli)、应用编程接口(api)调用、其任何组合等。应用层1022可被配置成实现本公开的示例。数据层1023可被配置成便于对和源自存储介质1030的数据访问。通过与ui层1021交互，用户设备1041－1043可生成并发送相应的服务请求1051－1053以供计算机系统1010处理。作为响应，计算机系统1010可以执行本公开的示例，生成服务响应1061－1063并将其发送到相应的用户设备1041－1043。104.取决于期望的实现方式，计算机系统1010可以部署在云计算环境中，在这种情况下，多个虚拟化计算实例(例如，虚拟机，容器)可以被配置为实现层1021－1023的各种功能。云计算环境可由就地部署(on-premise)的云基础设施、公共云基础设施或两者的组合来支持。计算机系统1010可以以任何合适的方式部署，包括在就地部部署的云基础架构、公共云基础架构，其组合等中的服务型部署。计算机系统1010可以表示包括多个计算机系统的计算集群，多种功能分布在该多个计算机系统中。计算机系统1010可包括图10中未示出的任何可替换和/或附加组件，诸如图形处理单元(gpu)，用于通信的消息队列，blob存储或数据库，负载平衡器，专用电路等。105.前面的详细描述已经通过使用框图、流程图和/或示例阐述了设备和/或过程的各种实施例。在这样的框图、流程图和/或示例包含一个或多个功能和/或操作的情况下，本领域的技术人员将理解，在这样的框图、流程图或示例中的每个功能和/或操作可以以广泛的硬件，软件、固件或实际上其任何组合来单独地和/或共同地实现。贯穿本公开，术语“第一”、“第二”、“第三”等不表示任何重要性顺序，而是用于将一个要素与另一个要素区分开。106.所属领域的技术人员将认识到，本文所揭示的实施例的某些方面可整体或部分等效地实施于集成电路中，作为在一个或多个计算机上运行的一个或多个计算机程序(例如，作为在一个或多个计算机系统上运行的一个或多个程序)、作为在一个或多个处理器上运行的一个或多个程序(例如，作为在一个或多个微处理器上运行的一个或多个程序)、作为固件、或作为为其实际上的任何组合，且鉴于本公开，设计电路和/或编写软件和/或固件的代码将完全在所属领域的技术人员的技能范围内。107.虽然已经参考特定的示例性实施例描述了本公开，但是将认识到，本公开不限于所描述的实施例，而是可以在所附权利要求的精神和范围内通过修改和变更来实践。因此，说明书和附图被认为是说明性的而不是限制性的。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!