训练用于放射疗法治疗计划的深度学习引擎的制作方法

计算;推算;计数设备的制造及其应用技术训练用于放射疗法治疗计划的深度学习引擎背景技术：1.放射疗法是用于减少或消除患者不想要的肿瘤的治疗的重要部分。不幸的是，所施加的放射并不会固有地区分不想要的肿瘤和任何近端的健康结构，诸如器官等。这就需要谨慎地给药，以限制对肿瘤(即靶区)的辐射。理想情况下，目标是向肿瘤递送致死性或治疗性的辐射剂量，同时保持近端健康结构的可接受剂量水平。然而，要实现这一目标，传统的放射疗法治疗计划可能是时间和劳动密集型的。技术实现要素：2.根据本公开的示例，提供了用于训练用于放射疗法治疗计划的深度学习引擎的方法和系统。一个示例方法可以包括：获得训练数据集合，该训练数据集合包括与放射疗法治疗计划任务相关联的无标签训练数据和有标签训练数据；以及配置深度学习引擎以包括：(a)包括多个处理层的主网络和(b)在插入在两个处理层之间的检查点处从主网络分支出来的深度监督网络。3.该示例方法还可以包括：通过处理训练数据实例以(a)使用主网络生成主输出数据以及(b)使用深度监督网络生成深度监督输出数据，来训练深度学习引擎以执行放射疗法治疗计划任务。深度监督输出数据可以标识与训练数据实例相关联的(多个)解剖学特征。该示例方法还可以包括：基于主输出数据或深度监督输出数据或主输出数据与深度监督输出数据两者，更新与多个处理层中的至少一些处理层相关联的权重数据。附图说明4.图1是示出用于放射疗法治疗的示例过程流的示意图；5.图2是计算机系统训练用于放射疗法治疗计划的深度学习引擎的示例过程的流程图；6.图3是示出在训练阶段用于放射疗法治疗计划的示例深度学习引擎的示意图；7.图4是示出在训练阶段用于自动分割的示例深度学习引擎的示意图；8.图5是示出可使用(多个)深度监督网络标识的示例解剖结构的示意图；9.图6是示出在训练阶段用于剂量预测的示例深度学习引擎的示意图；10.图7是示出在推断阶段用于图3中的放射疗法治疗计划的示例深度学习引擎的示意图；11.图8是基于本公开的示例生成或改进的示例治疗计划的示意图；以及12.图9是示出可实现放射疗法治疗计划的示例网络环境的示意图。具体实施方式13.在以下描述中阐述的技术细节使本领域技术人员能够实现本公开的一个或多个实施例。14.图1是示出用于放射疗法治疗的示例过程流110的示意图。示例过程110可以包括由一个或多个块所示的一个或多个操作、功能或动作。各个块可以基于期望的实现被组合成更少的块、被分成额外的块、和/或被消除。在图1的示例中，放射疗法治疗通常包括各种阶段，诸如针对患者执行图像数据采集的成像系统(参见110)；为患者生成适当的治疗计划(参见156)的放射疗法治疗计划系统(参见130)；以及根据治疗计划递送治疗的治疗递送系统(参见160)。15.更详细地，在图1中的110处，可以使用成像系统执行图像数据采集以捕获与患者(特别是患者的解剖学结构)相关联的图像数据120。可以使用任何适当的一种或多种医学图像模式，诸如计算机断层扫描(ct)、锥束计算机断层扫描(cbct)、正电子发射断层扫描(pet)、磁共振成像(mri)、磁共振断层扫描(mrt)、单光子发射计算机断层扫描(spect)、其任意组合等。例如，当使用ct或mri时，图像数据120可以包括一系列二维(2d)图像或切片，每个图像或切片表示患者的解剖结构的横断面视图，或者图像数据120可以包括患者的体积图像或三维(3d)图像，或者图像数据120可以包括患者的2d或3d图像的时间序列(例如，四维(4d)ct或cbct)。16.在图1中的130处，可以在计划阶段执行放射疗法治疗计划以基于图像数据120生成治疗计划156。可以执行任何适当数量的治疗计划任务或步骤，诸如分割、剂量预测、投射数据预测、治疗计划生成等。例如，可以执行分割以从图像数据120中生成标识各种片段或结构的结构数据140。实际上，可以根据图像数据120重建患者解剖学结构的三维(3d)体积。将会受到辐射的3d体积被称为治疗体积或照射体积，其可以被分成多个较小的体积像素(体素)142。每个体素142表示与治疗体积内的位置(i，j，k)相关联的3d元素。结构数据140可以包括与患者的解剖学结构144、靶区146、危险器官(oar)148或任何其他感兴趣的结构(例如，组织、骨骼)的轮廓、形状、大小和位置有关的任何适当的数据。例如，使用图像分割，可以围绕图像的一部分绘制一条线，并将其标记为靶区146(例如，标记为标签＝“前列腺”)。线内部的一切都将被视为靶区146，而线外部的一切不被视为靶区146。17.在另一示例中，可以执行剂量预测以生成剂量数据150，该剂量数据150指定要被递送到靶区146的辐射剂量(在152处表示为“dtar”)和用于oar 148的辐射剂量(在154处表示为“doar”)。在实践中，靶区146可以表示需要放射治疗的恶性肿瘤(例如，前列腺肿瘤)，而oar 148表示可能受到治疗的不利影响的近端健康结构或非靶区结构(例如，直肠、膀胱)。靶区146也被称为计划靶区体积(ptv)。尽管图1中示出了示例，但治疗体积可以包括具有复杂形状和大小的多个靶区146和oar 148。此外，尽管被示为具有规则形状(例如，立方体)，但体素142可以具有任何适当的形状(例如，非规则形状)。根据期望的实现，可以基于任何附加和/或备选数据(诸如处方、疾病分期、生物或放射数据、遗传数据、化验数据、活组织检查数据、过去治疗或病史、其任意组合等)来被执行块130处的放射疗法治疗计划。18.基于结构数据140和剂量数据150，可以生成治疗计划156以包括针对束取向或角度集合的2d注量图数据。每个注量图指定以特定束取向和在特定时间从辐射源发射的辐射束的强度和形状(例如，由多叶准直器(mlc)确定)。例如，在实践中，强度调制的放射疗法治疗(imrt)或任何其他(多个)治疗技术可以涉及在恒定的机架和诊察台角度下改变辐射束的形状和强度。备选地或另外地，治疗计划156可以包括机器控制点数据(例如，钳口和叶子位置)、用于控制治疗递送系统的体积调制弧形治疗(vmat)轨迹数据等。在实践中，可以基于由临床医生(例如，肿瘤学家、剂量师或计划师)诸如基于临床医生的经验、肿瘤的类型和范围、患者几何形状和状况等开处方的目标剂量来执行块130。19.在图1中的160处，根据治疗计划156，在治疗阶段执行治疗递送以向患者递送辐射。例如，放射疗法治疗递送系统160可以包括可旋转机架164，辐射源166附接到该可旋转机架164。在治疗递送期间，机架164围绕被支撑在结构172(例如，手术台)上的患者170旋转，以根据治疗计划156以各种束取向发射辐射束168。控制器162可用于取回治疗计划156并控制机架164、辐射源166和辐射束168，以根据治疗计划156递送放射疗法治疗。20.应当理解，可以使用任何适当的(多个)放射疗法治疗递送系统，诸如基于机械臂的系统、断层治疗型系统、近距离治疗、sirex spheres、其任意组合等。另外，本公开的示例可以适用于颗粒递送系统(例如，质子、碳离子)。这样的系统可以或采用散射粒子束(然后散射粒子束由类似于mlc的设备整形)，或采用能量、光斑大小和停留时间可调的扫描束。此外，可以执行oar分割，并且可能需要对治疗仪进行自动分割。21.传统上，图1中的块130处的放射疗法治疗计划是时间和劳动密集型的。例如，它通常需要一个由高技能和受过训练的肿瘤学家和剂量学家组成的团队，通过在图像数据120上绘制轮廓或分割来手动标示感兴趣的结构。这些结构由医生手动检查，这可能需要调整或重新绘制。在许多情况下，关键器官的分割可能是放射疗法治疗计划中最耗时的部分。在对结构达成一致共识之后，还有额外的劳动密集型步骤来处理这些结构，以生成指定诸如束取向和轨迹之类的治疗递送数据以及相应的2d注量图的临床最佳治疗计划。这些步骤往往因为不同的医生和/或临床区域对于什么构成“好的”轮廓或分割缺乏共识而变得复杂。在实践中，不同的临床专家绘制结构或分隔的方式可能会有巨大的差异。这种差异可能会导致靶区体积大小和形状的不确定性，以及应该接收最小辐射剂量的oar的确切接近度、大小和形状。即使对于特定的专家，在不同的日期绘制分割的方式也可能有所不同。22.根据本公开的示例，可以应用人工智能(al)技术来改善与放射疗法治疗计划相关联的各种挑战。具体地，(多个)深度学习引擎可用于使(多个)放射疗法治疗计划任务自动化。在整个本公开中，术语“深度学习”一般可以指一类方法，该类方法利用许多层或阶段的非线性数据处理来进行特征学习以及模式分析和/或分类。“深度学习模型”可以指包括输入层、输出层、以及输入层与输出层之间的多个(即，两个或更多个)“隐藏”层的非线性数据处理的“层”的层级结构。可以从端到端(例如，从输入层到输出层)训练这些层，以从输入中提取(多个)特征并对(多个)特征进行分类以产生输出(例如，分类标签或类别)。23.如本文所使用的，术语“深度学习引擎”可以指能够根据任何适当的(多个)深度学习模型执行算法的计算机系统的任何适当的(多个)硬件和/或软件组件。根据期望的实现，可以使用任何适当的(多个)深度学习模型，诸如卷积神经网络、递归神经网络、深度信念网络、生成性对抗性网络(gan)或其任意组合等。在实践中，通常使用经由连接(称为“突触”、“权重”等)相互连接的处理元件(被称为“神经元”、“节点”等)的网络形成神经网络。例如，卷积神经网络可以使用任何适当的(多个)架构来实现，诸如unet、lenet、alexnet、resnet、vnet、densenet、octnet、其任意组合等。“处理层”或“块”可以是卷积层、池化层、上池化层、修正线性单元(relu)层、全连接层、损失层、激活层、丢弃层、转置卷积层、级联层、其任意组合等。24.传统上，存在与训练用于放射疗法治疗计划的深度学习引擎相关联的许多挑战。为了实现期望的训练结果，可用的训练数据以及训练过程两者同等重要。然而，在实践中，存在与训练数据收集、管理和标记相关联的各种挑战。即使一些度量是自动估计的，训练数据通常也需要得到临床专家的批准。缺乏高质量的训练数据可能会导致次优结果，或者更糟糕的是，无法创建任何有效的深度学习引擎，这是不期望的。25.针对深度学习引擎的训练提升26.根据本公开的示例，可以提升深度学习引擎的训练过程以提高鲁棒性和效率。具体地，可以使用与放射疗法治疗计划相关联的有标签训练数据和无标签训练数据的组合来改进训练过程。这样，训练数据集可以被扩展以减少由于从有限的患者群体中过度学习特征而导致的次优训练的风险，从而改进鲁棒性和效率。为了进一步提升训练，可以根据本公开的示例实现深度监督。如本文所使用的，除了在最终输出层的监督之外，术语“深度监督”一般还可以指用于在深度学习引擎的(多个)隐藏层提供监督的任何适当的方法。27.更详细地，图2是用于计算机系统训练用于放射疗法治疗计划的深度学习引擎的示例过程200的流程图。示例过程200可以包括由诸如210至260的一个或多个块所示的一个或多个操作、功能或动作。基于期望的实现，各个块可以被组合成更少的块、被分成额外的块、和/或被消除。将使用图3来解释图2中的示例，图3是示出在训练阶段用于放射疗法治疗计划的示例深度学习引擎300的示意图。可以使用任何适当的(多个)计算机系统来实现本公开的示例，将使用图9来讨论该计算机系统的示例。28.在图2中的210处，可以获得训练数据集合，训练数据集合包括与放射疗法治疗计划任务相关联的无标签训练数据(参见图3中的310)和有标签训练数据(参见图3中的320)。本文中，术语“获得”一般可以指计算机系统从任何适当的源(例如，另一计算机系统)、存储器或数据存储装置(例如，本地或远程)等接收或取回数据。术语“有标签(labeled)”一般可以指其指示放射疗法治疗计划任务的期望输出(例如，分割)的标签是已知的数据。术语“无标签(unlabeled)”一般可以指其标签是未知的数据。29.在图2中的220处，深度学习引擎300可以被配置为包括(a)主网络和(b)一个或多个深度监督网络。本文中，术语“配置”一般可以指使用计算机系统来实现深度学习引擎300的任何适当的(多个)操作，诸如初始化表示深度学习引擎300的(多个)软件对象、基于默认或用户指定的设置来分配(多个)初始值等。在图3中的示例中，块220可以涉及配置主网络301，该主网络301包括以输入层330(表示为“in”)、多个(n)隐藏层331-334(表示为li，其中i＝1,...,n)和输出层335(表示为“out”)的形式的多个处理层。30.块220还可以涉及配置从主网络301分支出来的任何适当数量(m)的深度监督网络340-350(表示为dj，其中j＝1,…,m)。例如，第一深度监督网络(d1)340可以在第一深度监督检查点(参见341)处分支主网络301，并且在第二深度监督检查点(参见351)处分支第二深度监督网络350(m＝2的dm)。如本文所使用的，术语“深度监督网络”一般可以指从深度学习引擎的主网络(即，主路径)分支出来的处理层的网络，以便于在(多个)隐藏层进行监督。31.在图2中的230处，深度学习引擎300可以基于训练数据310-320被训练以执行放射疗法治疗计划任务。具体地，在332，可以处理每个训练数据实例以(a)使用主网络301生成主输出数据361(表示为x)以及(b)使用深度监督网络340/350生成深度监督输出数据362/363(表示为yj，其中1≤j≤m)。在334，可以基于主输出数据(x)361和/或深度监督输出数据(yj)362/363来更新与多个处理层330-335中的至少一些处理层相关联的权重数据。术语“训练数据实例”可以表示训练数据310-320的子集，诸如与过去的患者相关联的训练案例。32.根据期望的实现，主网络301可以表示被训练以执行放射疗法治疗计划任务的“特定于任务的”网络。深度监督网络(dj，1≤j≤m)可以附接到沿特定于任务的网络的任何适当的检查点，以基于该检查点处的(多个)深度特征对独立特征做出预测，并从该检查点反向传播损失。例如，深度监督输出数据362/363可以标识与训练数据实例相关联的(多个)解剖学特征。通过使用有标签训练数据和无标签训练数据310-320两者，深度学习引擎300可以学习更一般的解剖学特征。这应该与监督学习形成对比，监督学习可能会导致从有限的患者群体中过度学习，而缺乏对其他患者群体的泛化。33.在图2中的240处，在应用主网络301来执行放射疗法治疗计划任务之前，可以从深度学习引擎301中剪枝深度监督网络340/350。这样，在250-260，可以基于与(多个)当前患者相关联的计划输入数据来应用主网络301来执行放射疗法治疗计划任务，以在随后的推断阶段生成计划输出数据。由于在推断阶段应用主网络301，因此可以剪枝深度监督网络340/350以减少计算负担。在实践中，深度监督输出数据362/363可能不受临床评估的影响，并且因此遭受针对跟踪度量的不准确性。然而，在一些情况下，深度监督输出数据362/363中的一些度量或特征可以提供临床信息并且是有用的。在这种情况下，这些度量可以被记录在文档中，在临床设置中进行评估，并保存在最终的模型中。34.在实践中，选择与深度监督网络340/350相关联的(多个)深度监督特征一般不是微不足道的，并且可以由深度学习引擎300学习什么是有问题的知识来指导。如将使用图5进一步描述的，深度监督网络340/350可以生成标识以下(多个)解剖学特征的深度监督输出数据362/363：到(多个)骨骼或其他(多个)骨性标志的距离、到(多个)中线的距离、到皮肤的距离、(多个)垂直线和/或水平线的存在、偏侧性、(多个)肿瘤部位的存在和分类、定向、解剖区域、可能与当前任务无关的(多个)其他分割器官或(多个)标记关键点的存在、其任意组合等。35.如将使用图4-7进一步讨论的，深度学习引擎300可以被训练以执行任何适当的(多个)放射疗法治疗计划任务，诸如自动分割、剂量预测、治疗递送数据估计、异常器官检测、治疗结果预测、其任意组合等。在自动分割的情况下，引擎300可以被训练以基于计划输入数据＝图像数据(例如，图1中的120)来生成计划输出数据＝结构数据(例如，图1中的140)。在剂量预测的情况下，可以训练引擎300以基于输入＝图像数据、结构数据或束几何数据来生成输出＝剂量数据(例如，图1中的150)。在治疗递送数据估计的情况下，可以训练引擎210以基于输入＝结构数据和/或剂量数据等来生成输出＝治疗递送数据(例如，注量图数据、投射数据)。36.自动分割37.现在参考图4和图5，根据本公开的示例，用于自动分割的深度学习引擎的训练可以被提升。具体地，图4是示出用于在训练阶段自动分割的示例深度学习引擎400的示意图。图5是示出使用(多个)深度监督网络可标识的示例解剖学结构的示意图。深度学习引擎400(也称为“分割引擎”)的结果可以用于后续的放射疗法治疗计划任务，诸如异常器官检测、剂量预测、治疗递送数据估计等。38.(a)训练数据39.在图4中的410和420处，可以从任何适当的(多个)源，诸如系统提供者、医院、患者数据库等，获得与过去的患者相关联的有标签训练数据和无标签训练数据。有标签训练数据420可以包括输入训练数据＝医学图像数据421和输出训练数据＝结构数据422形式的对应的“标签”。有标签训练数据420可以被表示为sl＝{(x1，...，xl)，(y1，...，yl)}，其中(x1，...，xl)表示医学图像数据421，对于该医学图像数据421，被表示为(y1，...，yl)的结构数据422是已知的。40.相反，无标签训练数据410可以被表示为su＝{xl+1，...，xl+u}，其表示具有未知标签的图像数据411。实际上，无标签训练数据410可以包括具有良好质量(例如，由临床医生确定的)的医学图像数据。这样，可以扩展训练数据量以有助于半监督学习，半监督学习是监督学习和非监督学习的组合。无标签训练数据410可以提供“附加信息”，以供深度学习引擎400学习关于人体解剖学的一般规则等。41.医学图像数据411/421可以包括患者解剖结构的任何适当的(多个)解剖学部位的2d或3d图像。解剖学部位可以通用于医学图像数据，也可以特定于特定治疗。结构数据422可以标识从图像数据421可标识的(多个)结构的任何适当的轮廓、形状、大小和/或位置。示例结构可以包括(多个)靶区、(多个)oar或任何其他感兴趣的结构(例如，组织、骨骼)。在实践中，将受到辐射的患者的3d体积被称为治疗体积，其可以被划分为多个较小的体积像素(体素)。在这种情况下，结构数据422可以指定与3d体积中的每个体素相关联的类别标签(例如，“靶区”和“oar”)。结构数据422可以标识多个靶区和oar。42.例如，关于前列腺癌，输入图像数据411/421可以示出患者的前列腺区域。在这种情况下，结构数据422可以标识表示患者的前列腺的靶区，以及表示诸如直肠和膀胱的近端健康结构的oar。对于肺癌，图像数据411/421可以与肺部区域相关联。在这种情况下，结构数据422可以标识靶区＝癌变的肺组织，并且(多个)oar＝近端健康的肺组织、食道、心脏等。对于脑癌，图像数据411/421可以示出脑部区域，并且结构数据422可以标识靶区＝脑肿瘤，并且(多个)oar＝近端的视神经、脑干等。训练数据410/420可以是用户通过经验和观察生成的，或者是从针对多个过去的患者开发的过去的治疗计划中提取的。43.结构数据422可以与任何适当的分割或轮廓规则相关联。本文中，术语“规则”可以指与特定治疗计划任务相关的临床指南、策略和/或计划实践。对于自动分割，(多个)规则可以指定何时停止在外侧和在内侧勾画结构的轮廓，或者轮廓是在皮肤边界处结束还是延伸到脂肪组织。更先进的(多个)规则可以指定结构(例如，脊髓)的切割面的选择、在器官的不同侧应用不同的裕量(例如，器官内侧比器官外侧有更多裕量)等。在实践中，可以使用任何适当的数据增强方法来预处理训练数据410-420，以改进数据质量，诸如旋转、翻转、平移、缩放、噪声添加、裁剪、其任意组合等。44.可以使用与多个成像模式(诸如mri、ct、pet等)相关联的训练数据。在实践中，无标签训练数据410可以提供对于主网络401学习关于患者解剖学的一般规则有用的附加信息。附加信息仅在训练阶段需要。例如，可以在训练期间使用mri图像数据和ct图像数据，但在推断阶段仅使用ct图像数据(将使用图6来讨论)。根据期望的实现，在训练阶段，有标签训练数据420可以与无标签训练数据410混合。备选地或另外地，在使用有标签训练数据420进一步训练主网络401之前，可以在预训练阶段将无标签训练数据410用于主网络401。在实践中，在训练期间使用有标签数据和无标签数据两者一般可以被称为半监督学习。这样的半监督方法在可用的有标签训练数据很少和/或产生有标签训练数据(例如，由临床医生手动)相对昂贵的情况下是有用的。45.(b)主网络46.在图4中的430-440处，深度学习引擎400可以被配置为包括用于放射疗法治疗计划的主网络401。主网络401可以包括输入层(参见430)、输出层(参见440)和表示为li(i＝1，...，n)的多个(n)“隐藏”处理层(参见431-439)。可以实现任何适当的深度学习模型，诸如图4中的示例基于unet的架构或任何备选架构。在这种情况下，主网络401可以包括收缩路径(左侧)和扩展路径(右侧)。收缩路径包括重复应用的卷积，然后是relu层和最大池化层。扩展路径中的每个步骤可以包括特征图的上采样或转置卷积，然后是卷积等。47.具体地，主网络401可以包括分布在三个分辨率级别上的卷积层(参见431、433、435、437、439)、下采样层(参见432、434)和上采样层(参见436、438)。参考图4中的图例，每个卷积层还可以包括用于归一化、卷积、激活、丢弃、其任意组合等的多个块。参考图4中的虚线，可以将来自一个处理层的数据的可选副本传输到另一个处理层，以在其间“跳过”(多个)处理层。在一个示例中，可以将来自收缩路径上的一个处理层(l2)的数据的可选副本提供给扩展路径上的另一个处理层(l9)。参见对应的432和439以及434和437。48.每个第i个处理层(li)可以被配置为基于相关联的权重数据(表示为wi)，从先前层(li-1)的输出提取特征数据(表示为fi)。在训练阶段开始时，可以将权重数据(wi)初始化为任何适当的值。在一个示例中，可以将随机值用于权重数据。在另一示例中，深度迁移学习可以用于在预训练过程期间初始化权重数据(wi)以进一步加速训练阶段。根据期望的实现，每个第i个处理层(li)可以被配置为与激活功能、丢弃、级联、批归一化、其任意组合等有关的(多个)其他操作。49.在i＝1的情况下，第一处理层(l1)431可以处理来自输入层430的输入特征数据＝f0，以基于权重数据(wi)生成输出特征数据＝f1。在i＝3的情况下，第三处理层(l3)433可以基于权重数据(w3)和来自第二层432的输入特征数据＝f2来确定输出特征数据＝f3。在i＝7的情况下，第七处理层(l7)437可以基于权重数据(w7)和由相应的第四层和第六层(参见434、436)生成的输入＝(f4、f6)来确定输出＝f7。本文中，术语“确定”或“处理”一般可以指由处理层执行的任何适当的(多个)操作，诸如卷积、上采样、下采样、归一化、激活、丢弃、softmax分类、其组合等。主网络401的输出被表示为x(参见471)。50.(c)(多个)深度监督网络51.在图4中的450和460处，深度学习引擎400可以配置有多个深度监督网络(例如，m＝2)。每个深度监督网络(表示为dj)在插入在两个连续处理层(li和li+1)之间的检查点处从主网络401分支出来。在图4的示例中，第一深度监督网络(d1)450在处理层(l5)435之后从主网络401分支出来。第二深度监督网络(d2)450在处理层(l3)433之后从主网络401分支出来。52.深度监督网络450-460可以被配置为向主网络401的“隐藏”处理层431-438提供直接监督。这应该与仅在主网络401的输出层440提供监督并随后将该监督传播回所有较早的处理层431-439的方法形成对比。任何适当的模型都可以被用于每个深度监督网络(dj)，诸如沿着主网络401附接到任何深度监督检查点的神经网络等。在实践中，深度监督网络(dj)应该相对浅，使得学习效果传播到主网络401中的较早层。53.深度监督网络(dj)的配置可以是任务依赖的。例如，如果第j个深度监督任务是生成地图数据(例如，距离地图数据)，则对应的深度监督网络(dj)可以包括卷积块和上采样(反卷积)块。如果深度监督任务是分类，则深度监督网络(dj)可能更依赖于密集块。在图4的示例中，第一深度监督网络(d1)450可以包括卷积块451、上采样块452和输出块453。第二深度监督网络(d2)460可以包括卷积块461、密集块462-463和输出块464。输出块453/464可以是softmax激活块等的形式。相应的深度监督网络450-460的深度监督输出472-473被表示为y1和y2。54.(d)主输出数据和深度监督输出数据55.在图4中的471-473处，训练阶段可以涉及确定主输出数据(x)和深度监督输出数据(y1，y2)。具体地，主网络401可以使用处理层430-440来处理来自训练数据410/420的训练数据实例，以生成主损失(x)；参见471。第一深度监督网络450可以处理训练数据实例以生成第一深度监督损失(y1)，并且第二深度监督网络460可以生成第二深度监督损失(y2)；参见472-473。56.深度监督网络450-460可以被配置为估计或预测深度监督输出数据472-473，深度监督输出数据472-473表示与图4中的自动分割任务相关的解剖学特征。这样，深度监督输出数据472-473(也称为深度监督损失)可以被反向传播以改进主网络401的较早的处理层。该方法表示迁移学习(在迁移学习中网络在特定于任务的训练之前被训练以学习相关但独立的任务)和监督学习(用于基于有标签训练数据420的特定于任务的训练)的混合。57.图5中示出了一些深度监督特征，该图是示出使用深度监督网络450-460可标识的示例解剖学特征的示意图。在图5的示例中，深度监督网络450-460可以被配置为估计以下特征：到骨骼的距离(参见510-512)、到中线的距离(参见520-522)、到皮肤的距离(参见530-531)、垂直线和/或水平线的存在(参见540-542)、到植入物的距离(参见550-552)、肿瘤部位的侧向性(参见560-561)、肿瘤部位的存在(参见570-571)、(多个)肿瘤部位的分类(参见580)、患者的定向(参见590)、标识特定解剖区域的图像分类(参见595)、其任意组合等。定向可以是腿在前或头在前、仰卧/俯卧等。58.使用深度监督网络450-460，从训练数据410-420可标识的(多个)解剖学特征可以用于以无监督方式训练主网络401。深度监督功能的选择一般不是微不足道的，而且是特定于领域的。深度监督特征的选择可以由关于主网络401要学习什么是有问题的专家知识来指导。例如，如果期望让主网络401来处理俯卧和仰卧定向两者，则训练数据410-420应该包括这两种足够的示例。59.(e)权重数据更新60.在图4中的480处，级联层可以被配置为基于输出数据(x，y1，y2)来确定级联损失(z)。根据期望的实现，基于相应的权重(∝，β1，β2)，级联损失(z)可以被计算为(x，y1，y2)的加权组合，如下所示：[0061][0062]可以使用用于在输出数据471-473之间分配权重的任何适当的方法。在实践中，存在与深度监督损失和输出损失的特征选择和调度相关联的各种挑战，即，来自使用深度监督网络450-460估计的独立度量的损失与来自主网络401的输出损失之间的平衡是什么。一个示例是分阶段增加有标签训练数据410的权重，以便随时间减少无标签训练数据410的影响。另一示例是“按点”增加深度监督网络450-460的输出权重(β1，β2)，以改进模型泛化。这样，可以在训练期间增加输出权重(β1，β2)，使得模型不会陷入局部极小，并且最终模型将尽可能地泛化。[0063]根据期望的实现，所有可用的损失(有标签和/或无监督的)可以级联。当有标签数据不可用时，该损失将不会被使用。这种对损失的处理在深度学习训练库(诸如keras(即，开源训练库)等)中很容易获得。如果标签不可用，则将x的权重设置为零(即，∝＝0)将实现相同的结果，因为通过网络传播将没有错误。[0064]对于有标签训练数据410，可以使用相对简单的损失函数，诸如由输出结构数据422指定的真实结果(即，期望结果)与预测结果之间的均方误差。备选地，可以使用更复杂的损失函数，诸如骰子损失(dice loss)、贾卡德损失、焦损等。可以在输出层440或主网络401的任何离散点处估计损失。[0065]对于无标签训练数据410，没有针对对应的输入图像数据411的已知标签。在这种情况下，可以通过估计(多个)独立特征来生成深度监督损失472-473。每个深度监督损失(yj)可以从特定检查点反向传播，对应的深度监督网络(dj)在该特定检查点处从主网络401分支出去。这样，主网络401的较早层可以通过从那些检查点起的反向传播而从深度监督网络450-460学习相关的解剖学特征。它们还用作准备主网络401以处理与主网络401被训练以执行的放射疗法治疗任务＝分割相关的医学图像数据的类型的方式。[0066]在j＝1的情况下，第一深度监督网络(d1)450在处理层(l5，l6)435-436之间的第一检查点处从主网络401分支出去。这样，第一深度监督损失(y1)可以从第一检查点反向传播，以更新子集＝处理层431-435的权重数据＝(w1，w2，w3，w4，w5)。在j＝2的情况下，第二深度监督网络(d2)460从处理层(l3，l4)433-434之间的第二检查点开始。这样，第二深度监督损失(y2)可以从该第二检查点反向传播以更新子集＝处理层431-433的权重数据＝(w1，w2，w3)。可以重复上述反向传播过程，直到深度学习引擎400被完全训练以实现期望的结果。[0067]剂量预测和其他计划任务[0068]图6是示出在训练阶段用于剂量预测的示例深度学习引擎600的示意图。在该示例中，深度学习引擎600可以被训练以根据可使用的(多个)适当约束来执行剂量预测，诸如将剂量预测限制在(多个)靶区附近或特定剂量水平。注意，使用图4-5讨论的各种示例也适用于图6中的剂量预测，为了简洁起见，将不再重复。[0069](a)训练数据[0070]在图6中的610和620处，可以从任何适当的(多个)源，诸如系统提供者、医院、患者数据库等，获得与过去的患者相关联的有标签训练数据和无标签训练数据。无标签训练数据610可以包括图像数据和/或结构数据611。有标签训练数据620可以包括图像数据和/或结构数据621，以及剂量数据622形式的已知标签(即，期望结果)。与图4中的示例类似，无标签训练数据610可以提供“附加信息”以允许深度学习引擎学习例如关于人体解剖学的一般规则。[0071]在实践中，剂量数据622(例如，3d剂量数据)可以指定针对靶区(表示为“dtar”)和oar(表示为“doar”)的剂量分布。例如，对于前列腺癌，剂量数据622可以指定针对表示患者的前列腺的靶区的剂量分布，以及针对表示诸如直肠或膀胱的近端健康结构的oar的剂量分布。实际上，剂量数据622可以指定针对整个3d体积的剂量分布，而不仅仅是靶体积和oar体积。根据期望的实现，剂量数据622可以包括空间生物效应数据(例如，分次校正剂量)和/或仅覆盖治疗体积的一部分。除了结构数据621之外，附加输入数据可以包括与治疗递送系统相关联的束几何数据。[0072]可以使用任何适当的预测规则来生成剂量数据622，诸如与器官保留、靶区覆盖(和剂量处方)和正常组织剂量有关的规则。另外地或备选地，(多个)预测规则可以涉及治疗技术(例如，imrt、vmat)、癌症类型、机器规格(例如，能量和现场形状)、或用于现场布置的临床实践。所有这些都将对预测的剂量数据产生影响。(多个)预测规则可以从训练数据620隐式地学习，或者可选地作为针对某些类型的深度学习引擎的输入参数被提供。[0073](b)主网络和深度监督网络[0074]在630-640，用于剂量预测的深度学习引擎600可以被配置为包括主网络601。类似于图4中的示例，主网络601可以包括输入层(参见630)、输出层(参见640)和表示为li(i＝1，...，n)的多个(n＝9)“隐藏的”处理层(参见631-639)。可以实现任何适当的深度学习模型，诸如图6中的基于unet的架构。在这种情况下，主网络601可以包括卷积层(参见631、633、635、637、639)、下采样层(参见632、634)和上采样层(参见636、638)。[0075]在650-660，用于剂量预测的深度学习引擎600可以被配置为包括表示为d1和d2的深度监督网络。在图6中的示例中，具有层651-654的第一深度监督网络(d1)650在处理层(l4)636之后的第一检查点处从主网络601分支出来。具有层661-663的第二深度监督网络(d2)660在处理层(l6)636之后的第二检查点处从主网络601分支出来。[0076]在图6中的671-673处，训练阶段可以涉及确定主输出数据(x)和深度监督输出数据(y1，y2)。具体地，主网络601可以使用处理层630-640来处理来自训练数据610/620的训练数据实例，以生成主损失(x)；参见671。第一深度监督网络650可以处理训练数据实例以生成第一深度监督损失(y1)，并且第二深度监督网络660可以生成第二深度监督损失(y2)；参见672-673。[0077]在一个示例中，深度监督网络650-660可以被配置为估计或预测深度监督输出数据672-673，深度监督输出数据672-673表示与图6中的示例中的剂量预测任务相关的解剖学特征。在剂量预测期间，图5中的示例也适用。在另一示例中，如果信息可用，则深度监督网络650-660可以估计或预测现场布置形式的深度监督输出数据672-673。这项任务通常与患者的解剖学高度相关，因为临床医生试图设置现场以指导治疗计划(即，治疗靶区，避免关键器官)。其他示例深度监督输出数据672-673可以包括处方、分次的数量、光子/电子治疗、治疗期间包含大剂量、vmat/imrt治疗、其任意组合等。[0078](c)反向传播[0079]在图6中的680处，级联层可以被配置为基于输出数据(x，y1，y2)确定级联损失(z)。根据期望的实现，可以基于对应的权重(∝，β1，β2)将级联损失(z)计算为(x，y1，y2)的加权组合，诸如同样，可以使用用于在输出数据671-673之间分配权重的任何适当的方法。一个示例是分阶段增加有标签训练数据610的权重，以便随时间降低无标签训练数据620的影响。[0080]对于有标签训练数据620，可以使用相对简单的损失函数，诸如由输出结构数据622指定的真实结果(即，期望结果)与预测结果之间的均方误差。备选地，可以使用更复杂的损失函数。可以在输出层640或主网络601的任何离散点处估计损失。对于无标签训练数据610，没有针对输入图像数据611的已知标签。在这种情况下，深度监督损失(yj)可以从特定检查点反向传播，深度监督网络(dj)在该特定检查点处从主网络601分支出来。[0081]在j＝1的情况下，第一深度监督网络(d1)650在处理层之后的第一检查点处从主网络601分支出来。这样，第一深度监督损失(y1)可以从第一检查点反向传播，以更新子集＝处理层631-636的权重数据＝(w1，w2，w3，w4，w5，w6)。在j＝2的情况下，第二深度监督网络(d2)660从处理层(l4)634之后的第二检查点开始。这样，第二深度监督损失(y2)可以从该第二检查点反向传播以调整权重数据。这样，主网络601的较早层可以通过从那些检查点起的反向传播而从深度监督网络650-660学习相关的解剖学特征。可以重复上述反向传播过程，直到深度学习引擎600被完全训练以实现期望的结果。[0082]推断阶段[0083]图7是示出在推断阶段700用于图3中的放射疗法治疗计划的示例深度学习引擎的示意图。一旦经过训练和验证，深度监督网络340-350就可以被剪枝或移除。这样，可以应用主网络301来执行放射疗法治疗计划，以基于与(多个)当前患者相关联的计划输入数据710来生成计划输出数据720。在实践中，“当前患者”可以是在推断阶段700期间正在同时被处理的多个患者中的一个患者。例如，可以在捕获图像数据并将其传输到诸如图像存档和通信系统(pacs)等存储系统时执行自动分割。[0084]对于图4中的自动分割示例，深度监督网络450-460可以被剪枝。在随后的推断阶段，可以应用主网络401来执行自动分割，以基于计划输入数据＝(多个)当前患者的图像数据710来生成计划输出数据＝患者结构数据720。对于图6中的剂量预测示例，可以剪枝深度监督网络650-660。在随后的推断阶段期间，可以应用主网络601来执行剂量预测，以基于计划输入数据＝(多个)当前患者的图像数据和/或结构数据710来生成计划输出数据＝剂量数据720。[0085]根据期望的实现，在图3中的训练阶段期间，可以混合无标签训练数据310和有标签训练数据320来训练深度学习引擎300。备选地，可以在预训练期间使用无标签训练数据310来训练深度学习引擎300，随后使用有标签训练数据320进行进一步训练以实现期望的训练结果。此外，无标签训练数据310和有标签训练数据320可以包括使用多个成像模式(例如，ct和mri)采集的图像数据，但是计划输入数据710可以仅包括使用成像模式中的至少一种(例如，ct)采集的图像数据。换句话说，在训练期间可以使用ct图像和mri图像，但在放射疗法治疗计划期间可以仅使用ct图像。[0086]除了自动分割和剂量预测之外，本公开的示例还可以被实现用于其他放射疗法治疗计划任务，诸如治疗递送数据估计、治疗结果预测等。关于治疗递送数据估计，所估计的治疗递送数据(即，输出数据)可以包括结构投射数据、注量图数据等。例如，深度学习引擎可以被训练以执行结构投射数据，诸如基于图像数据、结构数据、剂量数据或其任意组合。结构投射数据可以包括与治疗递送系统的束取向和机器轨迹有关的数据。[0087]在另一示例中，本公开的示例可以被实现为训练深度学习引擎以执行注量图估计，诸如针对束取向/轨迹集合的2d注量图、机器控制点数据(例如，钳口和叶片位置、机架和诊察台位置)。使用图8将进一步解释注量图。可以使用任何额外的和/或备选的训练数据，诸如现场几何数据、监控单元(由机器计数的辐射量)、计划估计的质量(可接受与否)、每日剂量处方(输出)、现场大小或其他机器参数、诊察台位置参数或患者内的等中心位置、治疗策略(是否使用运动控制机构、提升或不提升)、治疗或不治疗决定。[0088]在实践中，医学图像数据一般包括患者解剖结构的局部特征数据和全局特征数据，其中术语“局部”和“全局”本质上是相对的。例如，局部特征数据可以提供患者解剖学结构的微观视图，诸如组织纹理、结构是否具有限制边界等。相反，全局特征数据可以提供患者解剖学结构的相对宏观视图，诸如解剖结构位于哪个区域(例如，前列腺)、取向(例如，向左、向右、向前、向后)。[0089]在实践中，深度学习方法应该与已经应用于例如自动分割的机器学习方法形成对比。一般而言，这些方法涉及从图像中提取(手工设计的)特征向量，诸如针对每个体素等。然后，可以将特征向量用作机器学习模型的输入，该机器学习模型对每个体素属于哪个类别进行分类。然而，这样的机器学习方法通常不利用完整的图像数据，并且可能需要额外的约束。另一个挑战是，这些方法依赖于高维的手工设计的特征，以便准确地预测每个体素的类别标签。解决高维分类问题的计算代价很高，并且需要大量的存储器。一些方法使用低维特征(例如，使用降维技术)，但它们可能会降低预测精度。[0090]示例治疗计划[0091]图8是基于本公开的示例生成或改进的示例治疗计划的示意图。可以使用包括辐射源810的任何适当的治疗递送系统来递送治疗计划156，以将辐射束820以各种束角度830投射到治疗体积860上，该治疗体积860表示患者的解剖学结构。尽管为简单起见未在图8中示出，但辐射源810可以包括用于加速辐射束820的线性加速器和用于修改或调制辐射束820的准直器(例如，mlc)。在另一示例中，可以通过以具有各种能量和停留时间的特定模式穿过靶区患者扫描辐射束820来调制(例如，如在质子治疗中)辐射束820。控制器(例如，计算机系统)可用于根据治疗计划156控制辐射源820的操作。[0092]在治疗递送期间，通过使用围绕患者的机架辐射源810可以是可旋转的，或者可以旋转患者(如在一些质子放射治疗解决方案中)以发射相对于患者的各种束取向或角度的辐射束820。例如，可以使用被配置为执行治疗递送数据估计的深度学习引擎来选择五个等间距的束角度830a-e(也标记为“a”、“b”、“c”、“d”和“′e”)。在实践中，可以选择任何适当数量的束和/或桌子角度或椅子角度830(例如，五个、七个)。以每个束角度，辐射束820与沿着从辐射源810延伸到治疗体积860的束轴线位于患者包络外部的注量面840(也称为交叉面)相关联。如图8所示，注量面840一般位于距等中心的已知距离处。[0093]除了束角度830a-e之外，治疗递送还需要辐射束820的注量参数。术语“注量参数”一般可以指辐射束820的特性，诸如辐射束的强度分布，如使用注量图所表示的(例如，对应的束角度830a-e的850a-e)。每个注量图(例如，850a)表示以特定束角度(例如，830a)在注量面840上的每个点处的辐射束820的强度。然后可以根据注量图850a-e，诸如使用imrt等来执行治疗递送。根据注量图850a-e沉积的辐射剂量应该尽可能多地对应于根据本公开的示例生成的治疗计划。[0094]计算机系统[0095]本公开的示例可以以任何适当的方式来部署，诸如独立系统、基于web的计划即服务(paas)系统等。在下文中，将使用图9来描述示例计算机系统(也称为“计划系统”)，图9是示出可以实现(多个)深度学习引擎的训练和/或部署的示例网络环境900的示意图。根据期望的实现，网络环境900可以包括图9中所示的另外的和/或备选的组件。本公开的示例可以由硬件、软件或固件或其组合来实现。[0096]处理器920将执行本文参考图1至图8描述的过程。计算机可读存储介质930可以存储计算机可读指令932，该计算机可读指令932响应于处理器920的执行而使处理器920执行本文描述的各种过程。计算机可读存储介质930还可以存储任何适当的数据934，诸如与(多个)深度学习引擎有关的数据、训练数据、权重数据、主输出数据、深度监督输出数据等。在图9中的示例中，计算机系统910可以是由多个用户设备941-943经由任何适当的物理网络(例如，局域网、广域网)可访问的。在实践中，用户设备941-943可以由位于任何适当的(多个)临床部位的各种用户操作。[0097]可以使用包括基于web的用户界面(ui)层921、应用层922和数据层923的多层架构来实现计算机系统910。ui层921可以被配置为提供与用户设备941-943交互的任何适当的(多个)界面，诸如图形用户界面(gui)、命令行接口(cli)、应用编程接口(api)调用、其任意组合等。应用层922可以被配置为实现本公开的示例。数据层923可以被配置为便于向存储介质930和从存储介质930的数据访问。通过与ui层921交互，用户设备941-943可以生成并发送相应的服务请求951-953以供计算机系统910处理。作为响应，计算机系统910可以执行本公开的示例，生成服务响应961-963并将其发送到相应的用户设备941-943。[0098]根据期望的实现，计算机系统910可以被部署在云计算环境中，在这种情况下，多个虚拟化计算实例(例如，虚拟机、容器)可以被配置为实现层921-923的各种功能。云计算环境可以由内部云基础设施、公共云基础设施或两者的组合来支持。计算机系统910可以以任何适当的方式来部署，包括在内部云基础设施、公共云基础设施、其组合等中的服务型部署。计算机系统910可以表示计算集群，该计算集群包括在其间分布各种功能的多个计算机系统。计算机系统910可以包括图9中未示出的任何备选的和/或附加的(多个)组件，诸如图形处理单元(gpu)、用于通信的消息队列、blob存储或数据库、(多个)负载均衡器、专用电路等。[0099]上述详细描述经由使用框图、流程图和/或示例已经阐述了设备和/或过程的各种实施例。就这样的框图、流程图和/或示例包含一个或多个功能和/或操作而言，本领域的技术人员将理解，这样的框图、流程图或示例中的每个功能和/或操作可以单独地和/或集体地由广泛的硬件、软件、固件或其几乎任意组合来实现。贯穿本公开，术语“第一”、“第二”、“第三”等并不表示任何重要性顺序，而是用来区分一个元素与另一个元素。[0100]本领域技术人员将认识到，本文公开的实施例的一些方面可以全部地或部分地在集成电路中等效地实现为在一个或多个计算机上运行的一个或多个计算机程序(例如，作为在一个或多个计算机系统上运行的一个或多个程序)、作为在一个或多个处理器上运行的一个或多个程序(例如，作为在一个或多个微处理器上运行的一个或多个程序)、作为固件、或作为其几乎任意组合，并且鉴于本公开，为软件和/或固件设计电路和/或编写代码将完全在本领域技术人员的技术范围内。[0101]尽管已经参考特定示例性实施例描述了本公开，但是将认识到，本公开不限于所描述的实施例，而是可以在所附权利要求的精神和范围内通过修改和更改来实施。因此，说明书和附图应被视为说明性意义而不是限制性意义。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!