用于基于操作情境提供外科手术辅助的系统和方法与流程

医药医疗技术的改进;医疗器械制造及应用技术用于基于操作情境提供外科手术辅助的系统和方法1.相关申请2.本技术要求2020年1月15日提交的美国临时专利申请号62/961,542的优先权，该临时申请的内容通过引用整体并入本文。背景技术：3.诸如内窥镜的成像设备可用于在外科手术程序期间捕获在外科手术部位(例如，患者体内的外科手术空间)处可见的影像。可以将代表这种影像的数据呈现给执行外科手术程序的外科医生和/或外科手术团队中的其他人，从而随着外科医生和团队成员执行外科手术程序向他们提供外科手术部位的可见性。随着外科手术程序从一个阶段进行到另一个阶段，各种不同的事物可能会在成像设备捕获的图像馈送中进出视图。在外科手术部位可见的这些事物中的一些对于团队成员看清楚可能是有帮助和重要的，而其他事物对于团队成员来说可能不重要或甚至分散注意力或不希望看到。此外，重要和不重要或分散注意力的影像可能会基于外科手术程序的操作情境(context)在程序期间从一个阶段到另一个阶段以及从一个时刻到另一个时刻动态变化。技术实现要素：4.以下描述呈现本文描述的系统和方法的一个或多个方面的简化总结。该总结不是对所有预期方面的广泛概述，并且既不旨在识别所有方面的关键或关键要素，也不旨在划定任何或所有方面的范围。其唯一目的是呈现本文描述的系统和方法的一个或多个方面，作为下文呈现的详细描述的前奏。5.一种示例性系统包括存储指令的存储器和通信地耦合到存储器并被配置为执行指令的处理器。例如，在外科手术程序期间，当特定对象存在于由图像的第一版本描绘的外科手术部位时，处理器可以识别外科手术程序的操作情境。基于所识别的操作情境，处理器可以在呈现给与外科手术程序相关联的用户的图像的第二版本内增强特定对象的描绘。6.一种示例性方法由情境辅助系统在外科手术程序期间执行。该方法包括在特定对象存在于由图像的第一版本描绘的外科手术部位处时识别外科手术程序的操作情境。该方法还包括基于所识别的操作情境在呈现给与外科手术程序相关联的用户的图像的第二版本内增强特定对象的描绘。7.一种示例性非暂时性计算机可读介质存储指令，这些指令在被执行时指导计算设备的处理器在外科手术程序期间执行各种操作。例如，当特定对象存在于由图像的第一版本描绘的外科手术部位时，指令可以指导处理器识别外科手术程序的操作情境。指令可以进一步指导处理器基于所识别的操作情境，在呈现给与外科手术程序相关联的用户的图像的第二版本内增强特定对象的描绘。附图说明8.附图图示了各种实施例并且是说明书的一部分。图示的实施例仅仅是示例并且不限制本公开的范围。在整个附图中，相同或相似的附图标记表示相同或相似的元件。9.图1图示了根据本文描述的原理的示例性情境辅助系统，用于基于外科手术程序的操作情境来提供外科手术辅助。10.图2图示了根据本文描述的原理的示例性计算机辅助外科手术系统。11.图3图示了根据本文描述的原理的示例性框图，示出了图1的情境辅助系统可以如何与其他系统一起与图2的计算机辅助外科手术系统集成和/或互操作。12.图4图示了根据本文描述的原理的示例性外科手术部位，在该外科手术部位处成像设备捕获描绘各种对象的图像。13.图5a和图5b图示了根据本文描述的原理增强在外科手术部位处的对象的描绘的示例性方式的各个方面。14.图6a到图6c图示了根据本文描述的原理的至少部分地遮蔽解剖结构的视图的示例性遮蔽物以及增强解剖结构的描绘的示例性方式的各个方面。15.图7a到图7c图示了根据本文描述的原理的至少部分地遮蔽仪器对象的视图的示例性遮蔽物以及增强仪器对象的描绘的示例性方式的各个方面。16.图8图示了根据本文描述原理的用于外科手术程序的预定义计划的示例性方面。17.图9图示了根据本文描述原理的基于外科手术程序的操作情境来提供外科手术辅助的示例性方法。18.图10图示了根据本文描述的原理的示例性计算设备。具体实施方式19.本文描述了用于基于外科手术程序的操作情境来提供外科手术辅助的系统和方法。在许多情况下，外科手术程序被提前计划以在不同的程序阶段执行，每个阶段都与不同的任务、目标、挑战等相关联。如上所述，在特别设定的情况下(例如，在外科手术程序的某些程序阶段期间)查看某些元素(例如，某些组织或其他解剖结构、外科手术部位处的某些仪器或其他对象、某些虚拟模型或其他增强等)可能会有所帮助，而在其他情况下查看其他元素可能更有帮助。20.为此，本文描述的情境辅助系统和方法可以采用任何合适类型的扩展现实技术(例如，增强现实技术、虚拟现实技术、混合现实技术等)来最大化可见性并以特定于外科手术程序的情境的方式促进外科手术程序的操作有效性。例如，可以检测外科手术程序的各种情境方面(例如，在手术部位存在什么对象，当前正在进行外科手术程序的哪个程序阶段等)。然后，基于此情境，扩展现实技术呈现的增强可用于突出或强调以促进外科手术程序的方式呈现给外科手术团队的对象。21.作为一个示例，示例性情境辅助系统可以被配置为在外科手术程序期间识别外科手术程序的操作情境。例如，操作情境可能与外科手术的当前程序阶段、外科手术部位存在的各种对象(例如，仪器、遮蔽物、特定组织等)和/或可能在外科手术程序期间发挥作用的任何其他情境方面有关。在特定对象存在于由图像的第一版本描绘的外科手术部位时，可以执行操作情境的识别。因此，基于所识别的操作情境，情境辅助系统可以在呈现给与外科手术程序相关联的用户的图像的第二版本内增强对特定对象的描绘。例如，可以生成并提供有助于强调、突出、添加、简化或以其他方式增强原始图像的增强图像以供外科手术团队成员查看，以促进他们正在执行的外科手术操作。22.作为说明，将考虑称为部分肾切除术的外科手术程序，尽管应当理解，所描述的原理可以应用于除了部分肾切除术之外的广泛的不同外科手术。23.部分肾切除术的最终目标是从患者身上移除一部分肾脏(例如，切除在肾脏上生长的肿瘤等)而不移除整个肾脏。为此，该外科手术程序可以包括第一示例性程序阶段，其中外科手术团队还没有查看到肾脏，第二示例性程序阶段，其中团队已经暴露了肾脏并开始操纵肾脏的组织，第三示例性程序阶段，在此期间执行肺门的解剖，以及可能出现在这些示例性程序阶段之前、之后或之间的各种其他示例性程序阶段。24.在外科手术团队没有进入肾脏的第一示例性程序阶段期间，将肾脏的三维(“3d”)模型呈现给外科医生或其他外科手术团队成员，或提示这些用户与此类模型进行交互可能会分散注意力或以其他方式不受欢迎。因此，情境辅助系统可以在此程序阶段期间避免在这些情况下呈现任何此类模型。25.然而，一旦在第二示例性程序阶段已经暴露了肾脏，对于外科手术团队来说开始查看肾脏的预定义3d模型(例如，基于术前成像等生成的模型)可能是有效和有帮助的，可能会更加强调模型的相关部分(例如，实质边缘或有助于获得良好对齐的其他解剖结构)。肾脏3d模型的呈现，连同提示用户交互以在图像馈送中将模型正确配准到肾脏，因此在此阶段可能是适当和可取的，并且情境辅助系统可以更改提供给外科手术团队的图像馈送以包括此类增强。26.在外科医生开始解剖肺门的第三示例性程序阶段期间，现在将模型的强调放在肾脉管系统或与该特定程序阶段相关的其他部件上可能是有帮助的。同样，在此阶段隐藏无用或会分散手头任务的元素可能是可取的。因此，情境辅助系统现在可以更改提供给外科手术团队查看的图像，以显示和/或突出某些元素，同时隐藏和/或移除在当前情境和情况中可能对外科手术团队最有用的其他元素的强调。27.通过以这种方式基于外科手术程序的操作情境定制提供给用户的增强，本文描述的情境辅助系统和方法可以向外科手术团队提供显著的外科手术辅助，以及各种其他优点和益处。具体地，例如，本文描述的用于基于操作情境提供外科手术辅助的系统和方法可以通过增加最相关影像的可见性和/或降低不太相关影像的可见性来促进外科手术团队高效且有效地执行任务。这在手术部位存在各种遮蔽物(例如，烟雾、血液、脂肪等)可能会限制外科医生的可见性的情况下可能特别有用。此外，通过以特定为这些用户和程序的操作情境定制的方式来增强呈现给不同用户的外科手术部位的视图，用户可以减少分心并且可以更容易地专注于需要有效、高效和方便地执行特定任务的最重要的方面。28.现在将参照附图更详细地描述各种实施例。所公开的系统和方法可以提供上述益处中的一个或多个和/或将在本文中变得显而易见的各种附加和/或替代益处。29.图1图示了根据本文描述的原理的示例性情境辅助系统100(“系统100”)，用于基于外科手术程序的操作情境来提供外科手术辅助。在某些示例中，系统100可以被包括在计算机辅助外科手术系统的一个或多个部件中、由其实现或与其连接，例如下文将结合图2描述的示例性计算机辅助外科手术系统。例如，在这样的示例中，系统100可以由计算机辅助外科手术系统的一个或多个部件实现，例如操纵系统、用户控制系统或辅助系统。在其他示例中，系统100可以由独立计算系统(例如，通信地耦合到计算机辅助外科手术系统或实施另一非外科手术应用或用例的独立计算系统)来实现。30.如图1所示，系统100可以包括但不限于选择性地且通信地彼此耦合的存储设施102和处理设施104。设施102和104可各自包括一个或多个物理计算设备或由其实现，该物理计算设备包括硬件和/或软件部件，例如处理器、存储器、存储驱动器、通信接口、存储在存储器中以供处理器执行的指令等。尽管设施102和104在图1中被示为单独的设施，但是设施102和104可以组合成更少的设施，例如组合成单个设施，或者被分成更多的设施以服务于特定的实施方式。在一些示例中，设施102和104中的每一个可以分布在可以服务于特定实施方式的多个设备和/或多个位置之间。31.存储设施102可以维护(例如，存储)处理设施104用来执行本文描述的任何功能的可执行数据。例如，存储设施102可以存储指令106，该指令106可以由处理设施104执行以执行本文描述的操作中的一个或多个。指令106可以由任何合适的应用、软件、代码和/或其他可执行数据实例来实现。存储设施102还可以维护由处理设施104接收、生成、管理、使用和/或传输的任何数据。32.处理设施104可以被配置为基于外科手术程序的操作情境执行(例如，执行存储在存储设施102中的指令106以执行)与提供外科手术辅助相关的各种操作。例如，处理设施104可以被配置为在外科手术程序期间检测特定对象存在于由图像的第一版本描绘的外科手术部位。例如，特定对象可以是解剖结构(例如，组织的一部分等)、机械对象(例如，用于执行外科手术程序的外科手术仪器或其他工具等)，或存在于外科手术部位的另一类型的可见对象。图像的第一版本可以由存在于外科手术部位的成像设备(例如，内窥镜成像设备或其他合适的成像设备)捕获，并且可以从成像设备的有利点描绘外科手术部位的视图(包括特定对象的描绘)。尽管本文描述了系统如何明确地检测特定对象的各种示例，但应理解，在某些示例中，处理设施104可能不会主动执行任何功能或操作来明确地检测特定对象的存在，特别是如果该对象是可以假定存在于外科手术部位而不需被主动检测的对象(例如，患者的脉管系统等)。在这样的情况下，处理设施104可以放弃用于检测对象存在的主动操作，而倾向于继续隐含假设对象已知存在于外科手术部位。33.同样在外科手术程序期间，处理设施104可以识别外科手术程序的操作情境。如本文所用，特定外科手术的“操作情境”可以指与外科手术程序相关联的任何情况、事件或条件，或外科手术程序的其他任何其他此类方面。在一些示例中，操作情境可以对应于特定时刻，例如识别操作情境的时刻。在各种示例中，外科手术程序的操作情境可以与以下有关：外科手术程序的程序阶段(例如，从计划外科手术程序时提出的多个预定义的程序阶段中选择，在外科手术程序期间动态和非正式识别等)、作为外科手术程序的一部分执行的一项或多项任务、检测到存在于外科手术部位的物理对象(例如，仪器或工具、解剖结构、遮蔽物等机械对象)、向用户显示的似乎存在于外科手术部位的虚拟对象(例如，增强等)，和/或在特定时间点可能与外科手术程序相关联的任何其他情境方面、条件、事件或情况。34.在某些示例中，处理设施104可以在特定对象存在于由图像的第一版本描绘的外科手术部位的部分时识别操作情境，使得特定对象被描绘在图像内。如上所述，在特定时间的外科手术程序的操作情境可以有关外科手术程序的各个方面中的任何一个，包括在特定时间的外科手术程序的进行中的程序阶段、特定时间在外科手术部位处执行的任务、哪些对象(例如，仪器、工具等)在特定时间存在于外科手术部位、是否有遮蔽物(例如，烟雾、血液、脂肪、仪器、组织等)在特定时间遮蔽外科手术部位的重要元素的视图，或在特定时间外科手术部位的任何其他合适的情境情况。35.基于所识别的操作情境，处理设施104可以在图像的第二版本内增强特定对象的描绘。在一些示例中，可以在外科手术程序仍在进行时执行该增强，以便允许向与外科手术程序相关联的用户(例如，帮助执行外科手术程序的外科医生或其他外科手术团队成员)实时呈现图像的第二增强版本。以这种方式，随着用户执行或以其他方式促进外科手术程序，他或她可以查看图像的第二版本并且能够比如果没有系统100执行的增强他或她能够更清楚地看到特定对象。因此，可以基于系统100提供的增强图像辅助用户以最佳水平执行他或她的工作。36.如已经描述的，系统100可以被配置为在外科手术程序期间基于操作情境提供外科手术辅助。如本文所用，如果在外科手术程序进行时执行操作，例如在从身体中取出成像设备和/或外科手术仪器之前，在缝合身体和/或解除麻醉(如果适用于外科手术程序)之前等等，则操作将被理解为在外科手术程序期间执行。为此，本文描述的操作可以实时执行(即，立即执行并且没有不当延迟，例如通过处理包括捕获的深度数据的动态和时间敏感数据，同时数据保持相关和最新)。37.上述操作以及可以由处理设施104执行的其他操作在本文中被更详细地描述。在以下描述中，对系统100执行的功能的任何引用可以理解为由处理设施104基于存储在存储设施102中的指令106执行。38.图2图示了示例性计算机辅助外科手术系统(“外科手术系统200”)。如图所示，外科手术系统200可以包括相互通信地耦合的操纵系统202、用户控制系统204(本文也称为外科医生控制台)和辅助系统206(本文也称为辅助控制台)。外科手术系统200可以被外科手术团队用于在患者208的身体上执行计算机辅助的外科手术程序。如图所示，外科手术团队可以包括外科医生210-1、助理210-2、护士210-3和麻醉师210-4，他们都可以统称为“外科手术团队成员210”。额外的或替代的外科手术团队成员可以在可以服务于特定的实施方式的外科手术会议期间存在。39.虽然图2图示了正在进行的微创外科手术程序，但是应当理解，外科手术系统200可以类似地用于执行开放式外科手术程序或其他类型的外科手术程序，这些外科手术程序可以类似地受益于外科手术系统200的准确性和便利性。此外，应当理解，整个过程采用外科手术系统200的外科手术会议不仅可以包括如图2所示的外科手术程序的可操作程序阶段，还可以包括外科手术程序的术前、术后和/或其他合适的程序阶段。40.如图2所示，操纵系统202可以包括多个操纵器臂212(例如，操纵器臂212-1到212-4)，该多个操纵器臂可以耦合到多个外科手术仪器和/或其他工具(例如，诸如内窥镜等的成像设备、超声工具等)。每个外科手术仪器可以通过任何合适的治疗仪器(例如，具有组织相互作用功能的工具)、诊断仪器或可以用于对患者208进行计算机辅助外科手术程序(例如，通过至少部分插入患者208并被操纵以对患者208执行计算机辅助外科手术)的仪器来实施。在一些示例中，外科手术仪器中的一个或多个可以包括力感测能力和/或其他感测能力。在一些示例中，成像设备可以通过内窥镜设备或另一合适的成像设备来实施，例如连接到外科手术仪器或与外科手术仪器耦合的超声模块。虽然操纵系统202在本文中被描绘和描述为包括四个操纵器臂212，但是将认识到，操纵系统202可以仅包括单个操纵器臂212或可以用于特定实施方式的任何其他数量的操纵器臂。41.操纵器臂212以及附接到操纵器臂212的外科手术仪器和/或成像设备可以包括用于生成原始(即未校正的)运动学信息的一个或多个位移传感器、取向传感器和/或位置传感器。在一些示例中，系统100和/或外科手术系统200可以被配置为使用运动学信息来跟踪(例如，确定其位置)和/或控制外科手术仪器和/或成像设备(以及由仪器和/或成像设备握持或连接到其的任何事物，例如缩回的组织片、用于缝合的针或其他此类外科手术工具等)。42.用户控制系统204可以被配置为便于外科医生210-1控制操纵器臂212和附接到操纵器臂212的外科手术仪器和/或成像设备。例如，外科医生210-1可以与用户控制系统204交互以远程移动或操纵操纵器臂212和附接到其上的仪器或设备。为此，用户控制系统204可以向外科医生210-1提供由成像设备捕获的与患者208相关联的外科手术部位的影像。在某些示例中，用户控制系统204可以包括具有两个显示器的立体查看器，其中外科医生210-1可以查看与患者208相关联并且由立体成像设备生成的外科手术部位的立体图像。捕获的影像以及由系统100生成的数据或通知可以由用户控制系统204显示以便于外科医生210-1利用附接到操纵器臂212的外科手术仪器执行一个或多个程序。43.为了便于在外科手术程序期间控制外科手术仪器和成像设备，用户控制系统204可以包括一组主控件。这些主控件可以由外科医生210-1操纵以控制仪器和/或成像设备的移动，例如通过利用机器人和/或远程操作技术。主控件可以被配置为由外科医生210-1检测各种手、手腕和手指移动。以此方式，外科医生210-1可以使用一个或多个外科手术仪器和成像设备直观地执行程序。44.辅助系统206可以包括一个或多个计算设备，该一个或多个计算设备被配置为执行外科手术系统200的主要处理操作。在这种配置中，辅助系统206中包括的一个或多个计算设备可以控制和/或协调由外科手术系统200的各种其他部件(例如，操纵系统202和用户控制系统204)执行的操作。例如，包括在用户控制系统204中的计算设备可以通过包括在辅助系统206中的一个或多个计算设备向操纵系统202传输指令。作为另一个示例，辅助系统206可以接收(例如，从操纵系统202)并且可以处理表示由成像设备所捕获的影像的图像数据。45.在一些示例中，辅助系统206可以被配置为向可能无法访问在用户控制系统204处提供给外科医生210-1的图像的外科手术团队成员210呈现视觉内容。为此，辅助系统206可以包括显示监视器214，该显示监视器被配置为显示捕获的影像、一个或多个用户界面、由系统100生成的通知或信息、与患者208和/或外科手术程序相关联的信息、和/或可以服务于特定实施方式的任何其他视觉内容。在一些示例中，显示监视器214可以显示外科手术部位的扩展现实图像(例如，增强现实图像等)，包括实时视频捕获以及与图像同时显示的诸如文本和/或图形内容(例如，术前生成的解剖模型，情境信息等)的增强。在一些实施例中，显示监视器214由触摸屏显示器实现，外科手术团队成员210可以与触摸屏显示器交互(例如，通过触摸手势)以向外科手术系统200提供用户输入。46.操纵系统202、用户控制系统204和辅助系统206可以以任何合适的方式彼此通信地耦合。例如，如图2所示，操纵系统202、用户控制系统204和辅助系统206可以通过控制线216通信地耦合，控制线216可以代表可以服务于特定实施方式的任何有线或无线通信链路。为此，操纵系统202、用户控制系统204和辅助系统206可以各自包括一个或多个有线或无线通信接口，例如一个或多个局域网接口、wi-fi网络接口、蜂窝接口等。47.图3图示了示例性框图300，示出了系统100可以如何与其他系统一起与外科手术系统200集成和/或互操作。具体地，如图所示，框图300描绘了与系统100一起与外科手术系统200集成或耦合的图像捕获系统302、仪器控制系统304以及呈现系统306。另外，系统100还被示出为从诸如位于手术室中的麦克风和/或摄像机的合适源接收代表手术室音频308和/或手术室视觉310的数据。48.在各种实施例中，系统100可以由外科手术系统200实施或集成到外科手术系统200中，而在其他实施例中，系统100可以与外科手术系统200分离但通信地耦合到外科手术系统200。例如，系统100可以从外科手术系统200接收输入并提供输出到外科手术系统200和/或可以从外科手术系统200访问外科手术部位的影像、关于外科手术部位的信息和/或关于外科手术系统200的信息。系统100可以使用这个访问的影像和/或信息来执行任何本文描述的操作以基于外科手术程序的操作情境提供外科手术辅助。以类似的方式，图像捕获系统302、仪器控制系统304、呈现系统306、被配置为捕获和提供手术室音频308和手术室视觉310的任何传感器或系统，和/或它们的任何组合可以通过(例如集成到)外科手术系统200实现，或者如果与外科手术系统200分离，则可以与其通信地耦合并由外科手术系统200的处理资源控制。现在将更详细地描述元件302到310中的每一个。49.图像捕获系统302可以包括内窥镜或其他合适的成像设备，以及在某些示例中，配置为处理由成像设备捕获的数据(例如，图像数据、视频数据、深度数据、元数据等)和/或配置为生成此类数据并将其提供给系统100的计算资源。例如，图像捕获系统302可以捕获和生成图像的第一版本，当由系统100处理时，该图像的第一版本将被增强以形成图像的第二版本，其中根据本文描述的原理增强特定对象的描绘。在某些示例中，包括在图像捕获系统302内的成像设备可以实现为立体成像设备(例如，立体内窥镜)，其包括立体成像元件，例如以预先配置的间距设置的双捕获元件，以便提供被配置为利用使用立体内窥镜的外科医生的立体视觉来观察外科手术部位的图像数据。50.在这样的实施方式中，系统100可以生成和提供外科手术部位的深度数据以及该部位的图像数据。例如，系统100可以使用立体深度检测技术确定外科手术部位处的对象和影像的深度数据，该技术采用立体成像设备的立体成像元件。这样的技术可以通过将由立体成像元件中的每一个从它们各自的有利点所捕获的表面点相关联并且三角测量(例如，基于两个成像元件的有利点之间的已知预配置距离)这些表面点中的每一个距离成像设备有多远来执行。以这种方式，图像捕获系统302可以检测代表外科手术部位的深度数据并将其与捕获的图像数据一起提供给系统100(例如，通过外科手术系统200)。在某些示例中，图像捕获系统302可以包括单视场成像设备而不是立体成像设备。在这些或其他示例中，可以采用根据诸如飞行时间深度检测等原理进行操作的深度检测技术。51.仪器控制系统304可以包括或由任何合适的外科手术仪器和/或可以服务于特定实施方式的用于促进仪器使用的处理或控制资源实施。例如，在一些示例中，仪器控制系统可以包括一个或多个组织操纵仪器(例如，切割仪器、抓握仪器等)，该一个或多个组织操纵仪器被配置为在外科手术程序期间使用以操纵组织(可以服务于特定外科手术程序)。在一些实施方式中，仪器控制系统304可以包括力传感器(例如位移传感器)、取向传感器和/或位置传感器，这些传感器用于生成原始运动学数据以供以本文所描述的任何方式使用。52.在增强由图像捕获系统302所捕获的图像的版本内的特定对象的描绘时，系统100可以生成并显示增强的图像本身，或者可以提供增强的图像以供另一个系统显示。例如，呈现系统306可以代表这样的系统的一个示例，系统100可以向这样的系统提供图像的增强版本。呈现系统306可以包括任何合适的显示屏和/或用于向诸如外科手术团队成员210(例如，执行外科手术程序的外科医生210-1或团队的任何其他成员)的用户呈现信息的处理资源或由其实现。在一些示例中，系统100可以被配置为通过呈现系统306呈现信息。例如，系统100可以在外科手术程序期间向呈现系统306提供图像的增强版本以呈现给外科手术团队成员210。53.如将在下文更详细描述的，可以采用各种技术来识别正在进行的外科手术程序的操作情境，包括当前正在执行该程序的哪个程序阶段。在一些示例中，手术室音频308和/或手术室视觉310可用于促进系统100识别操作情境。因此，放置在手术室或正在执行外科手术程序的其他区域中的麦克风或其他此类音频捕获传感器可以被配置为提供手术室音频308以促进识别外科手术程序的操作情境。附加地或可替代地，安装在手术室或正在执行外科手术程序的其他区域中的摄像机或其他此类视觉捕捉传感器可以被配置为提供手术室视觉310以进一步促进识别外科手术程序的操作情境。54.如本文所用，外科手术程序可以包括任何医疗程序，包括任何诊断、治疗或治疗程序，其中手动和/或仪器技术用于患者的身体或其他受试者(例如，尸体、动物、外科训练装置等)来调查或治疗身体状况。外科手术程序可以在将被理解为包括与外科手术程序相关的任何体积空间的外科手术部位处进行。例如，外科手术部位可以包括在与外科手术程序相关联的空间中手术＝的患者的身体或其他受试者的任何部分或多个部分。在某些示例中，外科手术部位可以完全设置在身体内，并且可以包括身体内靠近正在执行外科手术程序的空间。例如，对于在患者内部组织上执行的微创外科手术程序，外科手术部位可以包括表面组织、表面组织下方的解剖结构以及组织周围的空间(例如，用于操纵组织从而执行程序的外科手术仪器所在的位置)。在其他示例中，外科手术部位可以至少部分地位于患者体外。例如，对于在患者身上进行的开放式外科手术程序，外科手术部位的一部分可能在患者内部，而外科手术部位的另一部分(例如，组织周围的空间(一个或多个外科手术仪器所在的位置))可能在患者体外。55.图4示出了根据本文描述的原理的示例性外科手术部位400，在该外科手术部位400处成像设备402捕获描绘各种对象的图像。在图4中，外科手术部位400将被理解为位于身体(例如，患者的身体等)内部，身体外部未明确示出。成像设备402可以由与诸如上述图像捕获系统302的图像捕获系统相关联的内窥镜(例如，立体内窥镜)实现。如图所示，成像设备402可以根据视场404在外科手术部位400处捕获影像，视场404取决于成像设备402的取向覆盖不同的对象和影像。56.具体地，如图所示，外科手术部位400的某些方面显示为包括在视场404内，而外科手术部位400的其他方面显示为落在视场404之外。例如，组织表面406(例如，特定器官或其他解剖结构的表面)的某个部分显示为包括在视场404内，而成像设备402以图4所示的配置取向，而在外科手术部位400处存在的组织表面406的其他部分显示为在视场404之外，除非要改变成像设备402的取向(例如，通过移动或重新取向成像设备402)。57.多个表面对象408(例如，表面对象408-1到408-3)在图4中被描绘为在组织表面406上方，而多个表面下(subsurface)对象410(例如，表面下对象410-1到410-3)被描绘为在组织表面406下方。虽然这些对象408和410中的每一个在图4中为了说明的目的而被示为简单的几何圆，但是应当理解，对象408和410可以各自实现或包括可能存在于外科手术部位400的任何合适类型的解剖学对象、机械对象或其他对象。例如，表面对象408中的一个或多个可以表示诸如那些如上所述的外科手术仪器，或由此类仪器携带或操纵的对象。例如，用于缝合的针和线对象或另一种这样的工具可以由一个这样的外科手术仪器携带，并且可以由表面对象408之一表示。在某些示例中，切除的组织片或其他解剖结构也可以由外科手术仪器携带或操纵，并且可以由表面对象408中的另一个表示。表面对象408的另一个示例可以是放置在组织表面406上以执行表面下对象410的成像的超声探针，该表面下对象可以表示组织表面406下面的各种解剖结构(例如，器官内的内部脉管系统和/或其他解剖结构)。58.如图所示，对象408-1和408-3的部分以及对象408-2的整体被包括在视场404内并且因此将被理解为是在成像设备402的图示的配置中为成像设备402生成的图像而捕获的。应当理解，对象408-1和408-3的落在视场404之外的部分(以及可能的，未明确示出的其他对象)当前未被成像设备402捕获，即使它们存在于外科手术部位400。59.虽然表面下对象410被示为在几何学上包含在视场404内，但是应当理解，如果成像设备402被实现为不能“透视”组织表面406的内窥镜成像设备，则这些对象可能不会在成像设备402捕获的图像中被描绘。然而，如下文将更详细描述的，此类表面下对象的3d模型或其他表示可以覆盖或以其他方式施加在由成像设备402捕获的图像上，作为由系统100添加的增强。当这样的增强被适当地对齐时，由成像设备402捕获的图像的增强版本可以在捕获的表面对象408的表示旁边描绘表面下对象410的模拟表示。60.为了说明，图5a和图5b图示了根据本文描述的原理在外科手术部位处增强对象的描绘的一种示例性方式的各个方面。具体地，图5a示出了图像500-1，其将被理解为由诸如成像设备402的成像设备捕获的特定图像的第一版本，而图5b示出了图像500-2，其将被理解为在图像已被系统100增强之后，同一特定图像的第二版本。61.在图像500-1和500-2(在本文中统称为图像500)的每一个中，示出了包括各种表面对象的外科手术部位。具体地，示出了各种解剖结构502(其中一些被明确标记，而另一些没有)以及两个外科手术仪器504，外科手术仪器504被配置为在外科手术程序期间操纵外科手术部位处的组织。在该示例中，系统100将被理解为已检测到存在于由图像500-1描绘的外科手术部位处的特定对象。例如，解剖结构502-p可以被识别为特定器官(例如，肾脏等)，在特定器官上将执行外科手术程序(例如，部分肾切除术)的特定程序阶段。因此，基于诸如正在进行的外科手术程序的该特定程序阶段的操作情境，系统100可以在图像(即，图像500-2)的第二版本内执行特定对象(即，在该示例中的解剖结构502-p)的描述的增强。具体地，例如，系统100可以在图像的第二版本内显示(例如，除了所有对象502和仪器504的描绘，包括解剖结构502-p)存在于外科手术部位但未在图像(即图像500-1)的第一版本中描绘的表面下对象的表示506和影像。62.如图所示，表面下对象的表示506可以基于使用在外科手术程序之前捕获的术前扫描数据生成的表面下对象的预定义模型。例如，如果解剖结构502-p是肾脏并且正在执行的外科手术程序是部分肾切除术，则表示506可以表示在外科手术程序之前基于肾脏的术前成像(例如，计算机断层扫描(“ct”)或磁共振成像(“mri”)扫描等)生成的肾脏3d模型的一部分。表示506可以全部或部分地显示作为图像500-2上的增强，以便促进正在执行的外科手术程序的特定程序阶段。63.在该示例中，系统100识别的操作情境已被描述为正在执行的外科手术程序的特定程序阶段，而系统100对图像500-2所做的增强已被描述为显示基于术前图像生成的3d模型的表示506。然而，将理解的是，在其他示例中，除了或者作为图5b中所示那些的替代，可以识别其他类型的操作情境和/或可以对图像500-2施加其他类型的增强。64.例如，可以由系统100识别并且表示506的显示可以基于其的操作情境的一个方面是3d模型的合适配准是否已经与被捕获的图像一起实现，是否存在诸如脂肪或血液的遮蔽物，并且往往会使表示难以看到，或其他此类情境方面。作为另一个示例，表示506中所示的3d模型的部分(在整个3d模型不是一次呈现的示例中)可以由包括外科手术程序的哪个程序阶段正在进行的操作情境来确定。例如，如果正在执行动脉钳夹，则可以呈现3d模型的动脉部分，而可以不显示3d模型的其他部分。在其他示例中，文本信息、非模型图形或其他信息可以作为增强而不是图5b中所示的3d模型的表示506或除了图5b中所示的3d模型的表示506之外被施加在图像上。65.除了以诸如结合图5a和图5b描述的方式增强图像或作为以诸如结合图5a和图5b描述的方式增强图像的替代，系统100还可以增强捕获的图像以便以其他方式基于操作情境提供外科手术辅助。例如，由系统100实现的某些增强可能涉及在外科手术部位突出或强调重要的、被遮挡的或遮蔽的对象，这些对象可能以其他方式不能清楚地显示在图像中或用最佳强调量来描绘。此类增强可能涉及添加到某些示例中的图像的第二版本的任何新虚拟元素(例如，透明度、颜色、渲染样式更改等)，而在其他示例中，此类增强可能不涉及任何虚拟元素，但相反，可能会以其他方式引起对对象的关注或使对象清晰。66.作为一个示例，系统100可以基于指示仪器或工具与作为外科手术程序的一部分执行的任务相关的操作情境的识别来增强对特定对象(例如仪器或工具)的描绘。例如，如果在外科手术程序的缝合阶段期间使用针和线并且系统100确定正在发生缝合阶段，则系统100可以通过修改(从图像的第一版本)针和/或线的描绘以在图像的第二版本中突出或以其他方式强调针和/或线的描绘，来在图像的第二版本内增强针和/或线(以及，在某些示例中，握持针并执行缝合的外科手术仪器)的描绘。例如，系统100可以在针和线周围实现发光的光环，当在场景内四处移动时施加短暂跟随针和线的尾巴，用明亮或不同颜色的线条勾勒出针和线的边缘以使对象突出，或者以任何可能服务于特定实施方式的方式突出或强调针和线。67.作为另一示例，系统100可以基于操作情境的识别来增强一个或多个对象的描绘，该操作情境的识别指示可能使对象难以看到的外科手术部位处存在遮蔽物。返回到图4，这种情况由至少部分地包括在视场404内的各种遮蔽物412(例如，遮蔽物412-1和412-2)图示，使得它们遮蔽或完全遮挡某些对象408而不能从成像设备402的角度来查看。68.遮蔽物412可以代表本文提及的任何遮蔽物或可以从试图捕获该视图的成像设备的有利点可能至少部分地遮蔽或减少对象的视图的任何其他对象、物质、液体、气体或其他材料。例如，如图4所示，对象408-1可能被遮蔽物412-1遮蔽，遮蔽物412-1可以表示存在于外科手术部位400处并且围绕或覆盖对象408-1的血液、脂肪或另一种物质。作为另一个示例，对象408-2和408-3显示为每个都至少部分地被遮蔽物412-2、被闲置在对象408上方的非活动仪器或被至少部分地阻挡成像设备402对外科手术部位400处的对象408的视野的任何其他对象或材料遮蔽或遮挡，遮蔽物412-2可以代表烟雾(例如，在烧灼过程等期间产生)或另一种这样的物质。69.因此，在这些类型的示例中，系统100可以通过检测存在于外科手术部位处的遮蔽物至少部分地遮蔽图像的第一版本所描绘的特定对象(例如，对象408中的一个)的视图，识别增强将基于的操作情境。例如，如上所述，遮蔽物可以包括血液、脂肪或烟雾中的至少一种。系统100然后可以通过显示(例如，在图像的第二版本内代替在图像的第一版本内捕获的特定对象的描述)基于特定对象的预定义模型的特定对象的表示，来在图像的第二版本内增强对特定对象的描绘。例如，如果特定对象是外科手术仪器，则使用的预定义模型可以是系统100可用的外科手术仪器的计算机辅助设计(“cad”)模型，或者，如果特定对象是解剖结构，则使用的预定义模型可以是如上所述的基于术前成像(例如，ct扫描、mri扫描等)生成的3d模型。70.为了说明这两种类型的示例性增强，图6a至图6c图示了至少部分地遮蔽解剖结构的视图的示例性遮蔽物以及增强解剖结构的描绘的示例性方式的各个方面，同时图7a至图7c图示了至少部分地遮蔽外科手术仪器的视图的另一示例性遮蔽物以及增加仪器的描绘的示例性方式的各个方面。71.更具体地，图6a示出了描绘不存在任何遮蔽物的外科手术部位的图像600-1。例如，图6a中所示的解剖影像可以表示在该部位产生烟雾的烧灼事件之前或在释放血液或另一种这样的遮蔽物的另一个事件之前的外科手术部位的视图。如图像600-1中所描绘的，在该示例中可以清楚地看到和捕获外科手术部位处的对象和影像。72.然而，在图6b的示例中情况并非如此。图6b示出了图像600-2，该图像描绘当遮蔽物602(例如，烟雾、血液、脂肪等)存在于该部位以至少部分地阻挡某些解剖结构和存在于该部位的对象的视图时的相同外科手术部位。图像600-2将被理解为由成像设备(例如，成像设备402)在存在遮蔽物602的时刻(例如在执行烧灼操作之后不久或在另一个此类事件之后)捕获的特定图像的原始版本。73.图6c示出了图像600-3，其将被理解为与图像600-2相同的特定图像的处理版本(即，增强版本)，在图像600-2中遮蔽物602存在于外科手术部位。然而，图像600-3不是由成像设备捕获的原始图像(如图像600-2的情况)，而是表示已由系统100根据本文描述的原理处理和生成的增强图像。如图像600-3所示，遮蔽物602仍然存在于外科手术部位。然而，尽管遮蔽物602显著干扰了图像600-2中描绘的解剖结构的视图，但增强604允许解剖结构在图像600-3中更容易看到，从而随着执行手术程序而辅助外科手术团队。具体地，如图所示，增强604看起来与被遮蔽并覆盖在原始图像上的解剖结构部分非常相似或相同，以便减轻遮蔽物602对结构可见性的影响。74.在图7a至图7c中描绘的类似示例中，示出了另一种类型的对象以说明与以上结合图6a至图6c的示例的解剖结构对象所描述的类似原理。具体地，图7a示出了图像700-1，其描绘了在不存在任何遮蔽物的外科手术部位处的外科手术仪器702。例如，图7a中所示的外科手术仪器702的描绘可以表示在该部位产生烟雾的烧灼事件之前或在释放血液或另一这样的遮蔽物的另一事件之前在外科手术部位处的视图。75.虽然在图像700-1中清楚地描绘了外科手术仪器702，但在图7b的示例中并非如此。图7b示出了图像700-2，其描绘了当存在遮蔽物704(例如，烟雾、血液、脂肪等)以至少部分地阻挡外科手术仪器702的视图时的相同外科手术仪器。图像700-2将应理解为特定图像的原始版本，该特定图像由成像设备(例如，成像设备402)在遮蔽物704存在的时刻(例如在执行烧灼操作之后不久、操纵被脂肪覆盖的组织的任务期间等)捕获的。76.图7c示出了图像700-3，其将被理解为与图像700-2相同的特定图像的处理版本(即，增强版本)，在图像700-2中存在遮蔽物704。然而，图像700-3不是由成像设备捕获的原始图像(如图像700-2的情况)，而是表示已由系统100根据本文描述的原理处理和生成的增强图像。如图像700-3所示，遮蔽物704继续存在于外科手术仪器702周围。然而，尽管遮蔽物704在图像700-2中显著干扰外科手术仪器702的视图，但增强706允许外科手术仪器702在图像700-3中更容易看到，从而随着执行外科手术程序而辅助外科手术团队。具体地，如图所示，增强706看起来与被遮蔽并覆盖在原始图像上的外科手术仪器702的部分非常相似或相同，以便减轻遮蔽物704对外科手术仪器702的可见性的影响。77.在图6a至图6c和图7a至图7c的示例中，系统100可以被配置为以可以服务于特定实施方式的任何方式来在图像的增强版本内执行对特定对象的描绘的增强。例如，在一种实现方式中，系统100可以通过访问可用于要被增强的特定对象的模型开始。例如，对于图6a至图6c的解剖结构，系统100可以访问已经基于术前扫描等生成的解剖结构的术前模型，而对于图7a至图7c的外科手术仪器702，系统图100可以访问外科手术仪器702的cad模型，该模型在购买或部署外科手术仪器702时可用。接下来，系统100可以确定特定对象的哪个部分将被增强(除非，如在某些示例中，整个对象将被增强，而不仅仅是诸如这些示例中所示的一部分)。系统100然后可以依赖计算机视觉提示、运动学数据、机器学习和/或其他因素来确定要增强的特定对象和捕获图像的成像设备的相对位置。例如，计算机视觉和/或运动学数据可用于确定外科手术仪器702相对于捕获图像700-2的成像设备及其视场位于何处。类似地，计算机视觉和/或运动学数据可用于确定特定解剖结构相对于图像设备及其图像600-2的视场位于何处。一旦这些位置已经被确定并且模型的一部分已经被识别，系统100可以将模型的该部分适当地叠加到原始图像(例如，图像600-2或700-2)上以便生成将提供给外科手术团队呈现的增强图像(例如，图像600-3或700-3)。78.此外，在这些和其他示例的每一个中，系统100可以被配置为执行检测特定对象存在于外科手术部位并且以任何合适的方式由捕获的图像描绘。作为一个示例，对于某些实施方式和/或特定对象，系统100可以通过执行以下操作来检测特定对象存在于外科手术部位：1)使用基于计算机视觉的对象辨别技术分析图像的原始版本，以及2)基于使用基于计算机视觉的对象辨别技术对图像的原始版本的分析，确定特定对象存在于图像的原始版本所描绘的外科手术部位。在这个示例中，任何合适的对象辨别技术都可以依赖计算机视觉来识别原始图像内的对象(可以服务于特定的实施方式)。例如，系统100可以搜索和识别原始图像中描绘的对象的各种特征，并且可以使用人工智能技术(例如，在先前图像上训练的机器学习等)来将这些特征的组合与包括在可能存在于外科手术部位的对象的数据库中的已知对象相匹配。79.作为另一个示例，系统100可以通过执行以下操作来检测特定对象存在于外科手术部位：1)访问指示特定对象由计算机辅助外科手术系统控制的特定操纵器臂握持的程序数据，2)访问运动学数据，该运动学数据指示操纵器臂相对于捕获图像的原始版本的图像捕获设备的姿势，以及3)基于程序数据和运动学数据确定特定对象存在于由图像的原始版本所描绘的外科手术部位。在该示例中，程序数据可以从任何合适的源(例如，由跟踪在外科手术程序的每个特定阶段正在使用什么仪器和工具等的系统100或外科手术系统200维护的数据)访问，或者可以是由系统100实时自动确定。例如，系统100可以通过访问手术室可视数据310并分析数据以确定新工具或仪器连接到特定操纵臂来访问该程序数据。系统100然后可以使用由仪器控制系统304提供的运动学数据来确定操纵器臂被定位成使得仪器或工具以及与其相关联的任何对象(例如，由仪器握持的针等)存在于成像设备的视场内的某个位置，使得仪器或工具被确定为由成像设备所捕获的图像描绘。这种用于检测特定对象存在的技术的一个优点是不需要依赖计算机视觉(或依赖与基于计算机视觉的对象辨别技术相同的程度)，使得系统100可以能够检测在外科手术程序期间被脂肪或烟雾等遮蔽物遮蔽或遮挡的对象。80.在一些示例中，可以采用基于计算机视觉的对象辨别技术和例如已经描述的基于运动学的方法两者的组合来检测特定对象。在又一些示例中，可以使用其他合适的方法和技术来检测特定对象存在于外科手术部位并且在原始图像中被描绘。此外，应当理解，在某些示例中，系统100可以至少部分地基于当前程序阶段的确定来检测特定对象(例如，如果当前程序阶段是缝合阶段，系统100可以搜索针等)，或者可以在知道特定对象(例如，脉管系统等)存在的情况下进行操作，而无需任何明确的检测。例如，系统100可以在外科手术程序期间的特定时间确定外科手术程序处于计划作为外科手术程序的一部分执行的多个预定义程序阶段中的特定程序阶段，并且可以响应于确定外科手术程序处于特定程序阶段，检测特定对象在特定时间或之后存在于外科手术部位。相反，在其他示例中，特定对象的检测可以充当触发器或线索以帮助系统100识别哪个程序阶段正在进行(例如，系统100可以识别针并且基于该识别可以确定缝合阶段正在进行等)。81.如已经提到的，在系统100向外科手术系统200的用户提供外科手术辅助的同时的另一任务是识别操作情境。如已经描述的，由系统100识别和作用的操作情境可以包括各种类型的情况、条件、事件或外科手术程序的其他此类方面中的任何一种。正如上面详细描述的那样检测特定对象存在于外科手术部位并增强对该对象的描述，操作情境的识别也可以以可以服务于特定实施方式的任何方式来执行。82.作为一个示例，系统100可以通过访问各种类型的程序数据中的任一种并且基于程序数据确定外科手术程序处于计划作为外科手术程序的一部分执行的多个预定义程序阶段的特定程序阶段，来识别外科手术程序的操作情境。由系统100访问以用于确定外科手术程序的程序阶段的程序数据可以指来自可以帮助系统100识别在特定时间哪个程序阶段正在进行的各种数据源中的任何一个的任何类型的数据。83.例如，这样的程序数据可以从外科手术系统200接收并且可以代表当前在执行外科手术程序中采用的外科手术仪器、在外科手术程序期间外科手术仪器的姿势(例如，基于跟踪的运动学数据等)，或外科手术系统200已知的并且与在所讨论的特定时刻使用哪些仪器和工具相关的其他此类信息。作为另一个示例，这样的程序数据可以包括在外科手术程序期间记录在手术室中的音频内容(例如，手术室音频308)并且可以从通信地耦合到系统100的麦克风或其他声音捕获系统访问。类似地，程序数据可以包括在外科手术程序期间记录在手术室中的图像内容(例如，视频数据等)(例如，手术室视觉310)，并且可以从布置在手术室中的摄像机访问。在又一些示例中，程序数据可以是由执行外科手术程序的外科手术团队的成员提供的直接用户输入数据，并且直接指示哪个程序阶段正在进行，或者可以从哪个程序阶段导出的其他数据。已经描述的所有这些类型的程序数据将被理解为仅是示例，并且来自本文未明确描述的其他源的其他形式的程序数据也可以用在某些实施方式中，以进一步帮助系统100识别外科手术程序的哪个程序阶段程序在特定时刻正在进行。84.基于任何这些类型的程序数据(或其任何组合)，系统100可以识别程序阶段。在一些示例中，可以采用诸如机器学习技术的人工智能技术来根据用于训练人工智能的先前执行的外科手术程序基于程序数据来识别程序阶段。在一些示例中，系统100还可以使用诸如定时和/或正在使用哪些仪器的提示，因为这些因素中的每一个都可以使用机器学习或其他技术预先计划或识别。此外，外科医生或另一外科手术团队成员可以手动向系统指示当前程序阶段何时完成和/或新程序阶段何时开始。以任何这些或其他合适的方式，系统100可以确定程序阶段和/或以其他方式识别特定外科手术程序的操作情境。85.图8图示了用于外科手术程序的预定义计划的示例性方面。具体地，图8示出了计划800，其包括将左列中列出的各种潜在增强与沿底行布置的各种程序阶段(即，标记为1到5的程序阶段)相关联的图表。计划800的程序阶段可以代表与任何类型的外科手术程序计划800可能对应的示例性程序阶段。例如，如果计划800用于诸如上述示例的部分肾切除术，则程序阶段可以表示计划在部分肾切除术期间执行的阶段。虽然在图8的示例中示出了五个程序阶段，但是应当理解，在可以服务于特定的实施方式或外科手术程序的其他示例中可以计划更多或更少的阶段。86.各种潜在的增强沿包括在计划800中的图表的左列列出，并且检查标记用于指示是否每个潜在的增强将在计划中的每个程序阶段期间实施。因此，当外科手术程序的操作情境被识别以指示在特定时刻哪个程序阶段正在进行时，系统100可以被配置为根据计划800中指示的任何增强来处理呈现给用户的图像。例如，如图所示，在程序阶段1中，系统100可以将原始图像提供给用户而无需任何增强。在程序阶段2中，系统100可以增强图像以叠加表面下解剖结构的3d模型(“显示3d模型(表面下解剖)”)。在程序阶段3中，系统100可以继续进行表面下解剖模型增强，同时还添加在外科手术部位存在的表面对象的3d模型的叠加，例如可能被烟雾或其他遮蔽物遮挡的仪器(“显示3d模型(仪器)”)。在程序阶段4中，可以继续提供两种3d模型增强，同时通过附加增强(“强调解剖结构”)强调某些解剖特征(例如，在外科手术程序期间可能被血液或脂肪遮蔽的特征)。在程序阶段5中，系统100可以停止强调解剖结构，同时继续叠加3d模型。另外，系统100可以强调仪器和/或其他对象，例如可以在程序的这个阶段使用的针和线(“强调仪器”、“强调其他对象”)。87.使用诸如计划800的外科手术程序计划，系统100可以被配置为使用诸如已经描述的各种有用增强基于外科手术程序的操作情境来提供外科手术辅助。如上所述，例如，系统100可以以任何以下方式或以本文所述的多种其他方式提供外科手术辅助。88.例如，如果系统100检测到外科手术程序的缝合阶段正在进行和/或外科医生的视图中存在针，则可以使用叠加在外科医生的视图上的增强来突出或以其他方式增强或强调针和相应的线。这可以帮助外科医生将注意力集中在正在缝合的针和缝线上，以便在掉落时轻松取回针，等等。89.作为另一个示例，如果系统100检测到外科手术程序的烧灼阶段正在进行和/或外科医生的视图中存在烟雾，则可以使用叠加在外科医生的视图上的增强来突出或以其他方式增强或强调仪器的边缘。这可以帮助外科医生轻松看到仪器，即使烟雾可能会遮蔽或部分遮蔽它们的视线。90.作为又一示例，如果系统100检测到解剖结构在场景中是清晰可见的(例如，没有大量脂肪、烟雾或其他遮蔽物存在)，则可以显示将以其他方式难以正确地配准到目标解剖结构(由于遮蔽物)的某些增强。然而，如果确定潜在未对齐的增强可能是比对用户的辅助更多的分心的来源，则当存在的遮蔽物阻止系统实现合适的配准时，可能不会呈现这种增强。91.除了增强呈现给用户的图像之外，系统100还可以被配置为一旦已经识别了外科手术程序的操作情境，就基于该操作情境来执行其他操作或任务。例如，如果在外科手术部位检测到血液或烟雾，则系统100可以被配置为请求抽吸，例如，通过生成由外科手术团队看到的应该考虑这种抽吸的通知。作为另一个示例，系统100可以被配置为如果识别指示组织片已经被切除并需要装袋的操作情境，则自动请求样本袋。作为又一个示例，系统100可以在检测到出血时请求缝合针、夹子或其他此类工具，和/或在检测到已经到达线的末端时可以酌情请求额外的缝合线和更多线。在一些这样的示例中，系统100可以基于检测到需要多少更多缝合线的操作情境来请求特定长度的线。92.作为系统100可以被配置为基于识别的操作情境执行的动作的另一个示例，系统100可以启用或调整特定成像模态的参数，如果基于操作情境，系统100确定这将有帮助。例如，如果识别指示将要执行动脉钳夹的操作情境，系统100可以启用或调整用于对脉管系统进行成像的多普勒超声模块的参数。当这种钳夹完成时，系统100还可以切换回正常超声模式(例如，没有多普勒等)。93.系统100还可以基于已经识别的操作情境来调整可视化参数。例如，系统100可以使用计算机视觉来估计组织表面特性，并且可以使用识别的特性来调整渲染参数，例如表面下散射。表面下散射只是可以潜在地在体内测量并用于创建更逼真的可视化的物理特性的一个示例，但是应当理解，在某些实施方式中也可以使用各种其他示例。例如，可以更改呈现给用户的可视化以在叠加和背景之间提供良好的对比度，或者在脂肪组织等不稳定组织的顶部不显示某些(或任何)3d模型。94.图9图示了用于基于外科手术程序的操作情境来提供外科手术辅助的示例性方法900。虽然图9图示了根据一个实施例的示例性操作，但是其他实施例可以省略、添加、重新排序、组合和/或修改图9中所示的任何操作。图9中所示的一个或多个操作可以在外科手术程序期间由情境辅助系统执行。例如，执行图9所示操作的情境辅助系统可以由系统100、其中包括的任何部件和/或其任何实施方式来实现。95.在操作902中，情境辅助系统可以识别外科手术程序的操作情境。例如，当特定对象存在于由图像的第一版本描绘的外科手术部位时，可以识别操作情境。在一些示例中，情境辅助系统可以在外科手术程序期间执行操作902。操作902可以本文描述的任何方式执行。96.在操作904中，情境辅助系统可以在图像的第二版本内增强特定对象的描绘。图像的第二版本可以呈现给与外科手术程序相关联的用户，并且图像的第二版本内特定对象的描绘的增强可以基于在操作902中所识别的操作情境。在一些示例中，情境辅助系统可以在外科手术程序期间执行操作904。操作904可以以本文描述的任何方式来执行。97.在一些示例中，可以根据本文描述的原理提供存储计算机可读指令的非暂时性计算机可读介质。当由计算设备的处理器执行时，指令可以指导处理器和/或计算设备执行一个或多个操作，包括本文描述的一个或多个操作。这样的指令可以使用多种已知的计算机可读介质中的任何一种来存储和/或传输。98.如本文所指的非暂时性计算机可读介质可以包括参与提供可以由计算设备(例如，由计算设备的处理器)读取和/或执行的数据(例如指令)的任何非暂时存储介质。例如，非暂时性计算机可读介质可以包括但不限于非易失性存储介质和/或易失性存储介质的任何组合。示例性非易失性存储介质包括但不限于只读存储器、闪存、固态驱动器、磁存储设备(例如硬盘、软盘、磁带等)、铁电随机存取存储器(“ram”)和光盘(例如，激光唱片、数字视频光盘、蓝光光盘等)。示例性易失性存储介质包括但不限于ram(例如动态ram)。99.图10图示了示例性计算设备1000，该计算设备1000可以被具体配置为执行本文描述的一个或多个过程。本文描述的任何系统、单元、计算设备和/或其他部件可以由计算设备1000实现。100.如图10所示，计算设备1000可以包括经由通信基础设施1010相互通信连接的通信接口1002、处理器1004、存储设备1006和输入/输出(“i/o”)模块1008。虽然在图10中示出了示例性计算设备1000，但图10中所示的部件并非旨在进行限制。在其他实施例中可以使用附加的或替代的部件。现在将更加详细地描述图10中所示的计算设备1000的部件。101.通信接口1002可以被配置为与一个或多个计算设备通信。通信接口1002的示例包括但不限于有线网络接口(例如网络接口卡)、无线网络接口(例如无线网络接口卡)、调制解调器、音频/视频连接以及任何其他合适的接口。102.处理器1004通常表示能够处理数据和/或解释、执行和/或指导本文描述的指令、过程和/或操作中的一个或多个的执行的任何类型或形式的处理单元。处理器1004可以通过执行存储在存储设备1006中的计算机可执行指令1012(例如，应用、软件、代码和/或其他可执行数据实例)来执行操作。103.存储设备1006可以包括一个或多个数据存储介质、设备或配置，并且可以采用数据存储介质和/或设备的任何类型、形式和组合。例如，存储设备1006可以包括但不限于本文所述的非易失性介质和/或易失性介质的任何组合。电子数据(包括本文描述的数据)可以临时和/或永久地存储在存储设备1006中。例如，代表被配置为指导处理器1004执行本文描述的任何操作的计算机可执行指令1012的数据可以存储在存储设备1006内。在一些示例中，数据可以布置在驻留在存储设备1006内的一个或多个数据库中。104.i/o模块1008可以包括一个或多个i/o模块，其被配置为接收用户输入并提供用户输出。i/o模块1008可以包括支持输入和输出能力的任何硬件、固件、软件或其组合。例如，i/o模块1008可以包括用于捕获用户输入的硬件和/或软件，包括但不限于键盘或小键盘、触摸屏部件(例如，触摸屏显示器)、接收器(例如，rf或红外接收器)、运动传感器和/或一个或多个输入按钮。105.i/o模块1008可以包括用于向用户呈现输出的一个或多个设备，包括但不限于图形引擎、显示器(例如，显示屏)、一个或多个输出驱动器(例如，显示驱动器)、一个或多个音频扬声器以及一个或多个音频驱动器。在某些实施例中，i/o模块1008被配置为向显示器提供图形数据以呈现给用户。图形数据可以代表一个或多个图形用户界面和/或可以服务于特定实施方式的任何其他图形内容。106.在一些示例中，本文描述的任何设施可以由计算设备1000的一个或多个部件实现或在其内实现。例如，驻留在存储设备1006内的一个或多个应用1012可以被配置为指导处理器1004的实施方式以执行与系统100的处理设施104相关联的一个或多个操作或功能。同样，系统100的存储设施102可以由存储设备1006的实施方式实现或在存储设备1006的实施方式内实现。107.在前面的描述中，已经参照附图描述了各种示例性实施例。然而，在不背离如所附权利要求中阐述的本发明的范围的情况下，显然可以对其进行各种修改和改变，并且可以实施另外的实施例。例如，本文所述的一个实施例的某些特征可以与本文所述的另一实施例的特征组合或替代。相应地，描述和附图被认为是说明性的而不是限制性的。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!