通过外科系统分析外科手术趋势并提供用户推荐的制作方法

医药医疗技术的改进;医疗器械制造及应用技术通过外科系统分析外科手术趋势并提供用户推荐背景技术：：：1.外科系统通常结合有成像系统，该成像系统可允许临床医生例如在一个或多个显示器(诸如监视器)上观看外科部位和/或其一个或多个部分。显示器可以是手术室本地的和/或远程的。成像系统可包括具有相机的观察镜，该观察镜观看外科部位并将视图传输到临床医生可观看的显示器。观察镜包括但不限于关节镜、血管镜、支气管镜、胆道镜、结肠镜、膀胱镜、十二指肠镜、肠镜、食管胃-十二指肠镜(胃镜)、内窥镜、喉镜、鼻咽-肾镜、乙状结肠镜、胸腔镜、输尿管镜和外镜。成像系统可受到它们能够识别和/或传达给临床医生的信息的限制。例如，某些成像系统可能无法在术中识别三维空间内的某些隐蔽结构、物理轮廓和/或尺寸。另外，某些成像系统可能无法在术中将某些信息传送和/或传达给临床医生。技术实现要素：2.在一个总体方面，公开了一种可通信地连接到后端计算机系统的外科控制系统。该外科控制系统包括成像系统和控制电路，该控制电路耦接到该成像系统。该成像系统包括被配置成能够发射电磁辐射(emr)的发射器和被配置成能够接收从外科部位反射的emr的图像传感器。emr的至少一部分作为结构化emr发射。该控制电路被配置成能够通过由图像传感器接收的反射emr来生成外科部位的图像，基于该图像确定正在进行的外科动作，从后端计算机系统接收与外科动作相关联的基线外科动作，以及根据外科动作和基线外科动作之间的比较提供用户推荐。3.在另一个总体方面，公开了一种可通信地连接到多个外科集线器的计算机系统。多个外科集线器各自可通信地连接到成像系统。该计算机系统包括控制电路，该控制电路被配置成能够从多个外科集线器接收在多个外科手术期间由每个成像系统捕获的多个外科部位的多个图像，确定多个外科结果，其中多个外科结果中的每一个外科结果与多个外科手术中的一个外科手术相关联并且基于多个图像中的一个图像，根据多个图像和多个外科结果确定基线外科动作，并且将基线外科动作传输到多个外科集线器。4.在又另一总体方面，公开了一种可通信地连接到后端计算机系统的外科系统的控制方法。该控制系统包括成像系统。该成像系统包括被配置成能够发射电磁辐射(emr)的发射器。emr的至少一部分作为结构化emr发射，并且图像传感器被配置成能够接收从外科部位反射的emr。该方法包括通过由图像传感器接收的反射emr来生成外科部位的图像，基于该图像确定正在进行的外科动作，从后端计算机系统接收与外科动作相关联的基线外科动作，以及根据外科动作和基线外科动作之间的比较提供用户推荐。附图说明5.各种方面的新型特征在随附权利要求书中具体阐述。然而，关于组织和操作方法两者的所述方面可通过结合附图参照以下描述最好地理解，其中：6.图1是根据本公开的至少一个方面的包括成像装置和外科装置的外科可视化系统的示意图，该外科可视化系统被配置成能够识别组织表面下方的关键结构。7.图2是根据本公开的至少一个方面的用于外科可视化系统的控制系统的示意图。8.图2a示出了根据本公开的至少一个方面的被配置成能够控制外科可视化系统的各方面的控制电路。9.图2b示出了根据本公开的至少一个方面的被配置成能够控制外科可视化系统的各方面的组合逻辑电路。10.图2c示出了根据本公开的至少一个方面的被配置成能够控制外科可视化系统的各方面的时序逻辑电路。11.图3是根据本公开的至少一个方面的描绘在图1的外科装置、成像装置与关键结构之间进行三角测量以确定关键结构在组织表面下方的深度da的示意图。12.图4是根据本公开的至少一个方面的被配置成能够识别组织表面下方的关键结构的外科可视化系统的示意图，其中该外科可视化系统包括用于确定关键结构在组织表面下方的深度da的脉冲光源。13.图5是根据本公开的至少一个方面的包括成像装置和外科装置的外科可视化系统的示意图，该外科可视化系统被配置成能够识别组织表面下方的关键结构。14.图6是根据本公开的至少一个方面的包括三维相机的外科可视化系统的示意图，其中该外科可视化系统被配置成能够识别嵌入组织内的关键结构。15.图7a和图7b是根据本公开的至少一个方面的由图6的三维相机拍摄的关键结构的视图，其中图7a是来自三维相机的左侧透镜的视图，并且图7b是来自三维相机的右侧透镜的视图。16.图8是根据本公开的至少一个方面的图6的外科可视化系统的示意图，其中可确定从三维相机到关键结构的相机-关键结构距离dw。17.图9是根据本公开的至少一个方面的利用两个相机来确定嵌入关键结构的方位的外科可视化系统的示意图。18.图10a是根据本公开的至少一个方面的利用相机的外科可视化系统的示意图，该相机在多个已知方位之间轴向运动以确定嵌入关键结构的方位。19.图10b是根据本公开的至少一个方面的图10a的外科可视化系统的示意图，其中相机在多个已知方位之间轴向且旋转运动以确定嵌入关键结构的方位。20.图11是根据本公开的至少一个方面的用于外科可视化系统的控制系统的示意图。21.图12是根据本公开的至少一个方面的用于外科可视化系统的结构化光源的示意图。22.图13a是根据本公开的至少一个方面的各种生物材料的吸收系数不同波长的曲线图。23.图13b是根据本公开的至少一个方面的通过光谱外科可视化系统对解剖结构进行可视化的示意图。24.图13c至图13e描绘了根据本公开的至少一个方面的用于区分解剖结构与遮蔽物的例示性高光谱识别特征，其中图13c是输尿管特征与遮蔽物的图形表示，图13d是动脉特征与遮蔽物的图形表示，并且图13e是神经特征与遮蔽物的图形表示。25.图14是根据本公开的至少一个方面的被配置成能够感测离关键解剖结构的距离的近红外(nir)飞行时间测量系统的示意图，该飞行时间测量系统包括定位在公共装置上的传输器(发射器)和接收器(传感器)。26.图15是根据本公开的至少一个方面的图17a的nir飞行时间测量系统的发射波、接收波以及发射波与接收波之间的延迟的示意图。27.图16示出了根据本公开的至少一个方面的被配置成能够感测离不同结构的距离的nir飞行时间测量系统，该飞行时间测量系统包括单独装置上的传输器(发射器)和接收器(传感器)。28.图17是根据本公开的至少一个方面的由计算机实现的交互式外科系统的框图。29.图18是根据本公开的至少一个方面的用于在手术室中执行外科手术的外科系统。30.图19示出了根据本公开的至少一个方面的由计算机实现的交互式外科系统。31.图20示出了根据本公开的至少一个方面的态势感知外科系统的图。32.图21示出了根据本公开的至少一个方面的描绘集线器的态势感知的时间轴。33.图22是根据本公开的至少一个方面的外科系统的图。34.图23为根据本公开的至少一个方面的用于向用户提供动态外科推荐的过程的逻辑流程图。35.图24是根据本公开的至少一个方面的显示推荐的外科器械位置的外科可视化。具体实施方式36.本技术的申请人拥有以下美国专利申请，这些专利申请中的每一项全文以引用方式并入本文：37.·代理人案卷号end9228usnp1/190580-1m，其名称为“structuredmultispectralcomputationalanalysis”；38.·代理人案卷号end9227usnp1/190579-1，其名称为“adaptivevisualizationbyasurgicalsystem”；39.·代理人案卷号end9226usnp1/190578-1，其名称为“surgicalsystemcontrolbasedonmultiplesensedparameters”；40.·代理人案卷号end9225usnp1/190577-1，其名称为“adaptivesurgicalsystemcontrolaccordingtosurgicalsmokeparticlecharacteristics”；41.·代理人案卷号end9224usnp1/190576-1，其名称为“adaptivesurgicalsystemcontrolaccordingtosurgicalsmokecloudcharacteristics”；42.·代理人案卷号end9223usnp1/190575-1，其名称为“surgicalsystemscorrelatingvisualizationdataandpoweredsurgicalinstrumentdata”；43.·代理人案卷号end9222usnp1/190574-1，其名称为“surgicalsystemsforgeneratingthreedimensionalconstructsofanatomicalorgansandcouplingidentified”；44.·代理人案卷号end9221usnp1/190573-1，其名称为“surgicalsystemforoverlayingsurgicalinstrumentdataontoavirtualthreedimensionalconstructofanorgan”；45.·代理人案卷号end9220usnp1/190572-1，其名称为“surgicalsystemsforproposingandcorroboratingorganportionremovals”；46.·代理人案卷号end9219usnp1/190571-1，其名称为“systemandmethodfordetermining,adjusting,andmanagingresectionmarginaboutasubjecttissue”；47.·代理人案卷号end9218usnp1/190570-1，其名称为“visualizationsystemsusingstructuredlight”；48.·代理人案卷号end9217usnp1/190569-1，其名称为“dynamicsurgicalvisualizationsystems”；49.本技术的申请人拥有于2019年3月15日提交的以下美国专利申请，这些专利申请中的每一项全文以引用方式并入本文：50.·美国专利申请序列号16/354,417，其名称为“inputcontrolsforroboticsurgery”；51.·美国专利申请序列号16/354,420，其名称为“dualmodecontrolsforroboticsurgery”；52.·美国专利申请序列号16/354,422，其名称为“motioncapturecontrolsforroboticsurgery”；53.·美国专利申请序列号16/354,440，其名称为“roboticsurgicalsystemswithmechanismsforscalingsurgicaltoolmotionaccordingtotissueproximity”；54.·美国专利申请序列号16/354,444，其名称为“roboticsurgicalsystemswithmechanismsforscalingcameramagnificationaccordingtoproximityofsurgicaltooltotissue”；55.·美国专利申请序列号16/354,454，其名称“roboticsurgicalsystemswithselectivelylockableendeffectors”；56.·美国专利申请序列号16/354,461，其名称为“selectablevariableresponseofshaftmotionofsurgicalroboticsystems”；57.·美国专利申请序列号16/354,470，其名称为“segmentedcontrolinputsforsurgicalroboticsystems”；58.·美国专利申请序列号16/354,474，其名称为“roboticsurgicalcontrolshavingfeedbackcapabilities”；59.·美国专利申请序列号16/354,478，其名称“roboticsurgicalcontrolswithforcefeedback”；以及60.·美国专利申请序列号16/354,481，其名称为“jawcoordinationofroboticsurgicalcontrols”。61.本技术的申请人还拥有2018年9月11日提交的以下美国专利申请，这些专利申请中的每一项全文以引用方式并入本文：62.·美国专利申请序列号16/128,179，其名称为“surgicalvisualizationplatform”；63.·美国专利申请序列号16/128,180，其名称为为“controllinganemitterassemblypulsesequence”；64.·美国专利申请序列号16/128,198，其名称为“singularemrsourceemitterassembly”；65.·美国专利申请序列号16/128,207，其名称为“combinationemitterandcameraassembly”；66.·美国专利申请序列号16/128,176，其名称为“surgicalvisualizationwithproximitytrackingfeatures”；67.·美国专利申请序列号16/128,187，其名称为“surgicalvisualizationofmultipletargets”；68.·美国专利申请序列号16/128,192，其名称为“visualizationofsurgicaldevices”；69.·美国专利申请序列号16/128,163，其名称为“operativecommunicationoflight”；70.·美国专利申请序列号16/128,197，其名称为“roboticlightprojectiontools”；71.·美国专利申请序列号16/128,164，其名称为“surgicalvisualizationfeedbacksystem”；72.·美国专利申请序列号16/128,193，其名称为“surgicalvisualizationandmonitoring”；73.·美国专利申请序列号16/128,195，其名称为“integrationofimagingdata”；74.·美国专利申请序列号16/128,170，其名称为“robotically-assistedsurgicalsuturingsystems”；75.·美国专利申请序列号16/128,183，其名称为“safetylogicforsurgicalsuturingsystems”；76.·美国专利申请序列号16/128,172，其名称为“roboticsystemwithseparatephotoacousticreceiver”；以及77.·美国专利申请序列号16/128,185，其名称为“forcesensorthroughstructuredlightdeflection”。78.本技术的申请人还拥有2018年3月29日提交的以下美国专利申请，79.这些专利申请中的每一项全文以引用方式并入本文：80.·美国专利申请序列号15/940,627，其名称为“drivearrangementsforrobot-assistedsurgicalplatforms”，现为美国专利申请公开号2019/0201111；81.·美国专利申请序列号15/940,676，其名称为“automatictooladjustmentsforrobot-assistedsurgicalplatforms”，现为美国专利申请公开号2019/0201142；82.·美国专利申请序列号15/940,711，其名称为“sensingarrangementsforrobot-assistedsurgicalplatforms”，现为美国专利申请公开号2019/0201120；以及83.·美国专利申请序列号15/940,722，其名称为“characterizationoftissueirregularitiesthroughtheuseofmono-chromaticlightrefractivity”，现为美国专利申请公开号2019/0200905。84.本专利申请的申请人拥有于2018年12月4日提交的以下美国专利申请，这些临时专利申请中的每个的公开内容全文以引用方式并入本文：85.·美国专利申请序列号16/209,395，其名称为“methodofhubcommunication”，现为美国专利申请公开号2019/0201136；86.·美国专利申请序列号16/209,403，其名称为“methodofcloudbaseddataanalyticsforusewiththehub”，现为美国专利申请公开号2019/0206569；87.·美国专利申请序列号16/209,407，其名称为“methodofrobotichubcommunication,detection,andcontrol”，现为美国专利申请公开号2019/0201137；88.·美国专利申请序列号16/209,416，其名称为“methodofhubcommunication,processing,display,andcloudanalytics”，现为美国专利申请公开号2019/0206562；89.·美国专利申请序列号16/209,423，其名称为“methodofcompressingtissuewithinastaplingdeviceandsimultaneouslydisplayingthelocationofthetissuewithinthejaws”，现为美国专利申请公开号2019/0200981；90.·美国专利申请序列号16/209,427，其名称为“methodofusingreinforcedflexiblecircuitswithmultiplesensorstooptimizeperformanceofradiofrequencydevices”，现为美国专利申请公开号2019/0208641；91.·美国专利申请序列号16/209,433，其名称为“methodofsensingparticulatefromsmokeevacuatedfromapatient,adjustingthepumpspeedbasedonthesensedinformation,andcommunicatingthefunctionalparametersofthesystemtothehub”，现为美国专利申请公开号2019/0201594；92.·美国专利申请序列号16/209,447，其名称为“methodforsmokeevacuationforsurgicalhub”，现为美国专利申请公开号2019/0201045；93.·美国专利申请序列号16/209,453，其名称为“methodforcontrollingsmartenergydevices”，现为美国专利申请公开号2019/0201046；94.·美国专利申请序列号16/209,458，其名称为“methodforsmartenergydeviceinfrastructure”，现为美国专利申请公开号2019/0201047；95.·美国专利申请序列号16/209,465，其名称为“methodforadaptivecontrolschemesforsurgicalnetworkcontrolandinteraction”，现为美国专利申请公开号2019/0206563；96.·美国专利申请序列号16/209,478，其名称为“methodforsituationalawarenessforsurgicalnetworkorsurgicalnetworkconnecteddevicecapableofadjustingfunctionbasedonasensedsituationorusage”，现为美国专利申请公开号2019/0104919；97.·美国专利申请序列号16/209,490，其名称为“methodforfacilitydatacollectionandinterpretation”，现为美国专利申请公开号2019/0206564；以及98.·美国专利申请序列号16/209,491，其名称为“methodforcircularstaplercontrolalgorithmadjustmentbasedonsituationalawareness”，现为美国专利申请公开号2019/0200998。99.在详细说明外科可视化平台的各个方面之前，应当指出，例示性示例在应用或使用上不限于附图和说明书中所示出的部件的构造和布置的细节。例示性示例可在其他方面、变型和修改中实现或并入，并且可以各种方式实践或执行。此外，除非另外指明，否则本文所用的术语和表达是为了方便读者而对例示性示例进行描述而所选的，并非为了限制性的目的。而且，应当理解，以下描述的方面、方面的表达和/或示例中的一者或多者可与其他以下描述的方面、方面的表达和/或示例中的任何一者或多者组合。100.外科可视化系统101.本公开涉及一种外科可视化平台，该外科可视化平台利用“数字外科手术”来获得关于患者的解剖结构和/或外科手术的附加信息。该外科可视化平台被进一步配置成能够以有帮助的方式将数据和/或信息传达给一个或多个临床医生。例如，本公开的各个方面提供了患者的解剖结构和/或外科手术的改善的可视化。[0102]“数字外科手术”可涵盖机器人系统、高级成像、高级仪器、人工智能、机器学习、用于性能跟踪和基准测试的数据分析、手术室(or)内部和外部两者的连接性以及更多。尽管本文所述的各种外科可视化平台可与机器人外科系统结合使用，但是外科可视化平台不限于与机器人外科系统一起使用。在某些情况下，高级外科可视化可在没有机器人以及/或者具有有限的和/或任选的机器人辅助的情况下进行。类似地，数字外科可在没有机器人以及/或者具有有限的和/或任选的机器人辅助的情况下进行。[0103]在某些情况下，结合有外科可视化平台的外科系统可实现智能解剖以便识别和避开关键结构。关键结构包括解剖结构诸如输尿管、动脉诸如肠系膜上动脉、静脉诸如门静脉、神经诸如膈神经和/或肿瘤等解剖结构。在其他情况下，关键结构可以是例如解剖场中的外来结构，诸如外科装置、外科紧固件、夹具、大头钉、探条、带和/或板。关键结构可基于不同患者和/或不同手术来确定。本文还描述了示例性关键结构。例如，智能解剖技术可提供用于解剖的改善的术中指导，并且/或者可利用关键解剖结构检测和避开技术来实现智能决策。[0104]结合有外科可视化平台的外科系统还可实现智能吻合技术，该智能吻合技术利用改善的工作流程在最佳位置处提供更一致的吻合。也可利用本文所述的各种外科可视化平台和手术来改善癌症定位技术。例如，癌症定位技术可识别和跟踪癌症位置、取向及其边界。在某些情况下，癌症定位技术可在外科手术期间补偿工具、患者和/或患者的解剖结构的移动，以便为临床医生提供回到感兴趣的点的指导。[0105]在本公开的某些方面，外科可视化平台可提供改善的组织表征和/或淋巴结诊断和标测。例如，组织表征技术可在不需要物理触觉的情况下表征组织类型和健康，特别是当在组织内解剖和/或放置缝合装置时。本文所述的某些组织表征技术可在没有电离辐射和/或造影剂的情况下使用。关于淋巴结诊断和标测，外科可视化平台可在术前定位、标测和理想地诊断涉及例如癌性诊断和分期的淋巴系统和/或淋巴结。[0106]在外科手术期间，临床医生可经由“肉眼”和/或成像系统获得的信息可提供外科部位的不完整视图。例如，某些结构(诸如嵌入或掩埋在器官内的结构)可至少部分地被隐蔽或隐藏起来使其不被看见。另外，某些尺寸和/或相对距离可能难以利用现有的传感器系统探知和/或难以让“肉眼”感知。此外，某些结构可在术前(例如，在外科手术之前但在术前扫描之后)和/或术中运动。在此类情况下，临床医生可能无法在术中准确地确定关键结构的位置。[0107]当关键结构的方位不确定时和/或当关键结构与外科工具之间的接近度未知时，临床医生的决策过程可能受到阻碍。例如，临床医生可避开某些区域，以便避免意外解剖关键结构；然而，所避开的区域可能不必要地较大和/或至少部分地错位。由于不确定性和/或过于/过度谨慎操作，临床医生可能无法进入某些期望的区域。例如，过度谨慎可能导致临床医生留下肿瘤和/或其他不期望的组织的一部分，以企图避开关键结构，即使关键结构不在该特定区域中和/或不会受到在该特定区域中工作的临床医生的负面影响。在某些情况下，可通过增加知识和/或确定性来改善外科结果，这可使得外科医生在特定解剖区域方面更加准确，并且在某些情况下，使得外科医生不那么保守/更有进取性。[0108]在各个方面，本公开提供了用于术中识别和避开关键结构的外科可视化系统。在一个方面，本公开提供了一种外科可视化系统，该外科可视化系统实现了加强的术中决策和改善的外科结果。在各个方面，所公开的外科可视化系统提供了高级可视化能力，超出临床医生用“肉眼”所见的内容以及/或者超出成像系统可识别和/或传达给临床医生的内容。各种外科可视化系统可增强和加强临床医生在组织治疗(例如，解剖)之前能够知道的内容，并且因此可在各种情况下改善结果。[0109]例如，可视化系统可包括被配置成能够发射多个光谱波的第一光发射器、被配置成能够发射光图案的第二光发射器以及被配置成能够检测可见光、对光谱波的分子响应(光谱成像)和/或光图案的一个或多个接收器或传感器。应该注意的是，在下面的整个公开内容中，除非特别提到可见光，否则任何提到的“光”可以包括电磁辐射(emr)或emr波长光谱的可见和/或不可见部分中的光子。外科可视化系统还可包括成像系统以及与接收器和成像系统信号通信的控制电路。基于来自接收器的输出，控制电路可确定外科部位处可见表面的几何表面标测图(即三维表面形貌)以及相对于外科部位的一个或多个距离。在某些情况下，控制电路可确定到至少部分隐蔽的结构的一个或多个距离。此外，成像系统可将几何表面标测图和一个或多个距离传达给临床医生。在此类情况下，提供给临床医生的外科部位的增强视图可提供外科部位的相关环境内的隐蔽结构的表示。例如，成像系统可在隐蔽和/或阻挡组织的几何表面标测图上虚拟地增强隐蔽结构，类似于在地面上绘制的线以指示表面下方的实用线。另外或另选地，成像系统可传达一个或多个外科工具与可见的阻挡组织和/或与至少部分隐蔽的结构的接近度以及/或者隐蔽结构在阻挡组织的可见表面下方的深度。例如，可视化系统可确定相对于可见组织的表面上的增强线的距离，并且将该距离传达到成像系统。[0110]在本公开的各个方面，公开了用于术中识别和避开关键结构的外科可视化系统。此类外科可视化系统可在外科手术期间向临床医生提供有价值的信息。因此，例如，临床医生知道外科可视化系统正在跟踪例如可在解剖期间接近的关键结构(诸如输尿管、特定神经和/或关键血管)，可在整个外科手术过程中确信地保持动力。在一个方面，外科可视化系统可在足够长的时间内向临床医生提供指示，以使临床医生暂停和/或减慢外科手术并且评估与关键结构的接近度，以防止对其造成意外损坏。[0111]外科可视化系统可向临床医生提供理想的、优化的和/或可定制的信息量，以允许临床医生确信地和/或快速地运动穿过组织，同时避免对健康组织和/或关键结构造成意外损坏，并且因此最小化由外科手术引起的伤害风险。[0112]图1是根据本公开的至少一个方面的外科可视化系统100的示意图。外科可视化系统100可在解剖场内创建关键结构101的视觉表示。外科可视化系统100可用于例如临床分析和/或医疗干预。在某些情况下，外科可视化系统100可在术中使用，以在外科手术期间向临床医生提供关于接近度数据、尺寸和/或距离的实时或近实时的信息。外科可视化系统100被配置用于在术中识别关键结构和/或有利于外科装置避开关键结构101。例如，通过识别关键结构101，临床医生可避免在外科手术期间在关键结构101和/或关键结构101的预定接近度中的区域周围操纵外科装置。例如，临床医生可避免对例如被识别为关键结构101的静脉、动脉、神经和/或血管进行解剖和/或避免在这些关键结构附近进行解剖。在各种情况下，关键结构101可基于不同患者和/或不同手术来确定。[0113]外科可视化系统100结合距离传感器系统104结合有组织识别和几何表面标测。结合起来，外科可视化系统100的这些特征可确定关键结构101在解剖场内的方位以及/或者外科装置102与可见组织的表面105和/或与关键结构101的接近度。此外，外科可视化系统100包括成像系统，该成像系统包括例如被配置成能够提供外科部位的实时视图的成像装置120，诸如相机。在各种情况下，成像装置120是光谱相机(例如，高光谱相机、多光谱相机或选择性光谱相机)，该光谱相机被配置成能够检测反射的光谱波形并且基于对不同波长的分子响应来生成图像的光谱立方体。来自成像装置120的视图可被提供给临床医生，并且在本公开的各个方面，可基于组织识别、地形标测和距离传感器系统104用附加信息来增强这些视图。在此类情况下，外科可视化系统100包括多个子系统，即成像子系统、表面标测子系统、组织识别子系统和/或距离确定子系统。这些子系统可配合以在术中向临床医生提供高级数据合成和集成信息。[0114]成像装置可包括相机或成像传感器，该相机或成像传感器被配置成能够检测例如可见光、光谱光波(可见光或不可见光)和结构化光图案(可见光或不可见光)。在本公开的各个方面，成像系统可包括例如成像装置，诸如内窥镜。另外或另选地，成像系统可包括例如成像装置，诸如关节镜、血管镜、支气管镜、胆道镜、结肠镜、膀胱镜、十二指肠镜、肠镜、食管胃-十二指肠镜(胃镜)、喉镜、鼻咽-肾镜、乙状结肠镜、胸腔镜、输尿管镜或外镜。在其他情况下，诸如在开放外科手术应用中，成像系统可不包括观察镜。[0115]在本公开的各个方面，组织识别子系统可用光谱成像系统来实现。光谱成像系统可依赖于例如高光谱成像、多光谱成像或选择性光谱成像。组织的高光谱成像进一步在2016年3月1日公布的名称为“systemandmethodforgrossanatomicpathologyusinghyperspectralimaging”的美国专利号9,274,047中描述，该专利全文以引用方式并入本文。[0116]在本公开的各个方面，表面标测子系统可用光图案系统来实现，如本文进一步所述。光图案(或结构化光)用于表面标测是已知的。已知的表面标测技术可用于本文所述的外科可视化系统中。[0117]结构化光是将已知图案(通常为网格或水平条)投射到表面上的过程。2017年3月2日公布的名称为“setcomprisingasurgicalinstrument”的美国专利申请公布2017/0055819以及2017年9月7日公布的名称为“depictionsystem”的美国专利申请公布2017/0251900公开了一种外科系统，该外科系统包括光源以及用于投射光图案的投射仪。2017年3月2日公布的名称为“setcomprisingasurgicalinstrument”的美国专利申请公布2017/0055819以及2017年9月7日公布的名称为“depictionsystem”的美国专利申请公布2017/0251900全文以引用方式并入本文。[0118]在本公开的各个方面，距离确定系统可结合到表面标测系统中。例如，可利用结构化光来生成可见表面的三维虚拟模型并且确定相对于可见表面的各种距离。另外或另选地，距离确定系统可依赖于飞行时间测量来确定到外科部位处所识别的组织(或其他结构)的一个或多个距离。[0119]图2是可与外科可视化系统100一起使用的控制系统133的示意图。控制系统133包括与存储器134信号通信的控制电路132。存储器134存储可由控制电路132执行的指令，以确定和/或识别关键结构(例如，图1中的关键结构101)，确定和/或计算一个或多个距离和/或三维数字表示，并将某些信息传送给一个或多个临床医生。例如，存储器134存储表面标测逻辑部件136、成像逻辑部件138、组织识别逻辑部件140或距离确定逻辑部件141或者逻辑部件136、138、140和141的任何组合。控制系统133还包括成像系统142，该成像系统具有一个或多个相机144(如图1中的成像装置120)、一个或多个显示器146或者一个或多个控件148或者这些元件的任何组合。相机144可包括一个或多个图像传感器135，以接收来自发射各种可见光谱和不可见光谱下的光的各种光源(例如，可见光、光谱成像器、三维透镜等)的信号。显示器146可包括一个或多个屏幕或监视器，用于向一个或多个临床医生描绘真实、虚拟和/或虚拟增强的图像和/或信息。[0120]在各个方面，相机144的心脏是图像传感器135。一般来讲，现代图像传感器135是包含高达数百万个离散光电探测器位点(称为像素)的固态电子装置。图像传感器135技术属于以下两类中的一类：电荷耦合器件(ccd)和互补金属氧化物半导体(cmos)成像器，并且近来，短波红外(swir)是一种新兴的成像技术。另一种类型的图像传感器135采用混合ccd/cmos架构(以名称“scmos”出售)，并且由凸块粘结到ccd成像基板的cmos读出集成电路(roic)组成。ccd和cmos图像传感器135对大约350nm至1050nm的波长敏感，但该范围通常被给出为400nm至1000nm。一般来讲，cmos传感器比ccd传感器对ir波长更敏感。固态图像传感器135基于光电效应，并且因此不能区分颜色。因此，存在两种类型的彩色ccd相机：单芯片和三芯片。单芯片彩色ccd相机提供常见的低成本成像解决方案，并且使用马赛克(例如，拜耳)光学滤光器将入射光分成一系列颜色，并且采用内插算法来解析全色图像。然后，每种颜色指向不同的像素集。三芯片彩色ccd相机通过采用棱镜将入射光谱的每个部分引导到不同的芯片来提供更高的分辨率。更准确的颜色再现是可能的，因为物体的空间中的每个点具有单独的rgb强度值，而不是使用算法来确定颜色。三芯片相机提供极高的分辨率。[0121]控制系统133还包括光谱光源150和结构化光源152。在某些情况下，单个源可以是脉冲式的，以发射光谱光源150范围内的光的波长和结构化光源152范围内的光的波长。另选地，单个光源可以是脉冲式的，以提供不可见光谱中的光(例如红外光谱光)和可见光谱上的光的波长。光谱光源150可以是例如高光谱光源、多光谱光源和/或选择性光谱光源。在各种情况下，组织识别逻辑部件140可经由由相机144的图像传感器135部分接收的来自光谱光源150的数据来识别关键结构。表面标测逻辑部件136可基于反射的结构化光来确定可见组织的表面轮廓。利用飞行时间测量结果，距离确定逻辑部件141可确定到可见组织和/或关键结构101的一个或多个距离。来自表面标测逻辑部件136、组织识别逻辑部件140和距离确定逻辑部件141的一个或多个输出可被提供给成像逻辑部件138，并且可被组合、共混和/或重叠以经由成像系统142的显示器146传达给临床医生。[0122]说明书现在简要转到图2a至图2c，以描述用于控制外科可视化系统100的各个方面的控制电路132的各个方面。转到图2a，示出了根据本公开的至少一个方面的被配置成能够控制外科可视化系统100的各方面的控制电路400。控制电路400可被配置成能够实现本文所述的各种过程。控制电路400可以包括微控制器，该微控制器包括耦接到至少一个存储器电路404的一个或多个处理器402(例如，微处理器、微控制器)。存储器电路404存储机器可执行指令，这些机器可执行指令在由处理器402执行时使处理器402执行机器指令以实现本文所述的各种过程。处理器402可以是本领域中已知的多种单核或多核处理器中的任一种。存储器电路404可包括易失性存储介质和非易失性存储介质。处理器402可包括指令处理单元406和运算单元408。指令处理单元可被配置成能够从本公开的存储器电路404接收指令。[0123]图2b示出了根据本公开的至少一个方面的被配置成能够控制外科可视化系统100的各方面的组合逻辑电路410。组合逻辑电路410可被配置成能够实现本文所述的各种过程。组合逻辑电路410可包括有限状态机，该有限状态机包括组合逻辑部件412，该组合逻辑部件被配置成能够在输入414处接收与外科器械或工具相关联的数据，通过组合逻辑部件412处理数据并提供输出416。[0124]图2c示出了根据本公开的至少一个方面的被配置成能够控制外科可视化系统100的各方面的时序逻辑电路420。时序逻辑电路420或组合逻辑部件422可被配置成能够实现本文所述的各种过程。时序逻辑电路420可包括有限状态机。时序逻辑电路420可包括例如组合逻辑部件422、至少一个存储器电路424和时钟429。至少一个存储器电路424可存储有限状态机的当前状态。在某些情况下，时序逻辑电路420可以是同步的或异步的。组合逻辑部件422被配置成能够从输入426接收与外科装置或系统相关联的数据，通过组合逻辑部件422处理数据并提供输出428。在其他方面，电路可包括处理器(例如，图2a中的处理器402)和有限状态机的组合以实现本文的各种过程。在其他方面，有限状态机可包括组合逻辑电路(例如，组合逻辑电路410，图2b)和时序逻辑电路420的组合。[0125]再次参见图1中的外科可视化系统100，关键结构101可以是感兴趣的解剖结构。例如，关键结构101可以是输尿管、动脉诸如肠系膜上动脉、静脉诸如门静脉、神经诸如膈神经和/或肿瘤等解剖结构。在其他情况下，关键结构101可以是例如解剖场中的外来结构，诸如外科装置、外科紧固件、夹具、大头钉、探条、带和/或板。示例性关键结构在本文和前述同时提交的美国专利申请(包括例如于2018年9月11日提交的名称为“visualizationofsurgicaldevices”的美国专利申请号16/128,192)中进一步描述，这些专利申请全文以引用方式并入本文。[0126]在一个方面，关键结构101可嵌入组织103中。换句话说，关键结构101可定位在组织103的表面105下方。在此类情况下，组织103隐蔽关键结构101使其不被临床医生看见。从成像装置120的视角来看，关键结构101也被组织103遮蔽。组织103可以是例如脂肪、结缔组织、粘连和/或器官。在其他情况下，关键结构101可被部分地遮蔽使其不被看见。[0127]图1还描绘了外科装置102。外科装置102包括端部执行器，该端部执行器具有从外科装置102的轴的远侧端部延伸的相对钳口。外科装置102可以是任何合适的外科装置，诸如例如解剖器、缝合器、抓紧器、施夹器和/或能量装置(包括单极探针、双极探针、消融探针和/或超声端部执行器)。另外或另选地，外科装置102可包括例如另一个成像或诊断模态，诸如超声装置。在本公开的一个方面，外科可视化系统100可被配置成能够实现识别一个或多个关键结构101以及外科装置102与关键结构101的接近度。[0128]外科可视化系统100的成像装置120被配置成能够检测各种波长的光，诸如例如可见光、光谱光波(可见光或不可见光)和结构化光图案(可见光或不可见光)。成像装置120可包括用于检测不同信号的多个透镜、传感器和/或接收器。例如，成像装置120可以是高光谱、多光谱或选择性光谱相机，如本文进一步所述。成像装置120还可包括波形传感器122(诸如光谱图像传感器、检测器和/或三维相机透镜)。例如，成像装置120可包括一起使用以同时记录两个二维图像的右侧透镜和左侧透镜，并且因此生成外科部位的三维图像，渲染外科部位的三维图像，并且/或者确定外科部位处的一个或多个距离。另外或另选地，成像装置120可被配置成能够接收指示可见组织的形貌以及隐藏关键结构的识别和方位的图像，如本文进一步所述。例如，成像装置120的视场可与组织的表面105上的光(结构化光)的图案重叠，如图1所示。[0129]在一个方面，外科可视化系统100可结合到机器人系统110中。例如，机器人系统110可包括第一机器人臂112和第二机器人臂114。机器人臂112、114包括刚性结构构件116和接头118，这些接头可包括伺服马达控件。第一机器人臂112被配置成能够操纵外科装置102，并且第二机器人臂114被配置成能够操纵成像装置120。机器人控制单元可被配置成能够向机器人臂112、114发出控制运动，这些控制运动可影响例如外科装置102和成像装置120。[0130]外科可视化系统100还包括发射器106，该发射器被配置成能够发射光的图案，诸如条纹、网格线和/或点，以使得能够确定表面105的形貌或地形。例如，投射光阵列130可用于表面105上的三维扫描和配准。投射光阵列130可从位于例如外科装置102和/或机器人臂112、114中的一者和/或成像装置120上的发射器106发射。在一个方面，投射光阵列130用于确定由组织103的表面105和/或表面105在术中的运动限定的形状。成像装置120被配置成能够检测从表面105反射的投射光阵列130，以确定表面105的形貌以及相对于表面105的各种距离。[0131]在一个方面，成像装置120还可包括光学波形发射器123，该光学波形发射器被配置成能够发射可穿透组织103的表面105并到达关键结构101的电磁辐射124(nir光子)。成像装置120及其上的光学波形发射器123可能够由机器人臂114定位。成像装置120上的对应波形传感器122(例如，图像传感器、光谱仪或振动传感器)被配置成能够检测由波形传感器122接收的电磁辐射的影响。由光学波形发射器123发射的电磁辐射124的波长可被配置成能够使得能够识别解剖结构和/或物理结构(诸如关键结构101)的类型。关键结构101的识别可通过例如光谱分析、光声学和/或超声来实现。在一个方面，电磁辐射124的波长可以是可变的。波形传感器122和光学波形发射器123可包括例如多光谱成像系统和/或选择性光谱成像系统。在其他情况下，波形传感器122和光学波形发射器123可包括例如光声学成像系统。在其他情况下，光学波形发射器123可定位在与成像装置120分开的外科装置上。[0132]外科可视化系统100还可包括距离传感器系统104，该距离传感器系统被配置成能够确定外科部位处的一个或多个距离。在一个方面，飞行时间距离传感器系统104可以是包括发射器(诸如发射器106)以及可定位在外科装置102上的接收器108的飞行时间距离传感器系统。在其他情况下，飞行时间发射器可与结构化光发射器分开。在一个一般方面，飞行时间距离传感器系统104的发射器106部分可包括非常微小的激光源，并且飞行时间距离传感器系统104的接收器108部分可包括匹配传感器。飞行时间距离传感器系统104可检测“飞行时间”或由发射器106发射的激光反弹回到接收器108的传感器部分所花费的时间。在发射器106中使用非常窄的光源使得距离传感器系统104能够确定到距离传感器系统104正前方的组织103的表面105的距离。仍然参见图1，de是从发射器106到组织103的表面105的发射器-组织距离，并且dt是从外科装置102的远侧端部到组织的表面105的装置-组织距离。距离传感器系统104可用于确定发射器-组织距离de。装置-组织距离dt可根据发射器106在外科装置102的轴上相对于外科装置102的远侧端部的已知方位获得。换句话讲，当发射器106与外科装置102的远侧端部之间的距离已知时，装置-组织距离dt可根据发射器-组织距离de确定。在某些情况下，外科装置102的轴可包括一个或多个关节运动接头，并且可能够相对于发射器106和钳口进行关节运动。关节运动构型可包括例如多接头椎骨状结构。在某些情况下，三维相机可用于对到表面105的一个或多个距离进行三角测量。[0133]在各种情况下，飞行时间距离传感器系统104的接收器108可安装在单独的外科装置上而不是外科装置102上。例如，接收器108可安装在插管或套管针上，外科装置102延伸穿过该插管或套管针以到达外科部位。在其他情况下，飞行时间距离传感器系统104的接收器108可安装在单独的机器人控制的臂(例如，机器人臂114)上，安装在由另一个机器人操作的可运动臂上和/或安装到手术室(or)工作台或固定装置。在某些情况下，成像装置120包括飞行时间接收器108，以使用外科装置102上的发射器106与成像装置120之间的线来确定从发射器106到组织103的表面105的距离。例如，可基于飞行时间距离传感器系统104的发射器106(在外科装置102上)和接收器108(在成像装置120上)的已知方位来对距离de进行三角测量。接收器108的三维方位可以是已知的和/或在术中与机器人坐标平面配准。[0134]在某些情况下，飞行时间距离传感器系统104的发射器106的方位可由第一机器人臂112控制，并且飞行时间距离传感器系统104的接收器108的方位可由第二机器人臂114控制。在其他情况下，外科可视化系统100可与机器人系统分开使用。在此类情况下，距离传感器系统104可独立于机器人系统。[0135]在某些情况下，机器人臂112、114中的一者或多者可与外科手术中使用的主机器人系统分开。机器人臂112、114中的至少一者可在没有伺服马达控件的情况下定位并与特定坐标系配准。例如，用于机器人臂110的闭环控制系统和/或多个传感器可控制和/或配准机器人臂112、114相对于特定坐标系的方位。类似地，外科装置102和成像装置120的方位可相对于特定坐标系配准。[0136]仍然参见图1，dw是从位于成像装置120上的光学波形发射器123到关键结构101的表面的相机-关键结构距离，并且da是关键结构101在组织103的表面105下方的深度(即，表面105的最靠近外科装置102的部分与关键结构101之间的距离)。在各个方面，从位于成像装置120上的光学波形发射器123发射的光学波形的飞行时间可被配置成能够确定相机-关键结构距离dw。光谱成像结合飞行时间传感器的使用在本文中进一步描述。此外，现在参见图3，在本公开的各个方面，关键结构101相对于组织103的表面105的深度da可通过以下方法来确定：根据距离dw以及发射器106在外科装置102上和光学波形发射器123在成像装置120上的已知方位(以及因此它们之间的已知距离dx)进行三角测量，以确定距离dy(其为距离de和da之和)。[0137]另外或另选地，来自光学波形发射器123的飞行时间可被配置成能够确定从光学波形发射器123到组织103的表面105的距离。例如，第一波形(或波形范围)可用于确定相机-关键结构距离dw，并且第二波形(或波形范围)可用于确定到组织103的表面105的距离。在此类情况下，不同波形可用于确定关键结构101在组织103的表面105下方的深度。[0138]另外或另选地，在某些情况下，距离da可由超声、配准磁共振成像(mri)或计算机断层摄影(ct)扫描来确定。在其他情况下，距离da可用光谱成像来确定，因为由成像装置接收的检测信号可基于材料的类型而变化。例如，脂肪可以第一方式或第一量降低检测信号，并且胶原可以不同的第二方式或第二量降低检测信号。[0139]现在参见图4中的外科可视化系统160，其中外科装置162包括光学波形发射器123以及被配置成能够检测反射的波形的波形传感器122。光学波形发射器123可被配置成能够发射波形，以用于确定与公共装置(诸如外科装置162)的距离dt和dw，如本文进一步所述。在此类情况下，从组织103的表面105到关键结构101的表面的距离da可如下确定：[0140]da＝dw-dt。[0141]如本文所公开，关于可见组织、嵌入的关键结构和外科装置的各种信息可通过利用组合方法来确定，该组合方法结合被配置成能够检测光谱波长和结构化光阵列的图像传感器结合有一个或多个飞行时间距离传感器、光谱成像和/或结构化光阵列。此外，图像传感器可被配置成能够接收可见光，并且因此将外科部位的图像提供给成像系统。采用逻辑或算法来识别从飞行时间传感器接收的信息、光谱波长、结构化光和可见光，并且渲染表面组织和下面的解剖结构的三维图像。在各种情况下，成像装置120可包括多个图像传感器。[0142]相机-关键结构距离dw也可以一种或多种替代方式进行检测。在一个方面，可利用例如荧光透视可视化技术(诸如荧光吲哚菁绿(icg))来照亮关键结构201，如图6至图8所示。相机220可包括两个光学波形传感器222、224，这两个光学波形传感器同时拍摄关键结构201的左侧图像和右侧图像(图7a和图7b)。在此类情况下，相机220可描绘关键结构201在组织203的表面205下方的辉光，并且距离dw可由传感器222与224之间的已知距离来确定。在某些情况下，可通过利用多于一个相机或通过使相机在多个位置之间运动来更准确地确定距离。在某些方面，一个相机可由第一机器人臂控制，并且第二相机可由另一个机器人臂控制。在此类机器人系统中，一个相机可以是例如从动件臂上的从动件相机。从动件臂及其上的相机可被编程为跟踪另一个相机并保持例如特定的距离和/或透镜角度。[0143]在其他方面，外科可视化系统100可采用两个单独的波形接收器(即，相机/图像传感器)来确定dw。现在参见图9，如果关键结构301或其内容物(例如，血管或血管内容物)可诸如利用荧光透视发射信号302，则可根据已知位置处的两个单独的相机320a、320b对实际位置进行三角测量。[0144]在另一方面，现在参见图1oa和图1ob，外科可视化系统可采用抖动或移动相机440来确定距离dw。相机440是机器人控制的，使得相机440在不同方位处的三维坐标是已知的。在各种情况下，相机440可在插管或患者接口处枢转。例如，如果关键结构401或其内容物(例如，血管或血管内容物)可诸如利用荧光透视发射信号，则可根据在两个或更多个已知位置之间快速运动的相机440对实际位置进行三角测量。在图10a中，相机440沿轴线a轴向移动。更具体地，相机440沿轴线a更靠近关键结构401平移距离d1，以平移到被指示为位置440'的位置，诸如通过在机器人臂上移入和移出。当相机440运动距离d1并且视图的尺寸相对于关键结构401改变时，可计算到关键结构401的距离。例如，4.28mm的轴向平移(距离d1)可对应于6.28度的角度θ1和8.19度的角度θ2。另外或另选地，相机440可沿不同方位之间的弧线旋转或扫掠。现在参见图10b，相机440沿轴线a轴向移动并且围绕轴线a旋转角度θ3。用于相机440的旋转的枢转点442定位在插管/患者接口处。在图10b中，相机440平移并旋转到位置440”。当使相机440运动并且视图边缘关于关键结构401改变时，可计算到关键结构401的距离。在图10b中，距离d2可为例如9.01mm，并且角度θ3可为例如0.9度。[0145]图5描绘了外科可视化系统500，其在许多方面类似于外科可视化系统100。在各种情况下，外科可视化系统500可以是外科可视化系统100的另一个范例。类似于外科可视化系统100，外科可视化系统500包括外科装置502和成像装置520。成像装置520包括光谱光发射器523，该光谱光发射器被配置成能够发射多个波长的光谱光，以获得例如隐藏结构的光谱图像。在各种情况下，成像装置520还可包括三维相机和相关联的电子处理电路。外科可视化系统500被示出为在术中用于识别和有利于避开在表面上不可见的某些关键结构，诸如器官503(在该示例中为子宫)中的输尿管501a和血管501b。[0146]外科可视化系统500被配置成能够经由结构化光确定从外科装置502上的发射器506到子宫503的表面505的发射器-组织距离de。外科可视化系统500被配置成能够基于发射器-组织距离de来外推从外科装置502到子宫503的表面505的装置-组织距离dt。外科可视化系统500还被配置成能够确定从输尿管501a到表面505的组织-输尿管距离da以及从成像装置520到输尿管501a的相机-输尿管距离dw。如本文关于图1所述，例如，外科可视化系统500可利用例如光谱成像和飞行时间传感器来确定距离dw。在各种情况下，外科可视化系统500可基于本文所述的其他距离和/或表面标测逻辑部件来确定(例如，三角测量)组织-输尿管距离da(或深度)。[0147]现在参见图11，其中描绘了用于例如外科可视化系统(诸如外科可视化系统100)的控制系统600的示意图。例如，控制系统600是转换系统，该转换系统整合光谱特征组织识别和结构化光组织定位以识别关键结构，特别是当这些结构被其他组织(诸如脂肪、结缔组织、血液和/或其他器官)遮蔽时。此类技术也可用于检测组织可变性，诸如区分器官内的肿瘤和/或不健康组织与健康组织。[0148]控制系统600被配置用于实现高光谱成像和可视化系统，其中利用分子响应来检测和识别外科视场中的解剖结构。控制系统600包括转换逻辑电路648以将组织数据转换成外科医生可用的信息。例如，可利用基于相对于遮蔽材料的波长的可变反射率来识别解剖结构中的关键结构。此外，控制系统600将所识别的光谱特征和结构光数据组合在图像中。例如，控制系统600可用于创建三维数据集，以在具有增强图像叠加的系统中用于外科用途。可在术中和术前两者使用附加视觉信息来使用技术。在各种情况下，控制系统600被配置成能够在接近一个或多个关键结构时向临床医生提供警告。可采用各种算法来基于外科手术和与关键结构的接近度引导机器人自动化和半自动化方法。[0149]采用投射光阵列在术中确定组织形状和运动。另选地，闪光激光雷达可用于组织的表面标测。[0150]控制系统600被配置成能够检测关键结构并提供关键结构的图像叠加，并且测量到可见组织的表面的距离和到嵌入/掩埋关键结构的距离。在其他情况下，控制系统600可测量到可见组织的表面的距离或检测关键结构，并且提供关键结构的图像叠加。[0151]控制系统600包括光谱控制电路602。例如，光谱控制电路602可以是现场可编程门阵列(fpga)或如本文结合图2a至图2c所述的另一种合适的电路配置。光谱控制电路602包括处理器604以从视频输入处理器606接收视频输入信号。例如，处理器604可被配置用于高光谱处理并且可利用c/c++代码。例如，视频输入处理器606接收控制(元数据)数据的视频输入，诸如快门时间、波长和传感器分析。处理器604被配置成能够处理来自视频输入处理器606的视频输入信号并将视频输出信号提供给视频输出处理器608，该视频输出处理器包括例如接口控制(元数据)数据的高光谱视频输出。视频输出处理器608将视频输出信号提供给图像叠加控制器610。[0152]视频输入处理器606经由患者隔离电路614耦接到患者侧处的相机612。如前所述，相机612包括固态图像传感器634。患者隔离电路可包括多个变压器，使得患者与系统中的其他电路隔离。相机612通过光学器件632和图像传感器634接收术中图像。图像传感器634可包括例如cmos图像传感器，或者可包括例如本文结合图2所述的任何图像传感器技术。在一个方面，相机612以14位/像素信号输出图像。应当理解，在不脱离本公开的范围的情况下，可采用更高或更低的像素分辨率。隔离的相机输出信号613被提供给彩色rgb融合电路616，该融合电路利用硬件寄存器618和nios2协处理器620来处理相机输出信号613。彩色rgb融合输出信号被提供给视频输入处理器606和激光脉冲控制电路622。[0153]激光脉冲控制电路622控制激光引擎624。激光引擎624输出包括近红外(nir)在内的多个波长(λ1，λ2，λ3......λn)的光。激光引擎624可在多种模式下操作。在一个方面，激光引擎624可在例如两种模式下操作。在第一模式(例如正常操作模式)下，激光引擎624输出照明信号。在第二模式(例如，识别模式)下，激光引擎624输出rgbg和nir光。在各种情况下，激光引擎624可在偏振模式下操作。[0154]来自激光引擎624的光输出626照亮术中外科部位627中的目标解剖结构。激光脉冲控制电路622还控制用于激光图案投射仪630的激光脉冲控制器628，该激光图案投射仪将预先确定的波长(λ2)的激光图案631(诸如线和/或点的网格或图案)投射在外科部位627处的手术组织或器官上。相机612接收图案化光以及通过相机光学器件632输出的反射光。图像传感器634将所接收的光转换成数字信号。[0155]彩色rgb融合电路616还将信号输出到图像叠加控制器610和视频输入模块636，以用于读取由激光图案投射仪630投射到外科部位627处的目标解剖结构上的激光图案631。处理模块638处理激光图案631并且输出表示到外科部位627处的可见组织的距离的第一视频输出信号640。数据被提供给图像叠加控制器610。处理模块638还输出表示外科部位处的目标解剖结构的组织或器官的三维渲染形状的第二视频信号642。[0156]第一视频输出信号640和第二视频输出信号642包括表示关键结构在三维表面模型上的方位的数据，该数据被提供给整合模块643。结合来自光谱控制电路602的视频输出处理器608的数据，整合模块643可确定到掩埋关键结构的距离da(图1)(例如，经由三角测量算法644)，并且距离da可经由视频输出处理器646提供给图像叠加控制器610。上述转换逻辑部件可涵盖转换逻辑电路648、中间视频监视器652以及定位在外科部位627处的相机624/激光图案投射仪630。[0157]在各种情况下，可采用来自ct或mri扫描的术前数据650来配准或匹配某些三维可变形组织。此类术前数据650可被提供给整合模块643并最终提供给图像叠加控制器610，使得此类信息可与来自相机612的视图叠加并被提供给视频监视器652。术前数据的配准在本文和前述同时提交的美国专利申请(包括例如于2018年9月11日提交的名称为为“integrationofimagingdata”的美国专利申请号16/128,195)中进一步描述，这些专利申请全文以引用方式并入本文。[0158]视频监视器652可从图像叠加控制器610输出整合/增强视图。临床医生可在一个或多个监视器上在不同视图之间选择和/或切换。在第一监视器652a上，临床医生可在(a)其中描绘可见组织的三维渲染的视图与(b)其中在可见组织的三维渲染上描绘一个或多个隐藏关键结构的增强视图之间切换。在第二监视器652b上，临床医生可例如将距离测量切换到一个或多个隐藏关键结构和/或可见组织的表面。[0159]控制系统600和/或其各种控制电路可结合到本文所公开的各种外科可视化系统中。[0160]图12示出了根据本公开的至少一个方面的结构化(或图案化)光系统700。如本文所述，条纹或线形式的结构化光例如可从光源和/或投射仪706被投射到目标解剖结构的表面705上，以识别表面705的形状和轮廓。在各个方面可类似于成像装置120(图1)的相机720例如可被配置成能够检测光在表面705上的投射图案。投射图案在撞击表面705时变形的方式允许视觉系统计算目标解剖结构的深度和表面信息。[0161]在某些情况下，可利用不可见的(或察觉不到的)结构化光，其中在不干扰投射图案可能混淆的其他计算机视觉任务的情况下使用该结构化光。例如，可利用在两个完全相反的图案之间交替的红外光或极快的可见光帧速率来防止干扰。结构化光在en.wikipedia.org/wiki/structured_light处进一步描述。[0162]如上所述，本文描述的各种外科可视化系统可以用于将各种不同类型的组织和/或解剖结构可视化，包括可被光谱的可见部分中的emr遮挡而无法可视化的组织和/或解剖结构。在一个方面，外科可视化系统可以利用光谱成像系统来基于组成材料的不同组合来对不同类型的组织进行可视化。特别地，光谱成像系统可以被配置成能够基于组织在各种emr波长上的吸收系数来检测被可视化的组织内各种组成材料的存在。光谱成像系统可以进一步被配置为基于组成材料的特定组合来表征被可视化的组织的组织类型。为了说明，图13a是描绘各种生物材料的吸收系数如何在emr波长光谱上变化的曲线图2300。在曲线图2300中，纵轴2303表示生物材料的吸收系数(例如，以cm-1为单位)，横轴2304表示emr波长(例如，以μm为单位)。曲线图2300进一步示出了表示水在各种emr波长下的吸收系数的第一条线2310、表示蛋白质在各种emr波长下的吸收系数的第二条线2312、表示黑色素在各种emr波长下的吸收系数的第三条线2314、表示脱氧血红蛋白在各种emr波长下的吸收系数的第四条线2316、表示氧合血红蛋白在各种emr波长下的吸收系数的第五条线2318，以及表示胶原蛋白在各种emr波长下的吸收系数的第六条线2319。不同的组织类型具有组成材料的不同组合，因此由外科可视化系统可视化的组织类型可以根据检测到的组成材料的特定组合来识别和区分。因此，光谱成像系统可以被配置成能够发射多个不同波长的emr，基于在不同波长处检测到的吸收emr吸收响应来确定组织的组成材料，然后基于组成材料的特定检测组合来表征组织类型。[0163]图13b示出了利用光谱成像技术来对不同的组织类型和/或解剖结构进行可视化。在图13b中，光谱发射器2320(例如，光谱光源150)被成像系统用来对外科部位2325进行可视化。由光谱发射器2320发射并从外科部位2325处的组织和/或结构反射的emr可以由图像传感器135(图2)接收，以对组织和/或结构进行可视化；该组织和/或结构可以是可见的(例如，位于外科部位2325的表面)或被遮挡的(例如，位于外科部位2325处的其他组织和/或结构的下面)。在该示例中，成像系统142(图2)可以基于光谱特征来对肿瘤2332、动脉2334和各种异常2338(即，与已知或预期的光谱特征不相符的组织)进行可视化，所述光谱特征由不同组织/结构类型中每一个的组成材料的不同吸收特性(例如，吸收系数)来表征。可视化的组织和结构可以显示在与成像系统142关联或耦接的显示屏上，例如成像系统显示器146(图2)、主显示器2119(图18)、非无菌显示器2109(图18)、集线器显示器2215(图19)、装置/器械显示器2237(图19)等。[0164]此外，成像系统142可以被配置成能够根据所识别的组织和/或结构类型来定制或更新所显示的外科部位可视化。例如，成像系统142可以在显示屏(例如，显示器146)上显示与正在可视化的肿瘤2332相关联的边缘2330a。边缘2330a可以指示应该切除以确保肿瘤2332完全切除的组织的面积或数量。控制系统133(图2)可以被配置成能够基于由成像系统142识别的组织和/或结构来控制或更新边缘2330a的尺寸。在所示示例中，成像系统142已经识别了fov内的多个异常2338。因此，控制系统133可以将显示的边缘2330a调整到第一更新边缘2330b，该第一更新边缘2330b具有足够的尺寸来涵盖异常2338。此外，成像系统142还识别出了与最初显示的边缘2330a部分重叠的动脉2334(如动脉2334的高亮区域2336所示)。因此，控制系统133可以将显示的边缘2330a调整到第二更新边缘2330c，该第二更新边缘具有足够的尺寸来涵盖动脉2334的相关部分。[0165]除了以上关于图13a和13b所描述的吸收特性之外或代替所述吸收特性，还可以根据组织和/或结构的反射特性在emr波长光谱上对其进行成像或表征。例如，图13c-图13e示出了不同类型的组织或结构在不同emr波长上的反射率的各种曲线图。图13c是例示性输尿管特征相对于遮蔽物的图形表示1050。图13d是例示性动脉特征相对于遮蔽物的图形表示1052。图13e是例示性神经特征相对于遮蔽物的图形表示1054。图13c-图13e中的曲线表示特定结构(输尿管、动脉和神经)相对于脂肪、肺组织和血液在相应波长的相应反射率的反射率与波长(nm)的函数关系。这些曲线图仅仅是出于说明性目的，并且应当理解，其他组织和/或结构可以具有相应的可检测反射特征，该反射特征将允许对组织和/或结构进行识别和可视化。[0166]在各种情况下，可基于外科部位处的预期关键结构和/或遮蔽物来识别和利用用于光谱成像的选定波长(即，“选择性光谱”成像)。通过利用选择性光谱成像，可最小化获得光谱图像所需的时间量，使得可实时或接近实时地获得信息，并在手术中加以利用。在各种情况下，波长可由临床医生选择或由控制电路基于临床医生的输入来选择。在某些情况下，波长可基于例如机器学习和/或控制电路可经由云访问的大数据来选择。[0167]光谱成像到组织的前述应用可在手术中用于测量波形发射器与被组织遮蔽的关键结构之间的距离。在本公开的一个方面，现在参见图14和图15，示出了利用波形1124、1125的飞行时间传感器系统1104。在某些情况下，飞行时间传感器系统1104可结合到外科可视化系统100(图1)中。飞行时间传感器系统1104包括相同外科装置1102上的波形发射器1106和波形接收器1108。发射波1124从发射器1106延伸到关键结构1101，并且接收波1125被接收器1108从关键结构1101反射回去。外科装置1102穿过延伸到患者的腔1107中的套管针1110定位。[0168]波形1124、1125被配置成能够穿透遮蔽组织1103。例如，波形1124、1125的波长可在nir或swir波长光谱中。在一个方面，光谱信号(例如，高光谱、多光谱或选择性光谱)或光声学信号可从发射器1106发射并且可穿透其中隐蔽有关键结构1101的组织1103。所发射的波形1124可被关键结构1101反射。所接收的波形1125可由于外科装置1102的远侧端部与关键结构1101之间的距离d而被延迟。在各种情况下，可基于关键结构1101的光谱特征来选择波形1124、1125以靶向组织1103内的关键结构1101，如本文进一步所述。在各种情况下，发射器1106被配置成能够提供二进制信号开和关，如图15所示，例如该二进制信号可由接收器1108测量。[0169]基于发射波1124与接收波1125之间的延迟，飞行时间传感器系统1104被配置成能够确定距离d(图14)。图14的发射器1106和接收器1108的飞行时间时序图1130在图15中示出。延迟是距离d的函数，并且距离d由下式给出：[0170][0171]其中：[0172]c＝光的速度；[0173]t＝脉冲的长度；[0174]q11＝发射光时累积的电荷；以及[0175]q2＝不发射光时累积的电荷。[0176]如本文所提供，波形1124、1125的飞行时间对应于图14中的距离d。在各种情况下，附加发射器/接收器和/或来自发射器1106的脉冲信号可被配置成能够发射非穿透信号。非穿透组织可被配置成能够确定从发射器到遮蔽组织1103的表面1105的距离。在各种情况下，关键结构1101的深度可由下式确定：[0177]da＝dw-dt。[0178]其中：[0179]da＝关键结构1101的深度；[0180]dw＝从发射器1106到关键结构1101的距离(图14中的d)；以及dt＝从发射器1106(在外科装置1102的远侧端部上)到遮蔽组织1103的表面1105的距离。[0181]在本公开的一个方面，现在参见图16，示出了利用波1224a、1224b、1224c、1225a、1225b、1225c的飞行时间传感器系统1204。在某些情况下，飞行时间传感器系统1204可结合到外科可视化系统100(图1)中。飞行时间传感器系统1204包括波形发射器1206和波形接收器1208。波形发射器1206定位在第一外科装置1202a上，并且波形接收器1208定位在第二外科装置1202b上。外科装置1202a、1202b分别穿过其相应的套管针1210a、1210b定位，这两个套管针延伸到患者的腔1207中。发射波1224a、1224b、1224c从发射器1206朝向外科部位延伸，并且接收波1225a、1225b、1225c从外科部位处的各种结构和/或表面反射回接收器1208。[0182]不同的发射波1224a、1224b、1224c被配置成能够靶向外科部位处的不同类型的材料。例如，波1224a靶向遮蔽组织1203，波1224b靶向第一关键结构1201a(例如，血管)，并且波1224c靶向第二关键结构1201b(例如，癌性肿瘤)。波1224a、1224b、1224c的波长可在可见光、nir或swir波长光谱中。例如，可见光可从组织1203的表面1205反射，并且nir和/或swir波形可被配置成能够穿透组织1203的表面1205。在各个方面，如本文所述，光谱信号(例如，高光谱、多光谱或选择性光谱)或光声学信号可从发射器1206发射。在各种情况下，可基于关键结构1201a、1201b的光谱特征来选择波1224b、1224c以靶向组织1203内的关键结构1201a、1201b，如本文进一步所述。光声学成像在各种美国专利申请中进一步描述，这些专利申请以引用方式并入本公开中。[0183]发射波1224a、1224b、1224c可从目标材料(即，分别为表面1205、第一关键结构1201a和第二结构1201b)反射。所接收的波形1225a、1225b、1225c可由于图16所示的距离d1a、d2a、d3a、d1b、d2b、d2c而被延迟。[0184]在其中发射器1206和接收器1208可独立定位(例如，定位在单独的外科装置1202a、1202b上和/或由单独的机器人臂控制)的飞行时间传感器系统1204中，可根据发射器1206和接收器1208的已知方位计算各种距离d1a、d2a、d3a、d1b、d2b、d2c。例如，当外科装置1202a、1202b由机器人控制时，这些方位可以是已知的。关于发射器1206和接收器1208的方位以及光子流靶向某一组织的时间的知识以及由接收器1208接收的该特定响应的信息可允许确定距离d1a、d2a、d3a、d1b、d2b、d2c。在一个方面，可使用穿透波长对到被遮蔽的关键结构1201a、1201b的距离进行三角测量。由于光的速度对于任何波长的可见光或不可见光是恒定的，因此飞行时间传感器系统1204可确定各种距离。[0185]仍然参见图16，在各种情况下，在提供给临床医生的视图中，接收器1208可被旋转成使得所得图像中的目标结构的质心保持恒定，即在垂直于所选目标结构1203、1201a或1201b的轴线的平面中。此类取向可快速传送关于关键结构的一个或多个相关距离和/或视角。例如，如图16所示，从关键结构1201a垂直于视平面(即，血管在页面内/页面外取向)的视角显示外科部位。在各种情况下，此类取向可以是默认设置；然而，该视图可由临床医生旋转或以其他方式调整。在某些情况下，临床医生可在限定由成像系统提供的外科部位的视角的不同表面和/或目标结构之间切换。[0186]在各种情况下，接收器1208可安装在套管针或插管(诸如套管针1210b)上，例如外科装置1202b通过该套管针或插管定位。在其他情况下，接收器1208可安装在三维方位已知的单独机器人臂上。在各种情况下，接收器1208可安装在与控制外科装置1202a的机器人分开的可运动臂上，或者可安装到可在术中与机器人坐标平面配准的手术室(or)工作台。在此类情况下，发射器1206和接收器1208的方位可能够与同一坐标平面配准，使得可根据来自飞行时间传感器系统1204的输出对距离进行三角测量。[0187]将飞行时间传感器系统和近红外光谱(nirs)(称为tof-nirs，其能够测量具有纳秒分辨率的nir光的时间分辨特征图)组合可见于名称为“time-of-flightnear-infraredspectroscopyfornondestructivemeasurementofinternalqualityingrapefruit”(美国园艺科学学会杂志(journaloftheamericansocietyforhorticulturalscience)，2013年5月，第138卷，第3期，第225-228页)的文章(该文章全文以引用方式并入本文)中，并且可在journal.ashspublications.org/content/138/3/225.full处获取。[0188]在各种情况下，飞行时间光谱波形被配置成能够确定关键结构的深度和/或外科装置与关键结构的接近度。此外，本文所公开的各种外科可视化系统包括表面标测逻辑部件，该表面标测逻辑部件被配置成能够创建可见组织的表面的三维渲染。在此类情况下，即使当可见组织阻挡关键结构时，临床医生也可知道外科装置与关键结构的接近度(或缺乏接近度)。在一种情况下，外科部位的形貌由表面标测逻辑部件提供在监视器上。如果关键结构靠近组织的表面，则光谱成像可将关键结构的方位传达给临床医生。例如，光谱成像可检测表面的5mm或10mm内的结构。在其他情况下，光谱成像可检测组织的表面下方10mm或20mm的结构。基于光谱成像系统的已知限值，系统被配置成能够在光谱成像系统根本无法检测到关键结构的情况下传达该关键结构在范围外。因此，临床医生可继续移动外科装置和/或操纵组织。当关键结构移动到光谱成像系统范围内时，系统可识别该结构，并且因此传送该结构在范围内。在此类情况下，当初始识别结构和/或在预定义的接近度区域内进一步移动结构时，可提供警示。在此类情况下，即使光谱成像系统利用已知边界/范围未识别关键结构，也可向临床医生提供接近度信息(即，缺乏接近度)。[0189]本文所公开的各种外科可视化系统可被配置成能够在手术中识别关键结构的存在和/或关键结构的接近度，并且在通过意外解剖和/或横切损坏关键结构之前警示临床医生。在各个方面，外科可视化系统被配置成能够识别例如以下关键结构中的一种或多种关键结构：输尿管、肠、直肠、神经(包括膈神经、喉返神经[rln]、骶岬面部神经、迷走神经以及它们的分支)、血管(包括肺动脉和大叶动脉以及肺静脉和大叶静脉、肠系膜下动脉[ima]及其分支、直肠上动脉、乙状动脉和左结肠动脉)、肠系膜上动脉(sma)及其分支(包括中结肠动脉、右结肠动脉、回肠动脉)、肝动脉及其分支、门静脉及其分支、脾动脉/静脉及其分支、外部和内部(下腹部)回肠血管、短胃动脉、子宫动脉、骶中血管和淋巴结。此外，外科可视化系统被配置成能够指示外科装置与关键结构的接近度和/或在外科装置靠近关键结构时警告临床医生。[0190]本公开的各个方面提供了手术中关键结构识别(例如，输尿管、神经和/或血管的识别)和器械接近度监视。例如，本文所公开的各种外科可视化系统可包括光谱成像和外科器械跟踪，这使得能够可视化例如组织的表面下方(诸如组织的表面下方1.0cm至1.5cm)的关键结构。在其他情况下，外科可视化系统可识别组织的表面下方小于1.0cm或大于1.5cm的结构。例如，如果结构由于深度原本不能被看到，则即使例如可识别仅在表面0.2mm内的结构的外科可视化系统也可以是有价值的。在各个方面，外科可视化系统可例如利用关键结构的虚拟描绘作为叠加在可见组织的表面上的可见白光图像来增强临床医生的视图。外科可视化系统可提供外科器械的远侧末端的实时三维空间跟踪，并且可例如在外科器械的远侧末端在关键结构的特定范围内(诸如在关键结构的1.0cm内)移动时提供接近度警示。[0191]本文所公开的各种外科可视化系统可识别解剖何时太靠近关键结构。基于温度(即，在可能有损坏/加热/熔融关键结构的风险的关键结构附近太热)和/或基于张力(即，在可能有损坏/撕裂/牵拉关键结构的风险的关键结构附近张力太大)，解剖可能“太靠近”关键结构。例如，当在结扎之前使血管骨架化时，此类外科可视化系统可有利于在血管周围进行解剖。在各种情况下，可利用热成像相机来读取外科部位处的热量并向临床医生提供基于所检测到的热量和从工具到结构的距离的警告。例如，如果工具的温度高于预定义阈值(诸如例如120°f)，则可在第一距离(诸如例如10mm)处向临床医生提供警示，并且如果工具的温度小于或等于预定义阈值，则可在第二距离(诸如例如5mm)处向临床医生提供警示。预定义阈值和/或警告距离可以是默认设置和/或可临床医生编程。另外或另选地，接近度警示可与由工具本身(诸如测量例如单极或双极解剖器或血管密封器的远侧钳口中的热量的热电偶)进行的热测量关联。[0192]本文所公开的各种外科可视化系统可提供关于关键结构和特异性的足够的灵敏度，以使得临床医生能够基于护理和/或装置安全性数据的标准对快速但安全的解剖有信心地进行。系统可在外科手术期间在手术中实时地起作用，而对患者或临床医生的电离辐射风险最小，并且在各种情况下，对患者或临床医生没有电离辐射风险。相反地，在荧光透视过程中，患者和临床医生可经由例如用于实时观察解剖结构的x射线束暴露于电离辐射。[0193]诸如当外科装置的路径由机器人控制时，本文所公开的各种外科可视化系统可被配置成能够例如检测和识别外科装置的向前路径中的一种或多种期望类型的关键结构。另外或另选地，外科可视化系统可被配置成能够检测和识别例如外科装置的周围区域中和/或多个平面/维度中的一种或多种类型的关键结构。[0194]本文所公开的各种外科可视化系统可易于操作和/或解释。此外，各种外科可视化系统可结合允许临床医生覆写默认设置和/或操作的“覆写”特征。例如，诸如当关键结构的风险小于避开该区域的风险(例如，当摘除关键结构周围的癌症时，留下癌性组织的风险可能大于对关键结构造成损坏的风险)时，临床医生可选择性地关闭来自外科可视化系统的警示和/或比外科可视化系统所建议的更靠近关键结构。[0195]本文所公开的各种外科可视化系统可结合到外科系统中和/或在对工作流程具有有限影响的情况下在外科手术期间使用。换句话讲，外科可视化系统的具体实施可能不会改变实施外科手术的方式。此外，与意外横切的成本相比，外科可视化系统可能更经济。数据表明，对关键结构的意外损坏减少可驱动增量补偿。[0196]本文所公开的各种外科可视化系统可实时或接近实时地并且提前足够远地操作，以使得临床医生能够预期关键结构。例如，外科可视化系统可提供足够的时间以“减慢、评估和避开”，以便使外科手术的效率最大化。[0197]本文所公开的各种外科可视化系统可能不需要注射到组织中的造影剂或染料。例如，光谱成像被配置成能够在不使用造影剂或染料的情况下在手术中可视化隐藏结构。在其他情况下，造影剂可比其他可视化系统更容易注射到适当的组织层中。例如，造影剂的注射与关键结构的可视化之间的时间可少于两小时。[0198]本文所公开的各种外科可视化系统可与临床数据和/或装置数据关联。例如，数据可提供关于能量启用的外科装置(或其他潜在损坏装置)应与外科医生不想损坏的组织相距多近的边界。与本文所公开的外科可视化系统交互的任何数据模块可与机器人整体地或分开地提供，以使得能够与独立的外科装置一起用于例如开放式或腹腔镜式手术中。在各种情况下，外科可视化系统可与机器人外科系统兼容。例如，可视化图像/信息可显示在机器人控制台中。[0199]在各种情况下，临床医生可能不知道关键结构相对于外科工具的位置。例如，当关键结构嵌入组织中时，临床医生可能无法确定关键结构的位置。在某些情况下，临床医生可能想要将外科装置保持在围绕关键结构的方位范围之外和/或远离覆盖隐藏关键结构的可见组织。当隐蔽关键结构的方位未知时，临床医生可能有移动得太靠近关键结构的风险，这可能导致关键结构的无意创伤和/或解剖和/或关键结构附近的过多能量、热量和/或张力。另选地，临床医生可能保持与关键结构的可疑位置相距过远，并且有在较不理想的位置影响组织以试图避开关键结构的风险。[0200]本发明提供了一种外科可视化系统，该外科可视化系统呈现相对于一个或多个关键结构的外科装置跟踪。例如，外科可视化系统可跟踪外科装置相对于关键结构的接近度。此类跟踪可在术中、实时和/或近实时地发生。在各种情况下，跟踪数据可经由成像系统的显示屏(例如，监视器)提供给临床医生。[0201]在本公开的一个方面，外科可视化系统包括：外科装置，该外科装置包括发射器，该发射器被配置成能够将结构化光图案发射到可见表面上；成像系统，该成像系统包括相机，该相机被配置成能够检测嵌入结构和可见表面上的结构化光图案；以及控制电路，该控制电路与相机和成像系统信号通信，其中控制电路被配置成能够确定从外科装置到嵌入结构的距离，并且向成像系统提供指示该距离的信号。例如，该距离可通过计算从相机到用荧光透视技术照亮的关键结构的距离并且基于由来自相机的多个透镜(例如，左侧透镜和右侧透镜)的图像提供的所照亮的结构的三维视图来确定。例如，从外科装置到关键结构的距离可基于外科装置和相机的已知方位来进行三角测量。本文进一步描述了用于确定到嵌入关键结构的距离的替代装置。例如，可采用nir飞行时间距离传感器。另外或另选地，外科可视化系统可确定到叠加/覆盖嵌入关键结构的可见组织的距离。例如，外科可视化系统可通过在可见结构上描绘隐藏关键结构的示意图(诸如可见组织的表面上的线)来识别隐藏关键结构并增强隐藏关键结构的视图。外科可视化系统还可确定到可见组织上的增强线的距离。[0202]通过向临床医生提供如本文所公开的各种外科可视化系统所提供的关于外科装置到隐蔽关键结构和/或可见结构的接近度的最新信息，临床医生可以做出关于外科装置相对于隐蔽关键结构的放置的更知情的决定。例如，临床医生可实时地/在术中查看外科装置与关键结构之间的距离，并且在某些情况下，当外科装置移动到关键结构的预定义接近度和/或区域内时，可由成像系统提供警示和/或警告。在某些情况下，当外科装置的轨迹指示与关键结构附近(例如，在关键结构的1mm、2mm、5mm、10mm、20mm或更多内)的“禁飞”区的可能碰撞时，可以提供警示和/或警告。在此类情况下，临床医生可在整个外科手术期间保持动量，而无需临床医生监测关键结构的可疑位置和外科装置与其的接近度。因此，某些外科手术可以更快地执行，具有更少的暂停/中断，以及/或者具有改进的准确性和/或确定性。在一个方面，外科可视化系统可用于检测组织可变性，诸如器官内组织的可变性，以区分肿瘤/癌组织/不健康组织与健康组织。此类外科可视化系统可使不健康组织的移除最大化，同时使健康组织的移除最小化。[0203]外科集线器系统[0204]本文所述的各种可视化或成像系统可以并入到外科集线器系统中，如结合图17-图19示出并且在下文中进一步详细描述。[0205]参见图17，计算机实现的交互式外科系统2100包括一个或多个外科系统2102和基于云的系统(例如，可包括耦接到存储装置2105的远程服务器2113的云2104)。每个外科系统2102包括与云2104通信的至少一个外科集线器2106，该云可包括远程服务器2113。在一个示例中，如图17中所示，外科系统2102包括可视化系统2108、机器人系统2110和手持式智能外科器械2112，它们被配置成能够彼此通信并且/或者与集线器2106通信。在一些方面，外科系统2102可包括m数量的集线器2106、n数量的可视化系统2108、o数量的机器人系统2110和p数量的手持式智能外科器械2112，其中m、n、o和p为大于或等于一的整数。[0206]图18示出了用于对平躺在外科手术室2116中的手术台2114上的患者执行外科手术的外科系统2102的示例。机器人系统2110在外科手术中用作外科系统2102的一部分。机器人系统2110包括外科医生的控制台2118、患者侧推车2120(外科机器人)和外科机器人集线器2122。当外科医生通过外科医生的控制台2118观察外科部位时，患者侧推车2120可通过患者体内的微创切口来操纵至少一个可移除地耦接的外科工具2117。外科部位的图像可通过医学成像装置2124获得，该医学成像装置可由患者侧推车2120操纵以定向成像装置2124。机器人集线器2122可用于处理外科部位的图像，以随后通过外科医生的控制台2118显示给外科医生。[0207]其他类型的机器人系统可容易地适于与外科系统2102一起使用。适用于本公开的机器人系统和外科工具的各种示例在各种美国专利申请中有所描述，这些专利申请以引用方式并入本公开中。[0208]由云2104执行的并且适用于本公开的基于云的分析的各种示例在各种美国专利申请中有所描述，这些专利申请以引用方式并入本公开中。[0209]在各种方面，成像装置2124包括至少一个图像传感器和一个或多个光学部件。合适的图像传感器包括但不限于电荷耦接装置(ccd)传感器和互补金属氧化物半导体(cmos)传感器。[0210]成像装置2124的光学部件可包括一个或多个照明源和/或一个或多个透镜。一个或多个照明源可被引导以照明外科场地的多部分。一个或多个图像传感器可接收从外科场地反射或折射的光，包括从组织和/或外科器械反射或折射的光。[0211]一个或多个照明源可被配置成能够辐射可见光谱中的电磁能以及不可见光谱。可见光谱(有时被称为光学光谱或发光光谱)是电磁光谱中对人眼可见(即，可被其检测)的那部分，并且可被称为可见光或简单光。典型的人眼将对空气中约380nm至约750nm的波长作出响应。[0212]不可见光谱(即，非发光光谱)是电磁光谱的位于可见光谱之下和之上的部分(即，低于约380nm且高于约750nm的波长)。人眼不可检测到不可见光谱。大于约750nm的波长长于红色可见光谱，并且它们变为不可见的红外(ir)、微波和无线电电磁辐射。小于约380nm的波长比紫色光谱短，并且它们变为不可见的紫外、x射线和γ射线电磁辐射。[0213]在各种方面，成像装置2124被配置用于微创手术中。适用于本公开的成像装置的示例包括但不限于关节镜、血管镜、支气管镜、胆道镜、结肠镜、细胞检查镜、十二指镜、肠窥镜、食道-十二指肠镜(胃镜)、内窥镜、喉镜、鼻咽-肾内窥镜、乙状结肠镜、胸腔镜和子宫内窥镜。[0214]在一个方面，成像装置采用多光谱监测来辨别形貌和底层结构。多光谱图像是捕获跨电磁波谱的特定波长范围内的图像数据的图像。可通过滤波器或通过使用对特定波长敏感的器械来分离波长，特定波长包括来自可见光范围之外的频率的光，例如ir和紫外。光谱成像可允许提取人眼未能用其红色，绿色和蓝色的受体捕获的附加信息。多光谱成像的使用在各种美国专利申请中有所描述，这些专利申请以引用方式并入本公开中。在完成外科任务以对处理过的组织执行一个或多个先前所述测试之后，多光谱监测可以是用于重新定位外科场地的有用工具。[0215]不言自明的是，在任何外科期间都需要对手术室和外科设备进行严格灭菌。在“外科室”(即，手术室或治疗室)中所需的严格的卫生和灭菌条件需要所有医疗装置和设备的最高可能的无菌性。该灭菌过程的一部分是需要对接触患者或穿透无菌区的任何物质进行灭菌，包括成像装置2124及其附接件和部件。应当理解，无菌区可被认为是被认为不含微生物的指定区域，诸如在托盘内或无菌毛巾内，或者无菌区可被认为是已准备用于外科规程的患者周围的区域。无菌区可包括被恰当地穿着的擦洗的团队成员，以及该区域中的所有设备和固定装置。[0216]在各种方面，可视化系统2108包括一个或多个成像传感器、一个或多个图像处理单元、一个或多个存储阵列、以及一个或多个显示器，其相对于无菌区进行策略布置，如图18中所示。在一个方面，可视化系统2108包括用于hl7、pacs和emr的界面。可视化系统2108的各种组件在各种美国专利申请中有所描述，这些专利申请以引用方式并入本公开中。[0217]如图18中所示，主显示器2119被定位在无菌区中，以对在手术台2114处的操作者可见。此外，可视化塔21121被定位在无菌区之外。可视化塔21121包括彼此背离的第一非无菌显示器2107和第二非无菌显示器2109。由集线器2106引导的可视化系统2108被配置成能够利用显示器2107、2109和2119来将信息流协调到无菌区内侧和外侧的操作者。例如，集线器2106可使可视化系统2108在非无菌显示器2107或2109上显示由成像装置2124记录的外科部位的快照，同时保持外科部位在主显示器2119上的实时馈送。非无菌显示器2107或2109上的快照可允许非无菌操作者例如执行与外科手术相关的诊断步骤。[0218]在一个方面，集线器2106被进一步配置成能够将由非无菌操作者在可视化塔21121处输入的诊断输入或反馈路由至无菌区内的主显示器2119，其中可由操作台上的无菌操作者查看。在一个示例中，输入可以是对显示在非无菌显示器2107或2109上的快照的修改形式，其可通过集线器2106路由到主显示器2119。[0219]参见图18，外科器械2112作为外科系统2102的一部分在外科手术中使用。集线器2106还被配置成能够将信息流协调至外科器械2112的显示器，如在各种美国专利申请中所描述的那样，这些专利申请以引用方式并入本公开中。由非无菌操作者在可视化塔21121处输入的诊断输入或反馈可由集线器2106路由至无菌区内的外科器械显示器2115，其中外科器械2112的操作者可观察到该输入或反馈。适用于外科系统2102的示例性外科器械在各种美国专利申请中有所描述，这些专利申请以引用方式并入本公开中。[0220]图19示出了由计算机实现的交互式外科系统2200。由计算机实现的交互式外科系统2200在许多方面类似于由计算机实现的交互式外科系统2100。外科系统2200包括与可包括远程服务器2213的云2204通信的至少一个外科集线器2236。在一个方面，由计算机实现的交互式外科系统2200包括外科集线器2236，该外科集线器连接到多个手术室装置，诸如例如智能外科器械、机器人和位于手术室中的其他计算机化装置。外科集线器2236包括用于将外科集线器2236以可通信地耦接到云2204和/或远程服务器2213的通信接口。如图19的示例中所示，外科集线器2236耦接到成像模块2238(该成像模块耦接到内窥镜2239)、耦接到能量装置2421的发生器模块2240、排烟器模块2226、抽吸/冲洗模块2228、通信模块2230、处理器模块2232、存储阵列2234、任选地耦接到显示器2237的智能装置/器械2235和非接触传感器模块2242。手术室装置经由外科集线器2236耦接到云计算资源和数据存储。机器人集线器2222也可连接到外科集线器2236和云计算资源。装置/器械2235、可视化系统2209等等可经由有线或无线通信标准或协议耦接到外科集线器2236，如本文所述。外科集线器2236可耦接到集线器显示器2215(例如，监测器、屏幕)以显示和叠加从成像模块、装置/器械显示器和/或其他可视化系统208接收的图像。集线器显示器还可结合图像和叠加图像来显示从连接到模块化控制塔的装置接收的数据。[0221]态势感知[0222]本文所述的各种可视化系统或可视化系统的各个方面可以用作态势感知系统的一部分，该态势感知系统可以由外科集线器2106、2236(图17-19)来实施或执行。特别地，对外科器械或其他外科装置(包括其位置、方向和动作)、组织、结构、用户和位于外科场地或手术室内的其他事物进行表征、识别和/或可视化可以提供情境数据，态势感知系统可以利用该情境数据来推断正在执行的外科手术或其步骤的类型、外科医生正在操作的组织和/或结构的类型等。然后，该态势感知系统可以利用该情境数据来向用户提供警报，建议用户进行后续步骤或动作，准备外科装置以供其使用(例如，在外科手术的后续步骤中使用电外科器械的预期中激活电外科发生器)，智能地控制外科器械(例如，基于每个患者的特定健康状况定制外科器械操作参数)等。[0223]尽管包括响应于感测数据的控制算法的“智能”装置可以是对在不考虑感测数据的情况下操作的“哑巴”装置的改进，但当孤立地考虑时，即在没有正在被执行的外科规程的类型或正在手术的组织的类型的背景下，一些感测数据可能是不完整的或不确定的。在不知道手术背景(例如，知道正在手术的组织的类型或正在被执行的手术的类型)的情况下，控制算法可能在给定的特定无背景感测数据的情况下错误地或次优地控制模块化装置。模块化装置可以包括可由态势感知系统控制的任何外科装置，如可视化系统装置(例如，相机或显示屏)、外科器械(例如，超声波外科器械、电外科器械或外科缝合器)以及其他外科装置(例如，排烟器)。例如，用于响应于特定的感测参数来控制外科器械的控制算法的最佳方式可根据正在手术的特定组织类型而变化。这是由于以下事实：不同的组织类型具有不同的特性(例如，抗撕裂性)，并且因此不同地响应于由外科器械采取的动作。因此，可能期望外科器械即使在感测到针对特定参数的相同测量值时也采取不同的动作。作为一个特定示例，响应于器械感测到用于闭合其端部执行器的意外高的力来控制外科缝合和切割器械的最佳方式将根据组织类型是易于撕裂还是抗撕裂而变化。对于易于撕裂的组织(诸如肺部组织)，器械的控制算法将响应于用于闭合的意外高的力而最佳地使马达速度逐渐下降，从而避免撕裂组织。对于抗撕裂的组织(诸如胃组织)，器械的控制算法将响应于用于闭合的意外高的力而最佳地使马达速度逐渐上升，从而确保端部执行器被正确地夹持在组织上。在不知道是肺部组织还是胃组织已被夹持的情况下，控制算法可做出次优决定。[0224]一种解决方案利用包括系统的外科集线器，该系统被配置成能够基于从各种数据源所接收的数据来导出关于正在被执行的外科规程的信息，并且然后相应地控制配对的模块化装置。换句话讲，外科集线器被配置成能够从所接收的数据推断关于外科规程的信息，并且然后基于所推断的外科规程的背景来控制与外科集线器配对的模块化装置。图20示出了根据本公开的至少一个方面的态势感知外科系统2400的图。在一些范例中，数据源2426包括例如模块化装置2402(其可包括被配置成能够检测与患者和/或模块化装置本身相关联的参数的传感器)、数据库2422(例如，包含患者记录的emr数据库)和患者监测装置2424(例如，血压(bp)监测器和心电图(ekg)监测器)。[0225]外科集线器2404(其可在许多方面类似于集线器106)可被配置为例如基于所接收的数据的特定组合或从数据源2426接收数据的特定顺序来从数据导出与外科手术有关的背景信息。从所接收的数据推断的背景信息可包括例如正在被执行的外科规程的类型、外科医生正在执行的外科规程的特定步骤、正在手术的组织的类型或为规程的对象的体腔。外科集线器2404的一些方面从所接收的数据导出或推断与外科手术有关的信息的这种能力可被称为“态势感知”。在一个范例中，外科集线器2404可并入态势感知系统，该态势感知系统是与外科集线器2404相关联的从所接收的数据导出与外科手术有关的背景信息的硬件和/或程序设计。[0226]外科集线器2404的态势感知系统可被配置成能够以多种不同的方式从接收自数据源2426的数据导出背景信息。在一个范例中，态势感知系统包括已经在训练数据上进行训练以将各种输入(例如，来自数据库2422、患者监测装置2424和/或模块化装置2402的数据)与关于外科手术的对应背景信息相关联的模式识别系统或机器学习系统(例如，人工神经网络)。换句话讲，机器学习系统可被训练成从所提供的输入准确地导出关于外科规程的背景信息。在另一个范例中，态势感知系统可包括查找表，该查找表存储与对应于背景信息的一个或多个输入(或输入范围)相关联的关于外科规程的预先表征的背景信息。响应于利用一个或多个输入的查询，查找表可返回态势感知系统用于控制模块化装置2402的对应背景信息。在一个范例中，由外科集线器2404的态势感知系统接收的背景信息与用于一个或多个模块化装置2402的特定控制调节或一组控制调节相关联。在另一个范例中，态势感知系统包括当提供背景信息作为输入时生成或检索用于一个或多个模块化装置2402的一个或多个控制调节的另外的机器学习系统、查找表或其它此类系统。[0227]结合有态势感知系统的外科集线器2404为外科系统2400提供了许多益处。一个益处包括改进对感测和收集到的数据的解释，这将继而改进外科规程过程期间的处理精度和/或数据的使用。回到先前的示例，态势感知外科集线器2404可确定正在手术的组织的类型；因此，当检测到用于闭合外科器械的端部执行器的意外高的力时，态势感知外科集线器2404可正确地使用于组织类型的外科器械的马达速度逐渐上升或逐渐下降。[0228]作为另一个示例，正在手术的组织的类型可影响针对特定组织间隙测量值对外科缝合和切割器械的压缩率和负荷阈值进行的调节。态势感知外科集线器2404可推断正在被执行的外科手术是胸腔手术还是腹部手术，从而允许外科集线器2404确定被外科缝合和切割器械的端部执行器夹持的组织是肺部组织(对于胸腔手术)还是胃组织(对于腹部手术)。然后，外科集线器2404可针对组织的类型适当地调节外科缝合和切割器械的压缩率和负荷阈值。[0229]作为又一个示例，在吹入规程期间被操作的体腔的类型可影响排烟器的功能。态势感知外科集线器2404可确定外科部位是否处于压力下(通过确定外科手术正在利用吹入)并确定手术类型。由于一种手术类型通常在特定的体腔内执行，外科集线器2404然后可针对在其中进行操作的体腔适当地控制排烟器的马达速率。因此，态势感知外科集线器2404可提供对于胸腔和腹部手术两者一致的烟排出量。[0230]作为又一个示例，正在被执行的规程的类型可影响超声外科器械或射频(rf)电外科器械操作的最佳能量水平。例如，关节镜规程需要更高的能量水平，因为超声外科器械或rf电外科器械的端部执行器浸没在流体中。态势感知外科集线器2404可确定外科手术是否是关节镜手术。然后，外科集线器2404可调节发生器的rf功率水平或超声振幅(即“能量水平”)以补偿流体填充的环境。相关地，正在手术的组织的类型可影响超声外科器械或rf电外科器械操作的最佳能量水平。态势感知外科集线器2404可确定正在被执行的外科手术的类型，并且然后根据该外科手术的预期组织概况分别定制超声外科器械或rf电外科器械的能量水平。此外，态势感知外科集线器2404可被配置成能够在整个外科手术过程中而不是仅在逐个手术的基础上调节超声外科器械或rf电外科器械的能量水平。态势感知外科集线器2404可确定正在被执行或随后将要被执行的外科手术的步骤，并且然后更新用于发生器和/或超声外科器械或rf电外科器械的控制算法，以根据该外科手术步骤将能量水平设定在适合于预期组织类型的值。[0231]作为又一个示例，可从附加数据源2426提取数据，以改进外科集线器2404从一个数据源2426提取的结论。态势感知外科集线器2404可用已从其它数据源2426构建的关于外科手术的背景信息来扩充其从模块化装置2402接收的数据。例如，态势感知外科集线器2404可被配置成能够根据从医学成像装置所接收的视频或图像数据来确定止血是否已经发生(即，在外科部位的出血是否已经停止)。然而，在一些情况下，视频或图像数据可能是不确定的。因此，在一个范例中，外科集线器2404可被进一步配置成能够将生理测量值(例如，由可通信地连接至外科集线器2404的bp监测器感测的血压)与止血的视觉或图像数据(例如，来自可通信地耦接到外科集线器2404的医学成像装置124(图2))进行比较，以确定缝合线或组织焊缝的完整性。换句话讲，外科集线器2404的态势感知系统可考虑生理测量数据以在分析可视化数据时提供附加的背景。当可视化数据本身可能是不确定的或不完整的时，附加背景可以是有用的。[0232]另一益处包括根据正在被执行的外科手术的特定步骤主动且自动地控制配对的模块化装置2402，以减少在外科手术过程期间医疗人员需要与外科系统2400交互或控制外科系统的次数。例如，如果态势感知外科集线器2404确定手术的后续步骤需要使用rf电外科器械，则其可主动地激活与该器械连接的发生器。主动地激活能量源允许器械在规程的先前步骤一完成就准备好使用。[0233]作为另一个示例，态势感知外科集线器2404可根据在外科部位处外科医生预期需要查看的(一个或多个)特征部来确定外科手术的当前步骤或后续步骤是否需要在显示器上的不同视图或放大程度。然后，外科集线器2404可相应地主动改变所显示的视图(例如，由用于可视化系统108的医学成像装置提供)，使得在整个外科手术中自动调节显示器。[0234]作为又一个示例，态势感知外科集线器2404可确定外科手术的哪个步骤正在被执行或随后将要执行以及针对外科手术的该步骤是否需要特定数据或数据之间的比较。外科集线器2404可被配置成能够基于正在被执行的外科手术的步骤自动地调用数据屏幕，而无需等待外科医生请求该特定信息。[0235]另一个益处包括在外科规程的设置期间或在外科规程的过程期间检查错误。例如，态势感知外科集线器2404可确定手术室是否被正确地或最佳地设置以用于待执行的外科手术。外科集线器2404可被配置成能够确定正在被执行的外科手术的类型，(例如，从存储器中)检索对应的清单、产品位置或设置需求，并且然后将当前手术室布局与外科集线器2404确定的用于该正在被执行的外科手术类型的标准布局进行比较。在一个范例中，外科集线器2404可被配置为将用于手术的物品列表(例如，由合适的扫描仪扫描)和/或与外科集线器2404配对的装置列表与用于给定外科手术的物品和/或装置的建议或预期清单进行比较。外科集线器2404可被配置成能够如果列表之间存在任何不连续性，则提供指示特定模块化装置2402、患者监测装置2424和/或其它外科物品缺失的警报。在一个范例中，外科集线器2404可被配置成能够例如经由接近传感器来确定模块化装置2402和患者监测装置2424的相对距离或位置。外科集线器2404可将装置的相对位置与用于特定外科手术的建议或预期布局进行比较。外科集线器2404可被配置成能够如果在布局之间存在任何不连续性，则提供指示用于该外科手术的当前布局偏离建议布局的警报。[0236]作为另一个示例，态势感知外科集线器2404可确定外科医生(或其它医疗人员)在外科手术过程期间是否正在出错或以其它方式偏离预期的动作过程。例如，外科集线器2404可被配置成能够确定正在被执行的外科手术的类型，(例如，从存储器中)检索对应的步骤列表或设备使用的顺序，并且然后将在外科手术过程期间正在被执行的步骤或正在被使用的设备与外科集线器2404确定的针对该正在被执行的外科手术类型的预期步骤或设备进行比较。在一个范例中，外科集线器2404可被配置成能够提供指示在外科手术中的特定步骤处正在执行意外动作或正在利用意外装置的警报。[0237]总体而言，用于外科集线器2404的态势感知系统通过针对每种外科手术的特定背景调节外科器械(和其它模块化装置2402)(诸如针对不同的组织类型进行调节)并在外科手术期间验证动作来改善外科手术结果。态势感知系统还根据手术的特定背景通过自动建议下一步骤、提供数据以及调节显示器和手术室中的其它模块化装置2402来提高外科医生执行外科手术的效率。[0238]现在参见图21，其示出了描绘集线器诸如外科集线器106或206(图1至图11)的态势感知的时间轴2500。时间轴2500是说明性的外科手术以及外科集线器106、206可以从外科手术中每个步骤从数据源接收的数据导出的背景信息。时间轴2500描绘了护士、外科医生和其他医疗人员在肺段切除手术期间将采取的典型步骤，从建立手术室开始到将患者转移到术后恢复室为止。[0239]态势感知外科集线器106、206在整个外科手术过程中从数据源接收数据，包括每次医疗人员利用与外科集线器106、206配对的模块化装置时生成的数据。外科集线器106、206可以从配对的模块化装置和其他数据源接收该数据，并且在接收新数据时不断导出关于正在进行的手术的推论(即，背景信息)，诸如在任何给定时间执行手术的哪个步骤。外科集线器106、206的态势感知系统能够例如记录与用于生成报告的过程相关的数据，验证医务人员正在采取的步骤，提供可能与特定过程步骤相关的数据或提示(例如，经由显示屏)，基于背景调节模块化装置(例如，激活监测器，调节医学成像装置的视场(fov)，或者改变超声外科器械或rf电外科器械的能量水平)，以及采取上述任何其他此类动作。[0240]作为该示例性手术中的第一步2502，医院工作人员从医院的emr数据库中检索患者的emr。基于emr中的选择的患者数据，外科集线器106、206确定待执行的手术是胸腔手术。[0241]第二步2504，工作人员扫描用于手术的进入的医疗用品。外科集线器106、206与在各种类型的手术中利用的用品列表交叉引用扫描的用品，并确认供应的混合物对应于胸腔手术。另外，外科集线器106、206还能够确定手术不是楔形手术(因为进入的用品缺乏胸腔楔形手术所需的某些用品，或者在其他方面不对应于胸腔楔形手术)。[0242]第三步2506，医疗人员经由可通信地连接到外科集线器106、206的扫描器来扫描患者带。然后，外科集线器106、206可基于所扫描的数据来确认患者的身份。[0243]第四步2508，医务工作人员打开辅助设备。利用的辅助设备可根据外科手术的类型和外科医生待使用的技术而变化，但在此示例性情况下，它们包括排烟器、吹入器和医学成像装置。当激活时，作为其初始化过程的一部分，作为模块化装置的辅助设备可以自动与位于模块化装置特定附近的外科集线器106、206配对。然后，外科集线器106、206可通过检测在该术前阶段或初始化阶段期间与其配对的模块化装置的类型来导出关于外科手术的背景信息。在该具体示例中，外科集线器106、206确定外科手术是基于配对模块化装置的该特定组合的vats手术。基于来自患者的emr的数据的组合，手术中使用的医疗用品的列表以及连接到集线器的模块化装置的类型，外科集线器106、206通常可推断外科小组将执行的具体手术。一旦外科集线器106、206知道正在执行什么具体手术，外科集线器106、206便可从存储器或云中检索该手术的步骤，然后交叉参照其随后从所连接的数据源(例如，模块化装置和患者监测装置)接收的数据，以推断外科团队正在执行的外科手术的什么步骤。[0244]第五步2510，工作人员将ekg电极和其他患者监测装置附接到患者。ekg电极和其他患者监测装置能够与外科集线器106、206配对。当外科集线器106、206开始从患者监测装置接收数据时，外科集线器106、206因此确认患者在手术室中。[0245]第六步2512，医疗人员诱导患者麻醉。外科集线器106、206可基于来自模块化装置和/或患者监测装置的数据(包括例如ekg数据、血压数据、呼吸机数据、或它们的组合)推断患者处于麻醉下。在第六步2512完成时，肺分段切除手术的术前部分完成，并且手术部分开始。[0246]第七步2514，折叠正在操作的患者肺部(同时通气切换到对侧肺)。例如，外科集线器106、206可从呼吸机数据推断出患者的肺已经塌缩。外科集线器106、206可推断手术的手术部分已开始，因为其可将患者的肺部塌缩的检测与手术的预期步骤(可先前访问或检索)进行比较，从而确定使肺塌缩是该特定手术中的第一手术步骤。[0247]第八步2516，插入医学成像装置(例如，内窥镜)，并启动来自医学成像装置的视频。外科集线器106、206通过其与医学成像装置的连接来接收医学成像装置数据(即，视频或图像数据)。在接收到医学成像装置数据之后，外科集线器106、206可确定外科手术的腹腔镜式部分已开始。另外，外科集线器106、206可确定正在执行的特定手术是分段切除术，而不是叶切除术(注意，楔形手术已经基于外科集线器106、206基于在手术的第二步2504处接收到的数据而排除)。来自医学成像装置124(图2)的数据可用于以多种不同的方式确定与正在执行的手术类型相关的情境信息，包括通过确定医学成像装置相对于患者解剖结构的可视化取向的角度，监测所利用的医学成像装置的数量(即，被激活并与外科集线器106、206配对)，以及监测所利用的可视化装置的类型。例如，一种用于执行vats肺叶切除术的技术将相机放置在隔膜上方的患者胸腔的下前拐角中，而一种用于执行vats分段切除术的技术将相机相对于分段裂缝放置在前肋间位置。例如，使用模式识别或机器学习技术，可对态势感知系统进行训练，以根据患者解剖结构的可视化识别医学成像装置的定位。作为另一个示例，一种用于执行vats肺叶切除术的技术利用单个医学成像装置，而用于执行vats分段切除术的另一种技术利用多个相机。作为另一个示例，一种用于执行vats分段切除术的技术利用红外光源(其可作为可视化系统的一部分可通信地耦接到外科集线器)以可视化不用于vats肺部切除术中的分段裂隙。通过从医学成像装置跟踪这些数据中的任何或所有，外科集线器106、206因此可确定正在进行的外科手术的具体类型和/或用于特定类型的外科手术的技术。[0248]第九步2518，外科团队开始手术的解剖步骤。外科集线器106、206可推断外科医生正在解剖以调动患者的肺，因为其从rf发生器或超声发生器接收指示正在击发能量器械的数据。外科集线器106、206可将所接收的数据与外科手术的检索步骤交叉，以确定在过程中的该点处(即，在先前讨论的手术步骤完成之后)击发的能量器械对应于解剖步骤。在某些情况下，能量器械可为安装到机器人外科系统的机器人臂的能量工具。[0249]第十步2520，外科团队继续进行手术的结扎步骤。外科集线器106、206可推断外科医生正在结扎动脉和静脉，因为其从外科缝合和切割器械接收指示器械正在被击发的数据。与先前步骤相似，外科集线器106、206可通过将来自外科缝合和切割器械的数据的接收与该过程中的检索步骤进行交叉引用来推导该推论。在某些情况下，外科器械可以是安装到机器人外科系统的机器人臂的外科工具。[0250]第十一步2522，执行手术的分段切除术部分。外科集线器106、206可推断外科医生正在基于来自外科缝合和切割器械的数据(包括来自其仓的数据)横切软组织。仓数据可对应于例如由器械击发的钉的大小或类型。由于不同类型的钉用于不同类型的组织，因此仓数据可指示正被缝合和/或横切的组织的类型。在这种情况下，被击发的钉的类型用于软组织(或其他类似的组织类型)，这允许外科集线器106、206推断手术的分段切除术部分正在进行。[0251]第十二步2524中，执行节点解剖步骤。外科集线器106、206可基于从发生器接收的指示正在击发rf或超声器械的数据来推断外科团队正在解剖节点并且执行泄漏测试。对于该特定手术，在横切软组织后利用的rf或超声器械对应于节点解剖步骤，该步骤允许外科集线器106、206进行此类推论。应当指出的是，外科医生根据手术中的具体步骤定期在外科缝合/切割器械和外科能量(即，rf或超声)器械之间来回切换，因为不同器械更好地适于特定任务。因此，其中使用缝合/切割器械和外科能量器械的特定序列可指示外科医生正在执行的手术的步骤。此外，在某些情况下，机器人工具可用于外科手术中的一个或多个步骤，并且/或者手持式外科器械可用于外科手术中的一个或多个步骤。一个或多个外科医生可例如在机器人工具与手持式外科器械之间交替和/或可同时使用装置。在第十二步2524完成时，切口被闭合并且手术的术后部分开始。[0252]第十三步2526，反向麻醉患者。例如，外科集线器106、206可基于例如呼吸机数据(即，患者的呼吸率开始増加)推断出患者正在从麻醉中醒来。[0253]最后，第十四步2528是医疗人员从患者移除各种患者监测装置。因此，当集线器从患者监测装置丢失ekg、bp和其他数据时，外科集线器2106、2236可推断患者正在被转移到恢复室。如从该示例性手术的描述可以看出，外科集线器2106、2236可根据从可通信地耦接到外科集线器2106、2236的各种数据源接收的数据来确定或推断给定外科手术的每个步骤何时发生。[0254]态势感知在各种美国专利申请中进一步描述，这些专利申请以引用方式并入本公开中，本公开以引用方式并入本文。在某些情况下，机器人外科系统(包括例如本文所公开的各种机器人外科系统)的操作可由集线器2106、2236基于其态势感知和/或来自其部件的反馈和/或基于来自云2104(图17)的信息来控制。[0255]分析外科手术趋势和外科动作[0256]外科手术固有的一个问题是它们是由在进行任何给定的外科手术时可以利用不同技术的个人进行的。在一些情况下，与外科手术中的任何给定决策点相关的外科结果可以是直接且容易识别的。例如，在进行切口后产生的出血量是直接且容易识别的，因为人们通常可以看到血液，并且出血量与进行切口的动作高度相关。然而，与外科手术决策点相关的外科结果经常会被决策本身严重削弱。例如，由给定外科医生执行的外科手术的患者的再入院可能存在很大的时间延迟(例如，数年)，并且不可能确定外科医生采取的哪个特定动作导致了再入院。这种动态可以在识别和纠正外科手术技术之间产生实质性的脱节，所述外科手术技术不理想或以其它方式与最好的外科结果无关。然而，外科系统可以被配置成能够跟踪围术期外科手术数据，如通过如上文在标题“外科集线器系统”下所述的外科集线器2106、2236，用于由计算机系统(例如，云2204和/或远程服务器2213)进行分析。此外，外科系统可以被配置成能够确定与外科手术相关联的背景信息，如上文在标题“态势感知”下所述。可利用跟踪围术期外科手术数据、确定与外科手术相关联的背景信息以及分析遍布一个地区甚至全世界的外科系统网络上的所有这些数据的能力来识别和跟踪与外科手术相关联的各种决策点相关联的趋势(例如，在手术中使用什么类型的外科装置，在哪里进行切口，或者切除多少组织)，然后确定哪些动作与外科结果(例如，切口处的出血量、是否需要任何术中矫正动作、再手术率、术后出血率或者再入院率)密切相关，这些动作是积极的，以便在与外科手术相关的各种决策点建议特定的动作。[0257]在各个方面，外科系统可以被配置成能够监控用户在执行外科手术中采用的动作，然后当动作偏离基线动作时提供推荐或进行警报。可以通过以下方式来确定基线动作：监视或记录外科手术的执行、确定与各种外科手术相关联的外科结果、确定哪些特定外科动作与积极的外科结果密切关联、然后根据哪些动作与积极的手术结果相关联来为每种外科手术类型中的各种外科动作建立基线。例如，图22是可以被配置成能够实施上述技术的外科系统7000的图。外科系统7000包括控制系统7002，该控制系统通过数据网络(例如，lan、wan或互联网)耦接至成像系统7004和后端计算机系统7010。在一个方面，控制系统7002可以包括结合图2描述的控制系统133、结合图17-图19描述的外科集线器2106、2236以及其他此类系统。控制系统7002可以包括成像系统142(图2)或结合图1-图19描述的任何其他此类成像或可视化系统，包括被配置成能够利用结构电磁辐射(emr)技术和/或多光谱成像技术来表征物体的成像系统。后端计算机系统7010可以包括云计算架构或被配置成能够存储和执行各种机器学习模型或其他算法的另一计算机系统。[0258]至少部分地通过成像系统7004对外科手术中正在发生的情况进行可视化，外科手术系统7000可以监测手术中的决策点(例如，装置的选择、缝合器仓的选择或操作步骤的顺序)并记录这些决策。外科系统7000可以利用成像系统7004通过对进入成像系统7004的视野(fov)的物体进行可视化来监控术中决策点，然后执行物体识别(例如，通过控制系统7002)或其他计算机视觉技术来识别在外科手术中使用的外科装置、正在进行手术的特定器官或组织等。然后，可以利用外科医生在各个决策点采取的所识别的动作来通知算法，该算法平衡患者因素、外科医生因素、装置利用和临床结果数据，以例如使用监督或无监督的机器学习技术来训练机器学习模型(例如，人工神经网络)。一旦经过训练，机器学习模型就可以在外科手术中某个决策点可能影响在统计学上显著的结果时向用户提供建议。此外，这些机器学习模型或其他算法可用于在外科手术中对手术人员采用的动作进行术后回顾，并标记动作以供手术人员回顾。然后，可以向手术人员提供确认或不同意每个标记的评估的机会，以更好地通知和训练手术人员和算法。在一个方面，控制系统7002可以被配置成能够收集围术期数据，然后通过数据网络7008将数据(例如，在术中或术后)提供给后端计算机系统7010(例如，云计算系统)。然后，后端计算机系统7010可以被配置成能够基于控制系统7002或与其连接的控制系统7002的网络提供的数据来执行和训练机器学习模型或其他算法。在一个方面，训练后的机器学习模型可以由后端计算机系统7010执行，并且在外科手术的执行期间，基于控制系统7002提供的术中数据向控制系统7002实时提供推荐或分析。在一个方面，训练后的机器学习模型可以提供给控制系统7002本身并由其执行。[0259]在一个方面，外科系统7000可以被配置成能够通过成像系统7004分析在外科过程中采取的各种动作(如被选择来执行给定外科手术步骤的外科器械的类型或者外科器械相对于患者组织的位置或方向)，该成像系统包括结构化光系统(例如，结构化光源152)，以识别成像系统7004的fov内的物体，从而实现适应性响应以及当前动作和类似外科手术过程类型中的先前动作之间的比较。特别地，外科系统7000可以被配置成能够从多个数据源编译围术期数据，以在外科手术中为物体的结构化光跟踪提供趋势和参考。可以将可视化的外科手术数据与在手术执行期间或手术之后产生的临床结果进行比较，以确定用于特定外科手术步骤的技术的趋势、所使用的外科器械的类型以及具有临床结果的其他决策点，从而提供未来基线。因此，这些基线可以定义用于执行给定外科手术的最佳实践。[0260]在一种实施方式中，如结合图2所述，控制系统7002可以被配置成能够执行各种控制算法，包括表面映射逻辑136、成像逻辑138、组织识别逻辑140、距离确定逻辑141、靶向逻辑和/或轨迹投影逻辑。控制算法可以被配置成能够控制外科系统7000的外科器械或其他部件，向用户显示信息，和/或控制机器人系统2110(图17)。根据围术期外科动作数据和外科结果数据训练的机器学习模型或算法可以进一步用于改进由控制系统7002执行的各种控制算法。特别地，可以基于组织体积和表面的可视化(例如，由成像系统7004的结构化光系统确定的)结合局部测量的外科器械参数来改进靶向或轨迹投影逻辑。然后，该术中数据可以与外科结果数据结合使用，以改进装置的控制算法，该外科结果数据可以包括与组织和外科器械之间的相互作用相关联的数据。[0261]在另一个实施方式中，控制系统7002可以被配置成能够在局部或全局坐标系中记录外科手术中使用的外科装置相对于患者的位置。可以相对于例如外科装置本身、特定组织或器官或虚拟视角来定义局部坐标系，如与本技术同时提交的名称为“adaptivevisualizationbyasurgicalsystem”的代理人案卷号end9227usnp1/190579-1中所述，该申请全文以引用方式并入本文。可以相对于例如患者或手术室来定义全局坐标系。与外科装置位置的记录相结合，控制系统7002可被配置成能够记录外科装置执行的功能(如外科器械是否被击发、外科器械的功率水平、或组织特征或外科器械感测的其他参数)。因此，外科装置的位置和功能可用于通知/训练机器学习模型或其他算法，这些模型或算法然后可将外科装置的相对位置和功能与积极的外科结果相关联，以帮助外科医生改进技术或提供更精确的信息来研究和改进外科装置的功能。例如，可以开发一种算法，以基于改变关节运动按钮的功能带来更好的外科结果的数据来改变外科器械的关节运动按钮的功能，这可能是由于当外科器械处于特定位置和/或执行特定功能时关节运动按钮是不直观的。[0262]在另一个实施方式中，控制系统7002可以被配置成能够连续地监控在检索浪费的步骤时外科医生的运动、不必要的组织接触/操作或者基于态势感知而不期望的动作/步骤。控制系统7002可以标记这些被识别的事件以供外科医生进行术后回顾，并为外科医生提供确认或不同意每个被标记的评估的机会，以更好地通知/训练外科医生和算法。[0263]图23示出了可用于执行上述各种技术或实施方式的算法的一个示例，该图是用于向用户提供动态外科推荐的过程7100的逻辑流程图。在以下对过程7100的描述中，还应当参考图2、图17至图19以及图22。过程7100可实施为例如存储在耦接到控制电路132的存储器134中的指令，所述指令在由控制电路132执行时使控制电路132执行过程7100的所枚举的步骤。应当理解，过程7100可以由控制系统7002(其可以包括外科集线器2106、2236)和后端计算机系统7010(其可以包括云2204或远程服务器2213)执行和/或在两者之间执行。因此，控制电路132可以共同指代与控制系统7002和后端计算机系统7010相关联或在两者之间分布的一个或多个控制电路。换句话说，控制电路132可以包括控制系统7002的控制电路和/或后端计算机系统7010的控制电路。为简洁起见，过程7100被描述为由控制系统7002和后端计算机系统7010执行；然而，应该理解，过程7100可以由硬件、软件和/或固件的其他组合来执行，并且过程7100的任何特定步骤可以由控制系统7002或后端计算机系统7010来执行。[0264]因此，执行过程7100的控制系统7002和/或后端计算机系统7010可以执行步骤7102：接收正在执行的外科手术的图像(例如，通过成像系统7004捕获的)和围术期数据。图像可以与围术期数据相关联，如外科装置在局部或全局坐标系中的位置、传感器测量值、物体识别数据等。此外，可以至少部分基于结构化光系统生成图像，并且因此图像可以包括三维(3d)体积数据或表面映射数据。在一个实施方式中，控制系统7002可以最初经由成像系统7004生成图像，然后将图像数据提供给后端计算机系统7010以进行处理。后端计算机系统7010可通信地连接到多个不同的控制系统7002，该控制系统又可以位于多个不同的设备或医院网络中或与多个不同的设备或医院网络相关联。因此，后端计算机系统7010可以跨多个不同的控制系统7002接收外科图像数据，以训练机器学习模型或其他算法。[0265]因此，控制系统7002和/或后端计算机系统7010可以确定与接收了围术期数据的外科手术相关联的外科结果(步骤7104)。在一个方面，控制系统7002可以通过例如经由成像系统7004可视化外科结果(例如，沿着切口线出血)来确定外科结果。在另一方面，后端计算机系统7010可以通过例如存储与给定外科手术相关的外科结果的数据库来确定外科结果。当后端计算机系统7010接收到与患者相关的附加信息时，可以更新数据库；或者当识别到外科结果时，后端计算机系统7010可以允许用户更新数据库。例如，当患者返回进行再次手术或报告过度疼痛或与外科手术相关的其他负面结果时，用户(例如，医疗机构人员)可以更新数据库。[0266]因此，控制系统7002和/或后端计算机系统7010可以确定对应于图像和结果数据的基线外科动作(步骤7106)。在一个方面，可以将后端计算机系统7010编程为执行和训练机器学习模型，以将接收到的图像和其他围术期数据与确定的结果相关联，从而在外科手术中的每个定义的决策点建立与期望的或积极的外科结果最相关(或至少在阈值以上相关)的外科动作。因此，此类外科动作可以被定义为在与每个外科手术类型相关联的每个决策点上待进行的基线或推荐外科动作。一旦经过训练，机器学习模型就可以用于根据定义的基线向用户提供术前、术中或术后推荐。[0267]因此，控制系统7002可以在外科手术中通过例如成像系统7004生成外科部位的图像(步骤7108)。可以使用结构化emr、多光谱成像或上述任何其他成像技术来生成图像(步骤7108)。此外，图像可以与各种围术期数据相关联，包括例如经由结构化emr确定的表面映射或3d几何形状、经由多光谱成像技术确定的表面下或组织特征数据、物体识别数据、相对于全局和/或局部坐标系统的位置数据、和/或经由态势感知系统确定的背景数据。[0268]因此，控制系统7002和/或后端计算机系统7010可以确定在外科手术中的给定决策点上正在进行的外科动作(步骤7110)。在一个方面，控制系统7002和/或后端计算机系统7010可以通过态势感知系统做出该确定。例如，控制系统7002可以基于发生器数据和外科器械数据(包括外科装置的相对激活)确定外科医生正在解剖以移动肺、绑扎血管或横切软组织，如上文结合图21所述。在该示例中，外科动作的决策点将包括外科手术的特定步骤使用什么装置(例如，超声器械或电外科器械、钉仓的尺寸和类型、或外科器械的品牌)、外科医生在哪里横切或绑扎或外科医生在横切或绑扎什么部位等。作为另一个示例，控制系统7002和/或后端计算机系统7010可以通过对手术室中的准备台进行可视化来确定为外科手术计划了外科装置的哪种术前组合。因此，在该示例中，外科动作的决策点是为该手术选择的手术装置。[0269]因此，控制系统7002和/或后端计算机系统7010可以将当前外科动作与使用上述技术确定的外科手术的给定决策点的基线外科动作进行比较(步骤7112)。因此，控制系统7002和/或后端计算机系统7010可以基于外科动作和基线之间的比较来提供推荐(步骤7114)。在各个方面，可以在术前(例如，推荐不同的外科装置组合来执行手术)、术中(例如，推荐外科器械的端部执行器的不同位置)或术后(例如，通过由外科医生审查的报告在手术中的标记点推荐不同的外科动作)提供推荐。在一个方面，只有当外科动作偏离基线至少一个阈值量时，才能提供推荐。该推荐可以采用声音警报、文本或图形反馈、触觉反馈等形式。作为图24所示的一个示例，耦接到控制系统7002的显示器7006可以显示由成像系统7004提供的外科部位7014的视频馈送7200。视频馈送7200可以显示外科器械7210的位置和其他组织和/或结构的可视化，在该具体示例中，其他组织和/或结构包括肿瘤7016和各种血管7018。在该示例中，控制系统7002和/或后端计算机系统7010已经确定外科器械7210的位置已经偏离了外科手术的给定步骤的基线位置。因此，控制系统7002已经使得显示器7006以图形覆盖7212的形式提供推荐(步骤7114)，该图形覆盖示出了用于给定外科手术步骤的外科器械7210的推荐或基线位置。[0270]这些系统和方法允许外科医生对于外科手术中的任何给定决策点的推荐动作过程进行可视化，然后进行相应的动作。因此，外科医生可以基于从全世界中的任何数量的个人执行的任何数量的外科手术收集的大量数据所得到的反馈来学习和进一步发展。这将允许外科医生进一步完善他们的术中技术或与外科手术的进行相关的其他决策，以改善患者结果。此外，此类系统可以集成到机器人外科系统中，以利用大量可用的外科数据来改进这类系统的控制算法，从而随着时间的推移控制机器人外科系统的性能。[0271]在一个方面，外科系统还可以被配置成能够预测和投射在外科手术中可以对用户进行的动作效果。特别地，组织和/或结构的3d表面和体积可视化可以与源自数据源的计算分析和建模数据集相结合，以记录各种外科装置对组织和/或结构的影响。例如，外科系统7000可以通过成像系统7004对外科部位7014(包括位于该部位的任何组织和/或结构)进行可视化,然后记录响应各种治疗(如击发外科缝合器或击发电外科器械)对各种组织和/或结构的影响。然后，可以针对组织和/或结构的任何给定类型、尺寸和构型对组织和/或结构的影响进行记录和建模。另外，然后可以执行计算分析(例如，通过控制系统7002)来预测来自在外科手术中正在使用的外科装置的治疗投射的一个方面。例如，治疗投射可以包括向组织施加热能或电能，以及施加的能量可以穿透到组织的3d扫描体积中的程度。例如，可以将该治疗投射作为显示器7006上显示的视频馈送7200上的图形覆盖提供给用户。[0272]在一个方面，来自该模型的投射可以与由其他模型或外科装置开发的预测分开确定并与之进行比较。例如，成像系统7004可以包括次级感测阵列(例如，ircmos阵列)，该阵列被配置成能够感测组织特征并将能量的应用投射到组织，以将该投射与从其他模型或外科装置(例如，电外科发生器)预测的投射进行比较。此外，可以基于由控制系统7002相对于来自其他数据源的预测建模的投影的对比准确度来调整来自其他数据源的预测，如根据历史外科手术数据所确定的。例如，可以将电外科器械或超声外科器械的功率水平和组织-器械钳口相互作用的可视化用于提供算法(例如，该算法可基于有限元分析)和预测的边界条件(例如，通过发生器)。[0273]在一个方面，当来自成像系统7004的计算分析的预测和来自由其他数据(例如，外科发生器)执行的算法的预测相差至少一个阈值时，控制系统7002可以进行各种不同的动作。例如，控制系统7002可以在用户打开钳口以检查组织之前提供用户警报(例如，发出与正常音调不同的音调)，在外科手术步骤完成之后通知用户(例如，在外科器械的能量输送结束时发出不同的音调)，软锁定外科器械的钳口(例如，直到被用户撤销)，或者调节发生器控制算法以调节向组织进行的能量输送(例如，以额外的时间为代价延长能量输送以确保安全的结果)。[0274]这些系统和方法允许外科医生对于外科手术中的任何给定决策点的预测动作过程进行可视化，然后进行相应的动作。因此，外科医生可以基于从全世界中的任何数量的个人执行的任何数量的外科手术收集的大量数据所得到的反馈来做出更明智的术中决策。这将允许外科医生进一步完善他们的术中技术，以改善患者结果。此外，此类系统可以集成到机器人外科系统中，以利用大量可用的外科数据来改进这类系统的控制算法，从而随着时间的推移控制机器人外科系统的性能。[0275]示例性临床应用[0276]本文所公开的各种外科可视化系统可用于以下临床应用中的一种或多种临床应用中。以下临床应用是用于本文所公开的各种外科可视化系统中的一个或多个外科可视化系统的非穷举性和仅例示性应用。[0277]如本文所公开的外科可视化系统可用于多种不同类型的手术中，以用于例如不同的医学专业，诸如泌尿科、妇科、肿瘤科、结肠直肠科、胸科、肥胖科/胃科和肝胰胆管科(hpb)。例如，在泌尿手术(诸如前列腺切除术)中，例如可在脂肪中检测输尿管，或者可在脂肪中检测结缔组织和/或神经。例如，在妇科肿瘤手术(诸如例如子宫切除术)中，以及在结肠直肠手术(诸如例如低位前切除(lar)手术)中，可在脂肪和/或结缔组织中检测到输尿管。例如，在胸部手术(诸如叶切除术)中，可在肺或结缔组织中检测到血管，并且/或者可在结缔组织中检测到神经(例如，食管造口术)。在肥胖手术中，可在脂肪中检测到血管。例如，在hpb手术(诸如肝切除术或胰切除术)中，可在脂肪(肝外)、结缔组织(肝外)中检测到血管，并且可在薄壁(肝脏或胰腺)组织中检测到胆管。[0278]在一个示例中，临床医生可能想要摘除子宫内膜肌瘤。根据术前磁共振成像(mri)扫描，临床医生可知道子宫内膜肌瘤位于肠的表面上。因此，临床医生可能想要在术中知道哪些组织构成肠的一部分以及哪些组织构成直肠的一部分。在此类情况下，如本文所公开的外科可视化系统可指示不同类型的组织(肠与直肠)，并且经由成像系统将该信息传达给临床医生。此外，成像系统可确定外科装置与所选组织的接近度并传送该接近度。在此类情况下，外科可视化系统可提供增加的手术效率而没有严重的并发症。[0279]在另一个示例中，临床医生(例如，妇科医生)可保持远离某些解剖区域以避免太靠近关键结构，并且因此临床医生可能无法摘除例如所有子宫内膜异位。如本文所公开的外科可视化系统可使得妇科医生能够降低太靠近关键结构的风险，使得妇科医生可用外科装置足够靠近以摘除所有子宫内膜异位，这可改善患者结果(使外科手术大众化)。此类系统可使得外科医生能够在外科手术期间“保持移动”而不是反复停止和重新开始，以便识别要避开的区域，例如特别是在施加治疗能量诸如超声或电外科能量期间。在妇科应用中，子宫动脉和输尿管是重要的关键结构，并且考虑到所涉及组织的呈现和/或厚度，系统对于子宫切除术和子宫内膜异位手术可能特别有用。[0280]在另一个示例中，临床医生可能有在太近的位置处解剖血管的风险，并且因此这可能影响到除了目标叶之外的叶的血液供应。此外，患者与患者之间的解剖学差异可能导致解剖基于特定患者影响不同叶的血管(例如分支)。如本文所公开的外科可视化系统可使得能够识别期望位置处的正确血管，这使得临床医生能够以适当的解剖确定性进行解剖。例如，系统可确认正确的血管在正确的位置，并且然后临床医生可安全地将血管分开。[0281]在另一个示例中，由于血管的解剖结构的不确定性，临床医生可能会在最佳位置处进行解剖之前进行多次解剖。然而，希望在第一种情况下在最佳位置进行解剖，因为更多解剖可增加出血的风险。如本文所公开的外科可视化系统可通过指示正确的血管和用于解剖的最佳位置来最小化解剖数量。例如，输尿管和主韧带很密集，并且在解剖期间会带来独特的挑战。在此类情况下，可能特别希望最小化解剖数量。[0282]在另一个示例中，临床医生(例如，摘除癌性组织的外科肿瘤医生)可能希望知道关键结构的识别、癌症的定位、癌症的分期和/或组织健康的评估。此类信息超出临床医生用“肉眼”所见的内容。如本文所公开的外科可视化系统可在术中确定此类信息和/或将此类信息传达给临床医生，以加强术中决策并改善外科结果。在某些情况下，外科可视化系统可与例如使用内窥镜或外镜的微创外科手术(mis)、开放式外科手术和/或机器人方法兼容。[0283]在另一个示例中，临床医生(例如，外科肿瘤医生)可能想要关闭关于外科工具与一个或多个关键结构的接近度的一个或多个警示，以避免在外科手术期间过于保守。在其他情况下，临床医生可能想要接收某些类型的警示诸如触觉反馈(例如，振动/蜂鸣)以指示接近度和/或“禁飞区”，从而保持充分远离一个或多个关键结构。例如，如本文所公开的外科可视化系统可基于临床医生的经验和/或手术的期望进取性来提供灵活性。在此类情况下，系统提供“知道太多”和“知道足够多”之间的平衡以预期和避开关键结构。外科可视化系统可有助于在外科手术期间规划接下来的步骤。[0284]本文所述主题的各个方面在以下编号的实施例中陈述。[0285]实施例1.一种外科控制系统，所述外科控制系统能够可通信地连接到后端计算机系统，所述外科控制系统包括成像系统和耦接到所述成像系统的控制电路。所述成像系统包括被配置成能够发射电磁辐射(emr)的发射器和被配置成能够接收从外科部位反射的所述emr的图像传感器。所述emr的至少一部分作为结构化emr发射。所述控制电路被配置成能够通过由所述图像传感器接收的所反射的emr来生成所述外科部位的图像，基于所述图像确定正在进行的外科动作，从所述后端计算机系统接收与所述外科动作相关联的基线外科动作，以及根据所述外科动作和所述基线外科动作之间的比较提供用户推荐。[0286]实施例2.根据实施例1所述的外科控制系统，其中，所述外科控制系统可通信地耦接到显示屏，并且所述用户推荐包括相对于显示在所述显示屏上的所述外科动作的所述基线外科动作的图示。[0287]实施例3.根据实施例1或2所述的外科控制系统，其中，所述控制电路被配置成能够根据所述外科动作与所述基线外科动作之间的所述比较是否相差至少一个阈值来提供所述用户推荐。[0288]实施例4.根据实施例1-3中任一项所述的外科控制系统，其中，所述控制电路被进一步配置成能够接收围术期数据并且基于所述图像和所接收的围术期数据确定正在进行的外科动作。[0289]实施例5.根据实施例4所述的外科控制系统，其中，所述围术期数据包括外科发生器数据或外科器械传感器数据中的至少一者。[0290]实施例6.根据实施例1-5中任一项所述的外科控制系统，其中，可通信地连接到一个或多个外科装置的外科集线器包括所述外科控制系统。[0291]实施例7.根据实施例1-5中任一项所述的外科控制系统，其中，所述外科控制系统能够可通信地连接到外科集线器，并且所述控制电路被配置成能够根据分析算法基于所述图像确定正在进行的所述外科动作并且从所述外科集线器接收对所述分析算法的更新。[0292]实施例8.一种计算机系统，所述计算机系统能够可通信地连接到多个外科集线器，所述多个外科集线器能够各自可通信地连接到成像系统，所述计算机系统包括控制电路，所述控制电路被配置成能够从所述多个外科集线器接收在多个外科手术期间由每个成像系统捕获的多个外科部位的多个图像，确定多个外科结果，其中所述多个外科结果中的每一个外科结果与所述多个外科手术中的一个外科手术相关联并且基于所述多个图像中的一个图像，根据所述多个图像和所述多个外科结果确定基线外科动作，并且将所述基线外科动作传输到所述多个外科集线器。[0293]实施例9.根据实施例8所述的计算机系统，其中，所述控制电路被配置成能够训练机器学习模型以基于所述多个图像和所述多个外科结果将外科动作与积极的外科结果相关联，以确定每个外科动作的所述基线外科动作。[0294]实施例10.根据实施例8或9所述的计算机系统，其中，所述控制电路被配置成能够从所述多个外科集线器接收与所述多个外科手术相关联的围术期数据，并且基于所述多个图像和所述围术期数据确定所述多个外科结果。[0295]实施例11.根据实施例8-10中任一项所述的计算机系统，其中，所述控制电路被配置成能够接收用户输入的所述多个外科结果。[0296]实施例12.一种控制能够可通信地连接到后端计算机系统的外科系统的方法，所述控制系统包括成像系统，所述成像系统包括发射器和图像传感器，所述发射器被配置成能够发射电磁辐射(emr)，其中所述emr的至少一部分作为结构化emr发射，所述图像传感器被配置成能够接收从外科部位反射的所述emr，所述方法包括通过由所述图像传感器接收的所反射的emr来生成所述外科部位的图像，基于所述图像确定正在进行的外科动作，从所述后端计算机系统接收与所述外科动作相关联的基线外科动作，以及根据所述外科动作和所述基线外科动作之间的比较提供用户推荐。[0297]实施例13.根据实施例12所述的方法，其中，所述外科系统包括显示屏，并且所述用户推荐包括相对于显示在所述显示屏上的所述外科动作的所述基线外科动作的图示。[0298]实施例14.根据实施例12或13所述的方法，其中，根据所述外科动作与所述基线外科动作之间的所述比较是否相差至少一个阈值来提供所述用户推荐。[0299]实施例15.根据实施例12-14中任一项所述的方法，进一步包括接收围术期数据并且基于所述图像和所接收的围术期数据确定正在进行的外科动作。[0300]实施例16.根据实施例15所述的方法，其中，所述围术期数据包括外科发生器数据或外科器械传感器数据中的至少一者。[0301]实施例17.根据实施例12-16中任一项所述的方法，其中，所述外科控制系统包括外科集线器，并且所述方法进一步包括根据分析算法基于所述图像确定正在进行的所述外科动作并且从所述外科集线器接收对所述分析算法的更新。[0302]尽管已举例说明和描述了多个形式，但是申请人的意图并非将所附权利要求的范围约束或限制在此类细节中。在不脱离本公开的范围的情况下，可实现对这些形式的许多修改、变型、改变、替换、组合和等同物，并且本领域技术人员将想到这些形式的许多修改、变型、改变、替换、组合和等同物。此外，另选地，可将与所描述的形式相关联的每个元件的结构描述为用于提供由所述元件执行的功能的器件。另外，在公开了用于某些部件的材料的情况下，也可使用其他材料。因此，应当理解，上述具体实施方式和所附权利要求旨在涵盖属于本发明所公开的形式范围内的所有此类修改、组合和变型。所附权利要求旨在涵盖所有此类修改、变型、改变、替换、修改和等同物。[0303]上述具体实施方式已经由使用框图、流程图和/或示例阐述了装置和/或方法的各种形式。只要此类框图、流程图和/或示例包含一个或多个功能和/或操作，本领域的技术人员就要将其理解为此类框图、流程图和/或示例中的每个功能和/或操作都可以单独和/或共同地通过多种硬件、软件、固件或实际上它们的任何组合来实施。本领域的技术人员将会认识到，本文公开的形式中的一些方面可作为在一台或多台计算机上运行的一个或多个计算机程序(例如，作为在一个或多个计算机系统上运行的一个或多个程序)，作为在一个或多个处理器上运行的一个或多个程序(例如，作为在一个或多个微处理器上运行的一个或多个程序)，作为固件，或作为实际上它们的任何组合全部或部分地在集成电路中等效地实现，并且根据本公开，设计电路系统和/或编写软件和/或硬件的代码将在本领域技术人员的技术范围内。另外，本领域的技术人员将会认识到，本文所述主题的机制能够作为多种形式的一个或多个程序产品进行分布，并且本文所述主题的例示性形式适用，而不管用于实际进行分布的信号承载介质的具体类型是什么。[0304]用于编程逻辑以执行各种所公开的方面的指令可存储在系统中的存储器内，诸如动态随机存取存储器(dram)、高速缓存、闪存存储器或其他存储器。此外，指令可经由网络或通过其他计算机可读介质来分发。因此，机器可读介质可包括用于存储或传输以机器(例如，计算机)可读形式的信息的任何机构，但不限于软盘、光学盘、光盘只读存储器(cd-rom)、和磁光盘、只读存储器(rom)、随机存取存储器(ram)、可擦除可编程只读存储器(eprom)、电可擦除可编程只读存储器(eeprom)、磁卡或光卡、闪存存储器、或经由电信号、光学信号、声学信号或其他形式的传播信号(例如，载波、红外信号、数字信号等)在因特网上传输信息时使用的有形的、机器可读存储装置。因此，非暂态计算机可读介质包括适于以机器(例如，计算机)可读的形式存储或传输电子指令或信息的任何类型的有形机器可读介质。[0305]如本文任一方面所用，术语“控制电路”可指例如硬连线电路系统、可编程电路系统(例如，计算机处理器，该计算机处理器包括一个或多个单独指令处理内核、处理单元，处理器、微控制器、微控制器单元、控制器、数字信号处理器(dsp)、可编程逻辑装置(pld)、可编程逻辑阵列(pla)、场可编程门阵列(fpga))、状态机电路系统、存储由可编程电路系统执行的指令的固件、以及它们的任何组合。控制电路可以集体地或单独地实现为形成更大系统的一部分的电路系统，例如集成电路(ic)、专用集成电路(asic)、片上系统(soc)、台式计算机、膝上型计算机、平板计算机、服务器、智能电话等。因此，如本文所用，“控制电路”包括但不限于具有至少一个离散电路的电子电路、具有至少一个集成电路的电子电路、具有至少一个专用集成电路的电子电路、形成由计算机程序配置的通用计算设备的电子电路(如，至少部分地实施本文所述的方法和/或设备的由计算机程序配置的通用计算机，或至少部分地实施本文所述的方法和/或设备的由计算机程序配置的微处理器)、形成存储器设备(如，形成随机存取存储器)的电子电路，和/或形成通信设备(如，调节解调器、通信开关或光电设备)的电子电路。本领域的技术人员将会认识到，可以模拟或数字方式或它们的一些组合实施本文所述的主题。[0306]如本文的任何方面所用，术语“逻辑”可指被配置成能够执行前述操作中的任一者的应用程序、软件、固件和/或电路系统。软件可体现为记录在非暂态计算机可读存储介质上的软件包、代码、指令、指令集和/或数据。固件可体现为在存储器装置中硬编码(例如，非易失性)的代码、指令或指令集和/或数据。[0307]如本文任一方面所用，术语“部件”、“系统”、“模块”等可指计算机相关实体、硬件、硬件和软件的组合、软件或执行中的软件。[0308]如本文任一方面中所用，“算法”是指导致所期望结果的有条理的步骤序列，其中“步骤”是指物理量和/或逻辑状态的操纵，物理量和/或逻辑状态可(但不一定)采用能被存储、转移、组合、比较和以其他方式操纵的电或磁信号的形式。常用于指这些信号，如位、值、元素、符号、字符、术语、数字等。这些和类似的术语可与适当的物理量相关联并且仅仅是应用于这些量和/或状态的方便的标签。[0309]网络可包括分组交换网络。通信装置可能够使用所选择的分组交换网络通信协议来彼此通信。一个示例性通信协议可包括可能够允许使用传输控制协议/因特网协议(tcp/ip)进行通信的以太网通信协议。以太网协议可符合或兼容电气和电子工程师学会(ieee)于2008年12月发布的标题为“ieee802.3standard”的以太网标准和/或本标准的更高版本。另选地或附加地，通信装置可能够使用x.25通信协议彼此通信。x.25通信协议可符合或兼容由国际电信联盟电信标准化部门(itu-t)发布的标准。另选地或附加地，通信装置可能够使用帧中继通信协议彼此通信。帧中继通信协议可符合或兼容由国际电报电话咨询委员会(ccitt)和/或美国国家标准学会(ansi)发布的标准。另选地或附加地，收发器可能够使用异步传输模式(atm)通信协议彼此通信。atm通信协议可符合或兼容atm论坛于2001年8月发布的名为“atm-mplsnetworkinterworking2.0”的atm标准和/或该标准的更高版本。当然，本文同样设想了不同的和/或之后开发的连接取向的网络通信协议。[0310]除非上述公开中另外明确指明，否则可以理解的是，在上述公开中，使用术语如“处理”、“估算”、“计算”、“确定”、“显示”的讨论是指计算机系统或类似的电子计算装置的动作和进程，其操纵表示为计算机系统的寄存器和存储器内的物理(电子)量的数据并将其转换成相似地表示为计算机系统存储器或寄存器或其他此类信息存储、传输或显示装置内的物理量的其他数据。[0311]一个或多个部件在本文中可被称为“被配置成能够”、“可配置成能够”、“可操作/可操作地”、“适于/可适于”、“能够”、“可适形/适形于”等。本领域的技术人员将会认识到，除非上下文另有所指，否则“被配置成能够”通常可涵盖活动状态的部件和/或未活动状态的部件和/或待机状态的部件。[0312]术语“近侧”和“远侧”在本文中是相对于操纵外科器械的柄部部分的临床医生来使用的。术语“近侧”是指最靠近临床医生的部分，术语“远侧”是指远离临床医生定位的部分。还应当理解，为简洁和清楚起见，本文可结合附图使用诸如“竖直”、“水平”、“上”和“下”等空间术语。然而，外科器械在许多取向和方位中使用，并且这些术语并非是限制性的和/或绝对的。[0313]本领域的技术人员将认识到，一般而言，本文、以及特别是所附权利要求(例如，所附权利要求的正文)中所使用的术语通常旨在为“开放”术语(例如，术语“包括”应解释为“包括但不限于”，术语“具有”应解释为“至少具有”，术语“包含”应解释为“包含但不限于”等)。本领域的技术人员还应当理解，如果所引入权利要求表述的具体数目为预期的，则此类意图将在权利要求中明确表述，并且在不存在此类叙述的情况下，不存在此类意图。例如，为有助于理解，下述所附权利要求可含有对介绍性短语“至少一个”和“一个或多个”的使用以引入权利要求。然而，对此类短语的使用不应视为暗示通过不定冠词“一个”或“一种”引入权利要求表述将含有此类引入权利要求表述的任何特定权利要求限制在含有仅一个这样的表述的权利要求中，甚至当同一权利要求包括介绍性短语“一个或多个”或“至少一个”和诸如“一个”或“一种”(例如，“一个”和/或“一种”通常应解释为意指“至少一个”或“一个或多个”)的不定冠词时；这也适用于对用于引入权利要求表述的定冠词的使用。[0314]另外，即使明确叙述引入权利要求叙述的特定数目，本领域的技术人员应当认识到，此种叙述通常应解释为意指至少所叙述的数目(例如，在没有其他修饰语的情况下，对“两个叙述”的裸叙述通常意指至少两个叙述、或两个或更多个叙述)。此外，在其中使用类似于“a、b和c中的至少一者等”的惯例的那些情况下，一般而言，此类构造意在具有本领域的技术人员将理解所述惯例的意义(例如，“具有a、b和c中的至少一者的系统”将包括但不限于具有仅a、仅b、仅c、a和b一起、a和c一起、b和c一起和/或a、b和c一起等的系统)。在其中使用类似于“a、b或c中的至少一者等”的惯例的那些情况下，一般而言，此类构造意在具有本领域的技术人员将理解所述惯例的意义(例如，“具有a、b或c中的至少一者的系统”应当包括但不限于具有仅a、仅b、仅c、a和b一起、a和c一起、b和c一起和/或a、b和c一起等的系统)。本领域的技术人员还应当理解，通常，除非上下文另有指示，否则无论在具体实施方式、权利要求或附图中呈现两个或更多个替代术语的转折性词语和/或短语应理解为涵盖包括所述术语中的一者、所述术语中的任一个或这两个术语的可能性。例如，短语“a或b”通常将被理解为包括“a”或“b”或“a和b”的可能性。[0315]对于所附的权利要求，本领域的技术人员将会理解，其中表述的操作通常可以任何顺序进行。另外，尽管以一个或多个序列出了各种操作流程图，但应当理解，可以不同于所示顺序的其他顺序执行各种操作，或者可同时执行所述各种操作。除非上下文另有规定，否则此类替代排序的示例可包括重叠、交错、中断、重新排序、增量、预备、补充、同时、反向，或其他改变的排序。此外，除非上下文另有规定，否则像“响应于”、“相关”这样的术语或其他过去式的形容词通常不旨在排除此类变体。[0316]值得一提的是，任何对“一个方面”、“一方面”、“一范例”、“一个范例”的提及均意指结合所述方面所述的具体特征部、结构或特征包括在至少一个方面中。因此，在整个说明书的各种位置出现的短语“在一个方面”、“在一方面”、“在一范例中”、“在一个范例中”不一定都指同一方面。此外，具体特征部、结构或特征可在一个或多个方面中以任何合适的方式组合。[0317]本说明书提及和/或在任何申请数据表中列出的任何专利申请，专利，非专利公布或其他公开材料均以引用方式并入本文，只要所并入的材料在此不一致。因此，并且在必要的程度下，本文明确列出的公开内容代替以引用方式并入本文的任何冲突材料。据称以引用方式并入本文但与本文列出的现有定义、陈述或其他公开材料相冲突的任何材料或其部分，将仅在所并入的材料与现有的公开材料之间不产生冲突的程度下并入。[0318]概括地说，已经描述了由采用本文所述的概念产生的许多有益效果。为了举例说明和描述的目的，已经提供了一个或多个形式的上述具体实施方式。这些具体实施方式并非意图为详尽的或限定到本发明所公开的精确形式。可以按照上述教导内容对本发明进行修改或变型。选择和描述的一个或多个形式是为了说明原理和实际应用，从而使本领域的普通技术人员能够利用适用于预期的特定用途的各种形式和各种修改。与此一同提交的权利要求书旨在限定完整范围。当前第1页12当前第1页12









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!