一种白内障手术流程识别方法

计算;推算;计数设备的制造及其应用技术1.本发明属于图像处理技术领域，具体涉及一种用于白内障手术流程识别方法。背景技术：2.白内障是指由于晶状体蛋白质变性而发生混浊，进而阻碍光线进入眼内，逐渐引起视力下降甚至失明的一种的眼科疾病。随着我国老龄化加剧、环境变化和遗传因素的影响下，白内障患者群体的人数逐渐增多，这使得白内障手术的需求量亦逐渐增大。而且白内障术后容易发生感染、玻璃体出血、角膜内皮损伤等并发症。而手术流程自动识别可以显著提高手术过程中患者的安全性，医生根据手术的内容就能够提前避免并发症的出现，同时也能对手术过程进行预警减少医生的失误。3.实现手术流程建模的关键步骤是对手术过程中数据的记录采集并进行分析，在白内障手术中外科医生会通过使用光学显微镜观察病人的眼睛，并使用手术显微镜附带的摄像机录制视频。而且从摄像机中获得的手术视频不但可以单独使用，也可以与其他数据结合使用。更重要的是，手术视频数据可以说是手术的完美再现，其中包含了非常丰富的手术过程信息。因此，手术视频已成为手术流程识别的主要数据来源。4.在此之前，已经有一些传统的手术流程的方法被提出来。早期的研究首先利用人工设计的描述符来提取强度、梯度、形状、颜色和纹理等特征，然后使用线性统计模型来捕捉手术视频的时间结构。但是人工设计的描述符在处理视频帧时非常耗时，因此它们不能满足快速和准确的自动手术视频的需求。最近，由于数据量的增加以及计算能力的可用性、深度学习技术也显示了它们在低级计算机视觉任务中的优势，因此在手术流程识别中引入了深度学习的方法。现阶段的深度学习方法通过端到端循环卷积模型，使得深度残差网络和循环神经网络无缝集成到一个统一的框架中，共同捕捉视频的时空特征。虽然实现了时间和空间上的联合训练，但是由于内存的限制，但不能在较长的时间维度上学习时间和空间的特征。5.在白内障手术的过程中虽然每个阶段所使用的工具都有严格的要求，但实际上白内障手术的同一阶段会出现使用不同的工具或不同阶段使用相同的工具的情况，这使得确定白内障手术步骤的效率降低。6.因此，如何提供一种新型的基于深度学习的白内障手术流程识别方案，以减少白内障视频中相似阶段被分错的概率以及提高确定白内障手术步骤效率及准确性，这也是目前学术界要解决的难点之一。技术实现要素：7.本发明的主要目的在于提供一种白内障手术流程识别方法，从而克服现有技术的白内障手术流程预测算法中无法识别相似阶段，无法捕获较长时间信息进行预测的不足。8.为实现前述发明目的，本发明采用的技术方案包括：一种白内障手术流程识别方法，包括：9.s1，使用目标检测模型检测出视频帧中的晶状体和手术器械；10.s2，采用一个三流卷积网络，并将所述晶状体和手术器械以及原始图片作为输入，来提取视频帧中对手术阶段预测有作用的细粒度特征；11.s3，采用多阶段的时间卷积网络提取视频中的时序信息并结合三流卷积网络提取的所述细粒度特征，进行白内障手术阶段的预识别。12.在一优选实施例中，所述s1包括：13.s11，将视频帧中的晶状体和手术器械使用图像标注工具标注出来作为训练集送入到目标检测模型中进行训练，所述目标检测模型为针对晶状体和手术器械的目标检测模型；14.s12，检测出晶状体和手术器械的目标区域，并将所述目标区域裁剪下来作为下一步特征提取的输入。15.在一优选实施例中，所述目标检测模型为yolov3目标检测模型。16.在一优选实施例中，所述s2包括：s21，将手术器械局部区域、晶状体局部区域以及整张图片分别送入到残差网络中分别提取对应的第一局部特征、第二局部特征和全局特征；17.s22，将所述第一局部特征、第二局部特征和全局特征串联起来，作为整个视频帧的细粒度特征表示；18.s23，将串联的特征送入全连接层中，输出白内障手术阶段的初步预测。19.在一优选实施例中，所述多阶段的时间卷积网络包括第一阶段时间卷积网络和第二阶段时间卷积网络，所述第一阶段时间卷积网络由多个双扩展时间卷积层组成，所述第二阶段时间卷积网络由多个单扩展时间卷积层组成。20.在一优选实施例中，所述s3具体包括：21.s31，将三流卷积网络所提取的每一帧的细粒度特征经所述第一阶段时间卷积网络卷积后输出第一阶段预测结果给第二阶段时间卷积网络；22.s32，所述第一阶段预测结果经第二阶段时间卷积网络卷积后输出第二阶段预测结果；23.s33，将所述第二阶段预测结果与三流卷积网络提取的所述细粒度特征进行串联，送入到1×1卷积层进行降维；24.s34，将降维处理后的所述第二阶段预测结果送入分类器进行最终的手术阶段预测。25.在一优选实施例中，使用带有类权重的交叉熵损失来训练所述第一阶段时间卷积网络和第二阶段时间卷积网络，所述类权重是通过使用中值频率平衡得到的。26.在一优选实施例中，每个所述双扩展时间卷积层包括两个具有不同膨胀因子的第一扩张时间卷积层和第二扩张时间卷积层，所述第一扩张时间卷积层的膨胀因子随着层数的增加而呈指数增长，所述第二扩张时间卷积层的膨胀因子随着层数的增加而呈指数下降。27.在一优选实施例中，每层的操作表示为：[0028][0029][0030][0031]dl＝dl-1+w3，l*ql+b3，l；ꢀꢀꢀ(4)[0032]其中，和分别是第一扩张时间卷积层和第二扩张时间卷积层的输出，w1，l、w2，l分别代表第一扩张时间卷积层和第二扩张时间卷积层的权重，b1，l、b2，l分别代表第一扩张时间卷积层和第二扩张时间卷积层的偏置，ql表示和的连接，dl是lth双扩展时间卷积层的输出，其中w3，l是公式(3)中1×1卷积层的权重，b3，l是公式(3)中1×1卷积层的偏置。[0033]在一优选实施例中，所述第二阶段时间卷积网络中的每个层单扩展时间卷积层均进行归一化和relu激活操作，且第二阶段的时间卷积层的扩张率呈指数增长。[0034]与现有技术相比较，本发明的有益效果至少在于：[0035]1、本发明提供了一种针对白内障手术流程的细粒度识别方法，具体通过提取视频中的细粒度特征以减少白内障视频中相似阶段被分错的概率，并使用多阶段的时间卷积网络进行白内障手术阶段的精准预识别，为降低因医生操作不当而带来的并发症提供了一种有效的途径；[0036]2、本发明将手术流程中重要的局部区域通过目标检测技术检测出来，然后送入三流卷积网络中，从而得到视频帧的全局信息以及手术器械和瞳孔中包含的局部细粒度信息，以此提高对相识帧的识别能力。[0037]3、本发明在时序特征的提取中使用了多级时间卷积网络，通过其中的双重卷积层可以从不同的时序长度上提取时间特征，并且时间卷积网络比传统的循环神经网络能够记住更长的时序关系，从而解决先前算法无法捕捉长序列的时间信息的问题。附图说明[0038]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。[0039]图1是本发明一实施方式中方法的流程示意图；[0040]图2是本发明一实施方式中检测晶状体与手术器械的流程框图；[0041]图3是本发明一实施方式中三流空间特征提取网络示意图；[0042]图4是本发明一实施方式中手术流程识别框架示意图；[0043]图5是本发明一实施方式中双扩展时间卷积层。具体实施方式[0044]通过应连同所附图式一起阅读的以下具体实施方式将更完整地理解本发明。本文中揭示本发明的详细实施例；然而，应理解，所揭示的实施例仅具本发明的示范性，本发明可以各种形式来体现。因此，本文中所揭示的特定功能细节不应解释为具有限制性，而是仅解释为权利要求书的基础且解释为用于教示所属领域的技术人员在事实上任何适当详细实施例中以不同方式采用本发明的代表性基础。[0045]本发明所揭示的一种白内障手术流程识别方法，针对现有的白内障手术流程预测算法中无法识别相似阶段，无法捕获较长时间信息进行预测等问题，提出了通过提取视频中的细粒度特征，并使用多阶段的时间卷积网络进行白内障手术阶段的精准预识别，可用于白内障手术流程的辨别与辅助手术系统。[0046]如图1所示，本发明实施例所揭示的一种白内障手术流程识别方法，具体包括以下步骤：[0047]s1，使用目标检测模型检测出视频帧中的晶状体和手术器械。[0048]具体地，所述s1具体包括以下步骤：[0049]s11，将视频帧中的晶状体和手术器械使用图像标注工具标注出来作为训练集送入到目标检测模型中进行训练，所述目标检测模型为针对晶状体和手术器械的目标检测模型。[0050]具体地，本实施例中，针对白内障手术视频中相同的手术器械在手术过程中可能会出现在不同的手术阶段，提出使用目标检测技术来检测出晶状体与手术器械，以提高模型对这些关键的局部区域的关注。由于yolov3作为目标检测模型在目标检测上具有速度快，准确率高的特点，所以将其作为本发明目标检测的工具。具体是通过将一些视频帧中的晶状体和手术器械使用图像标注工具(1abelimg)标注软件标注出来作为训练集送入到yolov3中，训练一个针对晶状体与手术器械的目标检测模型。[0051]s12，对检测出来的目标区域裁剪出来作为下一步特征的提取的输入。[0052]具体地，检测出晶状体和手术器械的目标区域，如图2所示，并将检测出来的目标区域裁剪出来作为下一步特征的提取的输入。[0053]s2，采用一个三流卷积网络，并将上述晶状体和手术器械以及原始图片作为输入，来提取视频帧中对手术阶段预测有作用的细粒度特征。[0054]具体地，为了提取白内障视频帧中的相识帧难分辨的问题，本发明提出了一个三流卷积网络来提取辨别性的细粒度特征，如图3所示。[0055]本实施例中，所述s2具体包括以下几个步骤：[0056]s21，将手术器械局部区域、晶状体局部区域以及整张图片分别送入到残差网络中分别提取对应的第一局部特征、第二局部特征和全局特征。[0057]具体地，鉴于resnet50深度学习网络在生物医学图像处理任务中的出色表现，本发明将其用作模型的骨干。通过将手术器械、晶状体这些重要的局部区域，以及整张图片分别送入到resnet深度学习网络中分别提取对应的第一局部特征、第二局部特征和全局特征。[0058]s22，将上述第一局部特征、第二局部特征和全局特征串联起来，作为整个视频帧的细粒度特征表示。[0059]s23，将串联的特征送入全连接层中，输出白内障手术阶段的初步预测。[0060]通过上述步骤s21～s23，本发明提出的三流卷积网络能够同时利用视频帧的全局信息以及手术器械和晶状体中包含的局部细粒度信息。此外，当相同的手术器械或晶状体出现在不同的手术阶段时，所提出的三流卷积网络将有选择地进行基于手术器械或晶状体的分类，从而提高所提出的方法对相似帧的识别能力。[0061]s3，采用多阶段的时间卷积网络提取视频中的时序信息并结合三流卷积网络提取的所述细粒度特征，进行白内障手术阶段的预识别。[0062]具体地，本发明实施例中所提出的多阶段的时间卷积网络包括两个阶段，第一阶段时间卷积网络和第二阶段时间卷积网络，为了便于描述，将第一阶段时间卷积网络表示为s1，s1具体由n个双扩展时间卷积层组成，将第二阶段时间卷积网络表示为s2，s2具体由n个单扩展时间卷积层组成，如图4所示。[0063]本实施例中，所述s3具体包括以下步骤：[0064]s31，将三流卷积网络所提取的每一帧的细粒度特征经上述第一阶段时间卷积网络卷积后输出第一阶段预测结果给第二阶段时间卷积网络。[0065]具体地，s1的输入是由本发明所提出的三流卷积网络所提取的每一帧的细粒度特征x＝(x1，x2，...，xt)，t∈[1，t]，其中t是总的帧数。经第一阶段时间卷积网络卷积后输出第一阶段预测结果，本实施例将第一阶段预测结果表示为y1＝γs1(x1，x2，...，xt)，t∈[1，t]，其中γs1表示双扩展时间卷积层。随后，将y1作为s2的输入。[0066]s32，第一阶段预测结果经第二阶段时间卷积网络卷积后输出第二阶段预测结果。[0067]具体地，本实施例中，将y1作为s2的输入，得到输出第二阶段预测结果，表示为y2。[0068]s33，将第二阶段预测结果与三流卷积网络提取的上述细粒度特征进行串联，送入到1×1卷积层进行降维。[0069]具体地，即将第二阶段预测结果y2与三流卷积网络所提取的每一帧的细粒度特征x串联，并送入到1×1卷积层进行降维。[0070]s34，将降维处理后的第二阶段预测结果送入分类器进行最终的手术阶段预测。[0071]即，第二阶段预测结果y2被送入分类器进行最终的手术阶段预测。由于白内障手术视频中每个阶段的帧数不同，手术阶段的识别成为一种不平衡的模式。因此，本发明使用带有类权重的交叉熵损失(wce loss)来训练所提出s1和s2，其中类权重是通过使用中值频率平衡得到的。[0072]另外，在第一阶段时间卷积网络中的每个双扩展时间卷积层，如图5所示，它包含两个具有不同膨胀因子的第一扩张时间卷积层和第二扩张时间卷积层。其中，第一扩张时间卷积层的膨胀因子随着层数的增加而呈指数增长：drn＝2n-1，其中drn表示第nth层的扩张率。第二扩张时间卷积层与第一扩张时间卷积层正好相反。也就是说，随着层数的增加，扩张率呈指数级下降：drn＝2n-n。[0073]每层的操作可以表示为：[0074][0075][0076][0077]dl＝dl-1+w3，l*ql+b3，lꢀꢀꢀ(4)；[0078]其中和分别是第一扩张时间卷积层和第二扩张时间卷积层的输出，w1，l、w2，l分别代表第一扩张时间卷积层和第二扩张时间卷积层的权重，b1，l、b2，l分别代表第一扩张时间卷积层和第二扩张时间卷积层的偏置，ql表示和的连接，dl是lth双扩展时间卷积层的输出，其中w3，l是公式(3)中1×1卷积层的权重，b3，l是公式(3)中1×1卷积层的偏置。[0079]第二阶段时间卷积网络的每一层单扩展时间卷积层均进行层的归一化和relu激活，类似地，第二阶段的时间卷积层的扩张率呈指数增长，即nth层的扩张率为：drn＝2n-1。[0080]本发明具有以下优点：1、本发明提供了一种针对白内障手术流程的细粒度识别方法，具体通过提取视频中的细粒度特征以减少白内障视频中相似阶段被分错的概率，并使用多阶段的时间卷积网络进行白内障手术阶段的精准预识别，为降低因医生操作不当而带来的并发症提供了一种有效的途径；2、本发明将手术流程中重要的局部区域通过目标检测技术检测出来，然后送入三流卷积网络中，从而得到视频帧的全局信息以及手术器械和瞳孔中包含的局部细粒度信息，以此提高对相识帧的识别能力。3、本发明在时序特征的提取中使用了多级时间卷积网络，通过其中的双重卷积层可以从不同的时序长度上提取时间特征，并且时间卷积网络比传统的循环神经网络能够记住更长的时序关系，从而解决先前算法无法捕捉长序列的时间信息的问题。[0081]本发明的各方面、实施例、特征及实例应视为在所有方面为说明性的且不打算限制本发明，本发明的范围仅由权利要求书界定。在不背离所主张的本发明的精神及范围的情况下，所属领域的技术人员将明了其它实施例、修改及使用。[0082]在本发明案中标题及章节的使用不意味着限制本发明；每一章节可应用于本发明的任何方面、实施例或特征。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!