基于图像的循环肿瘤细胞检测设备 专利技术说明

计算;推算;计数设备的制造及其应用技术1.本技术涉及智能化检测技术领域，并且更具体地，涉及一种基于图像的循环肿瘤细胞检测设备。背景技术：2.循环肿瘤细胞(ctc)是由原发或转移病灶脱落进入外周血的肿瘤细胞，其作为一种实时“液体活检”手段反映了肿瘤是否发生侵袭转移，大量研究结果提示，血液中血环肿瘤细胞与癌症的发生发展都有直接关系，检测和分析外周血中的单个或少量循环肿瘤细胞簇，对肿瘤的早期诊断、肿瘤诊断的分期和分型、手术前评估和手术后辅助性治疗的指导与评价、评估患者对治疗(化疗药物和放疗)反应、预测肿瘤的复发和转移、对肿瘤治疗效果的实施监测、指导肿瘤个体化精准治疗、肿瘤耐药性的监控、预后判断和预测的准确性和有效性的评估非常关键。3.但是，相比较外周血中存在的大量白细胞，循环肿瘤细胞仅为外周血中的稀有细胞，检测起来非常困难。目前，ctcs的检测和鉴定方法众多，包括各种荧光原位杂交技术和流式细胞术、聚合酶链反应和逆转录聚合酶链反应及其各种改进的技术等等。4.荧光原位杂交技术是利用荧光标记的特异核酸探针与细胞内相应的靶dna分子或rna分子杂交，通过在荧光显微镜观察荧光信号，来确定与特异探针杂交后被染色的细胞或细胞器的形态和分布。然而，目前荧光原位杂交技术检测方法需要通过人工观察计数的方式来检测，人工观察的方式不方便，成本高，而且不确定因素多，对人员的要求高，人为误差极大，难以实现临床批量和精准检测、以及标准化检测，极大地限制了其实际临床应用。5.因此，期望一种优化的基于图像的循环肿瘤细胞检测设备。技术实现要素：6.为了解决上述技术问题，提出了本技术。本技术的实施例提供了一种基于图像的循环肿瘤细胞检测设备，其获取由荧光显微镜采集的fish图像；采用基于深度学习的人工智能技术，挖掘所述fish图像中关于循环肿瘤细胞的隐含特征信息，以此来对于循环肿瘤细胞进行自动检测，从而对于肿瘤细胞的数量进行确定，以实现对循环肿瘤细胞的自动检测。7.第一方面，提供了一种基于图像的循环肿瘤细胞检测设备，其包括：图像数据采集模块，用于获取由荧光显微镜采集的fish图像；图像分块模块，用于对所述fish图像进行图像分块处理以得到fish图像块的序列；图像特征提取模块，用于将所述fish图像块的序列中的各个fish图像块分别通过包含深浅特征融合模块的卷积神经网络模型以得到多个fish图像块特征矩阵；动态滤波模块，用于将所述多个fish图像块特征矩阵分别通过基于卷积核的动态滤波器以得到多个滤波后fish图像块特征矩阵；全局图像特征关联模块，用于将所述多个滤波后fish图像块特征矩阵按照所述图像分块的位置排列为二维特征矩阵后通过作为特征提取器的卷积神经网络模型以得到全局fish特征矩阵；特征优化模块，用于对所述全局fish特征矩阵进行特征分布优化以得到优化全局fish特征矩阵；以及图像语义分割模块，用于对所述优化全局fish特征矩阵进行图像语义分割以得到图像语义分割结果，并基于所述图像语义分割结果确定所述fish图像中所包含的循环肿瘤细胞的数量。8.在上述基于图像的循环肿瘤细胞检测设备中，所述图像特征提取模块，包括：浅层提取单元，用于从所述包含深浅特征融合模块的卷积神经网络模型的浅层提取浅层特征图；深层提取单元，用于从所述包含深浅特征融合模块的卷积神经网络模型的深层提取多个深层特征图；融合单元，用于使用所述包含深浅特征融合模块的卷积神经网络模型的深浅特征融合模块来融合所述浅层特征图和所述多个深层特征图以得到多个融合特征图；以及，均值池化单元，用于将所述多个融合特征图沿着通道维度进行全局均值池化以得到所述多个fish图像块特征矩阵。9.在上述基于图像的循环肿瘤细胞检测设备中，所述全局图像特征关联模块，用于：使用所述作为特征提取器的卷积神经网络模型的各层在层的正向传递中对输入数据分别进行卷积处理、沿通道维度的池化处理和非线性激活处理以由所述作为特征提取器的卷积神经网络模型的最后一层的输出为所述全局fish特征矩阵，其中，所述作为特征提取器的卷积神经网络模型的第一层的输入为所述二维特征矩阵。10.在上述基于图像的循环肿瘤细胞检测设备中，所述特征优化模块，用于：以如下优化公式对所述二维特征矩阵和所述全局fish特征矩阵进行基于尺度认知的高斯联合密度融合以得到所述优化全局fish特征矩阵；其中，所述优化公式为：融合以得到所述优化全局fish特征矩阵；其中，所述优化公式为：融合以得到所述优化全局fish特征矩阵；其中，所述优化公式为：和其中，和分别表示所述二维特征矩阵和所述全局fish特征矩阵，和分别是所述二维特征矩阵和所述全局fish特征矩阵中各个位置的特征值，和分别是所述二维特征矩阵和所述全局fish特征矩阵的所有特征值的特征集合的均值和方差，和分别是特征矩阵的宽度和高度，且是所述优化全局fish特征矩阵的各个位置特征值，表示计算以数值为幂的自然指数函数值。11.在上述基于图像的循环肿瘤细胞检测设备中，所述图像语义分割模块，包括：语义分割单元，用于对所述优化全局fish特征矩阵进行图像语义分割以得到循环肿瘤细胞预测图；像素全连接编码单元，用于将所述循环肿瘤细胞预测图通过第一全连接层以得到循环肿瘤细胞全连接特征向量；深层特征排列单元，用于将所述多个深层特征图按照所述图像分块的位置排列为全局深层特征图；深度特征全连接编码单元，用于将所述全局深层特征图通过第二全连接层以得到fish深度特征向量；细胞特征融合单元，用于融合所述循环肿瘤细胞全连接特征向量和所述fish深度特征向量以得到融合特征向量；以及，计数单元，用于将所述融合特征向量通过计数模块以得到所述fish图像中所包含的循环肿瘤细胞的数量。12.在上述基于图像的循环肿瘤细胞检测设备中，所述像素全连接编码单元，包括：图像像素展开子单元，用于将所述循环肿瘤细胞预测图展开为细胞预测一维像素特征向量；以及，全连接关联编码子单元，用于使用所述第一全连接层对所述细胞预测一维像素特征向量进行全连接编码以得到所述循环肿瘤细胞全连接特征向量。13.在上述基于图像的循环肿瘤细胞检测设备中，所述计数单元，用于：使用所述计数模块以如下解码公式对所述融合特征向量进行解码回归以得到所述fish图像中所包含的循环肿瘤细胞的数量；其中，所述解码公式为：，其中，表示所述融合特征向量，表示所述fish图像中所包含的循环肿瘤细胞的数量，表示权重矩阵，表示偏置向量，表示矩阵乘。14.与现有技术相比，本技术提供的基于图像的循环肿瘤细胞检测设备，其获取由荧光显微镜采集的fish图像；采用基于深度学习的人工智能技术，挖掘所述fish图像中关于循环肿瘤细胞的隐含特征信息，以此来对于循环肿瘤细胞进行自动检测，从而对于肿瘤细胞的数量进行确定，以实现对循环肿瘤细胞的自动检测。附图说明15.为了更清楚地说明本技术实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。16.图1为根据本技术实施例的基于图像的循环肿瘤细胞检测设备的应用场景图。17.图2为根据本技术实施例的基于图像的循环肿瘤细胞检测设备的框图。18.图3为根据本技术实施例的基于图像的循环肿瘤细胞检测设备中所述图像特征提取模块的框图。19.图4为根据本技术实施例的基于图像的循环肿瘤细胞检测设备中所述图像语义分割模块的框图。20.图5为根据本技术实施例的基于图像的循环肿瘤细胞检测设备中所述像素全连接编码单元的框图。21.图6为根据本技术实施例的基于图像的循环肿瘤细胞检测方法的流程图。22.图7为根据本技术实施例的基于图像的循环肿瘤细胞检测方法的系统架构的示意图。具体实施方式23.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。24.除非另有说明，本技术实施例所使用的所有技术和科学术语与本技术的技术领域的技术人员通常理解的含义相同。本技术中所使用的术语只是为了描述具体的实施例的目的，不是旨在限制本技术的范围。25.在本技术实施例记载中，需要说明的是，除非另有说明和限定，术语“连接”应做广义理解，例如，可以是电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。26.需要说明的是，本技术实施例所涉及的术语“第一第二第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一第二第三”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一第二第三”区分的对象在适当情况下可以互换，以使这里描述的本技术的实施例可以除了在这里图示或描述的那些以外的顺序实施。27.如上所述，目前荧光原位杂交技术检测方法需要通过人工观察计数的方式来检测，人工观察的方式不方便，成本高，而且不确定因素多，对人员的要求高，人为误差极大，难以实现临床批量和精准检测、以及标准化检测，极大地限制了其实际临床应用。因此，期望一种优化的基于图像的循环肿瘤细胞检测设备。28.相应地，考虑到荧光原位杂交（fish）是一种常用的细胞分子生物学技术，其通过对目标dna序列进行荧光标记，可以在细胞内直接观察到该序列的位置和数量。因此，在实际进行循环肿瘤细胞检测的过程中，期望通过荧光显微镜采集的fish图像作为输入数据，以对输入数据进行分析来实现对循环肿瘤细胞的自动检测。但是，由于所述fish图像中存在有较多的信息量，而关于循环肿瘤细胞的特征信息在图像中为小尺度的隐含特征，难以通过传统的方式进行捕捉获取。因此，在此过程中，难点在于如何挖掘所述fish图像中关于循环肿瘤细胞的隐含特征信息，以此来对于循环肿瘤细胞进行自动检测，从而对于肿瘤细胞的数量进行确定。29.近年来，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。深度学习以及神经网络的发展为挖掘所述fish图像中关于循环肿瘤细胞的隐含特征信息提供了新的解决思路和方案。30.具体地，在本技术的技术方案中，首先，通过荧光显微镜采集fish图像。应可以理解，通过荧光显微镜采集的fish图像可以直接反映目标细胞中的循环肿瘤细胞数量，具有较高的可靠性和准确性。因此，在本技术的技术方案中，选择所述荧光显微镜采集的fish图像作为输入数据，以实现对循环肿瘤细胞的自动检测。31.接着，考虑到由于所述fish图像中关于循环肿瘤细胞的特征信息在图像中为小尺度的细微特征，为了能够提高所述fish图像中关于循环肿瘤细胞特征的表达能力，以此来提高对于所述循环肿瘤细胞数量检测的精准度，在本技术的技术方案中，对所述fish图像进行图像分块处理以得到fish图像块的序列。应可以理解，所述fish图像块的序列中的各个fish图像块的尺度相较于原图像被缩减，因此，所述fish图像中关于小尺寸的目标对象隐含特征在所述各个fish图像块中不再是小尺寸对象，以便于后续进行图像中关于循环肿瘤细胞隐含特征的提取。32.然后，使用在隐含特征提取方面具有优异表现的卷积神经网络模型来对于所述fish图像块的序列中的各个fish图像块进行特征挖掘，特别地，考虑到在进行所述各个fish图像块的特征提取时，不仅需要关注于所述图像块中关于循环肿瘤细胞的深层语义特征，还应关注于所述循环肿瘤细胞的浅层基本细节特征和边缘特征，这样有利于后续进行循环肿瘤细胞的数量统计。因此，在本技术的技术方案中，将所述fish图像块的序列中的各个fish图像块分别通过包含深浅特征融合模块的卷积神经网络模型以得到多个fish图像块特征矩阵。特别地，这里，所述包含深浅特征融合模块的卷积神经网络模型的最后一个卷积层输出的特征图为深度特征图。应可以理解，这里，使用包含深浅特征融合模块的卷积神经网络模型以提取出所述各个fish图像块中关于循环肿瘤细胞的细节边缘和纹理等浅层特征信息，有利于后续对于循环肿瘤细胞进行边缘区域的框定，并提取出所述各个fish图像块中关于循环肿瘤细胞的深层语义特征信息，有利于后续对于循环肿瘤细胞的检测判断，从而得到深层特征图。也就是说，在进行所述各个fish图像块的特征挖掘时，在提取出所述各个fish图像块中关于循环肿瘤细胞的深层丰富语义特征的同时，保留其在浅层的基础细节边缘特征，进而有利于后续进行循环肿瘤细胞的检测以及对于循环肿瘤细胞的数量估计。33.在实际进行循环肿瘤细胞检测以及数量估计时，所述各个fish图像块中关于循环肿瘤细胞的特征信息会受到各种因素的干扰，因此，在本技术的技术方案中，为了能够提升对于循环肿瘤细胞检测的鲁棒性和抗干扰能力，将所述多个fish图像块特征矩阵分别通过基于卷积核的动态滤波器中进行滤波以得到多个滤波后fish图像块特征矩阵。34.进一步地，考虑到所述各个fish图像块中关于循环肿瘤细胞的隐含深浅融合特征之间具有着关于所述fish图像整体的语义关联特征，为了能够对于所述循环肿瘤细胞特征进行充分表达，以提高后续对于循环肿瘤细胞数据检测的精准度，在本技术的技术方案中，进一步将所述多个滤波后fish图像块特征矩阵按照所述图像分块的位置排列为二维特征矩阵后通过作为特征提取器的卷积神经网络模型中进行特征挖掘，以提取出所述各个fish图像块中关于所述循环肿瘤细胞的隐含语义关联特征信息，从而得到全局fish特征图。35.然后，对所述全局fish特征矩阵进行图像语义分割，以在检测到循环肿瘤细胞位置区域后进行相应地掩码操作，从而得到图像语义分割结果，即循环肿瘤细胞预测图。并且，基于所述图像语义分割结果确定所述fish图像中所包含的循环肿瘤细胞的数量。也就是，在得到所述循环肿瘤细胞预测图后，将所述循环肿瘤细胞预测图与所述肿瘤细胞的深层语义特征联合输入到计数模块，得到所述fish图像中所包含的循环肿瘤细胞的数量。应可以理解，所述多个深层特征图按照所述图像分块位置排列的全局深层特征图具有肿瘤细胞的全局高维语义关联特征信息，融合此特征能够对循环肿瘤细胞的数量进行有效的统计。36.更具体地，在将所述循环肿瘤细胞预测图中的循环肿瘤细胞特征与所述全局深度特征图进行特征融合来输入所述计数模块时，考虑到由于所述循环肿瘤细胞预测图中的各个像素之间都具有着关于所述循环肿瘤细胞的像素关联特征信息。因此，在本技术的技术方案中，在将所述循环肿瘤细胞预测图展开为细胞预测一维像素特征向量后，使用全连接层来进行编码，以提取出所述循环肿瘤细胞预测图中的各个像素值之间的关联特征分布信息，从而得到循环肿瘤细胞全连接特征向量。接着，对于所述全局深层特征图来说，也将其通过全连接层进行编码，以此来提取出所述全局深层特征图中的各个特征值之间的关联特征信息，从而得到fish深度特征向量，这样有利于后续对于循环肿瘤细胞数量的检测。然后，融合所述循环肿瘤细胞全连接特征向量和所述fish深度特征向量以得到融合特征向量，并将所述融合特征向量通过计数模块以得到所述fish图像中所包含的循环肿瘤细胞的数量。特别地，这里，在将循环肿瘤细胞预测图进行全连接特征提取后与所述fish图像的高层次特征拼接融合，得到各自的拼接特征，再经过一层全连接和relu激活函数确保预测统计的数量大于0。37.特别地，在本技术的技术方案中，这里，在将所述多个滤波后fish图像块特征矩阵按照所述图像分块的位置排列为二维特征矩阵后通过作为特征提取器的卷积神经网络模型得到所述全局fish特征矩阵时，为了充分利用基于卷积核的动态滤波器得到的图像块滤波特征，可以考虑将所述多个滤波后fish图像块特征矩阵排列得到的二维特征矩阵与所述全局fish特征矩阵融合。38.并且，基于所述作为特征提取器的卷积神经网络模型的卷积核在卷积核的局部特征关联尺度上的特征提取，为了提升所述二维特征矩阵与作为其进一步的局部关联尺度上的特征表达的所述全局fish特征矩阵的各自尺度下的特征融合效果，对所述二维特征矩阵，例如记为和所述全局fish特征矩阵，例如记为进行基于尺度认知的高斯联合密度融合，以得到优化后的全局fish特征矩阵，具体表示为：融合，以得到优化后的全局fish特征矩阵，具体表示为：融合，以得到优化后的全局fish特征矩阵，具体表示为：和和和分别是的特征集合（即，所述二维特征矩阵和所述全局fish特征矩阵的所有特征值的特征集合）的均值和方差，和分别是特征矩阵的宽度和高度，且是优化后的全局fish特征矩阵的特征值。39.这里，所述基于尺度认知的高斯联合密度融合考虑到待融合特征的尺度最优表达特性，为了提高特征融合的有效性和相对于待融合特征的泛化性能，将具有尺度认知的高斯联合密度作为优势函数，来对基于均值和方差的特征分布的回归表现差异进行策略表达，从而提升特征融合的特征-尺度自依赖性。这样，优化后的全局fish特征矩阵就可以充分表达所述二维特征矩阵与作为其进一步的局部关联尺度上的特征表达的所述全局fish特征矩阵的基于不同尺度的融合特征，从而提升了优化后的全局fish特征矩阵的特征表达效果，继而提升所述全局fish特征矩阵的图像语义分割的准确性。这样，能够对于循环肿瘤细胞进行智能检测，从而对于肿瘤细胞的数量进行确定。40.图1为根据本技术实施例的基于图像的循环肿瘤细胞检测设备的应用场景图。如图1所示，在该应用场景中，首先，获取由荧光显微镜（例如，如图1中所示意的n）采集的fish图像（例如，如图1中所示意的d）；然后，将获取的fish图像输入至部署有基于图像的循环肿瘤细胞检测算法的服务器（例如，如图1中所示意的s）中，其中所述服务器能够基于图像的循环肿瘤细胞检测算法对所述fish图像进行处理，以基于所述图像语义分割结果确定所述fish图像中所包含的循环肿瘤细胞的数量。41.在介绍了本技术的基本原理之后，下面将参考附图来具体介绍本技术的各种非限制性实施例。42.在本技术的一个实施例中，图2为根据本技术实施例的基于图像的循环肿瘤细胞检测设备的框图。如图2所示，根据本技术实施例的基于图像的循环肿瘤细胞检测设备100，包括：图像数据采集模块110，用于获取由荧光显微镜采集的fish图像；图像分块模块120，用于对所述fish图像进行图像分块处理以得到fish图像块的序列；图像特征提取模块130，用于将所述fish图像块的序列中的各个fish图像块分别通过包含深浅特征融合模块的卷积神经网络模型以得到多个fish图像块特征矩阵；动态滤波模块140，用于将所述多个fish图像块特征矩阵分别通过基于卷积核的动态滤波器以得到多个滤波后fish图像块特征矩阵；全局图像特征关联模块150，用于将所述多个滤波后fish图像块特征矩阵按照所述图像分块的位置排列为二维特征矩阵后通过作为特征提取器的卷积神经网络模型以得到全局fish特征矩阵；特征优化模块160，用于对所述全局fish特征矩阵进行特征分布优化以得到优化全局fish特征矩阵；以及，图像语义分割模块170，用于对所述优化全局fish特征矩阵进行图像语义分割以得到图像语义分割结果，并基于所述图像语义分割结果确定所述fish图像中所包含的循环肿瘤细胞的数量。43.具体地，在本技术实施例中，所述图像数据采集模块110，用于获取由荧光显微镜采集的fish图像。如上所述，目前荧光原位杂交技术检测方法需要通过人工观察计数的方式来检测，人工观察的方式不方便，成本高，而且不确定因素多，对人员的要求高，人为误差极大，难以实现临床批量和精准检测、以及标准化检测，极大地限制了其实际临床应用。因此，期望一种优化的基于图像的循环肿瘤细胞检测设备。44.相应地，考虑到荧光原位杂交（fish）是一种常用的细胞分子生物学技术，其通过对目标dna序列进行荧光标记，可以在细胞内直接观察到该序列的位置和数量。因此，在实际进行循环肿瘤细胞检测的过程中，期望通过荧光显微镜采集的fish图像作为输入数据，以对输入数据进行分析来实现对循环肿瘤细胞的自动检测。但是，由于所述fish图像中存在有较多的信息量，而关于循环肿瘤细胞的特征信息在图像中为小尺度的隐含特征，难以通过传统的方式进行捕捉获取。因此，在此过程中，难点在于如何挖掘所述fish图像中关于循环肿瘤细胞的隐含特征信息，以此来对于循环肿瘤细胞进行自动检测，从而对于肿瘤细胞的数量进行确定。45.近年来，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。深度学习以及神经网络的发展为挖掘所述fish图像中关于循环肿瘤细胞的隐含特征信息提供了新的解决思路和方案。46.具体地，在本技术的技术方案中，首先，通过荧光显微镜采集fish图像。应可以理解，通过荧光显微镜采集的fish图像可以直接反映目标细胞中的循环肿瘤细胞数量，具有较高的可靠性和准确性。因此，在本技术的技术方案中，选择所述荧光显微镜采集的fish图像作为输入数据，以实现对循环肿瘤细胞的自动检测。47.具体地，在本技术实施例中，所述图像分块模块120，用于对所述fish图像进行图像分块处理以得到fish图像块的序列。接着，考虑到由于所述fish图像中关于循环肿瘤细胞的特征信息在图像中为小尺度的细微特征，为了能够提高所述fish图像中关于循环肿瘤细胞特征的表达能力，以此来提高对于所述循环肿瘤细胞数量检测的精准度，在本技术的技术方案中，对所述fish图像进行图像分块处理以得到fish图像块的序列。应可以理解，所述fish图像块的序列中的各个fish图像块的尺度相较于原图像被缩减，因此，所述fish图像中关于小尺寸的目标对象隐含特征在所述各个fish图像块中不再是小尺寸对象，以便于后续进行图像中关于循环肿瘤细胞隐含特征的提取。48.具体地，在本技术实施例中，所述图像特征提取模块130，用于将所述fish图像块的序列中的各个fish图像块分别通过包含深浅特征融合模块的卷积神经网络模型以得到多个fish图像块特征矩阵。然后，使用在隐含特征提取方面具有优异表现的卷积神经网络模型来对于所述fish图像块的序列中的各个fish图像块进行特征挖掘。49.特别地，考虑到在进行所述各个fish图像块的特征提取时，不仅需要关注于所述图像块中关于循环肿瘤细胞的深层语义特征，还应关注于所述循环肿瘤细胞的浅层基本细节特征和边缘特征，这样有利于后续进行循环肿瘤细胞的数量统计。因此，在本技术的技术方案中，将所述fish图像块的序列中的各个fish图像块分别通过包含深浅特征融合模块的卷积神经网络模型以得到多个fish图像块特征矩阵。特别地，这里，所述包含深浅特征融合模块的卷积神经网络模型的最后一个卷积层输出的特征图为深度特征图。50.应可以理解，这里，使用包含深浅特征融合模块的卷积神经网络模型以提取出所述各个fish图像块中关于循环肿瘤细胞的细节边缘和纹理等浅层特征信息，有利于后续对于循环肿瘤细胞进行边缘区域的框定，并提取出所述各个fish图像块中关于循环肿瘤细胞的深层语义特征信息，有利于后续对于循环肿瘤细胞的检测判断，从而得到深层特征图。也就是说，在进行所述各个fish图像块的特征挖掘时，在提取出所述各个fish图像块中关于循环肿瘤细胞的深层丰富语义特征的同时，保留其在浅层的基础细节边缘特征，进而有利于后续进行循环肿瘤细胞的检测以及对于循环肿瘤细胞的数量估计。51.图3为根据本技术实施例的基于图像的循环肿瘤细胞检测设备中所述图像特征提取模块的框图，如图3所示，所述图像特征提取模块130，包括：浅层提取单元131，用于从所述包含深浅特征融合模块的卷积神经网络模型的浅层提取浅层特征图；深层提取单元132，用于从所述包含深浅特征融合模块的卷积神经网络模型的深层提取多个深层特征图； 融合单元133，用于使用所述包含深浅特征融合模块的卷积神经网络模型的深浅特征融合模块来融合所述浅层特征图和所述多个深层特征图以得到多个融合特征图；以及，均值池化单元134，用于将所述多个融合特征图沿着通道维度进行全局均值池化以得到所述多个fish图像块特征矩阵。52.应可以理解，相较于标准卷积神经网络模型，根据本技术的所述卷积神经网络模型能够保留所述各个反应监控关键帧的反应液状态的浅层特征和深层特征，以不仅使得特征信息更为丰富，且不同深度的特征能得以保留，以提高对于所述fish图像块的序列的结果准确性。同时，深度神经网络的结构往往比较复杂，需要大量的样本数据来训练和调整，而深度网络的训练时间较长，容易过拟合。因此，在神经网络模型的设计中，通常采用浅层网络和深层网络的结合，通过深浅特征融合，可以在一定程度上降低网络的复杂度和过拟合的风险，同时提高模型的特征提取能力和泛化能力。53.在使用卷积神经网络模型对所述fish图像块的序列进行编码的过程中，首先从所述第一卷积神经网络模型的浅层提取出浅层特征图（例如，所述浅层指的是第一层至第六层），并从所述卷积神经网络模型的深层提取深层特征图（例如，所述卷积神经网络模型的最后一层），然后，通过融合所述浅层特征图和所述深层特征图以得到包含浅层特征和深层特征的特征表示。在具体编码过程中，所述浅层特征图的提取位置由所述卷积神经网络模型的整体网络深度所决定，例如，当网络深度是30时，从所述卷积神经网络模型的第3层，当网络深度是40时，从所述卷积神经网络模型的第4层，对此，并不为本技术所局限。同样地，所述深层特征图的提取位置也并不为本技术所局限，其可以是最后一层，也可以是倒数最二层，也可以是同时从最后一层和倒数第二层。54.具体地，在本技术实施例中，所述动态滤波模块140，用于将所述多个fish图像块特征矩阵分别通过基于卷积核的动态滤波器以得到多个滤波后fish图像块特征矩阵。在实际进行循环肿瘤细胞检测以及数量估计时，所述各个fish图像块中关于循环肿瘤细胞的特征信息会受到各种因素的干扰，因此，在本技术的技术方案中，为了能够提升对于循环肿瘤细胞检测的鲁棒性和抗干扰能力，将所述多个fish图像块特征矩阵分别通过基于卷积核的动态滤波器中进行滤波以得到多个滤波后fish图像块特征矩阵。55.具体地，在本技术实施例中，所述全局图像特征关联模块150，用于将所述多个滤波后fish图像块特征矩阵按照所述图像分块的位置排列为二维特征矩阵后通过作为特征提取器的卷积神经网络模型以得到全局fish特征矩阵。56.进一步地，考虑到所述各个fish图像块中关于循环肿瘤细胞的隐含深浅融合特征之间具有着关于所述fish图像整体的语义关联特征，为了能够对于所述循环肿瘤细胞特征进行充分表达，以提高后续对于循环肿瘤细胞数据检测的精准度，在本技术的技术方案中，进一步将所述多个滤波后fish图像块特征矩阵按照所述图像分块的位置排列为二维特征矩阵后通过作为特征提取器的卷积神经网络模型中进行特征挖掘，以提取出所述各个fish图像块中关于所述循环肿瘤细胞的隐含语义关联特征信息，从而得到全局fish特征矩阵。57.其中，所述全局图像特征关联模块150，用于：使用所述作为特征提取器的卷积神经网络模型的各层在层的正向传递中对输入数据分别进行卷积处理、沿通道维度的池化处理和非线性激活处理以由所述作为特征提取器的卷积神经网络模型的最后一层的输出为所述全局fish特征矩阵，其中，所述作为特征提取器的卷积神经网络模型的第一层的输入为所述二维特征矩阵。58.卷积神经网络(convolutional neural network，cnn)是一种人工神经网络，在图像识别等领域有着广泛的应用。卷积神经网络可以包括输入层、隐藏层和输出层，其中，隐藏层可以包括卷积层、池化(pooling)层、激活层和全连接层等，上一层根据输入的数据进行相应的运算，将运算结果输出给下一层，输入的初始数据经过多层的运算之后得到一个最终的结果。59.卷积神经网络模型利用卷积核作为特征过滤因子在图像局部特征提取方面具有非常优异的性能表现，且相较于传统的基于统计或者基于特征工程的图像特征提取算法，所述卷积神经网络模型具有更强的特征提取泛化能力和拟合能力。60.具体地，在本技术实施例中，所述特征优化模块160，用于对所述全局fish特征矩阵进行特征分布优化以得到优化全局fish特征矩阵。特别地，在本技术的技术方案中，这里，在将所述多个滤波后fish图像块特征矩阵按照所述图像分块的位置排列为二维特征矩阵后通过作为特征提取器的卷积神经网络模型得到所述全局fish特征矩阵时，为了充分利用基于卷积核的动态滤波器得到的图像块滤波特征，可以考虑将所述多个滤波后fish图像块特征矩阵排列得到的二维特征矩阵与所述全局fish特征矩阵融合。61.并且，基于所述作为特征提取器的卷积神经网络模型的卷积核在卷积核的局部特征关联尺度上的特征提取，为了提升所述二维特征矩阵与作为其进一步的局部关联尺度上的特征表达的所述全局fish特征矩阵的各自尺度下的特征融合效果，对所述二维特征矩阵，例如记为和所述全局fish特征矩阵，例如记为进行基于尺度认知的高斯联合密度融合，以得到优化后的全局fish特征矩阵，具体表示为：以如下优化公式对所述二维特征矩阵和所述全局fish特征矩阵进行基于尺度认知的高斯联合密度融合以得到所述优化全局fish特征矩阵；其中，所述优化公式为：fish特征矩阵；其中，所述优化公式为：fish特征矩阵；其中，所述优化公式为：和其中，和分别表示所述二维特征矩阵和所述全局fish特征矩阵，和分别是所述二维特征矩阵和所述全局fish特征矩阵中各个位置的特征值，和分别是所述二维特征矩阵和所述全局fish特征矩阵的所有特征值的特征集合的均值和方差，和分别是特征矩阵的宽度和高度，且是所述优化全局fish特征矩阵的各个位置特征值，表示计算以数值为幂的自然指数函数值。62.这里，所述基于尺度认知的高斯联合密度融合考虑到待融合特征的尺度最优表达特性，为了提高特征融合的有效性和相对于待融合特征的泛化性能，将具有尺度认知的高斯联合密度作为优势函数，来对基于均值和方差的特征分布的回归表现差异进行策略表达，从而提升特征融合的特征-尺度自依赖性。这样，优化后的全局fish特征矩阵就可以充分表达所述二维特征矩阵与作为其进一步的局部关联尺度上的特征表达的所述全局fish特征矩阵的基于不同尺度的融合特征，从而提升了优化后的全局fish特征矩阵的特征表达效果，继而提升所述全局fish特征矩阵的图像语义分割的准确性。这样，能够对于循环肿瘤细胞进行智能检测，从而对于肿瘤细胞的数量进行确定。63.具体地，在本技术实施例中，所述图像语义分割模块170，用于对所述优化全局fish特征矩阵进行图像语义分割以得到图像语义分割结果，并基于所述图像语义分割结果确定所述fish图像中所包含的循环肿瘤细胞的数量。然后，对所述全局fish特征矩阵进行图像语义分割，以在检测到循环肿瘤细胞位置区域后进行相应地掩码操作，从而得到图像语义分割结果，即循环肿瘤细胞预测图。并且，基于所述图像语义分割结果确定所述fish图像中所包含的循环肿瘤细胞的数量。64.也就是，在得到所述循环肿瘤细胞预测图后，将所述循环肿瘤细胞预测图与所述肿瘤细胞的深层语义特征联合输入到计数模块，得到所述fish图像中所包含的循环肿瘤细胞的数量。应可以理解，所述多个深层特征图按照所述图像分块位置排列的全局深层特征图具有肿瘤细胞的全局高维语义关联特征信息，融合此特征能够对循环肿瘤细胞的数量进行有效的统计。65.图4为根据本技术实施例的基于图像的循环肿瘤细胞检测设备中所述图像语义分割模块的框图，如图4所示，所述图像语义分割模块170，包括：语义分割单元171，用于对所述优化全局fish特征矩阵进行图像语义分割以得到循环肿瘤细胞预测图；像素全连接编码单元172，用于将所述循环肿瘤细胞预测图通过第一全连接层以得到循环肿瘤细胞全连接特征向量；深层特征排列单元173，用于将所述多个深层特征图按照所述图像分块的位置排列为全局深层特征图；深度特征全连接编码单元174，用于将所述全局深层特征图通过第二全连接层以得到fish深度特征向量；细胞特征融合单元175，用于融合所述循环肿瘤细胞全连接特征向量和所述fish深度特征向量以得到融合特征向量；以及，计数单元176，用于将所述融合特征向量通过计数模块以得到所述fish图像中所包含的循环肿瘤细胞的数量。66.更具体地，在将所述循环肿瘤细胞预测图中的循环肿瘤细胞特征与所述全局深度特征图进行特征融合来输入所述计数模块时，考虑到由于所述循环肿瘤细胞预测图中的各个像素之间都具有着关于所述循环肿瘤细胞的像素关联特征信息。因此，在本技术的技术方案中，在将所述循环肿瘤细胞预测图展开为细胞预测一维像素特征向量后，使用全连接层来进行编码，以提取出所述循环肿瘤细胞预测图中的各个像素值之间的关联特征分布信息，从而得到循环肿瘤细胞全连接特征向量。67.接着，对于所述全局深层特征图来说，也将其通过全连接层进行编码，以此来提取出所述全局深层特征图中的各个特征值之间的关联特征信息，从而得到fish深度特征向量，这样有利于后续对于循环肿瘤细胞数量的检测。然后，融合所述循环肿瘤细胞全连接特征向量和所述fish深度特征向量以得到融合特征向量，并将所述融合特征向量通过计数模块以得到所述fish图像中所包含的循环肿瘤细胞的数量。特别地，这里，在将循环肿瘤细胞预测图进行全连接特征提取后与所述fish图像的高层次特征拼接融合，得到各自的拼接特征，再经过一层全连接和relu激活函数确保预测统计的数量大于0。68.图5为根据本技术实施例的基于图像的循环肿瘤细胞检测设备中所述像素全连接编码单元的框图，如图5所示，所述像素全连接编码单元172，包括：图像像素展开子单元1721，用于将所述循环肿瘤细胞预测图展开为细胞预测一维像素特征向量；以及，全连接关联编码子单元1722，用于使用所述第一全连接层对所述细胞预测一维像素特征向量进行全连接编码以得到所述循环肿瘤细胞全连接特征向量。69.进一步地，所述计数单元176，用于：使用所述计数模块以如下解码公式对所述融合特征向量进行解码回归以得到所述fish图像中所包含的循环肿瘤细胞的数量；其中，所述解码公式为：，其中，表示所述融合特征向量，表示所述fish图像中所包含的循环肿瘤细胞的数量，表示权重矩阵，表示偏置向量，表示矩阵乘。70.综上，基于本技术实施例的基于图像的循环肿瘤细胞检测设备100被阐明，其获取由荧光显微镜采集的fish图像；采用基于深度学习的人工智能技术，挖掘所述fish图像中关于循环肿瘤细胞的隐含特征信息，以此来对于循环肿瘤细胞进行自动检测，从而对于肿瘤细胞的数量进行确定，以实现对循环肿瘤细胞的自动检测。71.在本技术的一个实施例中，图6为根据本技术实施例的基于图像的循环肿瘤细胞检测方法的流程图。如图6所示，根据本技术实施例的基于图像的循环肿瘤细胞检测方法，其包括：210，用于获取由荧光显微镜采集的fish图像；220，用于对所述fish图像进行图像分块处理以得到fish图像块的序列；230，用于将所述fish图像块的序列中的各个fish图像块分别通过包含深浅特征融合模块的卷积神经网络模型以得到多个fish图像块特征矩阵；240，用于将所述多个fish图像块特征矩阵分别通过基于卷积核的动态滤波器以得到多个滤波后fish图像块特征矩阵；250，用于将所述多个滤波后fish图像块特征矩阵按照所述图像分块的位置排列为二维特征矩阵后通过作为特征提取器的卷积神经网络模型以得到全局fish特征矩阵；260，用于对所述全局fish特征矩阵进行特征分布优化以得到优化全局fish特征矩阵；以及，270，用于对所述优化全局fish特征矩阵进行图像语义分割以得到图像语义分割结果，并基于所述图像语义分割结果确定所述fish图像中所包含的循环肿瘤细胞的数量。72.图7为根据本技术实施例的基于图像的循环肿瘤细胞检测方法的系统架构的示意图。如图7所示，在所述基于图像的循环肿瘤细胞检测方法的系统架构中，首先，用于获取由荧光显微镜采集的fish图像；然后，用于对所述fish图像进行图像分块处理以得到fish图像块的序列；接着，用于将所述fish图像块的序列中的各个fish图像块分别通过包含深浅特征融合模块的卷积神经网络模型以得到多个fish图像块特征矩阵；然后，用于将所述多个fish图像块特征矩阵分别通过基于卷积核的动态滤波器以得到多个滤波后fish图像块特征矩阵；接着，用于将所述多个滤波后fish图像块特征矩阵按照所述图像分块的位置排列为二维特征矩阵后通过作为特征提取器的卷积神经网络模型以得到全局fish特征矩阵；然后，用于对所述全局fish特征矩阵进行特征分布优化以得到优化全局fish特征矩阵；以及，最后，用于对所述优化全局fish特征矩阵进行图像语义分割以得到图像语义分割结果，并基于所述图像语义分割结果确定所述fish图像中所包含的循环肿瘤细胞的数量。73.在一个具体示例中，在上述基于图像的循环肿瘤细胞检测方法中，将所述fish图像块的序列中的各个fish图像块分别通过包含深浅特征融合模块的卷积神经网络模型以得到多个fish图像块特征矩阵，包括：从所述包含深浅特征融合模块的卷积神经网络模型的浅层提取浅层特征图；从所述包含深浅特征融合模块的卷积神经网络模型的深层提取多个深层特征图； 使用所述包含深浅特征融合模块的卷积神经网络模型的深浅特征融合模块来融合所述浅层特征图和所述多个深层特征图以得到多个融合特征图；以及，将所述多个融合特征图沿着通道维度进行全局均值池化以得到所述多个fish图像块特征矩阵。74.在一个具体示例中，在上述基于图像的循环肿瘤细胞检测方法中，将所述多个滤波后fish图像块特征矩阵按照所述图像分块的位置排列为二维特征矩阵后通过作为特征提取器的卷积神经网络模型以得到全局fish特征矩阵，包括：使用所述作为特征提取器的卷积神经网络模型的各层在层的正向传递中对输入数据分别进行卷积处理、沿通道维度的池化处理和非线性激活处理以由所述作为特征提取器的卷积神经网络模型的最后一层的输出为所述全局fish特征矩阵，其中，所述作为特征提取器的卷积神经网络模型的第一层的输入为所述二维特征矩阵。75.在一个具体示例中，在上述基于图像的循环肿瘤细胞检测方法中，对所述全局fish特征矩阵进行特征分布优化以得到优化全局fish特征矩阵，包括：以如下优化公式对所述二维特征矩阵和所述全局fish特征矩阵进行基于尺度认知的高斯联合密度融合以得到所述优化全局fish特征矩阵；其中，所述优化公式为：到所述优化全局fish特征矩阵；其中，所述优化公式为：到所述优化全局fish特征矩阵；其中，所述优化公式为：和其中，和分别表示所述二维特征矩阵和所述全局fish特征矩阵，和分别是所述二维特征矩阵和所述全局fish特征矩阵中各个位置的特征值，和分别是所述二维特征矩阵和所述全局fish特征矩阵的所有特征值的特征集合的均值和方差，和分别是特征矩阵的宽度和高度，且是所述优化全局fish特征矩阵的各个位置特征值，表示计算以数值为幂的自然指数函数值。76.在一个具体示例中，在上述基于图像的循环肿瘤细胞检测方法中，对所述优化全局fish特征矩阵进行图像语义分割以得到图像语义分割结果，并基于所述图像语义分割结果确定所述fish图像中所包含的循环肿瘤细胞的数量，包括：对所述优化全局fish特征矩阵进行图像语义分割以得到循环肿瘤细胞预测图；将所述循环肿瘤细胞预测图通过第一全连接层以得到循环肿瘤细胞全连接特征向量；将所述多个深层特征图按照所述图像分块的位置排列为全局深层特征图；将所述全局深层特征图通过第二全连接层以得到fish深度特征向量；融合所述循环肿瘤细胞全连接特征向量和所述fish深度特征向量以得到融合特征向量；以及，将所述融合特征向量通过计数模块以得到所述fish图像中所包含的循环肿瘤细胞的数量。77.在一个具体示例中，在上述基于图像的循环肿瘤细胞检测方法中，将所述循环肿瘤细胞预测图通过第一全连接层以得到循环肿瘤细胞全连接特征向量，包括：将所述循环肿瘤细胞预测图展开为细胞预测一维像素特征向量；以及，使用所述第一全连接层对所述细胞预测一维像素特征向量进行全连接编码以得到所述循环肿瘤细胞全连接特征向量。78.在一个具体示例中，在上述基于图像的循环肿瘤细胞检测方法中，将所述融合特征向量通过计数模块以得到所述fish图像中所包含的循环肿瘤细胞的数量，包括：使用所述计数模块以如下解码公式对所述融合特征向量进行解码回归以得到所述fish图像中所包含的循环肿瘤细胞的数量；其中，所述解码公式为：，其中，表示所述融合特征向量，表示所述fish图像中所包含的循环肿瘤细胞的数量，表示权重矩阵，表示偏置向量，表示矩阵乘。79.本领域技术人员可以理解，上述基于图像的循环肿瘤细胞检测方法中的各个步骤的具体操作已经在上面参考图1到图5的基于图像的循环肿瘤细胞检测设备的描述中得到了详细介绍，并因此，将省略其重复描述。80.本技术还提供了一种计算机程序产品，所述计算机程序产品包括指令，当所述指令被执行时，以使得装置执行对应于上述方法中的操作。81.在本技术的一个实施例中，还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述所述方法的计算机程序。82.应可以理解，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等) 上实施的计算机程序产品的形式。83.本技术实施例的方法、系统、和计算机程序产品的流程图和/或框图来描述的。应理解可由计算机程序指令实现流程图和/或框图中的每一流程和/或方框、以及流程图和/或框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或框图一个方框或多个方框中指定的功能的装置。84.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或框图一个方框或多个方框中指定的功能。85.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或框图一个方框或多个方框中指定的功能的步骤。86.以上结合具体实施例描述了本技术的基本原理，但是，需要指出的是，在本技术中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本技术的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本技术为必须采用上述具体的细节来实现。87.本技术中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。88.还需要指出的是，在本技术的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本技术的等效方案。89.提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本技术。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本技术的范围。因此，本技术不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。90.最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。91.为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本技术的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!