一种基于单相机双模态成像的免标记流式检测装置及方法

测量装置的制造及其应用技术1.本发明属于细胞检测与分析技术领域，具体涉及一种基于单相机明场和散射双模态成像的免标记流式细胞检测装置及方法。背景技术：2.本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。3.临床上对细胞的检测分类主要依赖于流式细胞仪。流式细胞术可以测量流体中单个细胞或颗粒的理化性质，通常具有高通量和多参数等特点，该技术可以获取细胞大小、dna含量、蛋白质和抗原表达等信息，在生物学中具有重要应用。传统流式细胞仪通常需要使用各种荧光染料对细胞进行复杂的染色标记，染色过程繁琐复杂且外力操作会对细胞的结构和功能产生一定的损害，此外荧光信号较弱，测量光路相对复杂，仪器设施较为昂贵。4.与单细胞荧光测量相比，无标记光散射是一种快速、非侵入性、高灵敏度和实时监测的技术方法。各种光散射研究表明，细胞和细胞核的体积与前向散射(fsc)有关，而细胞的内部结构和细胞器的分布在侧向散射(ssc)中起着更重要的作用。传统流式细胞仪通过探测颗粒一维fsc光散射信号，可实现对颗粒的尺寸鉴别，但这种根据光强度的相对大小实现对尺寸的测量往往依赖于激发光源的稳定性、检测器灵敏度和信号转换器的高性能。考虑到细胞内部结构的复杂性，仅获得一维光散射可能会丢失细胞信息。而二维光散射测量方法沿着极角和方位角的光散射信号可以获得更多有关细胞内部结构的信息。在2007年，苏等人报道一种基于孔径的方法可以在微流体通道中流动的单个细胞中获得二维光散射信号。该方法进一步发展为基于显微镜的无标记细胞计数法，用于分析宫颈癌细胞、白血病细胞和卵巢癌细胞。5.虽然二维光散射信号包含更多有关细胞结构的信息，但很难在光散射模式和细胞内部结构之间建立准确的分析模型，而之前的细胞二维光散射流式研究并不能同时提供传统意义上的细胞图像。开发基于单相机成像流式细胞仪以同时获得单细胞的二维光散射模态和明场模态来对细胞进行多模态分析是非常有意义的。商业成像流式细胞仪利用落射荧光激发方案和时间延迟积分(tdi)相机提供多路复用成像以在单探测器上同时获得单个细胞的明场和荧光成像，可以同时对样品进行多模态性检测以提高分析能力。技术实现要素：6.本发明为了解决上述问题，提出了一种基于单相机明场和散射双模态成像的免标记流式细胞检测装置及方法，本发明通过光路结构设计将单个颗粒或细胞的两种不同信号同时汇聚到一个相机芯片中，同时获取样本的明场图样和二维光散射图样，并应用于单个微颗粒的尺寸鉴定及细胞亚型的无标记检测分类。7.根据一些实施例，本发明采用如下技术方案：8.一种基于单相机明场和散射双模态成像的免标记流式细胞检测装置，包括：9.光束发生单元，用于生成明场光束和激光光束，并将两者整合为混合光束，以激发样品悬液；10.样本控制单元，用于固定承载样品悬液的鞘流器组件，并带动其三轴可移动，以调整样品悬液的成像区域；11.图像采集单元，包括两个采集通道，不同的采集通道分别用于获取明场信号和二维光散射信号，且两种信号通过刀锋直角棱镜合并为双模态信号，同时汇聚到单个探测器上，实现单相机明场图像和二维光散射图像的同时一一对应获取；12.成像分析单元，用于对捕获的双模态明场散射信号进行图像预处理、提取图像特征参数和分类。13.作为可选择的实施方式，所述光束发生单元，包括白光光源、激光光源、反射镜片、第一二向色镜和第一物镜，激光光源用于发射激光光束，反射镜用于调整所述激光光束的传播方向以投射到第一二向色镜上，白光光源用于向第一二向色镜发射明场光束，第一二向色镜用于对激光光束反射，并对明场光束过滤，以混合为一束混合光束，第一物镜用于将混合光束调制汇聚为点状激发照明光束。14.作为进一步的限定，所述第一二向色镜为短通二向色镜。15.作为可选择的实施方式，所述样本控制单元包括用于固定鞘流器组件的固定机构，以及带动所述固定机构三轴可移动的三轴位移台。16.作为可选择的实施方式，所述图像采集单元包括第一采集通道(即明场采集通道)、第二采集通道(二维光散射采集通道)、刀锋直角棱镜和探测器，所述第一采集通道和第二采集通道垂直设置，两个采集通道的信号均投射至刀锋直角棱镜上，刀锋直角棱镜用于将两个采集通道的信号合并为双模态明场散射信号，并投射到所述单相机上。实现一个相机芯片一边(左边)成像聚焦明场信号，另一边(右边)成像对应的去焦二维光散射信号。17.作为进一步的限定，所述第一采集通道包括第二物镜、带通滤光片和第一反射镜，其中，所述第二物镜、带通滤光片和样本控制单元在同一光路上，且该光路与混合光束传播路径相同。18.作为进一步的限定，所述第二采集通道包括依次布设的第三物镜、第二二向色镜和第二反射镜，且第二采集通道与混合光束传播路径垂直。19.作为更进一步的限定，所述第二二向色镜为长通二向色镜。20.作为进一步的限定，所述相机为单个cmos相机。21.作为可选择的实施方式，所述成像分析单元包括图像预处理模块、特征参数提取模块和支持向量机自动分类模块，其中：22.所述图像预处理模块，被配置为对采集的双模态明场散射信号进行去噪、筛选、裁剪和调整处理，分为对应的明场通道数据集和散射通道数据集；23.所述特征参数提取模块，被配置为利用梯度向量直方图算法提取各数据集的图像特征参数；24.所述支持向量机自动分类模块，被配置为利用训练后的支持向量机模型进行样本自动分类。25.基于上述装置的工作方法，包括以下步骤：26.启动光束发生单元，生成明场光束和激光光束，并使两者最终的传播路径重合，整合为混合光束，以激发样品悬液；27.设置两个采集通道的位置，调整鞘流器组件的位置，使样品悬液移动至明场采集物镜和散射采集物镜中心成像区域；28.调整两个采集通道的位置，使明场信号采集通道聚焦采集样品悬液的明场信号，调整二维光散射信号采集通道在去焦模式下采集相应角度范围内的散射光，使明场信号和二维光散射信号能够合并为双模态信号；29.确定鞘液和样本液的速度，在稳定状态下，利用单相机同时记录双模态明场散射信号，成像分析单元对捕获的双模态明场散射信号进行图像预处理、提取图像特征参数和分类。30.与现有技术相比，本发明的有益效果为：31.传统方法上利用显微镜切换相应镜片来获取细胞的不同模态信号，本发明利用直角棱镜和不同镜片的独特设计组合将不同信号同时汇聚到单一探测器上，可以同时获取样本的明场和散射双模态信号，光路设计简单新颖，操作方便。32.本发明采用探测侧向二维光散射图样实现颗粒亚微米水平的尺度差异的灵敏检测，比传统流式细胞仪中根据一维前向光强信号的方法相对稳定。33.本发明的采集装置，通过光路设计结合刀锋直角棱镜实现单个相机上双模态图像的一一对应同时检测，并结合了鞘流系统，可以同时快速捕获单个细胞的明场图像和二维光散射图像，确保散射图样来源的准确度，实现对单个细胞行为的成像和分析，弥补了传统流式细胞仪对单个颗粒或细胞分析时仅提供光强信号的不足，利用明场模态的验证对比提升了光散射流式细胞仪的准确性；34.在传统镜检时，制备生物样本涂片时往往需要通过干燥、固定以及冷冻等处理，对样本的结构会造成一定的破坏，影响观察效果。本发明中，待测样本置于悬液状态下进行流式观测与成像，为样本提供了较好的结构与功能保护，并且能够让样本在更接近其原始状态下进行测量，保证了数据测量的真实性和有效性；35.本发明采用混合光束耦合方式作为激发光源，提供高质量的点状激发区域，提供较好的成像信噪比，光路后面利用带通滤光片和长通滤光片排除其他信号的干扰以提高信号通路的灵敏度。36.本发明能够采用免标记方法对细胞进行双模态成像检测，能够实现细胞的快速自动分类，摆脱了传统方法对细胞染色以及人工阅片的繁琐过程，能够用到多种生物细胞的成像识别与分类场景中，具有很好的实用性和通用性。37.为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。附图说明38.构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。39.图1为本发明装置的基于单相机双模态成像免标记流式检测光路的结构和原理示意图；40.图2为本发明装置的明场和散射双模态成像信号的处理流程；41.图3为本发明实例提供的明场和散射双通道成像结果；42.图4为本发明实例提供的不同粒径聚苯乙烯微球的二维光散射图样的实验和mie散射分析对比结果；43.图5为本发明实例提供的两种卵巢癌细胞亚型的明场和散射图样以及它们特征梯度直方图的可视化结果；44.图6为不同直方图通道数量和网格维度参数下明场和散射数据集的分类准确率结果。45.其中，1、激光器，2、反射镜，3、白光光源，4、短通二向色镜，5、显微物镜，6、鞘流器组件，7、鞘流器组件内部结构，8、显微物镜，9、带通滤光片，10、反射镜，11、显微物镜，12、长通二向色镜，13、反射镜，14、刀锋直角棱镜，15、cmos相机，16、成像分析单元。具体实施方式：46.下面结合附图与实施例对本发明作进一步说明。47.应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。48.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。49.一种基于单相机明场和散射双模态成像的免标记流式细胞检测装置，本发明采用独特的光学设计实现单相机双模态图像的同时获取，在水动力聚焦鞘流中可以同时捕获颗粒或细胞的明场图像和散射图像。二维光散射图像的获取提供待测样本的极角和方位角两个角度范围上的散射光，可获得比一维光散射更加丰富的信息，实现亚微米分辨率水平的微尺寸颗粒识别，明场图像和二维光散射可提供一一对应关系确认细胞图样来源的正确，剔除因细胞重叠、细胞破碎和非细胞图样导致的干扰图样，基于双模态成像装置实现细胞亚型的免标记流式识别和分类。在本发明的图像采集过程中，待测样本为悬浮状态，在鞘流系统下单个排列依次通过检测区域，无标记的检测方式能够避免复杂的染色操作，也摆脱了光学显微镜镜检中处理涂片涉及的干燥、固定等损伤性操作，保证了测量的真实性和有效性。50.下面结合实施例进行说明。51.实施例一：52.如图1所示，基于单相机明场和散射双模态成像的免标记流式细胞检测装置，在本实施例中，包括光束发生单元，样本控制单元，图像采集单元以及成像分析单元。光束发生单元将白光光束和激光光束混合整形为点状激发光源以激发照明待测样本，样本控制单元用于控制待测样本在垂直和水平面上的三维空间移动，图像采集单元利用独特的光学设计在单相机上同时捕获样本的明场图像和二维光散射图像，并传送到成像分析单元进行图像处理、特征提取和数据分析。53.光束发生单元包括白光光源3、激光光源(即激光器1)、反射镜2，短通二向色镜4以及显微物镜5。激光光源发射圆柱状光束，经过反射镜控制投射到短通二向色镜4上与穿过短通二向色镜4的白光光源合并为混合光束，混合光束经过显微物镜5聚焦为点状激发照明光源。在本实施例中，白光光源选择的是可自由调节光强度且具有全光谱发射的发光二极管，激光光源所选类型是氦氖激光器，波长是633nm。二向色镜为截至波长为550nm的短通二向色镜，显微物镜选择的是数值孔径为0.1的4×物镜。54.样本控制单元包括鞘流器组件6、固定器和三轴位移台，其中，本实施例的鞘流器组件是外管直径为4mm，内管直径为200μm的玻璃管嵌套结构。固定器为夹持鞘流器组件的正交杆架，并固定在三轴位移台上用以控制样品在x轴、y轴和z轴移动。上述结构均选用现有结构即可，在此不进行详细描述。55.图像采集单元包括显微物镜8、带通滤光片9、反射镜10、显微物镜11、反射镜13、长通二向色镜12、刀锋直角棱镜14和cmos相机15。图像采集单元具有明场和散射两个采集通道。明场通道下，显微物镜8对准精确定位后的待测样本聚焦，明场信号通过中心波长为520nm，带宽为40nm的带通滤光片9去除散射通道信号的干扰后被反射镜投射刀锋直角棱镜14上；散射通道下，显微物镜11与激发光束成90°采集，在远离待测样本一定距离工作，该距离定义为正向去焦距离，散射信号通过截至波长为605nm的长通二向色镜12去除明场信号的干扰后被反射镜13投射到刀锋直角棱镜14上；刀锋直角棱镜14将来自两个通道的信号合并为双模态信号同时投射到单个cmos相机15上。56.在本实施例中，散射通道的去焦距离为300μm。57.成像分析单元16，如图2所示，包括图像预处理模块、特征参数提取模块和支持向量机自动分类模块，其中：58.图像预处理模块，用于对采集的双模态明场散射数据集经过去噪、筛选、裁剪、调整后分为对应的明场通道数据集和散射通道数据集；59.特征参数提取模块，用于利用梯度向量直方图(hog)算法提取数据集的图像特征参数；60.所述支持向量机(svm)自动分类模块，用于将采集的样本结果进行十折交叉验证，每一次验证时数据集按照9：1分为训练集和测试集，根据训练集提取的hog特征值，通过寻找最优的hog参数，自动优化分类函数，利用训练好的支持向量机(svm)模型实现样本的自动分类。61.当然，在其他实施例中，上述具体参数都可以根据情况进行调整或变更。62.上述装置的工作过程，包括：63.激光器1发出的激光光束经过反射镜2调整传播方向，投射到短通二向色镜4上，白光光源3发出的白光光束穿过同一短通二向色镜4后与激光光束合为混合光束，被显微物镜5汇聚到鞘流器组件6上用以照明激发样本鞘流器组件内部结构7的成像区域。64.样本被混合光束激发后，显微物镜8采集样品的明场信号，经过带通滤光片9去除激光光源的干扰被反射镜10投射到刀锋直角棱镜14上；显微物镜11采集分布于三维空间中的二维光散射信号，经过长通二向色镜12去除滤波后白光光源的影响后被反射镜13投射到刀锋直角棱镜14上，合并后的双模态信号被刀锋直角棱镜14反射到cmos相机15中。65.记录的双模态图像数据传送到成像分析单元16进行数据处理和分析。66.实施例二67.采用实施例一的装置，提供一种具体工作过程：68.在双模态成像中，为了确保成像过程中两个通道信号成像的一致性，需要调整采集光路的位置。通过改变二向色镜和反射镜的位置在两个通道都处于明场照明下调节三轴位移台确保两个通道内鞘流内容保持一致，分析两个通道内鞘流宽度，并利用聚苯乙烯微球测试成像效果，调整好位置后更换光束发生单元为白光光束和激光光束形成的混合光束。69.具体操作步骤：70.(1)配置纯水溶液和酒精溶液分别作为鞘液和样品液，将溶液导入鞘流器组件中；71.(2)打开白光光源，调整短通二向色镜和反射镜的角度使得白光光束透过550nm短通二向色镜为通道1提供绿色照明，经过550nm二向色镜和2个反射镜调整为通道2提供黄色照明，每个通道的照明光束都被4×物镜汇聚到鞘流器组件上，如图3中的(a)所示；72.(3)调整两个通道内的成像内容，调节鞘液速度和样品速度，获得鞘流结果如图3中的(c)所示，通过垂直扫描图像像素，获取标准化灰度值，使用半高宽(fwhm)作为鞘流通道的刻画参数，结果如图3中的(e)所示，测得两个通道的鞘流宽度分别是25.7μm和27.4μm；73.(4)更换样品溶液为3.87μm聚苯乙烯微球，调节速度为25μl/h，鞘液为纯水，调节速度为200μl/h，获取双通道小球结果如图3中的(d)所示；74.(5)确认好采集位置后，调节光束发生单元如图3中的(b)所示，550nm短通二向色镜将白光束和经过反射镜调整方向的633nm激光合并为混合光束为鞘流器组件提供激发照明，获得鞘流微球结果如图3中的(f)所示。75.实施例三：76.为了验证本发明对于亚微米水平颗粒尺寸鉴别的灵敏度和准确性，使用聚苯乙烯标准微球进行实验验证和装置校准。在本发明中，选择粒径为3.87μm和4.19μm的标准微球为成像样品，在水动力聚焦鞘流状态下同时获得明场图像和二维光散射图像，并将实验结果与mie模拟的结果进行对比分析。本发明中所选用的显微物镜是数值孔径为0.25的10倍物镜，其对应的可探测光散射角度范围是79°‑101°，所以在mie模拟中，散射极角和方位角值均为此范围。77.具体操作步骤：78.(1)吸取适量聚苯乙烯微球原液，用超纯水进行稀释，以微球悬液为样品液，超纯水为鞘液；79.(2)触发cmos相机，记录微球的双模态信号；80.(3)打开白光光源和激光器，调整两束光合并，确保混合光束与两个采集通道保持在同一平面；81.(4)调节样品液速度为25μl/h，鞘液速度为200μl/h，待液流稳定时调节双通道采集物镜为聚焦状态；82.(5)将调节好的聚焦状态下的双通道成像流式细胞仪保持通道1的明场通道不动，调节散射通道物镜，正向去焦300μm，使通道2在去焦模式下采集微球的散射光，获取直径为3.87μm和4.19μm标准微球的明场散射双模态图像分别如图4中的(a)和(b)所示；83.(6)根据mie散射理论模型，模拟微球的二维光散射结果。模拟条件为光源波长633nm，微球折射率1.59，微球所处纯水溶液介质折射率1.33，散射极角和方位角的角度范围是79°‑101°；84.(7)分别对实验和模拟的二维光散射图像进行水平扫描，获得光散射强度标准化的灰度值曲线如图4中(e)和(f)根据不同尺寸的微球的光散射条纹分布曲线，实现对微球的尺寸鉴定和分类。85.本实例的实验结果如图4中的(a)-(f)所示。图4中的(a)与(b)分别是3.87μm和4.19μm的微球在10倍物镜下获得的明场散射双通道图样。图4中的(c)与(d)分别是去焦模式下获得的两种小球的二维光散射图样的mie散射模拟和实验结果。两种微球的尺寸差异为320nm，在传统流式和普通光学物镜聚焦模式下较难直观区分两种颗粒。相比之下，两种小球的二维光散射图样在条纹数量和分布上呈现明显差异性，3.87μm微球的二维光散射图样出现3条明条纹和2条暗条纹，4.19μm微球中的二维光散射图样则出现4条明条纹和3条暗条纹，因此，可以通过判断光散射图样的条纹数量直接快速区分两种微球。图4中的(e)与(f)是利用灰度值标准化方法分析两种微球散射条纹的差异以及实验与模拟结果的吻合性，实验结果显示两者的明暗条纹数量和间隔基本符合。本实例证明了本发明用于亚微米分辨率颗粒尺寸鉴别的可行性以及准确性。86.实施例四：87.实施例一提供的装置应用至卵巢癌细胞亚型进行细胞识别和自动分类中。88.在相同实验条件下采集两类细胞的流式双通道流式数据，经过数据过滤和两个通道之间的验证对比，剔除因细胞重叠、杂质图样和非细胞图样导致的干扰图样，每类获得800个双通道数据集结果，并拆分成对应的明场数据集和散射数据集。对获得的数据进行梯度直方图统计(hog)特征参数提取，并输入支持向量机(svm)算法作为特征参数，对两类细胞进行自动分类。89.具体实现：90.(1)准备处理过的两种人卵巢癌细胞亚型，用pbs缓冲液配置成细胞悬液作为样品液，使用相同浓度的pbs溶液作为鞘液；91.(2)启动光束发生装置，在去焦300μm模式下，分别获得两类细胞的双通道数据图样，如图5中的(a)和(b)所示。92.(3)选择直方图通道数量为9，网格分割维度为6×6。每个局部网格根据其梯度方向和幅度独立地累积局部像素的直方图。对于直方图的计算来说，每个局部像素根据其梯度方向和幅度为直方图通道投票，梯度大小决定了投票的权重，梯度方向决定了它应该投票到哪个直方图通道。图5中的(c)和(d)分别显示了双通道图像36个子网格的9通道直方图统计结果。局部放大和统计结果为图5中的(e)和(f)。93.(4)选择6种网格维度和6种通道数来寻找最佳的hog参数选择，执行svm算法时选取线性核函数，并采用10-折交叉验证法构建分类器。来自a2780和hey两种卵巢癌细胞亚型总共1600张图像被随机分为10个子集，每个子集有160个样本(80:80)，其中a2780细胞设置为阳性，hey细胞设置为阴性。在一次交叉验证中，9个子集用于训练，剩下1个子集用于测试。明场数据集和散射数据集的三次测试平均分类准确率结果如图6中的(a)和(b)所示。本实例表明，明场(bf)图像的分类精度大约在50％到70％之间，而散射(ls)图像的最大精度几乎可以达到90％。当通道数为9，网格维数为24×24时，bf数据集和ls数据集的分类准确率分别为70.25％和89.52％。94.(5)选择最佳通道数和网格分割维度进行分别进行3次独立的随机测试，获得的明场(bf)数据集和散射(ls)数据集分类结果如表1所示。其中，准确率定义为能够被正确分类的细胞数量占全部细胞数量的百分比；灵敏度定义为阳性细胞能被正确分类的数量与阴性细胞总数量的比值；特异度定义为阴性细胞被正确分类的数量与阳性细胞总数量的比值。95.表1利用hog和svm获取的人卵巢癌细胞亚型a2780和hey的明场和散射双模态图像分类结果[0096][0097][0098]当然，本发明提供的装置还可以用于其他场景的细胞分析，并不仅限于实施例三和实施例四的使用场景。[0099]上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!