一种多模态成像装置

医药医疗技术的改进;医疗器械制造及应用技术一种多模态成像装置1.本技术是申请号为202111381679.x、申请日为2021年11月22日、发明名称为“一种多模态成像装置”的专利申请的分案申请。技术领域2.本发明涉及用于检测/诊断用的光学成像装置，特别是多模态成像装置，更特别地涉及基于拉曼光谱和光学相干断层成像多模态的内窥镜。背景技术：3.对癌症的早期筛查和检测以及术后复查是提高患者生存率的重要手段，而内窥镜类成像装置则是对癌症早期筛查和检测、以及术后复查的重要影像诊断手段。4.光学相干断层成像(也称作光学相干成像，可简写为oct)是利用生理组织的散射光相干成像的观测手段。光学相干断层成像具有高空间分辨率，即～10μm，允许实时无创的检测组织散射变化，提供二维或三维微米尺度的组织结构/形态学信息，可视化浸润成像。然而，光学相干断层成像在用于癌症早期诊断时，其准确性不高。例如光学相干断层成像用于宫颈癌上皮内瘤变诊断的灵敏度和特异性只有88％和69％。5.拉曼(raman)光谱是利用分子的拉曼散射效应来获得分子的振动、转动等方面的信息的分析手段。拉曼光谱与分子化学键信息相关，可以识别不同的分子种类及其根据不同强度评估相对浓度峰值。拉曼光谱肿瘤诊断的准确性和特异性比其他的方法更高。例如，拉曼光谱用于宫颈癌前病变cin上表皮内瘤变诊断的灵敏度为93.5％而特异性为97.8％；拉曼光谱分析针对早期脑胶质瘤诊断的灵敏度和特异性分别高达：93％和91％；作为对比，核磁共振诊断的灵敏度和特异性分别只有：88％和54％。但是，拉曼光谱内镜不能提供像白光内窥镜或窄带内窥镜、光学相干断层成像、自发荧光或共聚焦内镜这样的宽视场成像模式，在内窥镜检查过程中不能实现可视化可疑病变区域监测。6.因此，为了提高诊断/筛查的效率和准确度，希望一方面能够获得组织结构影像信息(光学相干断层成像信息)，另一方面还能够获得具有高诊断灵敏度和特异性的分子结构信息(拉曼光谱信息)。然而，仅仅是获得两方面的信息对于诊断和筛查来说仍然是不够的，因为只有当这两方面的信息都来自同一处空间共定位的区域(即这两方面的信息来自基本上同一空间位置)，这两方面的信息才能够结合在一起为癌症/肿瘤的诊断/筛查提供有意义的辅助信息。如果上述两方面的信息来自空间上具有偏差的位置，即上述两方面的信息分别来自空间上不匹配的(非共定位的)区域，那么这两方面的信息分别表示不同区域(尽管可能不同区域之间存在部分重叠)的不同信息。此时，不宜将两方面结合在一起。因为这种结合导致空间信息的准确度下降，这与上文提到的希望结合两方面信息来提高准确度的目标背道而驰。7.由此可见，需要获得空间共定位的组织结构影像信息和拉曼光谱信息。这两方面信息的空间共定位程度越高，越有利于两方面信息的结合从而提高诊断/筛查的准确度和效率。8.此外，由于光学相干断层成像速度(例如在100帧/秒以上)与拉曼光谱检测的速度(2-5hz)不匹配，这使得两者无法以高效率结合在一起使用。显然，受到拉曼光谱检测速度慢的影响，即便将光学相干断层成像与拉曼光谱检测结合起来使用，为了获得全面的信息仍需要相对较长的时间。因此，也希望以较快的速度获得组织结构影像信息和拉曼光谱信息，例如光学相干断层成像和拉曼光谱以协同的方式运行以提高癌症筛查的效率、准确性和特异性。9.最后，还希望此类装置的探头尺寸是足够小的(例如至少小于10mm)使其能够与现有的内镜系统(例如白光内窥镜或窄带内窥镜)集成在一起。技术实现要素：10.针对以上技术问题，本发明提供了一种多模态成像装置。本发明的多模态成像装置包含拉曼光谱分析模块、光学相干断层成像模块以及共定位模块。本发明的多模态成像装置利用共定位模块实现了拉曼光谱分析模块和光学相干断层成像模块在同一共定位的区域中实现对目标对象的成像和检测。此外，本发明的多模态成像装置中的拉曼光谱分析模块和光学相干断层成像模块协同运作，从而能够以高效率、高准确性和高特异性获得癌症筛查的所需要的诊断依据。本发明的多模态成像装置的设计还允许以较小的尺寸制作探头，以有利于集成在现有的内镜系统中。11.根据本发明的实施例，提供了一种多模态成像装置，包括：12.拉曼光谱分析模块，用于使用激发光获得目标对象的在第一取样位置处的拉曼光谱信息；13.光学相干断层成像模块，用于使用成像探测光获得目标对象的在第二取样位置处的组织结构影像；以及14.共定位模块，用于根据确定的目标对象的关注区域，控制拉曼光谱分析模块中的激发光的第一取样位置和/或光学相干断层成像模块中的第二取样位置，以使得所述第一取样位置和所述第二取样位置在所述关注区域内实现空间共定位。15.可选地，多模态成像装置包括探头，所述探头具有外壳和探测窗，并且用于对目标对象进行探测，来自拉曼光谱分析模块的激发光和来自光学相干断层成像模块的成像探测光在探头中耦合。16.可选地，拉曼光谱分析模块包括：第一光源、第一分束镜、第一耦合物镜、第一光纤、光谱仪、第一透镜组和第一二向色镜；17.第一分束镜用于传输来自第一光源的激发光和反射来自目标对象的拉曼光谱的散射信号光，光谱仪用于接收经第一分束镜反射的来自目标对象的拉曼光谱的散射信号光，第一耦合物镜用于接收来自第一分束镜或来自共定位模块的出射光，第一光纤用于接收来自第一耦合物镜的出射光，第一透镜组用于接收来自第一光纤的出射光，第一二向色镜用于接收和传输来自第一透镜组的出射光。18.可选地，光谱仪和第一分束镜之间设置有光栅和接收透镜，光栅用于对来自第一分束镜的反射光分光，接收透镜用于接收来自光栅的出射光，光谱仪用于接收来自接收透镜的出射光。19.可选地，第一透镜组包括第一收集透镜。20.可选地，第一光纤包括多芯光纤，其中由多芯光纤中心部分的至少一个纤芯组成的中心纤芯组用于传输来自第一光源的拉曼光谱的激发光，多个由多芯光纤中围绕所述中心部分的至少一个纤芯组成的组的外围纤芯组用于传输拉曼光谱的散射信号光。21.可选地，所述外围纤芯组以所述中心纤芯组为中心而对称分布。22.可选地，中心纤芯组在靠近目标对象一侧的末端设置有带通滤光片，并且外围纤芯组在靠近目标对象一侧的末端设置有陷波滤光片和/或长通滤光片。23.可选地，中心纤芯组和外围纤芯组的横截面基本上是圆形的。24.可选地，光学相干断层成像模块包括第二光源、分束器、干涉仪、第二光纤、扫描子模块、探测器、第二透镜组和反射镜；25.第二光源、干涉仪、探测器和扫描子模块光学耦合至分束器；扫描子模块通过第二光纤光学耦合至分束器；26.第二光纤的一部分在扫描子模块中通过；27.第二透镜组用于接收来自第二光纤的出射光，反射镜用于反射来自第二透镜组的出射光，第一二向色镜用于反射来自反射镜的反射光从而使来自第一透镜组的光与来自第二透镜组的光耦合。28.可选地，第二光源和/或干涉仪和/或探测器通过耦合光纤而光学耦合至分束器。29.可选地，第一透镜组和第二透镜组并行设置在探头内部，第一二向色镜、扫描子模块、反射镜和至少一部分第二光纤位于探头内部。30.可选地，扫描子模块用于通过控制第二光纤的位置来控制第二光源的成像探测光获得目标对象的组织结构影像的位置。31.可选地，扫描子模块包括压电陶瓷管。32.可选地，第二透镜组包括第二聚焦透镜和衍射透镜，衍射透镜在第二聚焦透镜和反射镜之间。33.可选地，在探测器和分束器之间设置有环形器。34.可选地，第二光纤和/或耦合光纤包括单模光纤。35.可选地，共定位模块位于拉曼光谱分析模块的激发光入射光路中。36.可选地，共定位模块位于第一分束镜和第一耦合物镜之间。37.可选地，共定位模块具有可切换的第一模式和第二模式；38.在第一模式中，共定位模块不改变第一取样位置；39.在第二模式中，共定位模块用于控制第一取样位置。40.可选地，共定位模块包括第一翻转镜、第二翻转镜、第一扫描振镜和第二扫描振镜；第一翻转镜和第二翻转镜设置在第一分束镜和第一耦合物镜之间；41.第一翻转镜和第二翻转镜用于通过围绕正交于第一分束镜和第一耦合物镜之间的光路的轴转动来控制第一翻转镜和第二翻转镜的镜面与第一分束镜和第一耦合物镜之间的光路平行或不平行；第一扫描振镜和第二扫描振镜用于通过围绕不同的轴转动来控制第一取样位置；42.其中在所述第一模式中，第一翻转镜和第二翻转镜的镜面与第一分束镜和第一耦合物镜之间的光路平行；以及43.在所述第二模式中，第一翻转镜和第二翻转镜的镜面与第一分束镜和第一耦合物镜之间的光路不平行。44.可选地，在第二模式中，第一翻转镜用于接收并且反射经第一分束镜传输的光，第一扫描振镜用于接收并且反射来自第一翻转镜的反射光，第二扫描振镜用于接收并且反射来自第一扫描振镜的反射光，第二翻转镜用于接收并且反射来自第二扫描振镜的反射光，第一耦合物镜用于接收来自第二翻转镜的反射光。45.可选地，第一扫描振镜和第二扫描振镜包括galvo振镜、mems驱动的反射镜或共振振镜。46.可选地，本发明一个实施例中的多模态成像装置还包括：探测透镜和探测光纤；47.拉曼光谱分析模块包括：第一光源、第一分束镜、第一耦合物镜、光谱仪和第二二向色镜；48.光学相干断层成像模块包括：第二光源、分束器、干涉仪、远端扫描子模块和探测器；49.其中，沿第一光源的出射光的传输方向依次设置第一分束镜、共定位模块、第二二向色镜和第一耦合物镜；50.第一分束镜用于传输来自第一光源的激发光和反射来自目标对象的拉曼光谱的散射信号光，光谱仪用于接收经第一分束镜反射的来自目标对象的拉曼光谱的散射信号光，第二二向色镜用于传输来自共定位模块的出射光或来自第一分束镜的出射光和反射来自第二光源的成像探测光从而使二者耦合；51.第一耦合物镜用于接收来自第二二向色镜的耦合光；52.探测光纤用于接收来自第一耦合物镜的出射光；53.探测透镜用于接收来自探测光纤的出射光；54.远端扫描子模块设置在第二二向色镜和所述分束器之间并且用于接收并且反射来自第二光源经过分束器传输的成像探测光；55.第二光源、干涉仪和探测器光学耦合至分束器。56.可选地，第二光源和/或干涉仪和/或探测器通过耦合光纤光学耦合至分束器。57.可选地，所述多模态成像装置包括探头，且探测透镜和至少一部分的探测光纤设置在探头内部。58.可选地，共定位模块具有可切换的第一模式和第二模式；59.在第一模式中，共定位模块不改变第一取样位置；60.在第二模式中，共定位模块用于控制第一取样位置。61.可选地，共定位模块包括第一翻转镜、第二翻转镜、第一扫描振镜和第二扫描振镜；第一翻转镜和第二翻转镜设置在第一分束镜和第二二向色镜之间；62.第一翻转镜和第二翻转镜用于通过围绕正交于第一分束镜和第二二向色镜之间的光路的轴转动来控制第一翻转镜和第二翻转镜的镜面与第一分束镜和第二二向色镜之间的光路平行或不平行；第一扫描振镜和第二扫描振镜用于通过围绕不同的轴转动来控制第一取样位置；63.其中在所述第一模式中，第一翻转镜和第二翻转镜的镜面与第一分束镜和第二二向色镜之间的光路平行；以及64.在所述第二模式中，第一翻转镜和第二翻转镜的镜面与第一分束镜和第二二向色镜之间的光路不平行。65.可选地，在第二模式中，第一翻转镜用于接收并且反射经第一分束镜传输的光，第一扫描振镜用于接收并且反射来自第一翻转镜的反射光，第二扫描振镜用于接收并且反射来自第一扫描振镜的反射光，第二翻转镜用于接收并且反射来自第二扫描振镜的反射光，第二二向色镜用于接收并且传输来自第二翻转镜的反射光。66.可选地，第一扫描振镜和第二扫描振镜包括galvo振镜、mems驱动的反射镜或共振振镜。67.可选地，远端扫描子模块用于通过围绕至少两个轴转动来控制第二光源的成像探测光获得目标对象的组织结构影像的位置。68.可选地，探测光纤包括多芯光纤，69.由多芯光纤中心部分的至少一个纤芯组成的中心纤芯组用于传输来自第二光源的成像探测光和来自目标对象的用于获得目标对象的组织结构影像的光，70.多个不同的由多芯光纤中围绕所述中心部分的至少一个纤芯组成的组的外围纤芯组用于分别传输来自第一光源的拉曼光谱的激发光和拉曼光谱的散射信号光。71.可选地，所述多模态成像装置用于传输拉曼光谱的激发光的外围纤芯组与用于传输拉曼光谱的散射信号光的外围纤芯组是交替布置的。72.可选地，中心纤芯组和用于传输拉曼光谱的激发光的外围纤芯组在靠近目标对象一侧的末端设置有带通滤光片，并且用于传输拉曼光谱的散射信号光的外围纤芯组在靠近目标对象一侧的末端设置有陷波滤光片和/或长通滤光片。73.可选地，中心纤芯组和外围纤芯组的横截面基本上是圆形的。74.可选地，中心纤芯组的横截面积大于用于传输拉曼光谱的激发光的单个外围纤芯组的横截面积和用于传输拉曼光谱的散射信号光的单个外围纤芯组的横截面积。75.可选地，远端扫描子模块包括远端扫描振镜。76.可选地，远端扫描振镜包括mems驱动的反射镜、galvo振镜或共振振镜。77.可选地，探测透镜包括探测聚焦透镜。78.可选地，光谱仪和第一分束镜之间设置有光栅和接收透镜，光栅用于对来自第一分束镜的反射光分光，接收透镜用于接收来自光栅的出射光，光谱仪用于接收来自接收透镜的出射光。79.可选地，第一光源和第二光源分别设置有第一光源开关和第二光源开关，并且在第一光源和第一分束镜之间设置任选的中间反射镜，用于将来自第一光源的激发光反射至第一分束镜。80.可选地，所述共定位模块用于将第一取样位置移动至与关注区域的位置基本重合。81.可选地，所述第一透镜组用于使得来自拉曼光谱分析模块的激发光在第一取样位置的光斑尺寸与关注区域尺寸是基本上相同的。82.可选地，所述共定位模块用于将第一取样位置移动至与关注区域基本重合的位置。83.可选地，所述共定位模块用于与远端扫描子模块同步控制第一取样位置和第二取样位置使得该第一取样位置和第二取样位置基本重合。84.可选地，本发明的多模态成像装置还包括：85.图像处理模块，用于融合空间共定位的第一取样位置处的拉曼光谱信息和第二取样位置处的组织结构影像，以生成关注区域的融合的多模态信息。86.可选地，本发明的多模态成像装置为内窥镜。87.可选地，本发明的多模态成像装置的探头的直径为2-10mm。88.可选地，本发明的多模态成像装置的探头的直径为2-5mm。89.可选地，所述目标对象的关注区域是从由不同于所述多模态成像装置的成像装置获取的所述目标对象的图像、从由拉曼光谱分析模块获取的光谱信息或从光学相干断层成像模块获取的图像中确定的。90.可选地，不同于所述多模态成像装置的成像装置包括白光内镜模块和/或窄带成像模块。91.可选地，所述关注区域为医学上的关注区域。92.根据本发明的多模态成像装置利用共定位模块使得拉曼光谱分析模块和光学相干断层成像模块能够对同一区域进行探测/检测，获得空间共定位的组织结构影像和拉曼光谱信息。93.另外，本发明的多模态成像装置利用共定位模块还可以高效率的方式使得拉曼光谱分析模块和光学相干断层成像模块以协同地方式运作，在癌症的诊断中能够同时利用到拉曼光谱分析模块的准确性和特异性的优点以及光学相干断层成像模块以高空间分辨率二维或三维获得组织结构学信息的优点，同时避免了拉曼光谱检测在速度上慢于光学相干断层成像带来的问题。在此情况中，也实现了拉曼光谱分析和光学相干断层成像的空间共定位。94.最后，本发明的探头能够使用较小的尺寸，尤其是上述本发明实施例的另一个实施方式中的探头甚至能够使用2-5mm的小尺寸，允许本发明的成像装置易于集成到已有的内镜系统中。附图说明95.为了更清楚地说明本发明实施例的技术方案，下面将对实施例的描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本发明的一些示例性实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。96.图1示出了本发明实施例的多模态成像装置的方框图，其中虚线框中的部分可对应于本发明实施例的多模态成像装置。97.图2示出了根据本发明实施例的一个实施方式的多模态成像装置的示意图。98.图3示出了根据本发明实施例的一个实施方式的多模态成像装置中使用多芯光纤中的替代的光纤布置方式。99.图4a示出了根据本发明实施例的一个实施方式的多模态成像装置运行时实际产生的一种共定位探测流程。100.图4b示出了根据本发明实施例的一个实施方式的多模态成像装置运行时实际产生的另一种共定位探测流程。101.图5示出了根据本发明实施例的另一个实施方式的多模态成像装置的示意图。102.图6示出了根据本发明实施例的另一个实施方式的多模态成像装置中使用多芯光纤中的替代的光纤布置方式。103.图7a示出了根据本发明实施例的另一个实施方式的多模态成像装置运行时实际产生的一种共定位探测流程。104.图7b示出了根据本发明实施例的另一个实施方式的多模态成像装置运行时实际产生的另一种共定位探测流程。105.附图标记说明：106.100：拉曼光谱分析模块107.101：第一光源108.102：第一分束镜109.103：第一耦合物镜110.104：第一光纤111.105：第一透镜组112.115：第一收集透镜113.106：第一二向色镜114.106’：第二二向色镜115.107：光栅116.108：接收透镜117.109：光谱仪118.110：中间反射镜119.sw1：第一光源开关120.200：光学相干断层成像模块121.201：第二光源122.202：分束器123.203：干涉仪124.204：耦合光纤125.204’：第二光纤126.205：扫描子模块127.205’：远端扫描子模块128.206：探测器129.207：第二透镜组130.217：第二聚焦透镜131.227：衍射透镜132.208：反射镜133.209：环形器134.sw2：第二光源开关135.300：共定位模块136.301：第一翻转镜137.302：第二翻转镜138.303：第一扫描振镜139.304：第二扫描振镜140.400：探头141.401：外壳142.402：探测窗143.501：探测光纤144.502：探测透镜145.a1：关注区域146.a1’：取样区域147.nbi：窄带成像模块148.wlr：白光内镜模块149.bp：带通滤光片150.nf：陷波滤光片151.bp-oct：用于传输成像探测光的中心纤芯组在靠近目标对象一侧的末端设置的带通滤光片152.bp-rs：用于传输拉曼光谱的激发光的外围纤芯组在靠近目标对象一侧的末端设置的带通滤光片具体实施方式153.为了使得本发明的目的、技术方案和优点更为明显，下面将参考附图详细描述根据本发明的示例实施例。显然，所描述的实施例仅仅是本发明的一分实施例，而不是本发明的全部实施例，应理解，本发明不受这里描述的示例实施例的限制。154.在本说明书和附图中，基本上相同或相似的步骤和元素用相同或相似的附图标记来表示，并且对这些步骤和元素的重复描述将被省略。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性或排序。155.在现有技术中，已知使用拉曼光谱和光学相干断层成像来对癌症/肿瘤进行诊断/筛查。然而，拉曼光谱和光学相干断层成像获得的信息需要在空间上是共定位的，也就是说，拉曼光谱和光学相干断层成像应对空间上的同一区域进行探测/检测。否则，获得空间上不一致的拉曼光谱和光学相干断层成像信息不利于提高诊断/筛查的准确度(例如空间准确度)和效率。156.另一方面，拉曼光谱检测较慢，同时获得拉曼光谱信息和光学相干断层成像可能需要耗费过多的时间。157.最后，现有技术中也没有提供能够使用较小的尺寸的探头的基于拉曼光谱和光学相干断层成像的多模态成像装置。158.为了解决上述技术问题，本发明提供了一种多模态成像装置。所述多模态成像装置除了包括拉曼光谱分析模块和光学相干断层成像模块之外，还包括共定位模块，共定位模块可以控制拉曼光谱分析模块和/或光学相干断层成像模块对目标对象探测的取样位置。因此，通过对目标对象探测的取样位置的控制，本发明的多模态成像装置可以实现拉曼光谱和光学相干断层成像空间共定位探测。159.另一方面，本发明的多模态成像装置还可以减少拉曼光谱分析所需要进行检测的区域，也就是说无需对全部区域进行拉曼光谱分析。例如，只需要通过共定位模块控制拉曼光谱的第一取样位置从而对通过光学相干断层成像模块获得的影像中的关注区域进行分析，这在很大程度上回避了拉曼光谱分析检测速度慢的缺点，却仍然利用了拉曼光谱分析高准确性和高特异性的优点，从而以协同的方式提高了整体检测效率。显然，在此方式中，同样获得了空间共定位的两种信息。160.最后，本发明的多模态成像装置中在探头中设置聚焦透镜使得探头的尺寸得以缩小，有利于集成到现有的内镜系统中。161.下面将参照附图对上述本发明提供的操作装置进行详细的说明。162.图1示出了根据本发明实施例的多模态成像装置的示意图。163.参照图1，所述多模态成像装置可以包括拉曼光谱分析模块100、光学相干断层成像模块200、共定位模块300和探头400。图1中的各模块(包括探头)之间的实线示意性地示出了来自拉曼光谱分析模块100的拉曼光谱的激发光和光学相干断层成像模块200的成像探测光的光路，拉曼光谱的激发光和成像探测光在探头中耦合后对目标对象进行探测和检测。在根据图1的一个实施方式中，由不同于所述多模态成像装置的成像装置(未示出，例如，内窥镜的白光内镜模块和/或窄带成像模块)获得目标对象的关注区域(例如，患者体内的可能病变区域)。164.在一个实施例中，例如，在内窥镜白光内镜模块和/或窄带成像模块获得的目标对象的图像中，可以通过医生的手动操作，确定预定区域作为目标对象的关注区域。165.在另一个实施例中，也可以通过所述多模态成像装置的处理模块，通过预定的图像处理算法，在内窥镜白光内镜模块和/或窄带成像模块获得的目标对象的图像中，确定预定区域作为目标对象的关注区域。166.共定位模块300用于根据获得的关注区域，控制拉曼光谱分析模块100中的激发光的第一取样位置，使其移动至与关注区域基本重合；光学相干断层成像模块200用于对第一取样位置(也就是关注区域)进行成像探测从而实现第一取样位置和第二取样位置(来自光学相干断层成像模块200)在所述关注区域内实现空间共定位。然而，本发明不限于这一种特定实施方式。例如，尽管没有示出，但本发明的共定位模块300也可控制光学相干断层成像模块200的第二取样位置，使其移动至与关注区域基本上重合，并使用拉曼光谱分析模块100对取样位置进行分析探测，从而在所述关注区域内实现空间共定位。另外，本发明的实施方式也可包括同时和/或同步控制第一取样位置和第二取样位置对关注区域进行扫描分析探测。167.在根据图1的另一个实施方式中，光学相干断层成像模块200用于使用成像探测光获得目标对象的组织结构影像以及确定目标对象的关注区域，共定位模块300用于根据确定的关注区域，控制拉曼光谱分析模块100中的激发光的(第一)取样位置，从而获得所述关注区域中不同位置的拉曼光谱信息。然而，本发明不限于此。例如，尽管没有示出，也可使用拉曼光谱分析模块100用于确定目标对象的关注区域，控制光学相干断层成像模块200的第二取样位置在关注区域内扫描成像，从而获得关注区域中组织结构影像和轴向信息。显然，无论是控制拉曼光谱分析模块100的第一取样位置，还是控制控制光学相干断层成像模块200的第二取样位置，通过使用共定位模块300，本发明都可获得空间共定位的拉曼光谱信息和组织结构影像。本领域技术人员可基于实际情况采取相应的实施方式。168.图1中各个模块之间的关系仅是示意性的和示例性的并不限制共定位模块300的具体控制方式和具体连接关系。169.通过图1可以看出，本发明的共定位模块300赋予了操作人员控制拉曼光谱的激发光的第一取样位置的能力，从而使第一取样位置与关注区域基本上重合，继而使得第二取样位置覆盖(例如通过扫描)第一取样位置，如此就可获得空间共定位的拉曼光谱信息和组织结构/形态影像。此外，在一个变体实施方式中，可以利用光学相干断层成像模块200快速获得组织结构影像以及确定目标对象的关注区域，再进一步引导拉曼光谱的激发光的取样位置从而实现对目标对象的高风险位置的具有高准确性和高特异性的诊断用信息。170.图2示出了根据本发明实施例的一个实施方式的多模态成像装置的示意图。171.具体而言，参见图2，拉曼光谱分析模块100的第一光源101使用波长为785nm的拉曼激发光源。作为第一光源101，可选择本领域已知的适合用于拉曼光谱的激发光的任何光源，该实施方式中的波长为785nm的拉曼激发光源仅为一种示例。沿拉曼光谱的激发光出射光路设置第一分束镜102、共定位模块300、第一耦合物镜103、第一光纤104、第一透镜组105和第一二向色镜106。第一透镜组105由第一收集透镜115组成。拉曼光谱分析模块100的还设置有光栅107，用于对来自第一分束镜102的反射光分光，接收透镜108用于接收来自光栅107的出射光，光谱仪109用于接收来自接收透镜108的出射光。172.通过调节第一收集透镜115的参数，使得可控制拉曼光谱在目标对象上的光斑尺寸。根据需要，该光斑尺寸可在5μm-1mm(直径)范围内调节。在一个优选的实施方式中，第一收集透镜115使得来自第一光源101的拉曼光谱的激发光的光斑尺寸与关注区域的尺寸基本相同。另外，在一个替代实施方式中，第一透镜组也可使用聚焦透镜，包括高色散和/或高数值孔径的聚焦透镜。例如，可使用的聚焦透镜的有效焦距可在2-3mm，工作距离可在1mm，而数值孔径n/a＝0.5。高色散透镜能够增加轴向视野，高数值孔径有利于提高分辨率和成像信噪比。在本发明的此实施方式中，使用第一收集透镜115且使得来自第一光源101的拉曼光谱的激发光的光斑尺寸与关注区域尺寸一致是优选的，因为这可节省获得拉曼光谱信息的时间。173.同时使用高色散透镜与光栅分光有利于同时获得目标对象的不同深度的拉曼光谱信息，提高检测速度。174.图2对第一光纤104靠近目标对象一侧的横截面进行了放大的示意性的描述。在探头400内部的由多芯光纤中心部分的至少一个纤芯组成的中心纤芯组用于传输来自第一光源101的拉曼光谱的激发光，多个由多芯光纤中围绕所述中心部分的至少一个纤芯组成的组的外围纤芯组用于传输拉曼光谱的散射信号光；中心纤芯组在靠近目标对象一侧的末端设置有带通(bp，band-pass)滤光片，以bp表示，并且外围纤芯组在靠近目标对象一侧的末端设置有陷波(nf，notch-filter)滤光片，以nf表示。也就是说，拉曼光谱的激发光通过带通(bp，band-pass)滤光片激发目标对象的拉曼光谱，拉曼散射光信号通过陷波(nf，notch-filter)滤光片和长通滤光片(未示出)滤除背景噪音，这样的设置有利地提升信号信噪比。175.对于获取拉曼光谱信息而言，本发明不限于以上特定的光纤布置。本发明说明书附图图3中给出了其他几种光纤布置方式。176.然而，本发明优选的光纤布置方式是说明书附图图2中所示的布置方式。本发明的这种优选的中心对称布置有利于获得比其他布置方式(例如对称性较低的布置)更好的拉曼光谱信号。例如，已发现使用本发明说明书附图图2中所示的布置方式相对于以下布置方式允许获得更高的信噪比：用于传输拉曼光谱的散射信号的光纤相对于用于传输拉曼光谱的激发光的光纤以非对称方式布置，例如用于传输拉曼光谱的激发光的光纤邻近的周围存在没有设置用于传输拉曼光谱的散射信号的光纤的空档(在用于传输拉曼光谱的激发光的光纤的一部分外表面与光纤壁接触的情况中)，例如包括图3所示的布置方式)。177.光学相干断层成像模块200包括第二光源201、分束器202、干涉仪203、耦合光纤204、第二光纤204’、扫描子模块205、探测器206、第二透镜组207、反射镜208和环形器209。作为第二光源，可使用本领域中已知用于光学相干断层成像的任意光源。作为示例，第二光源201使用包括1325nm波长的扫频光源，探测器206为平衡光电探测器。第二透镜组207由第二聚焦透镜217和衍射透镜227组成。扫描子模块205为压电陶瓷管。178.通过使用第二聚焦透镜217，使得可控制第二光源201发出的入射光在目标对象上的光斑尺寸。根据需要，该光斑尺寸可在5μm-1mm(直径)范围内调节。另外，可使用的聚焦透镜包括高色散和/或高数值孔径的聚焦透镜。例如，可使用的聚焦透镜的有效焦距可在2-3mm，工作距离可在1mm，而数值孔径n/a＝0.5。高色散透镜能够增加轴向视野，高数值孔径有利于提高分辨率和成像信噪比。另外，在本发明的该实施方式中，发现衍射透镜227能够补偿色散，改善波长带宽，提升分辨率，从而提高成像质量。179.压电陶瓷管是本领域中已知的扫描装置。本发明的扫描子模块205中，光纤与压电陶瓷管同轴固定，压电陶瓷管被加压后产生压电形变，从而引起单模光纤头的弯折；当给压电陶瓷管的x轴和y轴的两对(四轴)电极的外加电压为调制电压时实现二维扫描；当压电陶瓷管的轴的振动频率与单根单模光纤自频率共振时，扫描幅度达到最大；因此，通过控制压电陶瓷管所加电压的幅值和频率来分别控制扫描的区域尺寸和扫描速度。当给x轴和y轴施加的调制电压为正交的正弦信号时，产生螺旋扫描轨迹。使用压电陶瓷管扫描可以实现快速的三维组织结构3d-oct成像。180.优选地，本发明的装置在探测器206部分包括基于高速数模转换器和fpga的采集系统，其可实现视频流的组织结构图像重建与显示。fpga系统将探测光干涉信号转换为样本结构灰度图、衰减系数灰度图，传给上位机做显示。181.共定位模块300包括设置在第一分束镜102和第一耦合物镜103之间的第一翻转镜301和第二翻转镜302，和两个翻转镜配对的第一扫描振镜303和第二扫描振镜304。182.探头400包括外壳401和探测窗402。183.第一光纤104的一部分、第一透镜组105以及第一二向色镜106设置在探头400内部；第二光纤204’的一部分、扫描子模块205、第二透镜组207和反射镜208设置在探头400内部。184.本发明这种探头设计使得可将探头内径缩小到2-10mm(远小于现有技术中传统光路设计使用的5cm的尺寸)，有利于集成到现有的内镜系统的工作通道内，减小内镜探测可能带来的损伤，有利于临床使用。185.下面描述本发明实施例的一个实施方式的多模态成像装置的工作方式。186.来自第一光源101的激发光依次通过第一分束镜102、共定位模块300，经过第一耦合物镜103准直后进入第一光纤104。第一光纤104的出射光通过第一收集透镜115；其中第一光纤104为多芯光纤。可选择第一收集透镜115的参数来控制拉曼光谱探测光的光斑尺寸。在本发明中一个实施方式中，光斑直径可在5微米-1毫米的范围内调节。第一收集透镜115的出射光再经过第一二向色镜106与来自光学相干断层成像模块200的成像探测光耦合后通过探测窗402对目标对象进行探测。来自目标对象的拉曼光谱散射光沿与激发光大体相同的光路返回，经过第一分束镜102反射而入射到光栅107而被分光，光栅107的出射光经过接收透镜108之后通过光谱仪109被检测。187.来自第二光源201的成像探测光通过分束器202之后，经过第二光纤204’进入到探头400中。在探头400中的第二光纤204’的出射光进入到第二聚焦透镜217中，然后再通过衍射透镜227入射到反射镜208上。可选择第二聚焦透镜217的参数来控制成像探测光的光斑尺寸。在本发明中一个实施方式中，光斑直径可在5微米-1毫米的范围内调节。发现在第二透镜组207中使用衍射透镜227改善了成像分辨率。反射镜208的出射光入射到第一二向色镜106从而与通过第一二向色镜106的拉曼光谱激发光耦合，然后通过探测窗402对目标对象进行成像。在该实施方式中，第二光纤204’与压电陶瓷管同轴固定，压电陶瓷管包括两对共四个轴，其以正方形的形式围绕第二光纤204’而布置。对压电陶瓷管加电压后产生压电形变，从而引起光纤头的弯折；当给压电陶瓷管的x轴和y轴的两对(四轴)电极的外加电压为调制电压时实现二维扫描。来自对象样品的散射光沿着与入射光基本相同的光路返回，经过分束器202、干涉仪203和环形器209被探测器206探测。188.在该实施方式中，通过调节第一翻转镜301和第二翻转镜302的相对于第一分束镜102和第一耦合物镜之间103的光路的角度可以使共定位模块300在第一模式和第二模式之间切换。189.在第一模式中，当第一翻转镜301和第二翻转镜302的镜面与第一分束镜102和第一耦合物镜103之间的光路平行时，共定位模块300的存在并不影响第一分束镜102和第一耦合物镜103之间的光路的入射方向，从而不影响拉曼光谱激发光在目标对象上第一取样位置。190.在第二模式中，当第一翻转镜301和第二翻转镜302的镜面与第一分束镜102和第一耦合物镜103之间的光路不平行时，例如以图2中所示的角度设置时，第一翻转镜301用于接收并且反射经第一分束镜102传输的光，第一扫描振镜303用于接收并且反射来自第一翻转镜301的反射光，第二扫描振镜304用于接收并且反射来自第一扫描振镜303的反射光，第二翻转镜302用于接收并且反射来自第二扫描振镜304的反射光，第一耦合物镜103用于接收来自第二翻转镜的反射光。第二模式的共定位模块300会对拉曼光谱的激发光产生影响。例如，围绕预先设定的轴转动第一扫描振镜303和/或第二扫描振镜304会使得第一分束镜102的出射光以一定的角度偏离原光路的方向(即第一模式的光路的方向)，这导致第一耦合物镜103的入射光的位置也被改变。这样的结果是改变了拉曼光谱的激发光在目标对象上的取样位置。在本实施方式中，第一扫描振镜303和第二扫描振镜304可分别沿相互正交的轴转动。191.然而，本发明并不限于此，本领域技术人员在以上公开的基础上可以根据实际情况或需要来设定转动第一扫描振镜303和第二扫描振镜304的轴的空间方位。可以选择在给定坐标系下具有一定方位的轴，从而通过转动第一扫描振镜303和第二扫描振镜304来以不同方式影响拉曼光谱的激发光的位置/角度/形状。在该实施方式中，第一扫描振镜303和第二扫描振镜304使用mems驱动的反射镜。然而，本发明并不限于此，本领域技术人员在以上公开的基础上可以根据实际情况或需要来使用其他具有等同功能的光学元件，例如galvo振镜。192.在本发明实施例的该实施方式的多模态成像装置具有多种运行方式，在下文中仅以示例性方式列出其中的几种方式。193.作为第一种运行方式，其共定位探测流程可参见图4a。在此运行方式中，第二聚焦透镜217使得光学相干断层成像模块200在目标对象上的光斑尺寸小于第一取样位置的尺寸。在步骤s1中，通过nbi或wlr对目标对象成像，识别出关注区域a1(斜线阴影部分)。该识别过程可依靠操作人员或医生进行，也可依靠算法进行。在一个优选的实施方式中，通过深度学习模型(cnn)图像分割算法实现自动识别关注区域(肿瘤或疑似肿瘤部位)。在步骤s2中，共定位模块300移动拉曼光谱分析模块100的第一取样位置，使其与关注区域a1基本上重合，并且对该区域进行拉曼光谱分析；拉曼光谱信息可反映出特异分子的结构信息，例如脂质、蛋白质等，并且信号强度与浓度相关；因此，选择与发生癌症病变相关的特异分子非常有助于癌症的筛查和检测。接着，光学相干断层成像模块200利用其扫描子模块205在第一取样位置内进行扫描成像，获得与第一取样位置空间共定位的组织结构影像。在步骤s3中，对获得的空间共定位多模态信息进行分析。优选地，使用长短时间记忆模型lstm算法融合的方式进行分析。由此可见，本发明的该多模态成像装置利用共定位模块300控制拉曼光谱分析模块100的第一取样位置，使其与关注区域基本上重合并且在此区域内再利用光学相干断层成像模块200进行扫描成像，这允许获得空间共定位的拉曼光谱信息和组织结构影像信息。由于空间上的高度一致性，本发明获得了真正意义上的同一精确位置的多模态信息。这有助于提高拉曼光谱信息和组织结构影像信息的相关性从而提高诊断/筛查的准确度和效率。希望指出的是，本发明不限于这一种具体的实施方式，例如，尽管没有示出，但本发明的共定位模块300也可控制光学相干断层成像模块200的第二取样位置，使其移动至与关注区域a1基本上重合，并使用拉曼光谱分析模块100对取样位置进行分析探测，从而在所述关注区域内实现空间共定位。194.作为另一种运行方式，其共定位探测流程可参见图4b。在该方式中，拉曼光谱分析模块100中的第一透镜组105使用聚焦透镜，并且第一取样位置的尺寸小于光学相干断层成像模块200在目标对象上的光斑尺寸。在该方式中，光学相干断层成像模块200用于使用成像探测光获得目标对象的组织结构影像，以及确定目标对象的关注区域，共定位模块300用于根据确定的目标对象的关注区域，控制拉曼光谱分析模块100中的激发光的第一取样位置，从而获得所述关注区域中不同位置的拉曼光谱信息。在步骤s1中，通过扫描子模块205的压电陶瓷管进行螺旋扫描后获得3d-oct图像。在步骤s2中，识别出关注区域a1(斜线阴影部分)。该识别过程可依靠操作人员或医生进行，也可依靠算法进行。在一个优选的实施方式中，通过深度学习模型(cnn)图像分割算法实现自动识别关注区域(肿瘤或疑似肿瘤部位)，并且依靠共定位模块实现对拉曼光谱取样位置的定位导航。在步骤s3中，通过共定位模块300控制拉曼光谱分析模块的取样位置a1’(斜线阴影部分)，从而获得关注区域a1中的拉曼光谱信息。拉曼光谱信息可反应出特异分子的结构信息，例如脂质、蛋白质等，并且信号强度与浓度相关。因此，选择与发生癌症病变相关的特异分子非常有助于癌症的筛查和检测。可选地，利用长短时间记忆模型lstm算法融合多模态信息(oct组织结构图像与共定位的拉曼光谱数据)，进一步提升癌症诊断的准确性。由此可见，本发明的共定位模块300通过控制拉曼光谱激发光在特定的关注区域中的取样位置实现了拉曼光谱分析和光学相干断层成像的高效率的协同运行，能够实现高准确性和高特异性的癌症/肿瘤筛查和诊断。如上文所述，本发明不限于此，也可用合适的透镜和操作方式来使用拉曼光谱分析模块100获得关注区域a1，控制光学相干断层成像模块200的第二取样位置在关注区域a1内进行扫描，获得空间共定位的拉曼光谱信息和组织结构影像信息。这种方式的优点是，可以基于二维的拉曼光谱信息获得的关注区域，进一步使用3d-oct成像获得相应的轴向组织结构影像信息。本领域技术人员在上述公开内容的基础上可以根据不同的关注点选择具体的相应实施方式。195.根据本发明实施例的上述实施方式的多模态成像装置，例如，可在脑胶质瘤、消化道类肿瘤、头颈外科类肿瘤、甲状腺肿瘤等硬镜检测场景下使用，实现组织横向平面切缘检测。196.图5示出了根据本发明实施例的另一个实施方式的多模态成像装置的示意图。197.本发明说明书附图图5中所涉及的另一个实施方式的多模态成像装置与本发明说明书附图图2中所涉及的实施方式的多模态成像装置的最重要的区别在于拉曼光谱模块的激发光和光学相干断层成像模块的成像探测光在进入探头前使用二向色镜耦合，并且在探头内共同使用单一的透镜组和同一光纤束，不再区分用于拉曼光谱模块的第一透镜组和用于光学相干断层成像模块的第二透镜组。本发明实施例的图5中所涉及的另一个实施方式的多模态成像装置的优点在于能够进一步减小探头的尺寸，甚至可减小至2-5mm，这更有利于集成到现有的内镜系统的工作通道内，减小内镜探测可能带来的损伤，更有利于临床使用。198.具体而言，参见图5，拉曼光谱分析模块100的第一光源101使用波长为785nm的拉曼激发光源。沿拉曼光谱的激发光出射光路设置第一光源开关sw1、中间反射镜110、第一分束镜102、共定位模块300、第二二向色镜106’、第一耦合物镜103、探测光纤501和探测透镜502。所示探测透镜502为探测聚焦透镜。拉曼光谱分析模块100的还设置有光栅107，用于对来自第一分束镜102的反射光分光，接收透镜108用于接收来自光栅107的出射光，光谱仪109用于接收来自接收透镜108的出射光。探测光纤501为多芯光纤。199.该探测聚焦透镜与本发明说明书附图图2中所涉及的实施方式的第一收集透镜115、第二聚焦透镜217具有相同或类似的作用。该探测聚焦透镜的选择也可以基于光斑尺寸、高色散和/或高数值孔径这些性能和参数进行。通过使用第二二向色镜106’将拉曼光谱分析模块100的激发光和光学相干断层成像模块200的成像探测光在进入探测光纤之前耦合，使得可用单根光纤和单一的探测聚焦透镜对耦合之后的光进行聚焦和控制。这样的设置使得探头的尺寸可以进一步缩小，例如探头尺寸缩小到甚至2-5mm，从而更适合用于现有的内镜系统。由于该探头内径较小，其可以在胃、消化道、膀胱肿瘤检测等软镜检测场景下使用。优选地，为了较为准确地获得空间共定位的光谱信息和影像信息，该探测聚焦透镜使得拉曼光谱分析模块100的激发光和光学相干断层成像模块200的成像探测光的光斑尺寸小于关注区域的尺寸。这样可以控制第一取样位置和第二取样位置在关注区域内进行扫描，扫描后得到的信息则是空间共定位的有价值的诊断/筛查辅助信息。200.图5对探测光纤501靠近目标对象一侧的横截面进行了放大的示意性的描述。由多芯光纤中心部分的至少一个纤芯组成的中心纤芯组用于传输来自第二光源201的成像探测光和来自目标对象的用于获得目标对象的组织结构影像的光，多个不同的由多芯光纤中围绕所述中心部分的至少一个纤芯组成的组的外围纤芯组用于分别传输来自第一光源101的拉曼光谱的激发光和拉曼光谱的散射信号光。在该实施方式中，用于传输拉曼光谱的激发光的外围纤芯组与用于传输拉曼光谱的散射信号光的外围纤芯组是交替布置的，并且每隔两个用于传输拉曼光谱的散射信号光的外围纤芯组就设置一个用于传输拉曼光谱的激发光的外围纤芯组。中心纤芯组在靠近目标对象一侧的末端设置有带通滤光片，以bp-oct表示，用于传输拉曼光谱的激发光的外围纤芯组在靠近目标对象一侧的末端设置有带通(bp，band-pass)滤光片，以bp-rs表示，用于传输拉曼光谱的散射信号光的外围纤芯组在靠近目标对象一侧的末端设置有陷波(nf，notch-filter)滤光片，以nf表示。也就是说，拉曼光谱的激发光通过带通(bp，band-pass)滤光片激发目标对象的拉曼光谱，拉曼散射光信号通过陷波(nf，notch-filter)滤光片和长通滤光片(未示出)滤除背景噪音，这样的设置有利地提升信号信噪比。201.对于本发明说明书附图图5中所涉及的另一个实施方式的多模态成像装置中用于传输oct成像探测光的中心纤芯组的布置方式，本发明不限于此。本发明说明书附图图5中所涉及的另一个实施方式的多模态成像装置中oct成像探测光所使用的纤芯组布置方式还可如说明书附图图6中所示的那样，即oct成像探测光使用非中心的纤芯组。然而，已发现，使用中心纤芯组传输oct成像探测光与返回的散射光(图5中所示的布置方式)相对于使用其他位置的(例如图6中的布置方式)纤芯传输具有更好的分辨率。已发现，如果传输oct成像探测光与返回的散射光的纤芯组与其他纤芯组使用中心纤芯组传输，其聚焦光斑的瑞利范围会降低，从而使得相对于使用“偏心”纤芯组传输而言，成像具有更好的分辨率。202.对于本发明说明书附图图5中所涉及的另一个实施方式的多模态成像装置中用于传输拉曼光谱激发光和散射信号光的外围纤芯组的布置，本发明不限于图5中所示的布置，本发明说明书附图图5中所涉及的另一个实施方式的多模态成像装置中用于传输拉曼光谱的激发光和用于传输拉曼光谱的散射信号光的纤芯组的布置方式还可如说明书附图图6中所示的那样。然而，本发明说明书附图图5中的布置方式是优选的；在该外围纤芯组中交替设置用于传输拉曼光谱的激发光和用于传输拉曼光谱的散射信号光的纤芯依然保持了相对的对称性，即每个用于传输拉曼光谱的激发光的纤芯周围都存在用于传输拉曼光谱的散射信号光的纤芯。因此，与本发明说明书附图图2中所涉及的实施方式中所描述的光纤纤芯布置相似，本发明图5中这种布置方式可以取得比非对称或对称性较低的布置方式(例如图6)更高的信噪比。203.作为替代的实施方式，除了多芯光纤以外，还可以利用单模光纤的纤芯传输oct光源与信号，使用包层传输拉曼光源与信号(未示出)。204.然而，优选的实施方式是本发明说明书附图图5所涉及的实施方式，图5中的布置方式可获得更好的信噪比和分辨率。205.光学相干断层成像模块200包括第二光源201、第二光源开关sw2、分束器202、干涉仪203、耦合光纤204、远端扫描子模块205’和探测器206。第二光源201使用包括1325nm波长的扫频光源，探测器206为平衡光电探测器并且配备有数模转换器和fpga采集卡。远端扫描子模块205’为mems驱动的反射镜。然而，本发明不限于此，远端扫描子模块205’也可以采用多个galvo振镜或其他可实现扫描功能的元件。206.该远端扫描子模块205’所使用的远端扫描振镜的扫描模式与本发明说明书附图图2中所涉及的实施方式的多模态成像装置不同。本发明说明书附图图5中所涉及的另一个实施方式的多模态成像装置的扫描是‘逐行’进行的，而不是以螺旋方式进行扫描。207.在根据本发明说明书附图图5中所涉及的另一个实施方式的多模态成像装置中，其所使用的第一光源101和第二光源201与本发明说明书附图图2中所涉及的实施方式的多模态成像装置中的第一光源101和第二光源201相同。208.本发明说明书附图图5中所涉及的另一个实施方式的多模态成像装置中的共定位模块300与本发明说明书附图图2中所涉及的实施方式的多模态成像装置中的相同。共定位模块300包括设置在第一分束镜102和第二二向色镜106’之间的第一翻转镜301和第二翻转镜302，和两个翻转镜配对的第一扫描振镜303和第二扫描振镜304。209.探头400包括外壳401和探测窗402。210.探测光纤501的一部分和探测透镜502设置在探头400内部。该探测聚焦透镜与本发明说明书附图图2中所涉及的实施方式中的第一、第二聚焦透镜具有相同或类似的作用。然而，通过使用第二二向色镜106’将拉曼光谱分析模块100的激发光和光学相干断层成像模块200的成像探测光在进入探测光纤之前耦合，使得可用单一的光纤(探测光纤501)和单一的探测聚焦透镜502对耦合之后的光进行聚焦和控制。这样的设置使得探头的尺寸可以进一步减小，更适合用于现有的内镜系统。由于该探头内径较小，其可以在胃、消化道、膀胱肿瘤检测等软镜检测场景下使用。211.下面描述本发明说明书附图图5中所涉及的另一个实施方式的多模态成像装置的工作方式。212.来自第一光源101的激发光在第一光源开关sw1打开的情况下依次通过中间反射镜110、第一分束镜102、共定位模块300、第二二向色镜106’并且经过第一耦合物镜103准直后进入探测光纤501。探测光纤501的出射光通过探测透镜502被聚焦；其中探测光纤501为多芯光纤。可选择探测透镜502的参数来控制拉曼光谱探测光的光斑尺寸。在本发明中一个实施方式中，光斑直径可在5微米-1毫米的范围内调节。探测透镜502的出射光通过探测窗402对目标对象进行探测。来自目标对象的拉曼光谱散射光沿与激发光大体相同的光路返回，经过第一分束镜102反射而入射到光栅107而被分光，光栅107的出射光经过接收透镜108之后通过光谱仪109被检测。213.来自第二光源201的成像探测光在第二光源开关sw2打开的情况下，在通过分束器202之后，经过远端扫描子模块205’反射，远端扫描子模块205’出射后入射到第二二向色镜106’。这样在第二二向色镜106’处来自第一光源101的拉曼光谱激发光和来自第二光源201的成像探测光耦合。该远端扫描子模块205’所使用的mems驱动的反射镜的扫描模式与本发明说明书附图图2中所涉及的实施方式的多模态成像装置不同。mems驱动的反射镜(或galvo振镜)的扫描是通过围绕至少一个轴转动来改变成像探测光入射到第一耦合物镜103上的光的角度和/或位置。这种扫描方式使得扫描是‘逐行’进行的，而不是以螺旋方式进行扫描。这种扫描方式形成图像的方式可参见图7b，其中图像是“逐条”(即逐行)获得的。214.在本发明的该实施方式中，通过外部触发两个模态的光源开关可以在时域上切换两个模态的探测，从而减少模态之间的相互影响，进而提高信噪比。这非常有利于在保证缩小探头尺寸的情况下还能保持两种模态的检测分别具有可接受的信噪比。因此，优选的是通过外部触发两个模态的光源开关而交替进行两个模态的探测以获得提高的信噪比。215.经过第一耦合物镜103耦合后的光经过第一耦合物镜103准直后入射到探测光纤501中。探测光纤501的出射光入射到探测透镜502中，并且通过探测窗402对目标对象进行成像/探测。来自对象样品的散射光沿着与入射光基本相同的光路返回，经过分束器202和干涉仪203后被探测器206探测。216.在该实施方式中，通过调节第一翻转镜301和第二翻转镜302的相对于第一分束镜102和第二二向色镜106’之间的光路的角度可以使共定位模块300在第一模式和第二模式之间切换。在图5中没有示出共定位模块300的具体内部结构，因为其与图2中的相同。217.在第一模式中，当第一翻转镜301和第二翻转镜302的镜面与第一分束镜102和第二二向色镜106’之间的光路平行时，共定位模块300的存在并不影响第一分束镜102和第二二向色镜106’之间的光路的入射方向，从而不影响拉曼光谱激发光在目标对象上取样位置。218.在第二模式中，当第一翻转镜301和第二翻转镜302的镜面与第一分束镜102和第二二向色镜106’之间的光路不平行时，例如以图2中所示的角度设置时，第一翻转镜301用于接收并且反射经第一分束镜102传输的光，第一扫描振镜303用于接收并且反射来自第一翻转镜301的反射光，第二扫描振镜304用于接收并且反射来自第一扫描振镜303的反射光，第二翻转镜302用于接收并且反射来自第二扫描振镜304的反射光，第二二向色镜106’用于接收来自第二翻转镜的反射光，而第一耦合物镜103用于接收来自第二二向色镜106’的出射光。第二模式的共定位模块300会对拉曼光谱的激发光产生影响。例如，围绕预先设定的轴转动第一扫描振镜303和/或第二扫描振镜304会使得第一分束镜102的出射光以一定的角度偏离原光路的方向(即第一模式的光路的方向)，这导致第二二向色镜106’的入射光的位置也被改变。这样的结果是改变了拉曼光谱的激发光在目标对象上的取样位置。在本实施方式中，第一扫描振镜303和第二扫描振镜304可分别沿相互正交的轴转动。219.然而，本发明并不限于此，本领域技术人员在以上公开的基础上可以根据实际情况或需要来设定转动第一扫描振镜303和第二扫描振镜304的轴的空间方位。可以选择在给定坐标系下具有一定方位的轴，从而通过转动第一扫描振镜303和第二扫描振镜304来以不同方式影响拉曼光谱的激发光的位置/角度/形状。在该实施方式中，第一扫描振镜303和第二扫描振镜304使用mems驱动的反射镜。然而，本发明并不限于此，本领域技术人员在以上公开的基础上可以根据实际情况或需要来使用其他具有等同功能的光学元件，例如galvo振镜。220.在本发明说明书附图图5中所涉及的另一个实施方式的多模态成像装置具有多种运行方式，在下文中仅以示例性方式列出其中一种方式。221.作为一种运行方式，其共定位探测流程可参见图7a。在此方式中，探测透镜502使得光学相干断层成像模块200和拉曼光谱分析模块100在目标对象上的光斑尺寸小于关注区域的尺寸。在步骤s1中，通过nbi或wlr对目标对象成像，识别出关注区域a1(斜线阴影部分)。该识别过程可依靠操作人员或医生进行，也可依靠算法进行。在一个优选的实施方式中，通过深度学习模型(cnn)图像分割算法实现自动识别关注区域(肿瘤或疑似肿瘤部位)。在步骤s2中，远端扫描子模块205’控制光学相干断层成像模块100的第二取样位置，从而在关注区域a1内进行扫描和检测获得组织结构/形态影像，与此基本上同步和/或同时地，使共定位模块300控制拉曼光谱分析模块200的第一取样位置，从而在关注区域a1内进行扫描和检测来获得拉曼光谱信息，由此可获得空间共定位的拉曼光谱信息和组织结构影像信息；其中，拉曼光谱信息可反映出特异分子的结构信息，例如脂质、蛋白质等，并且信号强度与浓度相关；因此，选择与发生癌症病变相关的特异分子非常有助于癌症的筛查和检测。在步骤s3中，对获得的空间共定位多模态信息进行分析。优选地，使用长短时间记忆模型lstm算法融合的方式进行分析。由此可见，本发明的该多模态成像装置利用共定位模块300控制拉曼光谱分析模块100的第一取样位置，使其与光学相干断层成像模块100的第二取样位置在关注区域内进行扫描分析/成像，这允许获得空间共定位的拉曼光谱信息和组织结构影像信息。由于空间上的高度一致性，本发明获得了真正意义上的同一位置的多模态信息。这有助于提高拉曼光谱信息和组织结构影像信息的相关性从而提高诊断/筛查的准确度和效率。222.作为另一种运行方式，其共定位探测流程可参见图7b。在步骤s1中，通过远端扫描子模块205’的mems驱动的反射镜进行逐行扫描后获得3d-oct图像。在步骤s2中，识别出关注区域a1(斜线阴影部分)。该识别过程可依靠操作人员或医生进行，也可依靠算法进行。在步骤s3中，通过共定位模块300控制拉曼光谱分析模块的取样位置a1’(斜线阴影部分)，从而获得关注区域a1中的拉曼光谱信息。拉曼光谱信息可反应出特异分子的结构信息，例如脂质、蛋白质等，并且信号强度与浓度相关。因此，选择与发生癌症病变相关的特异分子非常有助于癌症的筛查和检测。可选地，利用长短时间记忆模型lstm算法融合多模态信息(oct组织结构图像与共定位的拉曼光谱数据)，进一步提升癌症诊断的准确性。由此可见，本发明的共定位模块300通过控制拉曼光谱激发光在特定的关注区域中的取样位置实现了拉曼光谱分析和光学相干断层成像的高效率的协同运行，能够实现高准确性和高特异性的癌症/肿瘤筛查和诊断。如上文所述，本发明不限于此，也可使用拉曼光谱分析模块100获得关注区域a1，控制光学相干断层成像模块200的第二取样位置对关注区域a1探测，获得空间共定位的拉曼光谱信息和组织结构影像信息。这种方式的优点是，可以基于二维的拉曼光谱信息获得的关注区域，进一步使用3d-oct成像获得相应的轴向组织结构影像信息。本领域技术人员在上述公开内容的基础上可以根据不同的关注点选择具体的相应实施方式。223.在本发明的多模态成像装置中，扫频oct和拉曼的示例性技术参数如下：224.oct技术参数包括：成像速度2-5体积(volume)体成像/秒或200-500b-scan帧/秒，成像视野0.5mm-2mm，分辨率与成像深度取决于光源的中心波长，采用1325nm的中心波长分辨率15-20μm深度1-2mm，800nm中心波长分辨率4-10μm深度0.5-1mm。225.拉曼系统技术参数包括：光谱采集速度2-5hz，光谱分辨率5-10波数，光谱仪接收波长范围800-1100nm，拉曼光谱探测范围800-1800波数和2800-3600波数。226.由上述结合附图1至7以及对本发明实施例的具体实施方式的具体描述可知，本发明的多模态成像装置的共定位模块用于根据确定的目标对象的关注区域，控制拉曼光谱分析模块中的激发光的第一取样位置和/或光学相干断层成像模块中的第二取样位置，以使得所述第一取样位置和所述第二取样位置在所述关注区域内实现空间共定位。也就是说，本发明的多模态成像装置利用共定位模块控制拉曼光谱分析模块的第一取样位置，使其与光学相干断层成像模块的扫描成像在空间探测区域上是相配合或匹配的(例如，使第一取样位置与关注区域基本重合，然后在该关注区域内进行光学相干断层成像模块的扫描成像，或者控制第一取样位置使其与光学相干断层成像模块的扫描成像同步和/或同时在关注区域内进行探测)，这允许获得空间共定位的拉曼光谱信息和组织结构影像信息。由于空间上的高度一致性，本发明获得了同一精确位置的多模态信息。这有助于提高拉曼光谱信息和组织结构影像信息的相关性从而提高诊断/筛查的准确度和效率。227.此外，在一种运行方式中，本发明的多模态成像装置中的光学相干断层成像模块用于获得目标对象的组织结构影像以及确定目标对象的关注区域，而共定位模块用于根据确定的关注区域，控制拉曼光谱分析模块中的激发光的(第一)取样位置，从而获得所述关注区域中不同位置的拉曼光谱信息。显然，这种实施方式同样获得了空间共定位的拉曼光谱信息和组织结构影像信息。在获得有益的空间共定位信息的基础之上，这种实施方式实现了两个模块的协同运作，其结果是允许操作人员先依据组织结构影像初步确认疑似具有癌症风险的关注区域，接着通过共定位模块引导和控制拉曼光谱的取样位置，从而获得关注区域的拉曼光谱信息，利用拉曼光谱的高准确性和高特异性的优点获得更准确的作为诊断依据的信息。关注区域可以依照算法也可以依据操作人员的经验来确定。在优选的实施方式中，根据算法快速且自动识别出关注区域，然后通过共定位模块引导拉曼光谱的激发光至取样位置，从而获得较为准确的作为诊断依据的与癌症/肿瘤相关的特异分子(脂质、蛋白等)的光谱信息；本实施方式中从关注区域的识别到通过共定位模块引导拉曼光谱的激发光的过程可以是自动化的，这允许在体进行实时、精准的癌症检测。在以上过程中，共定位模块可以减少拉曼光谱分析所需要进行检测的区域，也就是说无需对全部区域进行拉曼光谱分析，而只对关注区域进行分析，这在很大程度上回避了拉曼光谱分析检测速度慢的缺点，却仍然利用了拉曼光谱分析高准确性和高特异性的优点，从而提高了整体检测效率。228.另外，本发明的共定位模块可在两种模式之间切换，使得可根据需要关闭和开启共定位功能。229.此外，本发明的多模态成像装置的探头设置使得可以探头尺寸得以缩小，例如探头尺寸缩小到2-10mm，甚至2-5mm。从而有利于集成到现有的内镜系统的工作通道内，有利于临床使用。230.最后，以背景技术部分中提到的宫颈癌为例。在作为内窥镜而使用本发明的多模态成像装置进行诊断时，可预期的是，可以非常协同高效、无创、实时的方式获得：宫颈癌前病变cin诊断的灵敏度特异性超过98％，cin1型早期癌前病变的诊断准确性超过90％。231.此外，根据本发明的实施方式的操作装置的控制方法可被记录在计算机可读记录介质中。具体地，根据本发明，可提供一种存储有计算机可执行指令的计算机可读记录介质，当所述计算机可执行指令被处理器执行时，可促使处理器执行如上所述的控制方法。计算机可读记录介质的示例可包括磁介质(例如硬盘、软盘和磁带)；光学介质(例如cd-rom和dvd)；磁光介质(例如，光盘)；以及特别配制用于存储并执行程序指令的硬件装置(例如，只读存储器(rom)、随机存取存储器(ram)、闪存等)。此外，根据本发明，还可提供一种包括处理器和存储器的设备，所述存储器中存储有计算机可执行指令，其中，当所述计算机可执行指令被处理器执行时，促使处理器执行如上所述的控制方法。计算机可执行指令的示例包括例如由编译器产生的机器码和包含可使用解释器由计算机执行的高级代码的文件。232.需要说明的是，附图中的流程图和框图，图示了按照本发明各种实施方式的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分包含至少一个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。233.一般而言，公开的各种示例实施例或实施方式可以在硬件或专用电路、软件、固件、逻辑，或其任何组合中实施。某些方面可以在硬件中实施，而其它方面可以在可以由控制器、微处理器或其它计算设备执行的固件或软件中实施。当本发明的实施例的各方面被图示或描述为框图、流程图或使用某些其它图形表示时，将理解此处描述的方框、装置、系统、技术或方法可以作为非限制性的示例在硬件、软件、固件、专用电路或逻辑、通用硬件或控制器或其它计算设备，或其某些组合中实施。234.在上面详细描述的本发明的示例实施方式仅仅是说明性的，而不是限制性的。本领域技术人员应该理解，在不脱离本发明的原理和精神的情况下，可对这些实施例或其特征进行各种修改和组合，这样的修改应落入本发明的范围内。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!