基于自适应局部灰度均衡的关键点检测方法、装置及应用与流程

计算;推算;计数设备的制造及其应用技术1.本技术涉及图像处理领域，特别是涉及一种基于自适应局部灰度均衡的关键点检测方法、装置及应用。背景技术：2.医学影像的关键点检测对于医学影像的分析具有重大的意义，近年来，已采用深度卷积神经网络(cnn)通过对热力图进行回归来检测关键点，并取得了令人鼓舞的成绩。3.尽管取得了巨大的成功，但热力图在医学影像方面仍然存在一个缺陷：如中国专利cn202110728468.2提供了一种基于改进神经网络的医学影像关键点检测方法及系统，该方案仅提升关键点预测的精确度，但是医学影像不同于其他影像，医学影像中经常会存在检测靶标器官重叠以及靶标器官区域小的问题，导致靶标上的关键点模糊不清楚，无法准确地利用热力图法来检测得到。4.以x-ray下的肺部区域的骨头遮挡区域来看，如图1所示，可以看到肺部区域的中间骨头互相遮挡，在骨头重叠部分就会出现骨骼边缘不清晰进而产生模糊的问题，也就是局部图像模糊，从而导致cnn无法预测出关键点位置，直接影响到医学影像关键点检测的质量。5.另外，现有技术也有通过传统局部灰度直方图来改变图像灰度进而提高边缘清晰度的方案，但是往往需要人工来调整图像灰度情况，具有效率低下且不具有针对性的问题，容易出现调整过度或者调整不足的问题，也就是说，传统局部灰度直方图均衡化是0-255的灰度级范围，是不具有针对性的。技术实现要素：6.本技术实施例提供了一种基于自适应局部灰度均衡的关键点检测方法、装置及应用，通过改进的预筛关键点检测模型产生候选关键点以及目标灰度值区间，基于候选关键点确定待优化区域，利用自适应产生的目标灰度值区间对所述待优化区域进行优化处理后得到优化区域，对优化区域再次进行确定关键点检测得到优化的关键点。7.第一方面，本技术实施例提供了一种基于自适应局部灰度均衡的关键点检测方法，所述方法包括：8.获取医学影像，将医学影像输入到预筛关键点检测模型中输出至少一候选关键点以及自适应的目标灰度值区间；9.基于所述候选关键点确定待优化区域图像，依据所述目标灰度值区间对所述待优化区域图像进行局部灰度均衡化处理得到优化区域图像；10.将优化区域图像输入到区域关键点检测模型中输出关键点。11.第二方面，本技术实施例提供了一种基于自适应局部灰度均衡的关键点检测装置，包括：12.医学影像获取单元，用于获取医学影像，并将医学影像输入到预筛关键点检测模型中输出至少一候选关键点以及自适应的目标灰度值区间；13.区域优化单元，用于基于所述候选关键点确定待优化区域图像，依据所述目标灰度值区间对所述待优化区域图像进行局部灰度均衡化处理得到优化区域图像；14.关键点检测单元，用于将优化区域图像输入到区域关键点检测模型中输出关键点。15.第三方面，本技术实施例提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述的基于自适应局部灰度均衡的关键点检测方法。16.第四方面，本技术实施例提供了一种可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序包括用于控制过程以执行过程的程序代码，所述过程上述的基于自适应局部灰度均衡的关键点检测方法。17.本发明的主要贡献和创新点如下：18.本技术实施例采用预筛关键点检测模型输出候选关键点以及自适应的目标灰度值区间，并基于所述候选关键点确定医学影像中的待优化区域图像，再通过局部灰度均衡化算法对待优化区域图像进行处理将其边缘纹理显示的更加清晰得到优化区域图像，最后将处理后的优化区域图像输入到区域关键点检测模型中,得到关键点。本方案不仅对待优化区域图像利用局部灰度直方图均衡化处理，以提高局部图像的清晰度，更甚者本方案得到出的目标灰度值区间是自适应的，可更针对性匹配待优化图像的优化，得到最佳的对比度进而提高后续关键点检测的精度。19.本技术的一个或多个实施例的细节在以下附图和描述中提出，以使本技术的其他特征、目的和优点更加简明易懂。附图说明20.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：21.图1是肺部ct影像；22.图2是根据本技术实施例的基于自适应局部灰度均衡的关键点检测方法的流程图；23.图3是根据本技术一种实施例的基于自适应局部灰度均衡的关键点检测方法；24.图4是根据本技术一种实施例的预筛关键点检测模型的灰度值预测分支的示意图；25.图5是根据本技术一种实施例的基于自适应局部灰度均衡的关键点检测方法的候选关键点的示意图；26.图6是根据本技术一种实施例的基于自适应局部灰度均衡的关键点检测方法优化后的关键点的示意图；27.图7是本技术一种实施例的基于自适应局部灰度均衡的关键点检测装置的结构框图；28.图8是根据本技术实施例的电子装置的硬件结构示意图。具体实施方式29.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书一个或多个实施例相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本说明书一个或多个实施例的一些方面相一致的装置和方法的例子。30.需要说明的是：在其他实施例中并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤。在一些其他实施例中，其方法所包括的步骤可以比本说明书所描述的更多或更少。此外，本说明书中所描述的单个步骤，在其他实施例中可能被分解为多个步骤进行描述；而本说明书中所描述的多个步骤，在其他实施例中也可能被合并为单个步骤进行描述。31.图1展示了传统的肺部ct影像，可以看到图像中的骨骼区域存在较多重叠，主要是由于骨头遮挡导致的图像灰度一致化，进而导致部分区域的骨头边缘是不清晰的。进而导致这部分区域的关键点的检测精度低下。然而不仅是肺部ct影像，还有很多医学影像也存在同样的技术问题，进而导致目前此类具有重叠区域的医学影像的关键点检测都存在或多或少的偏差。本方案致力于解决以上提到的技术问题。32.实施例一33.本技术实施例提供了一种基于自适应局部灰度均衡的关键点检测方法，所述方法包括：34.获取医学影像，将医学影像输入到预筛关键点检测模型中输出至少一候选关键点以及自适应的目标灰度值区间，基于所述候选关键点确定待优化区域图像，所述目标灰度值区间对应所述待优化区域图像；35.依据所述目标灰度值区间对所述待优化区域图像进行局部灰度均衡化处理得到优化区域图像；36.将优化区域图像输入到区域关键点检测模型中输出关键点。37.在“获取医学影像”步骤中，所述医学影像内包含重叠区域或者其他不清楚区域。所述医学影像可以是包含骨骼遮挡区域的影像，比如是肺部ct影像，手部ct影像。在本方案的实施例中，所述医学影像为包含骨骼重叠区域的肺部ct影像。38.值得一提的是，本方案的预筛关键点检测模型是经过改进的，所述预筛关键点检测模型不仅可以输出医学影像的候选关键点，还可以输出自适应的目标灰度值区间。39.具体的，所述预筛关键点检测模型包括候选关键点检测分支以及灰度值检测分支，所述候选关键点检测分支用于检测所述医学影像的候选关键点，所述灰度值检测分支用于检测所述医学影像的目标灰度值区间。在本方案的一些实施例中，所述目标灰度值区间对应的是待优化区域的目标灰度值区间。40.也就是说，“将医学影像输入到预筛关键点检测模型中输出至少一候选关键点以及自适应的目标灰度值区间”步骤中，将所述医学影像输入到预筛关键点检测模型的候选关键点检测分支中输出至少一候选关键点，基于所述候选关键点确定待优化区域图像，所述待优化区域图像输入到预筛关键点检测模型的灰度值检测分支中输出所述目标灰度值区间。41.所述候选关键点检测分支输出候选关键点为常规技术手段，本领域技术人员只需要利用标注关键点的医学影像对其进行训练即可，本方案在此方面不进行累赘说明。42.在一些实施例中，所述关键点以关键点热力图的形式展示。特别是对于医学影像而言，由于候选关键点较多，故利用关键点热力图对候选关键点进行检测可更为直观地显示候选关键点。43.本方案在预筛关键点检测模型中新增了灰度值预测分支，所述灰度值预测分支的处理手段如下：44.选取所述医学影像中的待优化区域图像，对所述待优化区域图像进行重采样后通过全连接层后输出灰度值向量，组成目标灰度值区间。45.具体的，所述待优化区域图像经历重采样后规范为128*128尺度的特征图后，通过两层全连接层后输出灰度值上限和灰度值下限，所述灰度值上限以及所述灰度值下限组成目标灰度值区间。46.在另一些实施例中，所述灰度值预测分支在获取了基于候选关键点确定的待优化区域图像后，截取所述待优化区域图像对其进行灰度值预测，此时利用了标记灰度值的医学影像作为训练样本对所述灰度值预测分支进行训练。47.也就是说，在“所述待优化区域图像输入到预筛关键点检测模型的灰度值检测分支中输出所述目标灰度值区间”步骤中，选取所述待优化区域图像，对所述待优化区域图像进行重采样后通过全连接层后输出灰度值向量，组成目标灰度值区间。48.本实施例中，每张医学影像的图像灰度范围都是不一致的，若是按照传统的局部灰度直方图均衡化的灰度级范围对医学影像进行优化是不具备针对性，因此本实施例中采用自适应的目标灰度值区间对待优化区域进行处理。49.本方案所指代的待优化区域图像为图像清晰度较差的区域图像，可以是目标部位重叠区域图像，也可以是分辨率低的低清晰度区域图像。50.在“基于所述候选关键点确定待优化区域图像”步骤中，根据所述候选关键点的类型确定待优选区域图像。在一些实施例中，根据先验知识可以确认待优选区域图像。51.在“依据所述目标灰度值区间对所述待优化区域图像进行局部灰度均衡化处理得到优化区域图像”步骤中，所述目标灰度值区间和所述待优化区域图像是对应的关系，利用目标灰度值区间可被调整所述待优化区域图像的灰度值，所述优化区域图像相较所述待优化区域图像而言对比度变大，这样可使得区域关键点检测模型更好地检测到优化区域内的关键点。52.局部灰度均衡化处理的具体计算过程如下：[0053][0054]其中ia(d)表示获得的待优化区域图像，其中d表示像素，ia1,ia2分别表示当前待优化区域图像的灰度数值的下界和上界。ib(d)表示获得的变换后的优化区域图像，其中d表示像素，ib1,ib2分别表示目标灰度值区间的灰度值下限和灰度值上限。[0055]也就是说，本方案在所述目标灰度值区间范围内对所述待优化区域图像进行局部灰度均衡化处理。[0056]在“将优化区域图像输入到区域关键点检测模型中输出关键点”步骤中，所述区域关键点检测模型为常规的深度卷积神经网络模型，利用标注有关键点的训练样本对其进行训练得到。[0057]值得一提的是，所述关键点和非待优化区域图像的候选关键点都是本方案输出的关键点，本方案是针对待优化区域图像内的关键点进行了优化处理。同时将处理后的图像进行psnr损失函数进行计算。[0058]如图5和图6可见，经过本方案优化处理的关键点更为精准。本方案还对算法进行比对实验，检测到的数据结果如表一所示：[0059]表一 比对实验结果[0060] 0.5mm1mm1.5mm2mm没有使用本方案的结果0.520.580.630.68使用本方案的结果0.550.620.650.70[0061]该表分别表示预测的关键点与gt关键点的距离阈值分别为0.5mm，1mm,1.5mm,2mm范围内命中的准确率。相比与之前在模糊区域进行关键点检测，准确率有明显提高。[0062]综上所述，本方案针对传统卷积神经网络通过热力图来进行关键点检测的方式，依赖图像的清晰的边缘和拐角等纹理信息，导致对于特定不清晰区域无法进行关键点的精准识别的问题，本方案针对这部分区域通过自适应的目标灰度值区间进行局部灰度直方图均衡化，使得该区域突出边缘信息，最后将处理后的图片在送入区域关键点检测模型中进行二次检测，得到优化后的关键点。且传统的局部灰度直方图均衡化通常是在0-255的灰度级范围进行均衡化，而不同的灰度级范围会产生不同的均衡化效果。本方案则针对待优化区域图像设置最佳灰度区域标签，通过网络训练后在推理阶段能够自动产生一个最佳的目标灰度值区间，将该目标灰度值区间作用于待优化区域图像，进而能够产生最佳的对比度。便于后续模型学习[0063]实施例二[0064]基于相同的构思，参考图7，本技术还提出了一种基于自适应局部灰度均衡的关键点检测装置，包括：[0065]医学影像获取单元，用于获取医学影像，将医学影像输入到预筛关键点检测模型中输出至少一候选关键点以及自适应的目标灰度值区间，基于所述候选关键点确定待优化区域图像，所述目标灰度值区间对应所述待优化区域图像；[0066]区域优化单元，用于依据所述目标灰度值区间对所述待优化区域图像进行局部灰度均衡化处理得到优化区域图像；[0067]关键点检测单元，用于将优化区域图像输入到区域关键点检测模型中输出关键点。[0068]关于该实施例二中同于实施例一的技术特征不再进行累赘说明。[0069]实施例三[0070]本实施例还提供了一种电子装置，参考图8，包括存储器404和处理器402，该存储器404中存储有计算机程序，该处理器402被设置为运行计算机程序以执行上述任一项基于自适应局部灰度均衡的关键点检测方法实施例中的步骤。[0071]具体地，上述处理器402可以包括中央处理器(cpu)，或者特定集成电路(applicationspecificintegratedcircuit，简称为asic)，或者可以被配置成实施本技术实施例的一个或多个集成电路。[0072]其中，存储器404可以包括用于数据或指令的大容量存储器404。举例来说而非限制，存储器404可包括硬盘驱动器(harddiskdrive，简称为hdd)、软盘驱动器、固态驱动器(solidstatedrive，简称为ssd)、闪存、光盘、磁光盘、磁带或通用串行总线(universalserialbus，简称为usb)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器404可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器404可在数据处理装置的内部或外部。在特定实施例中，存储器404是非易失性(non-volatile)存储器。在特定实施例中，存储器404包括只读存储器(read-onlymemory，简称为rom)和随机存取存储器(randomaccessmemory，简称为ram)。在合适的情况下，该rom可以是掩模编程的rom、可编程rom(programmableread-onlymemory，简称为prom)、可擦除prom(erasableprogrammableread-onlymemory，简称为eprom)、电可擦除prom(electricallyerasableprogrammableread-onlymemory，简称为eeprom)、电可改写rom(electricallyalterableread-onlymemory，简称为earom)或闪存(flash)或者两个或更多个以上这些的组合。在合适的情况下，该ram可以是静态随机存取存储器(staticrandom-accessmemory，简称为sram)或动态随机存取存储器(dynamicrandomaccessmemory，简称为dram)，其中，dram可以是快速页模式动态随机存取存储器404(fastpagemodedynamicrandomaccessmemory，简称为fpmdram)、扩展数据输出动态随机存取存储器(extendeddateoutdynamicrandomaccessmemory，简称为edodram)、同步动态随机存取内存(synchronousdynamicrandom-accessmemory，简称sdram)等。[0073]存储器404可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器402所执行的可能的计算机程序指令。[0074]处理器402通过读取并执行存储器404中存储的计算机程序指令，以实现上述实施例中的任意一种基于自适应局部灰度均衡的关键点检测方法。[0075]可选地，上述电子装置还可以包括传输设备406以及输入输出设备408，其中，该传输设备406和上述处理器402连接，该输入输出设备408和上述处理器402连接。[0076]传输设备406可以用来经由一个网络接收或者发送数据。上述的网络具体实例可包括电子装置的通信供应商提供的有线或无线网络。在一个实例中，传输设备包括一个网络适配器(network interface controller，简称为nic)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备406可以为射频(radio frequency，简称为rf)模块，其用于通过无线方式与互联网进行通讯。[0077]输入输出设备408用于输入或输出信息。在本实施例中，输入的信息可以是医学影像等，输出的信息可以是目标灰度值区间或关键点等。[0078]可选地，在本实施例中，上述处理器402可以被设置为通过计算机程序执行以下步骤：[0079]获取医学影像，将医学影像输入到预筛关键点检测模型中输出至少一候选关键点以及自适应的目标灰度值区间，基于所述候选关键点确定待优化区域图像，所述目标灰度值区间对应所述待优化区域图像；[0080]依据所述目标灰度值区间对所述待优化区域图像进行局部灰度均衡化处理得到优化区域图像；[0081]将优化区域图像输入到区域关键点检测模型中输出关键点。[0082]需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。[0083]通常，各种实施例可以以硬件或专用电路、软件、逻辑或其任何组合来实现。本发明的一些方面可以以硬件来实现，而其他方面可以以可以由控制器、微处理器或其他计算设备执行的固件或软件来实现，但是本发明不限于此。尽管本发明的各个方面可以被示出和描述为框图、流程图或使用一些其他图形表示，但是应当理解，作为非限制性示例，本文中描述的这些框、装置、系统、技术或方法可以以硬件、软件、固件、专用电路或逻辑、通用硬件或控制器或其他计算设备或其某种组合来实现。[0084]本发明的实施例可以由计算机软件来实现，该计算机软件由移动设备的数据处理器诸如在处理器实体中可执行，或者由硬件来实现，或者由软件和硬件的组合来实现。包括软件例程、小程序和/或宏的计算机软件或程序(也称为程序产品)可以存储在任何装置可读数据存储介质中，并且它们包括用于执行特定任务的程序指令。计算机程序产品可以包括当程序运行时被配置为执行实施例的一个或多个计算机可执行组件。一个或多个计算机可执行组件可以是至少一个软件代码或其一部分。另外，在这一点上，应当注意，如图中的逻辑流程的任何框可以表示程序步骤、或者互连的逻辑电路、框和功能、或者程序步骤和逻辑电路、框和功能的组合。软件可以存储在诸如存储器芯片或在处理器内实现的存储块等物理介质、诸如硬盘或软盘等磁性介质、以及诸如例如dvd及其数据变体、cd等光学介质上。物理介质是非瞬态介质。[0085]本领域的技术人员应该明白，以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。[0086]以上实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术的保护范围应以所附权利要求为准。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!