题目识别方法、装置、设备及存储介质与流程

计算;推算;计数设备的制造及其应用技术1.本技术涉及图像处理技术领域，尤其涉及一种题目识别方法、装置、设备及存储介质。背景技术：2.随着技术的发展，在教育市场中各种教育产品也逐渐增多，比如有拍摄解题产品等。其中，拍照解题产品的重要一步是能够对图像中的题目所在位置进行准确地检测，以便后续对该位置处的内容进行有效识别。3.相关技术中的一种实现方式中，在进行位置检测时，通常会检测出有关于题目的坐标信息和尺寸信息，并基于坐标信息和尺寸信息定位题目所在位置。但由于在拍摄时书本或者纸张可能会被卷折，或者用户在书写题目时笔迹倾斜等因素，使得照片中的题目内容可能呈现一定的倾斜角度，上述实现方式并不能准确定位题目所在位置，导致后续题目识别错误。技术实现要素：4.有鉴于此，本技术提供一种题目识别方法、装置、设备及存储介质。5.根据本技术实施例的第一方面，提供一种题目识别方法，包括：6.获取包括有题目的目标图像；7.检测所述目标图像中的题目所在位置，获取有关于所述题目的第一检测框；所述第一检测框对应有所述题目的倾斜角度；8.根据所述倾斜角度对所述第一检测框进行裁剪和旋转，获取有关于所述题目的第二检测框；所述第二检测框小于所述第一检测框；9.从所述目标图像中提取所述第二检测框处的题目内容进行识别。10.可选地，通过预先训练好的题目检测模型检测所述目标图像中的题目所在位置。11.可选地，所述第一检测框还对应有尺寸信息和坐标信息；12.所述根据所述倾斜角度对所述第一检测框进行裁剪和旋转，包括：13.根据所述倾斜角度对所述第一检测框的尺寸信息进行调整，获得所述第二检测框的尺寸信息；所述第二检测框的尺寸小于所述第一检测框的尺寸；14.根据所述倾斜角度和所述第二检测框的尺寸信息，对所述第一检测框的坐标信息进行调整，获取所述第二检测框的坐标信息。15.可选地，所述根据所述倾斜角度对所述第一检测框进行裁剪和旋转，包括：如果所述倾斜角度在预设角度范围内，根据所述倾斜角度对所述第一检测框进行裁剪和旋转；16.所述方法还包括：如果所述倾斜角度不在所述预设角度范围内，将所述倾斜角度置为0，并从所述目标图像中提取所述第一检测框处的题目内容进行识别。17.可选地，所述获取有关于所述题目的第一检测框，包括：18.获取所述题目检测模型输出的多个候选检测框，并确定每个所述候选检测框的diou值；其中，每个所述候选检测框的diou值为基准框的中心点与该候选检测框的中心点之间的欧式距离与包含所述基准框和该候选检测框的最小矩形的对角线长度之间的比值；每个所述候选检测框均对应有置信度，所述基准框基于所述置信度所确定；19.根据所述diou值低于预设阈值的所述候选检测框，确定有关于所述题目的第一检测框。20.可选地，所述从所述目标图像中提取所述第二检测框处的题目内容进行识别，包括：21.对所述第二检测框进行仿射变换，获得变换后的第二检测框；其中，所述变换后的第二检测框为矩形框；22.从所述目标图像中提取所述变换后的第二检测框处的题目内容进行识别。23.可选地，所述题目检测模型中包括特征提取网络；24.所述特征提取网络用于提取所述目标图像的图像特征，以使得所述题目检测模型根据所述图像特征检测所述目标图像中的题目所在位置。25.可选地，所述特征提取网络至少包括mobilenet网络。26.可选地，所述题目检测模型通过以下方式训练：27.获取若干包括有题目的样本图像，所述样本图像对应有标签，所述标签包括所述样本图像中有关于所述题目的坐标信息、尺寸信息以及倾斜角度；28.将若干所述样本图像输入预设模型中，通过所述预设模型检测所述样本图像中的题目所在位置，获取有关于所述题目的位置预测结果；所述位置预测结果包括有关于所述题目的坐标预测信息、尺寸预测信息以及预测倾斜角度；29.根据所述位置预测结果与所述标签之间的差异，调整所述预设模型的参数，获得所述题目检测模型。30.可选地，所述样本图像中有关于所述题目的倾斜角度在预设角度范围内。31.可选地，所述通过所述预设模型检测所述样本图像中的题目所在位置，还包括：32.通过所述预设模型检测所述样本图像中的题目的倾斜角度，获得所述题目的初始倾斜角度；33.使用所述预设模型对所述初始倾斜角度进行归一化处理，并根据归一化处理后的初始倾斜角度与角度系数获取所述预测倾斜角度；所述角度系数根据所述预设角度范围所确定。34.根据本技术实施例的第二方面，提供一种题目识别装置，包括：35.目标图像获取模块，用于获取包括有题目的目标图像；36.第一检测框获取模块，用于检测模型检测所述目标图像中的题目所在位置，获取有关于所述题目的第一检测框；所述第一检测框对应有所述题目的倾斜角度；37.第二检测框获取模块，用于根据所述倾斜角度对所述第一检测框进行裁剪和旋转，获取有关于所述题目的第二检测框；所述第二检测框小于所述第一检测框；38.题目识别模块，用于从所述目标图像中提取所述第二检测框处的题目内容进行识别。39.根据本技术实施例的第三方面，提供一种电子设备，包括：40.处理器；41.用于存储可执行指令的存储器；42.其中，所述处理器执行所述可执行指令时，被配置为实现第一方面任意一项所述的方法。43.根据本技术实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现本技术实施例的第一方面中任一所述方法的步骤。44.本技术实施例具有如下有益效果：45.本技术实施例提供了一种题目识别方法，在获取包括有题目的目标图像之后，检测所述目标图像中的题目所在位置，获取有关于所述题目的第一检测框，所述第一检测框用于指示所述题目在所述目标图像中的位置，所述第一检测框对应有所述题目的倾斜角度，然后根据所述倾斜角度对所述第一检测框进行裁剪和旋转，获取有关于所述题目的第二检测框，所述第二检测框用于指示所述题目在所述目标图像中的位置，所述第二检测框小于所述第一检测框，最后从所述目标图像中提取所述第二检测框处的图像内容进行题目识别。本实施例中对有关于所述题目的第一检测框进行裁剪，在裁剪之后得到的第二检测框小于所述第一检测框，从而可以有效避免或者减少获取的第二检测框包含其他题目的内容，并且本实施例对有关于所述题目的第一检测框进行旋转，可以有效校正题目倾斜问题，进一步地，本技术基于所述题目的倾斜角度对所述第一检测框进行裁剪和旋转，以所述题目本身的倾斜角度为基准，可以保证所述第二检测框中包含有本题目的内容，实现对所述题目的准确定位，提高后续对所述第二检测框中的内容(即所述题目)进行识别的准确性。附图说明46.图1以及图2为本技术示出的相关技术中进行题目检测得到的检测框的示意图；47.图3为本技术根据一示例性实施例示出的获取尺寸信息和角度信息的示意图；48.图4为本技术根据一示例性实施例示出的归一化处理的函数流程图；49.图5为本技术根据一示例性实施例示出的一种题目识别方法的实施例流程图；50.图6是本技术根据一示例性实施例示出的第二检测框的示意图；51.图7a和图7b是本技术根据一示例性实施例示出的对第一检测框进行裁剪和旋转的示意图；52.图8为本技术根据一示例性实施例示出的一种题目识别装置的实施例结构图；53.图9为本技术根据一示例性实施例示出的一种电子设备的硬件结构图。具体实施方式54.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本技术相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本技术的一些方面相一致的装置和方法的例子。55.在本技术使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本技术。在本技术和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。56.应当理解，尽管在本技术可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本技术范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。57.随着技术的发展，在教育市场中各种教育产品也逐渐增多，比如有拍摄解题产品等。其中，拍照解题产品的重要一步是能够对图像中的题目所在位置进行准确地检测，以便后续对该位置处的内容进行有效识别。58.相关技术中的一种实现方式中，在进行位置检测时，通常会检测出有关于题目的坐标信息和尺寸信息，并基于坐标信息和尺寸信息定位题目所在位置。但由于在拍摄时书本或者纸张可能会被卷折，或者用户在书写题目时笔迹倾斜等因素，使得照片中的题目内容可能呈现一定的倾斜角度，因此上述实现方式并不能准确定位题目所在位置，导致后续题目识别错误。比如请参见图1，对包括有题目的图像进行位置检测以获取有关于题目的检测框，所述检测框对应有坐标信息和尺寸信息，所述检测框用于定位所述题目在图像中所在位置，如图1所示，在获取的有关于所述题目的检测框中，检测框11中的题目存在倾斜现象，且检测框11包括了检测框12的内容，使得在后续提取检测框11中的内容进行识别时，导致识别结果出现错误。59.相关技术中的另一种实现方式中，针对于在拍摄时书本或者纸张可能会被卷折、或者用户在书写题目内容时笔迹倾斜等因素，使得照片中的题目内容呈现一定的倾斜角度的问题，因此在检测过程中加入了关于倾斜角度因素的考虑，通常会检测出有关于题目的坐标信息、尺寸信息和倾斜角度，基于坐标信息和尺寸信息确定用于定位题目的检测框，并使用获得的倾斜角度对所述检测框进行旋转，但在题目间距较小的情况下，旋转后的检测框可能也包括了其他检测框的内容，使得在后续提取该旋转后的检测框中的内容进行识别时，导致识别结果出现错误。比如请参阅图2，对包括有题目的图像进行位置检测后获取有关于题目的检测框，所述检测框对应有坐标信息、尺寸信息和倾斜角度，所述检测框用于定位所述题目在图像中所在位置，如图2所示，使用倾斜角度对检测框11进行旋转之后，检测框11中包含了检测框12和检测框13的内容，使得在后续提取检测框11中的内容进行识别时，导致识别结果出现错误。60.针对于相关技术中的问题，本技术实施例提供了一种题目识别方法，在获取包括有题目的目标图像之后，检测所述目标图像中的题目所在位置，获取有关于所述题目的第一检测框，所述第一检测框用于指示所述题目在所述目标图像中的位置，所述第一检测框对应有所述题目的倾斜角度，然后根据所述倾斜角度对所述第一检测框进行裁剪和旋转，获取有关于所述题目的第二检测框，所述第二检测框用于指示所述题目在所述目标图像中的位置，所述第二检测框小于所述第一检测框，最后从所述目标图像中提取所述第二检测框处的图像内容进行题目识别。本实施例中对有关于所述题目的第一检测框进行裁剪，在裁剪之后得到的第二检测框小于所述第一检测框，从而可以有效避免或者减少获取的第二检测框中包含其他题目的内容，并且本实施例对有关于所述题目的第一检测框进行旋转，可以有效校正题目倾斜问题，进一步地，本技术基于所述题目的倾斜角度对所述第一检测框进行裁剪和旋转，以所述题目本身的倾斜角度为基准，可以保证所述第二检测框中包含有本题目的内容，实现对所述题目的准确定位，提高后续对所述第二检测框中的内容(即所述题目)进行识别的准确性。61.其中，所述题目识别方法可以应用于电子设备上，所述电子设备包括但不限于智能交互平板、电脑、移动终端(如手机、平板等)、服务器、云端服务器或者可穿戴设备(如手表、手环)等设备。62.在一示例性的应用场景中，本技术实施例的题目识别方法可应用于拍照解题场景下，用户可以使用移动终端的拍照功能采集包括有题目的目标图像，进而所述移动终端可以使用本技术实施例的题目识别方法对所述目标图像进行题目识别，得到识别结果。在一个例子中，所述识别结果可以为未被解答的题目，则所述移动终端可以基于识别到的题目进行运算，获取并输出运算结果。在另一个例子中，所述识别结果可以为已被解答的题目，则所述移动终端可以将识别到的答案与预存的标准答案进行比对，根据比对结果进行评分。63.在一些实施例中，可以通过人工标注的方式获取有关于所述题目的第一检测框。在另一些实施例中，可以预先训练好一题目检测模型，从而可以通过所述题目检测模型来检测所述目标图像中的题目所在位置，从而获取有关于所述题目的第一检测框。64.以通过所述题目检测模型来检测所述目标图像中的题目所在位置为例进行说明：在应用本技术实施例的题目识别方法之前，本技术实施例需预先训练有题目检测模型，所述题目检测模型用于检测图像中的题目所在位置，获取有关于所述题目的坐标信息、尺寸信息和倾斜角度，从而后续相关电子设备可以对所述图像相应位置上的题目内容进行识别。其中，可以由电子设备来训练所述题目检测模型，该电子设备与执行所述题目识别方法的电子设备可以是同一个，也可以是不同的电子设备，比如可以在服务器上训练好所述题目检测模型之后，将所述题目检测模型移植到手机上，由手机在执行所述题目识别方法时使用所述题目检测模型。65.接下来对所述题目检测模型进行说明：首先，关于训练样本的准备：所述训练样本可以是若干包括有题目的样本图像，所述样本图像中对应有标签，所述标签包括有关于所述题目的坐标信息、尺寸信息以及倾斜角度。可以理解的是，本技术实施例对于所述题目的类型不做任何限制，所述题目包括但不限于数学题、语言题、化学题或者其他科目的题目等等。66.在一个例子中，所述电子设备可以获取标注有关于题目的坐标信息的样本图像，请参阅图3，比如所述坐标信息可以是所述题目所在位置的左上、右上、右下、左下四个角的坐标，分别为(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4)。67.对于尺寸信息的获取：所述电子设备可以根据左上、右上2个角的坐标获取长度信息(或者根据右下、左下2个角的坐标获取长度信息)；根据右上、右下2个角的坐标获取宽度信息(或者根据左上、左下2个角的坐标获取宽度信息)。本实施例中通过坐标信息来确定尺寸信息，无需人工标注，有利于提高效率。68.对于倾斜角度的获取：所述电子设备可以计算左上角坐标和左下角坐标中横坐标的均值和纵坐标的均值，得到均值坐标(x',y')；以及计算右上角坐标和右下角坐标中横坐标的均值和纵坐标的均值，得到均值坐标(x”,y”)，将两个均值坐标的连线与横轴的夹角α作为所述题目的倾斜角度。本实施例中通过坐标信息来确定倾斜角度，无需人工标注，有利于提高效率。69.当然，以上对于尺寸信息和倾斜角度的获取仅为举例说明，并不构成对本技术实施例的限定，也可以采用其他方式获取尺寸信息和倾斜角度，比如人工标注等。70.在训练过程中，所述电子设备将若干所述样本图像输入预设模型中，通过所述预设模型检测所述样本图像中的题目所在位置，获取有关于所述题目的位置预测结果；所述位置预测结果包括有关于所述题目的坐标预测信息、尺寸预测信息以及预测倾斜角度；然后根据所述位置预测结果与所述标签之间的差异，调整所述预设模型的参数，获得所述题目检测模型。本实施例中获得所述题目检测模型可以用于检测有关于题目的位置信息、尺寸信息和倾斜角度。71.在一些实施例中，所述题目检测模型可以包括有特征提取网络；所述特征提取网络用于提取所述目标图像的图像特征，以使得所述题目检测模型根据所述图像特征检测所述目标图像中的题目所在位置。例如所述特征提取网络包括轻量级特征提取网络mobilenet网络。72.作为例子，为了降低模型训练的难度，本技术实施例可以以yolo模型(例如yolo3模型)为基础，然后使用轻量级特征提取网络mobilenet网络(例如mobilenet v2网络)作为yolo模型的骨干网络(backbone)，从而能够减少模型的参数量，降低模型训练的计算量。73.进一步地，为了进一步降低模型的参数量和计算量，可以根据实际情况缩减模型中各个网络层的通道数，以达到减少模型的参数量和计算量的目的，这样训练好的题目检测模型所需的运行资源更少，能够运行在资源有限的设备中，同时由于计算量的减少使得响应速度也更快。74.在一些实施例中，考虑到在拍摄时书本或者纸张可能会被卷折，或者用户在书写题目时笔迹倾斜等因素导致的题目倾斜问题，其倾斜角度通常不会太大，因此，本技术实施例为了进一步提高模型收敛速度，对所述题目的倾斜角度进行了限制，即所述样本图像中有关于所述题目的倾斜角度在预设角度范围内。所述预设角度范围指示了因客观因素导致的题目内容倾斜的角度范围，比如所述预设角度范围为-45°到45°之间，本实施例排除拍照时的主观因素导致的题目倾斜，比如排除因书本或者纸张倾斜放置导致图像中所有题目内容倾斜的问题。75.进一步地，为了避免拍照时书本或者纸张倾斜放置导致图像中所有题目倾斜问题对模型训练所造成的干扰，本技术实施例可以在训练之前，对所述样本图像进行倾斜校正处理，使得所述样本图像的整体倾斜角度保持一个较小的数值，比如小于预设角度阈值，保证后续模型训练的准确性，并且本实施例限制所述倾斜角度也有利于加快模型训练的收敛速度。76.在一些实施例中，为了进一步加快模型收敛速度，在模型训练过程中，在通过所述预设模型检测所述样本图像中的题目所在位置时，本实施例加入了有关于倾斜角度的训练，即可以通过所述预设模型检测所述样本图像中的题目的倾斜角度，获得所述题目的初始倾斜角度，然后使用所述预设模型对所述初始倾斜角度进行归一化处理，数据归一化能够归纳统一数据的统计分布性，再根据归一化处理后的初始倾斜角度与角度系数获取所述题目的所述预测倾斜角度，所述角度系数根据所述预设角度范围所确定，归一化处理的过程以及所述角度系数用于将所述预测倾斜角度限定在所述预设角度范围内，避免错误的预测角度对模型训练过程的干扰，从而有利于进一步加快模型收敛速度。77.在一些例子中，假设所述预设角度范围为(-max_angle，max_angle)，设所述角度系数为max_angle；在模型训练过程中，对所述模型得到的初始倾斜角度进行归一化处理，比如可以使用如图4所示的函数(斜率为1)，通过如图4所示的分段函数将所述模型得到的初始倾斜角度进行归一化处理，然后计算归一化处理后的初始倾斜角度与角度系数之积，即为最终获取的所述题目的所述预测倾斜角度，本实施例中通过归一化处理排除了不属于预设角度范围的倾斜角度的干扰，从而有利于进一步加快模型收敛速度。78.在训练好所述题目检测模型之后，接下来对本技术实施例的题目识别方法进行说明，请参阅图5，图5为本技术实施例提供的一种题目识别方法的流程示意图，所述方法可应用于电子设备上，所述方法包括：79.在步骤s101中，获取包括有题目的目标图像。80.在步骤s102中，检测所述目标图像中的题目所在位置，获取有关于所述题目的第一检测框；所述第一检测框对应有所述题目的倾斜角度。81.在步骤s103中，根据所述倾斜角度对所述第一检测框进行裁剪和旋转，获取有关于所述题目的第二检测框。82.在步骤s104中，从所述目标图像中提取所述第二检测框处的图像内容进行题目识别。83.在一些实施例中，所述电子设备具有拍照功能，所述电子设备可以获取自身采集的包括有题目的目标图像；或者，所述电子设备也可以接收其他设备发送的包括有题目的目标图像，可依据实际应用场景进行具体设置，本技术实施例对此不做任何限制。84.在一些实施例中，可以通过人工标注的方式获取有关于所述题目的第一检测框。在另一些实施例中，所述电子设备包括有预先训练好的所述题目检测模型。在获取所述目标图像之后，所述电子设备可以将所述目标图像输入预先训练好的题目检测模型中，通过所述题目检测模型检测所述目标图像中的题目所在位置，获取有关于所述题目的第一检测框，所述第一检测框对应有所述题目的倾斜角度，所述第一检测框用于指示所述题目在所述目标图像中的位置。85.其中，所述题目检测模型在检测所述目标图像中各个题目所在位置之后，输出有关于所述题目的多个候选检测框，所述电子设备可以从所述多个候选检测框中筛选出有关于所述题目的第一检测框。86.在一些可能的实现方式中，所述候选检测框对应有置信度，所述置信度用于表征所述候选检测框中对应有题目的概率，则所述电子设备可以根据所述置信度大于预设置信度阈值的候选检测框确定有关于所述题目的第一检测框，滤除置信度小于预设置信度阈值的候选检测框。87.在另一些可能的实现方式中，考虑到置信度并不是完全准确的，因此，为了进一步提高检测的准确性，所述电子设备在获取所述题目检测模型输出的多个候选检测框之后，可以确定每个所述候选检测框的diou值，然后将所述候选检测框的diou值与预设阈值进行比较，滤除diou值高于预设阈值的候选检测框，并根据所述diou值低于预设阈值的所述候选检测框，确定有关于所述题目的第一检测框。作为例子，所述候选检测框对应有置信度，可以将置信度最高的候选检测框作为基准框，每个所述候选检测框的diou值为基准框的中心点与该候选检测框的中心点之间的欧式距离与包含基准框和该候选检测框的最小矩形的对角线长度的比值；所述diou值表征基准框与该候选检测框的相关程度，如果diou值高于预设阈值，表明具有很高的相关度，可能基准框与该候选检测框都对应同一个题目，则两个中可以滤除一个；如果diou值低于预设阈值，表明相关度很低，可能基准框与该候选检测框分别对应不同题目，则两个均保留。本实施例中通过计算diou值，能够更为准确地保留有效的候选检测框，根据有效的候选检测框确定有关于所述题目的第一检测框，进一步提升检测性能，同时本技术实施例通过计算diou值来实现候选框筛选的方式，相较于计算iou值来实现候选框筛选的方式，更适用于题目内容密集排布的场景，能够实现对密集排布的有关于题目的候选检测框进行准确地筛选，保证获取的有关于题目的第一检测框的准确性。88.在获取有关于所述题目的第一检测框之后，在步骤s103中，所述电子设备可以根据所述倾斜角度对所述第一检测框进行裁剪，在裁剪之后得到的第二检测框小于所述第一检测框，从而可以有效避免或者减少获取的第二检测框包含其他题目的内容，以及，所述电子设备根据所述倾斜角度对裁剪后的第一检测框进行旋转，实现对题目倾斜问题有效校正，从而获取有关于所述题目的第二检测框，所述第二检测框用于指示所述题目在所述目标图像中的位置，进一步地，本技术基于所述题目的倾斜角度对所述第一检测框进行裁剪和旋转，以所述题目本身的倾斜角度为基准，可以保证所述第二检测框中包含有本题目的内容，实现对所述题目的准确定位，提高后续对所述第二检测框中的内容(即所述题目)进行识别的准确性。89.在一些实施例中，考虑到本技术在训练所述题目检测模型时，对所述题目的倾斜角度进行了限制，因此，为了提高检测准确率，本实施例在获取有关于所述题目的第一检测框之后，判断所述第一检测框对应的所述题目的倾斜角度是否在预设角度范围内，如果所述倾斜角度在预设角度范围内，则所述电子设备可以根据所述倾斜角度对所述第一检测框进行裁剪和旋转，以获取有关于所述题目的第二检测框。如果所述倾斜角度不在所述预设角度范围内，将所述倾斜角度置为0，即无需对所述第一检测框进行裁剪旋转处理，所述电子设备直接从所述目标图像中提取所述第一检测框处的题目内容进行识别。本实施例通过对第一检测框对应的倾斜角度是否在预设角度范围内的判断，有利于排除角度预测错误所带来的检测框定位错误的问题，从而有利于提升对于所述题目所在位置的检测准确率。90.在一种可能的实现方式中，所述第一检测框还对应有尺寸信息和坐标信息；作为例子，所述尺寸信息可以包括所述第一检测框的长宽信息，所述坐标信息可以包括所述第一检测框中心点的坐标或者所述第一检测框左上、右上、右下、左下四个角中至少一个的坐标。91.在对所述第一检测框进行裁剪和旋转时，所述电子设备可以根据所述倾斜角度对所述第一检测框的尺寸信息进行调整，从而获得所述第二检测框的尺寸信息；所述第二检测框的尺寸小于所述第一检测框的尺寸；然后所述电子设备可以根据所述倾斜角度和所述第二检测框的尺寸信息，对所述第一检测框的坐标信息进行调整，获取所述第二检测框的坐标信息。本实施例中，通过对所述第一检测框的尺寸信息进行调整，使得所述第二检测框的尺寸小于所述第一检测框的尺寸，可以有效避免或者减少获取的第二检测框包含其他题目的内容进一步通过对第一检测框的坐标信息的调整，可以有效校正检测框的位置，消除题目倾斜问题，进一步地，本技术基于所述题目的倾斜角度对所述第一检测框进行裁剪和旋转，以所述题目本身的倾斜角度为基准，可以保证所述第二检测框中包含有本题目的内容，实现对所述题目的准确定位，提高后续对所述第二检测框中的内容(即所述题目)进行识别的准确性。92.示例性的，请参阅图1以及图6，在使用本实施例的题目识别方法对图1所述的检测框11进行裁剪和旋转之后，可以得到如图6所示的检测框11，图6所示的检测框11仅包括本题目的内容而没有覆盖到其他题目的内容，实现对所述题目的准确定位，提高后续对所述第二检测框中的内容(即所述题目)进行识别的准确性。93.在一个例子中，在获取的有关于所述题目的第一检测框中，所述第一检测框对应有坐标信息(假设有左上、右上、右下、左下四个角的坐标，分别为p1`(x11,y11)、p2`(x22,y11)、p3`(x11,y22)和p4`(x22,y22))、尺寸信息(假设有长宽信息，分别为w`、h`)和倾斜角度(假设为θ)。其中请参阅图7a，本实施例中将在水平方向沿顺时针方向的倾斜角度确定为正，即θ大于0；请参阅图7b，将在水平方向沿逆时针方向的倾斜角度确定为负，即θ小于0。94.所述电子设备可以根据所述倾斜角度对所述第一检测框的尺寸信息进行调整，从而获得所述第二检测框的尺寸信息，设第二检测框的尺寸信息(即长宽信息)为w、h，则有h×sinθ+w×cosθ＝w`，h×cosθ+w×sinθ＝h`，即95.所述电子设备可以根据所述倾斜角度和所述第二检测框的尺寸信息，对所述第一检测框的坐标信息进行调整，获取所述第二检测框的坐标信息，设第二检测框的坐标信息(假设有左上、右上、右下、左下四个角的坐标)分别为p1、p2、p3和p4)，则当θ《0时，p1,p2,p3,p4坐标计算公式分别为p1＝(x11,y11+w*sin(-θ))，p2＝(x22-h*sin(-θ),y11)，p3＝(x22,y22-w*sin(-θ))，p4＝(x11+h*sin(-θ)),y22)；当θ》0时，p1,p2,p3,p4坐标计算公式分别为p1＝(x11+h*sin(θ),y11)，p2＝(x22,y11+w*sin(θ))，p3＝(x22-h*sin(θ),y22)，p4＝(x11,y22-w*sin(θ))。进一步地，为了提高后续的提取所述第二检测框中的题目内容的效率，可以采用取整函数int()将p1、p2、p3和p4四个坐标中的横坐标和纵坐标均进行取整处理，从而使得所述电子设备可以更快从所述目标图像中提取所述第二检测框中的题目内容。96.在获取有关于所述题目的第二检测框之后，在步骤s104中，所述电子设备可以从所述目标图像中提取所述第二检测框处的题目内容进行识别。作为例子，所述电子设备可以将从所述目标图像中提取的所述第二检测框处的题目内容输入预先训练好的识别模型中，通过所述识别模型对所述第二检测框处的题目内容进行题目识别，从而获取题目识别结果。本实施例中由于第二检测框中只包括本题目的内容而不包括其他题目的内容，提取所述第二检测框处的题目内容进行识别有利于提高识别准确性。97.在一些实施例中，为了进一步提高提取所述第二检测框处的题目内容的效率，所述电子设备可以对所述第二检测框进行仿射变换，获得变换后的第二检测框，其中，所述变换后的第二检测框为矩形框，然后所述电子设备从所述目标图像中提取所述变换后的第二检测框处的题目内容进行识别。本实施例中考虑到矩形框比其他形状的框更容易截取，因此本实施例先将所述第二检测框进行仿射变换以获取矩形框，并从目标图像中截取矩形框所在位置的图像内容，从而有利于提高提取题目内容的效率，也进一步提高获取题目识别结果的效率。98.与本技术的题目识别方法的实施例相对应，本技术还提供了题目识别装置、电子设备以及计算机可读存储介质的实施例。99.请参阅图8，为本技术实施例提供的一种题目识别装置的一个实施例框图，该装置包括：100.目标图像获取模块201，用于获取包括有题目的目标图像。101.第一检测框获取模块202，用于检测所述目标图像中的题目所在位置，获取有关于所述题目的第一检测框；所述第一检测框对应有所述题目的倾斜角度。102.第二检测框获取模块203，用于根据所述倾斜角度对所述第一检测框进行裁剪和旋转，获取有关于所述题目的第二检测框；所述第二检测框小于所述第一检测框。103.题目识别模块204，用于从所述目标图像中提取所述第二检测框处的题目内容进行识别。104.在一实施例中，通过预先训练好的题目检测模型检测所述目标图像中的题目所在位置。105.在一实施例中，所述第一检测框还对应有尺寸信息和坐标信息。106.所述第一检测框获取模块202包括：107.尺寸调整单元，用于根据所述倾斜角度对所述第一检测框的尺寸信息进行调整，获得所述第二检测框的尺寸信息；所述第二检测框的尺寸小于所述第一检测框的尺寸。108.坐标调整单元，用于根据所述倾斜角度和所述第二检测框的尺寸信息，对所述第一检测框的坐标信息进行调整，获取所述第二检测框的坐标信息。109.在一实施例中，所述第一检测框获取模块202包括：110.如果所述倾斜角度在预设角度范围内，根据所述倾斜角度对所述第一检测框进行裁剪和旋转。111.所述题目识别模块204，还用于如果所述倾斜角度不在所述预设角度范围内，将所述倾斜角度置为0，并从所述目标图像中提取所述第一检测框处的题目内容进行识别。112.在一实施例中，所述第一检测框获取模块202包括：获取所述题目检测模型输出的多个候选检测框，并确定每个所述候选检测框的diou值；根据所述diou值低于预设阈值的所述候选检测框，确定有关于所述题目的第一检测框；其中，每个所述候选检测框的diou值为基准框的中心点与该候选检测框的中心点之间的欧式距离与包含所述基准框和该候选检测框的最小矩形的对角线长度的比值；每个所述候选检测框均对应有置信度，所述基准框基于所述置信度所确定。113.在一实施例中，所述题目识别模块204，包括：114.变换单元，用于对所述第二检测框进行仿射变换，获得变换后的第二检测框；其中，所述变换后的第二检测框为矩形框。115.识别单元，用于从所述目标图像中提取所述变换后的第二检测框处的题目内容进行识别。116.在一实施例中，所述题目检测模型中包括特征提取网络。117.所述特征提取网络用于提取所述目标图像的图像特征，以使得所述题目检测模型根据所述图像特征检测所述目标图像中的题目所在位置。118.在一实施例中，所述特征提取网络至少包括mobilenet网络。119.在一实施例中，训练所述题目检测模型包括：120.样本获取模块，用于获取若干包括有题目的样本图像，所述样本图像对应有标签，所述标签包括所述样本图像中有关于所述题目的坐标信息、尺寸信息以及倾斜角度。121.预测结果获取模块，用于将若干所述样本图像输入预设模型中，通过所述预设模型检测所述样本图像中的题目所在位置，获取有关于所述题目的位置预测结果；所述位置预测结果包括有关于所述题目的坐标预测信息、尺寸预测信息以及预测倾斜角度。122.参数调整模块，用于根据所述位置预测结果与所述标签之间的差异，调整所述预设模型的参数，获得所述题目检测模型。123.在一实施例中，所述样本图像中有关于所述题目的倾斜角度在预设角度范围内。124.在一实施例中，所述预测结果获取模块包括：125.初始倾斜角度获取单元，用于通过所述预设模型检测所述样本图像中的题目的倾斜角度，获得所述题目的初始倾斜角度。126.预测倾斜角度获取单元，用于使用所述预设模型对所述初始倾斜角度进行归一化处理，并根据归一化处理后的初始倾斜角度与角度系数获取所述预测倾斜角度；所述角度系数根据所述预设角度范围所确定。127.对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本技术方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。128.相应的，如图9所示本技术实施例还提供一种电子设备30，包括有处理器31；用于存储可执行指令的存储器32，其中，处理器31执行所述可执行指令时，被配置为：129.获取包括有题目的目标图像；130.检测所述目标图像中的题目所在位置，获取有关于所述题目的第一检测框；所述第一检测框对应有所述题目的倾斜角度；131.根据所述倾斜角度对所述第一检测框进行裁剪和旋转，获取有关于所述题目的第二检测框；所述第二检测框小于所述第一检测框；132.从所述目标图像中提取所述第二检测框处的题目内容进行识别。133.所述处理器31执行所述存储器32中包括的可执行指令，所述处理器31可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。134.所述存储器32存储所述题目识别方法的可执行指令，所述存储器32可以包括至少一种类型的存储介质，存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，sd或dx存储器等等)、随机访问存储器(ram)、静态随机访问存储器(sram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、可编程只读存储器(prom)、磁性存储器、磁盘、光盘等等。而且，设备可以与通过网络连接执行存储器的存储功能的网络存储装置协作。存储器32可以是设备30的内部存储单元，例如设备30的硬盘或内存。存储器32也可以是设备30的外部存储设备，例如设备30上配备的插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)等。进一步地，存储器32还可以既包括设备30的内部存储单元也包括外部存储设备。存储器32用于存储计算机程序33以及设备所需的其他程序和数据。存储器32还可以用于暂时地存储已经输出或者将要输出的数据。135.这里描述的各种实施方式可以使用例如计算机软件、硬件或其任何组合的计算机可读介质来实施。对于硬件实施，这里描述的实施方式可以通过使用特定用途集成电路(asic)、数字信号处理器(dsp)、数字信号处理装置(dspd)、可编程逻辑装置(pld)、现场可编程门阵列(fpga)、处理器、控制器、微控制器、微处理器、被设计为执行这里描述的功能的电子单元中的至少一种来实施。对于软件实施，诸如过程或功能的实施方式可以与允许执行至少一种功能或操作的单独的软件模块来实施。软件代码可以由以任何适当的编程语言编写的软件应用程序(或程序)来实施，软件代码可以存储在存储器中并且由控制器执行。136.电子设备30可以是智能交互平板、桌上型计算机、笔记本、掌上电脑、服务器、云服务器及手机、播放器等。设备可包括，但不仅限于，处理器31、存储器32。本领域技术人员可以理解，图9仅仅是电子设备30的示例，并不构成对电子设备30的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如设备还可以包括输入输出设备、网络接入设备、总线等。137.上述设备中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。138.在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器，上述指令可由装置的处理器执行以完成上述方法。例如，非临时性计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。139.一种非临时性计算机可读存储介质，当存储介质中的指令由终端的处理器执行时，使得终端能够执行上述方法。140.本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本技术的其它实施方案。本技术旨在涵盖本技术的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本技术的一般性原理并包括本技术未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本技术的真正范围和精神由下面的权利要求指出。141.应当理解的是，本技术并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本技术的范围仅由所附的权利要求来限制。142.以上仅为本技术的较佳实施例而已，并不用以限制本技术，凡在本技术的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本技术保护的范围之内。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!