用于构建服务器资源能力基础数据的方法及系统与流程 专利技术说明

计算;推算;计数设备的制造及其应用技术1.本发明涉及数据处理技术领域，尤其涉及一种用于构建服务器资源能力基础数据的方法及系统。背景技术：2.在目前的服务器运维场景中，需要对服务器的各项资源使用情况进行统计，从而根据不同的运维能力管理要求，为每个产品(如运行在服务器的软件产品)的生产系统都生成相应的资源能力基础数据，进而为运维人员提供相关的分析数据，决策出对应的运维策略。3.然而，随着服务器内运行的产品越来越多，其运维的工作量也越来越大。现有仅靠纯人工获取用于服务器运维的基础数据，存在数据获取效率低，准确率不足的问题。4.因此，现在亟需一种用于构建服务器资源能力基础数据的方法及系统来解决上述问题。技术实现要素：5.针对现有技术存在的问题，本发明提供一种用于构建服务器资源能力基础数据的方法及系统。6.本发明提供一种用于构建服务器资源能力基础数据的方法，包括：7.获取预设监控时段内目标服务器的监控数据；8.根据所述监控数据，得到所述目标服务器中的各项资源在所述预设监控时段内的使用率汇总数据；9.确定所述预设监控时段内运行在所述目标服务器中各个产品的产品名称，并通过所述产品名称，对所述使用率汇总数据进行处理，获取不同产品在所述目标服务器中对应的资源使用率数据和资源使用率趋势图；10.通过所述资源使用率数据和所述资源使用率趋势图，构建所述目标服务器的资源能力基础数据。11.根据本发明提供的一种用于构建服务器资源能力基础数据的方法，所述目标服务器中的资源类型至少包括中央处理器、内存和文件目录，其中，所述文件目录包括系统文件目录和应用文件目录；12.所述获取预设监控时段内目标服务器的监控数据，包括：13.获取所述目标服务器在所述预设监控时段内的中央处理器使用率、内存使用率和文件目录使用率；14.根据所述中央处理器使用率、所述内存使用率和所述文件目录使用率，生成所述目标服务器的监控数据。15.根据本发明提供的一种用于构建服务器资源能力基础数据的方法，所述根据所述监控数据，得到所述目标服务器中的各项资源在所述预设监控时段内的使用率汇总数据，包括：16.根据所述监控数据和预设单位时长，分别计算所述目标服务器中各项资源在所述预设监控时段内的单位时长资源使用率，所述单位时长资源使用率包括中央处理器单位时长使用率、内存单位时长使用率和文件目录单位时长使用率；17.根据所述单位时长资源使用率，获取所述目标服务器中各项资源在所述预设监控时段内的资源使用率平均值和资源使用率最大值；18.根据所述单位时长资源使用率、所述资源使用率平均值和所述资源使用率最大值，构建得到各项资源在所述预设监控时段内的使用率汇总数据。19.根据本发明提供的一种用于构建服务器资源能力基础数据的方法，所述通过所述产品名称，对所述使用率汇总数据进行处理，获取不同产品在所述目标服务器中对应的资源使用率数据，包括：20.基于所述产品名称，对所述使用率汇总数据进行拆分，得到所述预设监控时段内运行在所述目标服务器中各个产品对应的资源使用率平均值和资源使用率最大值；21.根据所述产品名称，构建表格文件，所述表格文件中包括所述目标服务器中的各个资源对应的sheet页；22.将所述预设监控时段内运行在所述目标服务器中各个产品对应的资源使用率平均值和资源使用率最大值，导入至所述表格文件中对应的sheet页中，获取不同产品在所述目标服务器中对应的资源使用率数据。23.根据本发明提供的一种用于构建服务器资源能力基础数据的方法，所述通过所述产品名称，对所述使用率汇总数据进行处理，获取不同产品在所述目标服务器中对应的资源使用率趋势图，包括：24.基于所述产品名称，对所述单位时长资源使用率进行拆分，得到所述预设监控时段内运行在所述目标服务器中各个产品对应的单位时长资源使用率；25.按照所述产品名称，通过所述预设监控时段内运行在所述目标服务器中各个产品对应的单位时长资源使用率的变化趋势，获取不同产品在所述目标服务器中对应的资源使用率趋势图。26.根据本发明提供的一种用于构建服务器资源能力基础数据的方法，所述方法还包括：27.接收第一输入，所述第一输入包括确定目标监控时段和目标监控产品的操作；28.响应于所述第一输入，根据所述目标监控产品的产品名称和所述目标监控时段，构建所述目标服务器中的所述目标监控产品在所述目标监控时段内对应的资源能力基础数据。29.本发明还提供一种用于构建服务器资源能力基础数据的系统，包括：30.监控数据获取模块，用于获取预设监控时段内目标服务器的监控数据；31.数据导出模块，用于根据所述监控数据，得到所述目标服务器中的各项资源在所述预设监控时段内的使用率汇总数据；32.数据处理模块，用于确定所述预设监控时段内运行在所述目标服务器中各个产品的产品名称，并通过所述产品名称，对所述使用率汇总数据进行处理，获取不同产品在所述目标服务器中对应的资源使用率数据和资源使用率趋势图；33.资源能力基础数据输出模块，用于通过所述资源使用率数据和所述资源使用率趋势图，构建所述目标服务器的资源能力基础数据。34.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述用于构建服务器资源能力基础数据的方法。35.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述用于构建服务器资源能力基础数据的方法。36.本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述用于构建服务器资源能力基础数据的方法。37.本发明提供的用于构建服务器资源能力基础数据的方法及系统，通过对目标服务器中各项资源的使用率情况进行监控，根据获取到的监控数据，得到目标服务器中的各项资源在预设监控时段内的使用率汇总数据，进而按照目标服务器中各个应用的产品名称，对使用率汇总数据进行处理，获取不同产品对应的资源使用率数据和资源使用率趋势图，从而自动生成对应的资源能力基础数据，相比现有服务器的资源能力基础数据采用人工方式进行统计，本发明自动生成的资源能力基础数据的准确性和效率更高。附图说明38.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图进行简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。39.图1为本发明提供的用于构建服务器资源能力基础数据的方法的流程示意图；40.图2为本发明提供的使用率汇总数据构建过程的流程示意图；41.图3为本发明提供的用于构建服务器资源能力基础数据的系统的结构示意图；42.图4为本发明提供的电子设备的结构示意图。具体实施方式43.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。44.图1为本发明提供的用于构建服务器资源能力基础数据的方法的流程示意图，如图1所示，本发明提供了一种用于构建服务器资源能力基础数据的方法，包括：45.步骤101，获取预设监控时段内目标服务器的监控数据。46.在本发明中，通过对prometheus监控单元配置监控规则任务，从而利用prometheus监控单元对服务器的运行状态进行监控，进而将获取到的监控数据存储至时序数据库中，优选地，本发明采用influxdb数据库对prometheus监控单元生成的监控数据进行存储。在本发明中，将预设监控时段设置为按月进行监控，通过获取服务器上一月内的监控数据，从而自动生成资源能力基础数据，其中，资源能力基础数据是由服务器中各项资源的使用率对应的文本数据和趋势图构成的。47.步骤102，根据所述监控数据，得到所述目标服务器中的各项资源在所述预设监控时段内的使用率汇总数据。48.在本发明中，使用shell脚本调用对应的命令和脚本，首先通过步骤101，在查询并导出influxdb数据库中保存的prometheus监控数据后，使用python脚本，将导出的监控数据进行加工汇总，获取到服务器中各项资源在预设监控时段(如上一个月)内的使用率汇总数据，如中央处理器(central processing unit，简称cpu)在上一个月的使用率小时数据、使用率平均值和使用率最大值，内存在上一个月的使用率小时数据、使用率平均值和使用率最大值，以及系统目录和应用目录在上一个月的使用率小时数据、使用率平均值和使用率最大值。需要说明的是，在本发明中，对服务器中的资源使用率进行监控，除了上述cpu、内存以及系统目录和应用目录以外，还可包括其他资源，如图像处理器(graphics processing unit，简称gpu)，具体的被监控资源的类型和数量可根据实际运维需求确定。49.步骤103，确定所述预设监控时段内运行在所述目标服务器中各个产品的产品名称，并通过所述产品名称，对所述使用率汇总数据进行处理，获取不同产品在所述目标服务器中对应的资源使用率数据和资源使用率趋势图；50.在本发明中，对于服务器中运行的产品(如软件产品)，确定每种产品的产品名称，进而根据产品名称，将使用率汇总数据进行拆分，使得拆分后的使用率数据划分到对应的产品。51.在一实施例中，可根据监控数据中的cpu在上一个月的每小时使用率，计算得到cpu在上一个月cpu使用率汇总数据，如将cpu上一个月每小时的使用率进行统计求和，再根据cpu在上一个月的总使用时长求平均，得到服务器上一个月cpu使用率的平均值。在计算得到cpu使用率汇总数据后，根据不同产品在上一个月中每小时的资源使用情况，再计算得到不同产品在上一个月的cpu使用率平均值。52.在另一个实施例中，通过统计汇总服务器在上一个月每小时的cpu使用率，得到监控数据中的cpu资源使用率在上一个月的最大值为95％，进而根据不同产品在上一个月中每小时的cpu资源使用情况，计算各个产品在某个时间段内(以小时为单位)的最大资源使用率，从而获取不同产品在上一个月中对应的cpu资源使用率平均值和cpu资源使用率最大值，以构建得到不同产品对应的资源使用率数据。53.进一步地，根据使用率汇总数据，获取运行在服务器中的不同产品在上一个月中每小时的资源变化趋势，构建对应的趋势图，从而得到资源使用率趋势图。54.步骤104，通过所述资源使用率数据和所述资源使用率趋势图，构建所述目标服务器的资源能力基础数据。55.在本发明中，通过使用python语言中的各项模块，如os、csv、pandas、matplotlib以及openpyxl等功能模块，对服务器的监控数据进行处理，从而根据得到的资源使用率数据和资源使用率趋势图，自动生成服务器对应的资源能力基础数据。56.本发明提供的用于构建服务器资源能力基础数据的方法，通过对目标服务器中各项资源的使用率情况进行监控，根据获取到的监控数据，得到目标服务器中的各项资源在预设监控时段内的使用率汇总数据，进而按照目标服务器中各个应用的产品名称，对使用率汇总数据进行处理，获取不同产品对应的资源使用率数据和资源使用率趋势图，从而自动生成对应的资源能力基础数据，相比现有服务器的资源能力基础数据采用人工方式进行统计，本发明自动生成的资源能力基础数据的准确性和效率更高。57.在上述实施例的基础上，所述目标服务器中的资源类型至少包括中央处理器、内存和文件目录，其中，所述文件目录包系统文件目录和应用文件目录；58.所述获取预设监控时段内目标服务器的监控数据，包括：59.获取所述目标服务器在所述预设监控时段内的中央处理器使用率、内存使用率和文件目录使用率；60.根据所述中央处理器使用率、所述内存使用率和所述文件目录使用率，生成所述目标服务器的监控数据。61.在本发明中，通过查询influxdb数据库中的数据表，从而快速获取到目标服务器中各项资源在上一个月的监控数据，该监控数据中至少包括有中央处理器、内存和文件目录的使用率数据，从而为后续资源能力基础数据的构建提供更为准确且完善的运维数据。62.在上述实施例的基础上，所述根据所述监控数据，得到所述目标服务器中的各项资源在所述预设监控时段内的使用率汇总数据，包括：63.根据所述监控数据和预设单位时长，分别计算所述目标服务器中各项资源在所述预设监控时段内的单位时长资源使用率，所述单位时长资源使用率包括中央处理器单位时长使用率、内存单位时长使用率和文件目录单位时长使用率；64.根据所述单位时长资源使用率，获取所述目标服务器中各项资源在所述预设监控时段内的资源使用率平均值和资源使用率最大值；65.根据所述单位时长资源使用率、所述资源使用率平均值和所述资源使用率最大值，构建得到各项资源在所述预设监控时段内的使用率汇总数据。66.在本发明中，图2为本发明提供的使用率汇总数据构建过程的流程示意图，可参考图2所示，首先通过查询influxdb数据库中记录的cpu、内存和系统及应用目录数据的相关表，进而分别计算得到服务器在上一个月内每小时的cpu、内存、系统及应用目录的使用率，即中央处理器单位时长使用率、内存单位时长使用率和文件目录单位时长使用率；然后，根据中央处理器单位时长使用率、内存单位时长使用率和文件目录单位时长使用率，分别计算每台服务器上个月的cpu、内存、系统及应用目录的使用率平均值和使用率最大值，结合前面得到的单位时长资源使用率，构建得到各项资源在预设监控时段内的使用率汇总数据，最后再将上述得到各项资源对应的使用率汇总数据导出为csv文件，以用于后续生成资源能力基础数据。67.在上述实施例的基础上，所述68.通过所述产品名称，对所述使用率汇总数据进行处理，获取不同产品在所述目标服务器中对应的资源使用率数据，包括：69.基于所述产品名称，对所述使用率汇总数据进行拆分，得到所述预设监控时段内运行在所述目标服务器中各个产品对应的资源使用率平均值和资源使用率最大值；70.根据所述产品名称，构建表格文件，所述表格文件中包括所述目标服务器中的各个资源对应的sheet页；71.将所述预设监控时段内运行在所述目标服务器中各个产品对应的资源使用率平均值和资源使用率最大值，导入至所述表格文件中对应的sheet页中，获取不同产品在所述目标服务器中对应的资源使用率数据。72.在本发明中，首先使用预设设置好的python脚本，基于本次待分析的运维产品，将各项资源对应的使用率汇总数据csv文件，按照产品名称进行拆分，并根据不同产品在上一个月使用资源的小时数据，获得每个产品对于cpu、内存以及系统及应用目录的每月使用率的平均值和最大值；进一步地，python脚本，以每种资源构建对应的sheet页，并将各个产品的资源使用率平均值和资源使用率最大值，导入到对应命名的sheet页(如产品a的cpu资源使用率平均值，导入至cpu对应的sheet页)，使得每个产品上一个月的资源使用率平均值和资源使用率最大值都保存到单独对应的sheet页内，从而形成各个产品上一个月的资源使用率数据对应的表格文件，如excel表格文件。73.在上述实施例的基础上，所述通过所述产品名称，对所述使用率汇总数据进行处理，获取不同产品在所述目标服务器中对应的资源使用率趋势图，包括：74.基于所述产品名称，对所述单位时长资源使用率进行拆分，得到所述预设监控时段内运行在所述目标服务器中各个产品对应的单位时长资源使用率；75.按照所述产品名称，通过所述预设监控时段内运行在所述目标服务器中各个产品对应的单位时长资源使用率的变化趋势，获取不同产品在所述目标服务器中对应的资源使用率趋势图。76.在本发明中，通过python脚本，首先将上述实施例中csv文件按照产品名称进行拆分，得到每个产品在上一个月内每小时使用各项资源的数据，例如，通过python脚本，从使用率汇总数据拆分出产品a在上一月内每小时的cpu、内存和文件目录的使用率；进一步地，使用python脚本，根据每个产品在上一个月内每小时的cpu、内存以及文件目标的使用率数据，自动绘制趋势图，具体地，在一实施例中，可将时间轴作为横轴，每小时资源使用率数据作为纵轴，构建资源使用率趋势图趋势图。最后，通过，python脚本将每个产品对应的资源使用率趋势图插入至excel表格文件内对应的sheet页内，从而目标服务器的资源能力基础数据。77.在上述实施例的基础上，所述方法还包括：78.接收第一输入，所述第一输入包括确定目标监控时段和目标监控产品的操作；79.响应于所述第一输入，根据所述目标监控产品的产品名称和所述目标监控时段，构建所述目标服务器中的所述目标监控产品在所述目标监控时段内对应的资源能力基础数据。80.在本发明中，可根据运维监控需求，根据运维人员输入的监控操作，获取到目标监控时段和待监控的产品(即目标监控产品)；然后，从influxdb数据库中查询对应监控时段的目标监控数据，从而根据目标监控数据分别构建目标监控产品在目标监控时段内的资源使用率数据和资源使用率趋势图，更快效率且准确地得到运维监控需求对应的资源能力基础数据，便于运维人员根据该资源能力基础数据决策出相应的运维策略。81.下面对本发明提供的用于构建服务器资源能力基础数据的系统进行描述，下文描述的用于构建服务器资源能力基础数据的系统与上文描述的用于构建服务器资源能力基础数据的方法可相互对应参照。82.图3为本发明提供的用于构建服务器资源能力基础数据的系统的结构示意图，如图3所示，本发明提供了一种用于构建服务器资源能力基础数据的系统，包括监控数据获取模块301、数据导出模块302、数据处理模块303和资源能力基础数据输出模块304，其中，监控数据获取模块301用于获取预设监控时段内目标服务器的监控数据；数据导出模块302用于根据所述监控数据，得到所述目标服务器中的各项资源在所述预设监控时段内的使用率汇总数据；数据处理模块303用于确定所述预设监控时段内运行在所述目标服务器中各个产品的产品名称，并通过所述产品名称，对所述使用率汇总数据进行处理，获取不同产品在所述目标服务器中对应的资源使用率数据和资源使用率趋势图；资源能力基础数据输出模块304用于通过所述资源使用率数据和所述资源使用率趋势图，构建所述目标服务器的资源能力基础数据。83.本发明提供的用于构建服务器资源能力基础数据的系统，通过对目标服务器中各项资源的使用率情况进行监控，根据获取到的监控数据，得到目标服务器中的各项资源在预设监控时段内的使用率汇总数据，进而按照目标服务器中各个应用的产品名称，对使用率汇总数据进行处理，获取不同产品对应的资源使用率数据和资源使用率趋势图，从而自动生成对应的资源能力基础数据，相比现有服务器的资源能力基础数据采用人工方式进行统计，本发明自动生成的资源能力基础数据的准确性和效率更高。84.本发明提供的系统是用于执行上述各方法实施例的，具体流程和详细内容请参照上述实施例，此处不再赘述。85.图4为本发明提供的电子设备的结构示意图，如图4所示，该电子设备可以包括：处理器(processor)401、通信接口(communications interface)402、存储器(memory)403和通信总线404，其中，处理器401，通信接口402，存储器403通过通信总线404完成相互间的通信。处理器401可以调用存储器403中的逻辑指令，以执行用于构建服务器资源能力基础数据的方法，该方法包括：获取预设监控时段内目标服务器的监控数据；根据所述监控数据，得到所述目标服务器中的各项资源在所述预设监控时段内的使用率汇总数据；确定所述预设监控时段内运行在所述目标服务器中各个产品的产品名称，并通过所述产品名称，对所述使用率汇总数据进行处理，获取不同产品在所述目标服务器中对应的资源使用率数据和资源使用率趋势图；通过所述资源使用率数据和所述资源使用率趋势图，构建所述目标服务器的资源能力基础数据。86.此外，上述的存储器403中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。87.另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的用于构建服务器资源能力基础数据的方法，该方法包括：获取预设监控时段内目标服务器的监控数据；根据所述监控数据，得到所述目标服务器中的各项资源在所述预设监控时段内的使用率汇总数据；确定所述预设监控时段内运行在所述目标服务器中各个产品的产品名称，并通过所述产品名称，对所述使用率汇总数据进行处理，获取不同产品在所述目标服务器中对应的资源使用率数据和资源使用率趋势图；通过所述资源使用率数据和所述资源使用率趋势图，构建所述目标服务器的资源能力基础数据。88.又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的用于构建服务器资源能力基础数据的方法，该方法包括：获取预设监控时段内目标服务器的监控数据；根据所述监控数据，得到所述目标服务器中的各项资源在所述预设监控时段内的使用率汇总数据；确定所述预设监控时段内运行在所述目标服务器中各个产品的产品名称，并通过所述产品名称，对所述使用率汇总数据进行处理，获取不同产品在所述目标服务器中对应的资源使用率数据和资源使用率趋势图；通过所述资源使用率数据和所述资源使用率趋势图，构建所述目标服务器的资源能力基础数据。89.以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。90.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。91.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!