数据写入方法、装置及电子设备与流程

计算;推算;计数设备的制造及其应用技术1.本发明涉及数据处理技术领域，特别是涉及数据写入方法、装置及电子设备。背景技术：2.对象存储系统为用户提供基于网络的数据存取服务。通过对象存储系统，用户可以通过网络方便地存储和获取图片、音频、视频、文本等各类数据文件。其中，对象存储系统可以将用户上传的数据文件以对象(object)的形式组织到存储空间(bucket)里，然后提供地址(域名)给用户用于分享或下载数据文件。3.上述对象存储系统一般基于代理集群(如nginx)实现数据访问。现有技术中，代理集群用于接收来自客户端的数据请求，并将数据请求分发给对象存储服务器以获取数据请求对应的请求结果，同时代理集群还用于针对接收到的数据请求生成日志条目数据，并负责将生成的日志条目数据写入日志服务器中的日志数据库。4.然而，在高并发场景下，由于代理集群在接收和分发大量的数据请求的同时，针对每一数据请求均需要生成并存储日志数据，使得代理集群的性能下降严重。技术实现要素：5.本发明实施例的目的在于提供数据写入方法、装置及电子设备，以避免代理集群的性能下降。具体技术方案如下：6.第一方面，本发明实施例提供一种数据写入方法，应用于对象存储系统中的日志处理端，所述对象存储系统还包括代理集群，所述日志处理端与所述代理集群相通信，所述方法包括：7.持续接收所述代理集群发送的各个数据请求对应的原始信息，其中，每一数据请求对应的原始信息为：所述代理集群基于所接收的数据请求所生成的、用于生成日志条目数据的信息；8.针对每一数据请求，基于该数据请求对应的原始信息，生成该数据请求对应的日志条目数据，其中，每一日志条目数据包括各个字段数据，每个字段数据的字段标识为预设字段标识；9.将各个数据请求对应的日志条目数据写入日志数据库。10.可选地，所述将各个数据请求对应的日志条目数据写入日志数据库，包括：11.将各个数据请求对应的日志条目数据写入至少一个日志文件，其中，每一日志文件用于写入符合预定汇总条件的日志条目数据，所述预定汇总条件包括：生成时间属于同一时间粒度，或所对应数据请求的接收时间属于同一时间粒度；12.在所述日志数据库中，存储所述至少一个日志文件。13.可选地，所述在所述日志数据库中，存储所述至少一个日志文件之前，所述方法还包括：14.对所述日志文件中的各日志条目数据进行修正处理，得到修正后的日志文件；15.其中，所述修正处理包括：16.若日志条目数据中目标字段数据的字段内容，与所述目标字段数据对应的实际内容不同，将所述目标字段数据的字段内容修改为所述目标字段数据对应的存储内容；17.其中，所述目标字段数据对应的实际内容为：所述目标字段数据所属日志条目数据对应的数据请求所针对数据，在对象存储系统中的存储内容。18.可选地，所述对所述日志文件中的各日志条目数据进行修正处理，得到修正后的日志文件，包括：19.通过至少一个运行实例，对所述日志文件中的各日志条目数据进行修正处理，得到修正后的日志文件。20.可选地，所述至少一个运行实例的数量为多个，不同运行实例对应不同的条目位置范围；21.所述通过至少一个运行实例，对所述日志文件中的各日志条目数据进行修正处理，得到修正后的日志文件，包括：22.通过所述多个运行实例中的每一运行实例，对所述日志文件中的、与该运行实例对应的条目位置范围的日志条目数据进行修正处理，得到修正后的日志文件。23.可选地，所述方法还包括：24.接收针对所述日志数据库中的已存储日志条目数据的统计请求，其中，所述统计请求中携带有用户标识、统计字段和筛选规则；25.按照所述筛选规则，对所述日志数据库中，来自所述用户标识所表示用户的数据请求对应的日志条目数据进行筛选；26.统计筛选后的日志条目数据中属于所述统计字段的字段数据；27.基于所统计的字段数据，生成针对所述统计请求的响应结果。28.可选地，所述方法还包括：29.接收针对所述日志数据库中的已存储日志条目数据的索引请求，其中，所述索引请求中携带有索引标识；30.从所述日志数据库中，查询所述索引标识所表示的日志条目数据；31.基于所查询的日志条目数据，生成针对所述索引请求的响应结果。32.第二方面，本发明实施例提供一种数据写入装置，应用于对象存储系统中的日志处理端，所述对象存储系统还包括代理集群，所述日志处理端与所述代理集群相通信，所述装置包括：33.信息接收模块，用于持续接收所述代理集群发送的各个数据请求对应的原始信息，其中，每一数据请求对应的原始信息为：所述代理集群基于所接收的数据请求所生成的、用于生成日志条目数据的信息；34.数据生成模块，用于针对每一数据请求，基于该数据请求对应的原始信息，生成该数据请求对应的日志条目数据，其中，每一日志条目数据包括各个字段数据，每个字段数据的字段标识为预设字段标识；35.数据写入模块，用于将各个数据请求对应的日志条目数据写入日志数据库。36.可选地，数据写入模块，具体用于将各个数据请求对应的日志条目数据写入至少一个日志文件，其中，每一日志文件用于写入符合预定汇总条件的日志条目数据，预定汇总条件包括：生成时间属于同一时间粒度，或所对应数据请求的接收时间属于同一时间粒度；在日志数据库中，存储至少一个日志文件。37.可选地，数据写入模块，还用于在在日志数据库中，存储至少一个日志文件之前，对日志文件中的各日志条目数据进行修正处理，得到修正后的日志文件；其中，修正处理包括：若日志条目数据中目标字段数据的字段内容，与目标字段数据对应的实际内容不同，将目标字段数据的字段内容修改为目标字段数据对应的存储内容；其中，目标字段数据对应的实际内容为：目标字段数据所属日志条目数据对应的数据请求所针对数据，在对象存储系统中的存储内容。38.可选地，数据写入模块，具体用于通过至少一个运行实例，对日志文件中的各日志条目数据进行修正处理，得到修正后的日志文件。39.可选地，至少一个运行实例的数量为多个，不同运行实例对应不同的条目位置范围；40.数据写入模块，具体用于通过多个运行实例中的每一运行实例，对日志文件中的、与该运行实例对应的条目位置范围的日志条目数据进行修正处理，得到修正后的日志文件。41.可选地，装置还包括：42.统计模块，用于接收针对日志数据库中的已存储日志条目数据的统计请求，其中，统计请求中携带有用户标识、统计字段和筛选规则；按照筛选规则，对日志数据库中，来自用户标识所表示用户的数据请求对应的日志条目数据进行筛选；统计筛选后的日志条目数据中属于统计字段的字段数据；基于所统计的字段数据，生成针对统计请求的响应结果。43.可选地，装置还包括：44.索引模块，用于接收针对日志数据库中的已存储日志条目数据的索引请求，其中，索引请求中携带有索引标识；从日志数据库中，查询索引标识所表示的日志条目数据；基于所查询的日志条目数据，生成针对索引请求的响应结果。45.第三方面，本发明实施例提供一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；46.存储器，用于存放计算机程序；47.处理器，用于执行存储器上所存放的程序时，实现第一方面任一所述的方法步骤。48.第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现第一方面任一项所述的方法步骤。49.本发明实施例有益效果：50.本发明实施例所提供的数据写入方法中，由于可以通过对象存储系统中的日志处理端接收代理集群基于所接收的数据请求所生成的原始信息，并基于原始信息生成日志条目数据，进而将日志条目数据写入日志数据库，因此，可以避免由代理集群针对所接收的数据请求生成日志条目数据，从而可以减小代理集群的资源消耗。可见，通过本方案，可以避免代理集群的性能下降。51.当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。附图说明52.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。53.图1为本发明实施例所提供的数据写入方法的流程图；54.图2为本发明实施例所提供的数据写入方法的另一流程图；55.图3为本发明实施例所提供的数据写入方法的另一流程图；56.图4为本发明实施例所提供的数据写入方法的另一流程图；57.图5为本发明实施例所提供的数据写入方法的另一流程图；58.图6为本发明实施例所提供的对象存储系统的结构示意图；59.图7为本发明实施例所提供的数据写入装置的架构示意图；60.图8为本发明实施例所提供的数据写入装置的结构示意图；61.图9为本发明实施例所提供的电子设备的结构示意图。具体实施方式62.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。63.为了避免代理集群的性能下降，本发明实施例提供了数据写入方法、装置及电子设备。64.下面首先从对象存储系统中的日志处理端角度，对本发明实施例所提供的一种数据写入方法进行介绍。65.需要说明的是，本发明实施例所提供的对象存储系统还包括代理集群，日志处理端与代理集群相通信。上述代理集群在对象存储系统中负责接收/分发来自客户端的数据请求，同时基于所接收到的数据请求生成用于生成日志条目数据的原始信息，并将所生成的原始信息发送给日志处理端，由日志处理端基于原始信息生成并存储日志条目数据，而代理集群不需要要生成、存储日志条目数据。66.上述日志处理端可以为服务器等具有数据处理能力的设备。并且，本发明实施例提供的数据写入方法可以通过软件、硬件或软硬件结合的方式实现。67.其中，本发明实施例提供的一种数据写入方法，应用于对象存储系统中的日志处理端，可以包括如下步骤：68.持续接收所述代理集群发送的各个数据请求对应的原始信息，其中，每一数据请求对应的原始信息为：所述代理集群基于所接收的数据请求所生成的、用于生成日志条目数据的信息；69.针对每一数据请求，基于该数据请求对应的原始信息，生成该数据请求对应的日志条目数据，其中，每一日志条目数据包括各个字段数据，每个字段数据的字段标识为预设字段标识；70.将各个数据请求对应的日志条目数据写入日志数据库。71.本发明实施例所提供的数据写入方法中，由于可以通过对象存储系统中的日志处理端接收代理集群基于所接收的数据请求所生成的原始信息，并基于原始信息生成日志条目数据，进而将日志条目数据写入日志数据库，因此，可以避免由代理集群针对所接收的数据请求生成日志条目数据，从而可以减小代理集群的资源消耗。可见，通过本方案，可以避免代理集群的性能下降。72.下面结合附图，对本发明实施例所提供的一种数据写入方法进行详细介绍。73.如图1所示，本发明实施例提供的一种数据写入方法，应用于对象存储系统中的日志处理端，可以包括如下步骤：74.s101，持续接收代理集群发送的各个数据请求对应的原始信息，其中，每一数据请求对应的原始信息为：代理集群基于所接收的数据请求所生成的、用于生成日志条目数据的信息；75.其中，代理集群在接收到每一数据请求后，可以基于该数据请求生成原始信息，并将该原始信息发送给日志处理端。原始信息所包含的内容可以基于实际需求确定。76.可选的，在一种实现方式中，代理集群可以将所接收的数据请求作为原始信息。或者，代理集群还可以在接收到数据请求后，可以记录接收数据请求的接收时间、数据量、请求类型等信息，并记录所记录的信息生成原始信息。或者，代理集群还可以获取数据请求所请求数据的数据信息，如数据标识、数据大小、存储类型、计费流量等信息，并将所获取的数据信息作为原始信息。或者，代理集群还可以将所接收到的数据请求、所记录的信息和/或所获取的数据信息打包后作为原始信息。77.代理集群在生成原始信息后，可以向日志处理端发送原始信息。可选的，代理集群每接收到一数据请求，即向日志处理端发送该数据请求对应的原始信息，从而日志处理端可以持续的接收到代理集群所发送的各个数据请求对应的原始信息。78.s102，针对每一数据请求，基于该数据请求对应的原始信息，生成该数据请求对应的日志条目数据，其中，每一日志条目数据包括各个字段数据，每个字段数据的字段标识为预设字段标识；79.在接收到代理集群发送的原始信息后，由于需要基于所接收的原始信息生成日志条目数据，因此，日志处理端可以按照接收到原始信息的顺序，依次对每一数据请求对应的原始信息进行处理，生成该数据请求对应的日志条目数据。80.可以理解的是，为了生成所需的日志条目数据，可以预先设置有预设字段标识，每一预设字段标识即为所需生成日志条目数据中字段数据的字段标识。上述字段标识可以为字段名称，可以包括以下至少一个：请求时间、数据标识，数据大小，连接时长，传输字节，存储类型，请求类型、计费流量等。81.当需要基于原始信息生成日志条目数据时，可以按照每一预设字段标识，从原始信息中选取字段标识为该预设字段标识的字段数据。82.举例而言，预设字段标识为：请求时间和数据标识，而数据请求1对应的原始信息包含：{(请求时间：2020年11月12日)、(数据标识：文件1)、(请求类型：修改类型)、(传输字节：1024kb)}，则日志处理端可以选取到字段数据(请求时间：2020年11月12日)和(数据标识：文件1)，生成如表1所示的日志条目数据：83.表184.请求时间数据标识2020年11月12日文件185.则如表1所示的日志条目数据即为数据请求1对应的日志条目数据。86.s103，将各个数据请求对应的日志条目数据写入日志数据库；87.日志处理端在生成各个数据请求对应的日志条目数据后，可以将生成的各个日志条目数据写入日志数据库，以持久化存储日志条目数据。可选的，日志处理端可以向日志数据库发起写入请求，并向日志数据库发送所生成的日志条目数据，完成日志条目数据的写入。88.本实施例所提供方案中，由于可以通过对象存储系统中的日志处理端接收代理集群基于所接收的数据请求所生成的原始信息，并基于原始信息生成日志条目数据，进而将日志条目数据写入日志数据库，因此，可以避免由代理集群针对所接收的数据请求生成日志条目数据，从而可以减小代理集群的资源消耗。可见，通过本方案，可以避免代理集群的性能下降。89.可选的，在本发明的另一实施例中，在将目录条目数据写入日志数据库之后，日志处理端还可以接收针对日志数据库中已存储的日志条目数据的各类操作请求，并基于所接收的操作请求针对日志数据库中已存储的日志条目数据执行相应的响应操作，以实现用户对日志条目数据进行管理。90.示例性的，上述操作请求可以为统计请求，此时，基于图1的实施例，如图2所示，本发明的另一实施例所提供的数据写入方法，在步骤s103之后，还可以包括：91.s104，接收针对日志数据库中的已存储日志条目数据的统计请求，其中，统计请求中携带有用户标识、统计字段和筛选规则；92.示例性的，日志处理端所接收的统计请求可以为代理集群发送的，则在一种实现方式中，代理集群接收来自用户的统计请求，并在接收到统计请求后将所接收的统计请求转发给日志处理端。93.示例性的，日志处理端所接收的统计请求还可以为任意与其相通信的电子设备发送的，例如：统计请求可以为客户端设备通过日志处理端的接口直接向日志处理端发送的请求，或其他用于对日志数据进行管理的服务端发送的请求等。94.日志处理端所接收的统计请求中携带用户标识、统计字段和筛选规则。其中，用户标识可以为用户账户、用户名称等可用于表示用户的信息。上述统计字段为所要进行统计字段。而上述筛选规则用于从日志条目数据中筛选出属于统计请求所针对的日志条目数据。95.举例而言，如统计请求请求需要统计2020年1月1日至2020年1月2日期间内接收到来自于用户a的、类型为写入类型的请求的次数。则用户标识可以为用户a，统计字段可以为写入类型，筛选规则可以为：筛选出时间2020年1月1日至2020年1月2日的数据请求对应的日志条目数据。96.再举一例，如基于计费需求，需要统计用户a在2020年1月1日至2020年1月2日期间内所使用的计费流量的使用量，则用户标识可以为用户a，统计字段可以为请求数据的计费流量，筛选规则为：筛选出2020年1月1日至2020年1月2日期间内、请求类型为写入请求的数据请求对应的日志条目数据。97.可选的，上述筛选规则还可以为用户筛选异常数据请求对应的字段数据。以仅针对正常的数据请求进行统计。98.s105，按照筛选规则，对日志数据库中，来自用户标识所表示用户的数据请求对应的日志条目数据进行筛选；99.可选的，可以基于用户标识从已存储的日志条目数据中确定出来自用户标识所表示用户的数据请求对应的日志条目数据。进而可以进一步的按照筛选规则对所确定的日志条目数据进行筛选。100.举例而言，如表1所示，包含6条日志条目数据。其中，每一行表示一个数据请求对应的日志条目数据。以编号为1为例说明，对象存储系统在2020年1月1日接收到用户a发送的请求类型为写入类型的数据请求，用于在对象存储系统中存储数据大小为5m的文件2。101.表2[0102][0103][0104]日志处理端接收到统计请求1，其中，统计请求1中请求统计2020年1月1日至2020年1月2日期间内接收到来自于用户a的写入数据的数据大小。统计请求1中携带的用户标识为用户a，携带的筛选规则为：筛选出时间2020年1月1日至2020年1月2日期间内、请求类型为写入类型的数据请求对应的日志条目数据。则基于用户a确定出编号为1、2和3的日志条目数据。进而根据筛选规则筛选出编号为1的日志条目数据。[0105]s106，统计筛选到的日志条目数据中属于统计字段的字段数据；[0106]在筛选出日志条目数据后，可以统计筛选到的日志条目数据中属于统计字段的字段数据。[0107]举例而言，在上述示例中，统计请求1中的统计字段为数据大小，则确定筛选后的日志条目数据中属于数据大小的字段数据为5m。[0108]s107，基于所统计的字段数据，生成针对统计请求的响应结果。[0109]可选的，上述响应结果可以为与频率、次数、大小、时长等各类信息。根据不同的统计需求，所确定的响应结果是不同的。[0110]举例而言，在上述示例中，所要统计的是写入数据的数据大小，则筛选出的字段数据5m即为所要统计的写入数据的数据大小。可选的，若筛选出的为多个字段数据，若字段数据1的字段值为5m、字段数据2的字段值为6m，字段数据3的字段值为10m，则可以将所筛选的结果累加5m+6m+10m＝11m，作为响应结果。[0111]再举一例，若需要统计的为预设时间段内用户在对象存储系统中存储数据的数据量变化大小，则可以筛选出在预设时间段内请求类型为写入数据类型的数据请求对应的数据大小和请求类型为删除数据类型的数据请求对应的数据大小，再进行计算。示例性的，在预设时间段，写入数据的数据大小分别为5m和6m，而删除数据的数据大小为4m，则计算出5m+6m-4m＝7m，作为响应结果。[0112]再举一例，若需要统计的为预设时间段内用户发送请求类型为写入请求的次数，则可以筛选出在预设时间段每一请求类型为写入类型的数据请求对应的日志条目数据，并统计筛选出的日志条目数据的数量，作为响应结果。[0113]本实施例所提供方案中，由于可以通过对象存储系统中的日志处理端接收代理集群基于所接收的数据请求所生成的原始信息，并基于原始信息生成日志条目数据，进而将日志条目数据写入日志数据库，因此，可以避免由代理集群针对所接收的数据请求生成日志条目数据，从而可以减小代理集群的资源消耗。可见，通过本方案，可以避免代理集群的性能下降。[0114]另外，日志处理端可以基于所接收的统计请求对已存储在日志数据库中的日志条目数据进行统计，从而进一步的实现了用户对日志条目数据进行管理。[0115]示例性的，上述操作请求可以为索引请求，此时，基于图1的实施例，如图3所示，本发明的另一实施例所提供的数据写入方法，在步骤s103之后，还可以包括：[0116]s108，接收针对日志数据库中的已存储日志条目数据的索引请求，其中，索引请求中携带有索引标识；[0117]其中，日志处理端所接收的索引请求可以为代理集群发送的，则在一种实现方式中，代理集群接收来自用户的索引请求，并在接收到索引请求后将所接收的索引请求转发给日志处理端。当然，日志处理端所接收的索引请求还可以为任意与其相通信的电子设备发送的，例如：索引请求可以为客户端设备通过日志处理端的接口直接向日志处理端发送的请求，或其他用于对日志数据进行管理的服务端发送的请求等。[0118]可选的，在本发明的一种实现方式中，日志处理端所接收的索引请求可以为全文索引请求。其中，全文索引请求可以对日志目录数据的全文内容开启索引，其索引标识可以为字段内容，支持查询日志目录数据中所有的字段内容。[0119]示例性的，如表3所示：[0120]表3[0121]编号请求时间数据标识数据大小请求时长12020年1月1日文件15m0.1s22020年1月2日文件15m0.5s32020年1月3日文件25m0.4s[0122]上述表格中，空白格标识日志处理端未从原始信息中选取出该字段数据的字段内容。则全文索引请求的索引标识可以为包括表3中任意一个字段内容，如索引标识可以为文件1或文件1+0.5s。[0123]可选的，在本发明的另一种实现方式中，日志处理端所接收的索引请求可以为段索引请求。其中，段索引请求可以指定字段标识，其所要标识可以为字段内容。如在段索引请求指定的字段标识为数据标识时，索引标识可以为文件2。[0124]可选的，上述索引标识的字段类型可以根据需要进行设置，如可以包括text(文本)类型、json(java script object notation，java脚本对象表示法)类型、double(双重)类型等。可选的，上述所以请求可以基于sql(structured query language，结构化查询语言)查询语法或api(application programming interface，应用程序接口)调用命令实现。[0125]s109，从日志数据库中，查询索引标识所表示的日志条目数据；[0126]其中，可以根据从日志数据库已存储日志条目数据中查询索引标识所表示的日志条目数据。[0127]举例而言，在表3示例中，若索引请求为全文索引请求，当索引标识为文件1，则查询出编号为1和2的日志条目数据。若索引标识为文件1+0.5s，则查询出编号为2的日志条目数据。若索引请求为段索引请求，段索引请求所指示的字段标识为数据大小。当索引标识为5m，则查询出编号为1、2和3的日志条目数据。段索引请求所指示的字段标识为数据标识，索引标识为文件2，则查询出编号为3的日志条目数据。[0128]s110，基于所查询的日志条目数据，生成针对索引请求的响应结果。[0129]其中，可以将所查询的日志条目数据作为响应结果，或者，将所查询的日志条目数据按照指定条件进行排序后作为响应结果。[0130]本实施例所提供方案中，由于可以通过对象存储系统中的日志处理端接收代理集群基于所接收的数据请求所生成的原始信息，并基于原始信息生成日志条目数据，进而将日志条目数据写入日志数据库，因此，可以避免由代理集群针对所接收的数据请求生成日志条目数据，从而可以减小代理集群的资源消耗。可见，通过本方案，可以避免代理集群的性能下降。[0131]另外，日志处理端可以基于所接收的索引请求对已存储在日志数据库中的日志条目数据进行索引，从而进一步的实现了用户对日志条目数据进行管理。[0132]基于图1的实施例，如图4所示，本发明的另一实施例所提供的数据写入方法，步骤s103包括：[0133]s103a，将各个数据请求对应的日志条目数据写入至少一个日志文件，其中，每一日志文件用于写入符合预定汇总条件的日志条目数据，预定汇总条件包括：生成时间属于同一时间粒度，或所对应数据请求的接收时间属于同一时间粒度；[0134]其中，至少一个日志文件可以为至少一个csv(comma-separated values，逗号分隔值)文件。上述时间粒度可以根据需求进行配置。如时间粒度可以配置为1小时，也可以为配置为1分钟。需要说明的是，一般而言时间粒度配置的越长，其生成的日志文件越大，存储日志条目数据的时长越长。反之粒度配置的越小，其生成的日志文件越小，存储日志条目数据的时长越短。[0135]可选的，在一种实现方式中，可以基于日志条目数据的生成时间作为写入日志文件的依据。举例而言，时间粒度为1小时，则将在2020年1月1日11时-2020年1月1日12时所生成的日志条目数据写入同一个日志文件，2020年1月1日12时之后，生成新的日志文件，用于写入生成时间靠后的日志条目数据。[0136]可选的，在另一种实现方式中，可以基于日志条目数据所对应数据请求的接收时间作为写入日志文件的依据。由于从接收到数据请求到生成日志条目数据之间存在时间差，而为了方便以请求接收时间对日志条目数据进行管理，可以以日志条目数据所对应数据请求的接收时间作为写入日志文件的依据。举例而言，时间粒度为1小时，则将在2020年1月1日11时-2020年1月1日12时所接收的数据请求所对应的日志条目数据写入同一个日志文件。[0137]可选的，在一种实现方式中，可以先缓存符合预定汇总条件的日志条目数据，再将所缓存日志条目数据同时写入日志文件。可选的，在另一种实现方式中，还可以每针对所接收的数据请求生成一日志条目数据，即将该日志条目数据写入其所符合的日志文件中，直至写满一个时间粒度，则将下一个日志条目数据写入下一个时间粒度的日志文件。[0138]s103b，在日志数据库中，存储至少一个日志文件。[0139]其中，将日志文件发生至日志数据库，以使日志数据库存储该日志文件。[0140]本实施例所提供方案中，由于可以通过对象存储系统中的日志处理端接收代理集群基于所接收的数据请求所生成的原始信息，并基于原始信息生成日志条目数据，进而将日志条目数据写入日志数据库，因此，可以避免由代理集群针对所接收的数据请求生成日志条目数据，从而可以减小代理集群的资源消耗。可见，通过本方案，可以避免代理集群的性能下降。[0141]基于图4的实施例，如图5所示，本发明的另一实施例所提供的数据写入方法，在步骤s103b之前，还包括：[0142]s111，对日志文件中的各日志条目数据进行修正处理，得到修正后的日志文件。[0143]其中，上述修正处理包括：若日志条目数据中目标字段数据的字段内容，与目标字段数据对应的实际内容不同，将目标字段数据的字段内容修改为目标字段数据对应的存储内容；其中，目标字段数据对应的实际内容为：目标字段数据所属日志条目数据对应的数据请求所针对数据，在对象存储系统中的存储内容。[0144]需要说明的是，在对象存储系统中，由于对象存储系统在存储数据时，可能需要对所存储的数据的数据标识改写为符合对象存储规则的标识。因此，为了避免所存储日志条目数中字段内容与实际在对象存储中实际存储的实际内容不同，需要对字段进行修正。[0145]示例性的，如表4所示：[0146]表4[0147]编号用户标识请求时间数据标识数据大小1用户a2020年1月1日文件15m2用户b2020年1月2日文件23m[0148]编号1和2分为日志处理端所生成的日志条目数据。其中，编号为1的日志条目数据1的数据标识对应的字段内容为文件1。日志条目数据1对应的数据请求1所针对文件1，在对象存储系统中的存储内容为：数据标识：文件1a，即日志条目数据1中数据标识的字段内容文件1，与字段数据对应的实际内容文件1a不同，则需要将编号为1的日志条目数据1的数据标识对应的字段内容修正为文件1a。而编号为2的日志条目数据2的数据标识对应的字段内容为文件2。日志条目数据2对应的数据请求2所针对文件2，在对象存储系统中的存储内容为：数据标识：文件2，即日志条目数据2中数据标识的字段内容文件2，与字段数据对应的实际内容文件2相同，则不需要进行修正。最终修正后的日志条目数据为表5所示：[0149]表5[0150]编号用户标识请求时间数据标识数据大小1用户a2020年1月1日文件1a5m2用户b2020年1月2日文件23m[0151]可选的，在一种实现方式中，步骤s111可以包括：[0152]通过至少一个运行实例，对日志文件中的各日志条目数据进行修正处理，得到修正后的日志文件。[0153]其中，运行实例的数量可以根据运行实例对内存与cpu(中央处理器，central processing unit)的消耗情况决定并行的运行实例的数量。至少一个运行实例可以按照上述修正处理的方式对日志文件中的各日志条目数据进行修正处理，得到修正后的日志文件。[0154]可选的，至少一个运行实例的数量为多个，不同运行实例对应不同的条目位置范围，此时，步骤s111可以包括：[0155]通过多个运行实例中的每一运行实例，对日志文件中的、与该运行实例对应的条目位置范围的日志条目数据进行修正处理，得到修正后的日志文件[0156]其中，可选的，运行实例的数量为多个。而为了避免资源浪费，运行实例的数量最多为与针对日志文件中日志条目数据所划分的条目位置范围的数量。[0157]举例而言，日志文件中包含100行日志条目数据，被划分为5个条目位置范围，分别为：条目位置范围1，为1-20行日志条目数据。条目位置范围2，为21-40行日志条目数据。条目位置范围3，为41-60行日志条目数据。条目位置范围4，为61-80行日志条目数据。条目位置范围5，为81-100行日志条目数据。[0158]则最多启动5个运行实例，分别为运行实例1、运行实例2、运行实例3、运行实例4和运行实例5。其中，运行实例1对应的条目位置范围的日志条目数据为1-20行日志条目数据。运行实例2对应的条目位置范围的日志条目数据为21-40行日志条目数据。运行实例3对应的条目位置范围的日志条目数据为41-60行日志条目数据。运行实例4对应的条目位置范围的日志条目数据为61-80行日志条目数据。运行实例5对应的条目位置范围的日志条目数据为81-100行日志条目数据。[0159]若运行实例小于条目位置范围的数量，则每一运行实例处理完所对应的条目位置范围的日志条目数据后，依次获取下一个尚未被处理的条目位置范围的日志条目数据。[0160]可选的，在本发明的一个实施例中，至少一个调度器还可以在对日志条目数据进行处理时，记录其所处理的日志条目数据的位置，确保意外停止后可以从该位置处继续对日志条目数据进行处理。[0161]本实施例所提供方案中，由于可以通过对象存储系统中的日志处理端接收代理集群基于所接收的数据请求所生成的原始信息，并基于原始信息生成日志条目数据，进而将日志条目数据写入日志数据库，因此，可以避免由代理集群针对所接收的数据请求生成日志条目数据，从而可以减小代理集群的资源消耗。可见，通过本方案，可以避免代理集群的性能下降。[0162]为了更清楚的展示本发明实施例所提供的数据写入方法，如图6所示，本发明实施例提供的对象存储系统结构示意图。本发明实施例所提供的数据写入方法应用与图6中的日志处理端。代理集群在对象存储系统中负责接收/分发来自客户端的数据请求，同时基于所接收到的数据请求生成用于生成日志条目数据的原始信息，并将所生成的原始信息发送给日志处理端，由日志处理端基于原始信息生成并存储日志条目数据，而代理集群不需要要生成、存储日志条目数据。[0163]本实施例所提供方案中，由于可以通过对象存储系统中的日志处理端接收代理集群基于所接收的数据请求所生成的原始信息，并基于原始信息生成日志条目数据，进而将日志条目数据写入日志数据库，因此，可以避免由代理集群针对所接收的数据请求生成日志条目数据，从而可以减小代理集群的资源消耗。可见，通过本方案，可以避免代理集群的性能下降。[0164]可选的，如图7为实现本发明的一实施例中所提供的数据写入装置的架构示意图。其中，数据源采集模块、数据加工模块、信息存储模块和查询与分析模块均包含于对象存储系统中的日志处理端。[0165]其中，上述数据源采集模块，用于持续接收代理集群发送的各个数据请求对应的原始信息，即图7中的源logstore(日志存储)；并基于该数据请求对应的原始信息，生成该数据请求对应的日志条目数据；[0166]而上述数据加工模块中包含调取器、消费组和维表，其中，调度器针对每一预设的加工规则，均启动一个或多个运行实例，其中，加工规则为对日志条目数据进行修正处理的规则。每个运行实例作为消费组中的消费者，从数据源采集模块中流式读取日志条目数据，具体的，每一消费者按照预设的时间粒度从数据源采集模块中流式读取日志条目数据。如图7中所示的shard(碎片)，图中的每一碎片即为消费者按照预设的时间粒度从数据源采集模块中读取的日志条目数据。同时，消费者还按照加工规则对读取的日志条目数据进行修正处理，并生成相应的日志文件。数据加工模块中的维表用于记录shard的消费位置，以确保意外停止后可以从断点处继续读取日志条目数据。[0167]上述信息存储模块，用于将数据加工模块生成的日志文件进行落盘存储，以实现持久化存储与系统间分享。其中，数据存储使用对象存储，可以实现海量可无限扩容，并可应对高并发访问场景。[0168]上述查询与分析模块，用于接收针对日志数据库中的已存储日志条目数据的统计请求，其中，统计请求中携带有用户标识、统计字段和筛选规则；按照筛选规则，对日志数据库中，来自用户标识所表示用户的数据请求对应的日志条目数据进行筛选；统计筛选后的日志条目数据中属于统计字段的字段数据；基于所统计的字段数据，生成针对统计请求的响应结果。还用于接收针对日志数据库中的已存储日志条目数据的索引请求，其中，索引请求中携带有索引标识；从日志数据库中，查询索引标识所表示的日志条目数据；基于所查询的日志条目数据，生成针对索引请求的响应结果。[0169]相应于上述所提供的方法，如图8所示，本发明实施例还提供了一种数据写入装置，应用于对象存储系统中的日志处理端，对象存储系统还包括代理集群，日志处理端与代理集群相通信，装置包括：[0170]信息接收模块801，用于持续接收代理集群发送的各个数据请求对应的原始信息，其中，每一数据请求对应的原始信息为：代理集群基于所接收的数据请求所生成的、用于生成日志条目数据的信息；[0171]数据生成模块802，用于针对每一数据请求，基于该数据请求对应的原始信息，生成该数据请求对应的日志条目数据，其中，每一日志条目数据包括各个字段数据，每个字段数据的字段标识为预设字段标识；[0172]数据写入模块803，用于将各个数据请求对应的日志条目数据写入日志数据库。[0173]可选的，数据写入模块，具体用于将各个数据请求对应的日志条目数据写入至少一个日志文件，其中，每一日志文件用于写入符合预定汇总条件的日志条目数据，预定汇总条件包括：生成时间属于同一时间粒度，或所对应数据请求的接收时间属于同一时间粒度；在日志数据库中，存储至少一个日志文件。[0174]可选的，数据写入模块，还用于在在日志数据库中，存储至少一个日志文件之前，对日志文件中的各日志条目数据进行修正处理，得到修正后的日志文件；其中，修正处理包括：若日志条目数据中目标字段数据的字段内容，与目标字段数据对应的实际内容不同，将目标字段数据的字段内容修改为目标字段数据对应的存储内容；其中，目标字段数据对应的实际内容为：目标字段数据所属日志条目数据对应的数据请求所针对数据，在对象存储系统中的存储内容。[0175]可选的，数据写入模块，具体用于通过至少一个运行实例，对日志文件中的各日志条目数据进行修正处理，得到修正后的日志文件。[0176]可选的，至少一个运行实例的数量为多个，不同运行实例对应不同的条目位置范围；[0177]数据写入模块，具体用于通过多个运行实例中的每一运行实例，对日志文件中的、与该运行实例对应的条目位置范围的日志条目数据进行修正处理，得到修正后的日志文件。[0178]可选的，装置还包括：[0179]统计模块，用于接收针对日志数据库中的已存储日志条目数据的统计请求，其中，统计请求中携带有用户标识、统计字段和筛选规则；按照筛选规则，对日志数据库中，来自用户标识所表示用户的数据请求对应的日志条目数据进行筛选；统计筛选后的日志条目数据中属于统计字段的字段数据；基于所统计的字段数据，生成针对统计请求的响应结果。[0180]可选的，装置还包括：[0181]索引模块，用于接收针对日志数据库中的已存储日志条目数据的索引请求，其中，索引请求中携带有索引标识；从日志数据库中，查询索引标识所表示的日志条目数据；基于所查询的日志条目数据，生成针对索引请求的响应结果。[0182]本发明实施例还提供了一种电子设备，如图9所示，包括处理器901、通信接口902、存储器903和通信总线904，其中，处理器901，通信接口902，存储器903通过通信总线904完成相互间的通信，[0183]存储器903，用于存放计算机程序；[0184]处理器901，用于执行存储器903上所存放的程序时，实现上述所提供的方法步骤。[0185]上述电子设备提到的通信总线可以是外设部件互连标准(peripheral component interconnect，pci)总线或扩展工业标准结构(extended industry standard architecture，eisa)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。[0186]通信接口用于上述电子设备与其他设备之间的通信。[0187]存储器可以包括随机存取存储器(random access memory，ram)，也可以包括非易失性存储器(non-volatile memory，nvm)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。[0188]上述的处理器可以是通用处理器，包括中央处理器(central processing unit，cpu)、网络处理器(network processor，np)等；还可以是数字信号处理器(digital signal processing，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。[0189]在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一数据写入方法的步骤。[0190]在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一数据写入方法。[0191]在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质(例如固态硬盘solid state disk(ssd))等。[0192]需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。[0193]本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。[0194]以上所述仅为本发明的较佳实施例，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!