日志异常监测方法、装置以及地图云平台和计算机设备与流程

计算;推算;计数设备的制造及其应用技术1.本公开涉及日志监测方法，特别涉及一种日志异常监测方法、装置以及地图云平台和计算机设备。背景技术：2.目前，对于日志异常的监测方法是遍历日志文件，对日志文件中的关键字，比如，“error”“success”等进行检索，当日志中出现对应的关键字，就说明是程序发生异常或者正常。3.但是，日志中也出现了一些不带“error”的错误日志的内容，这个时候通过关键字检索的方法就监测不到错误信息，会遗漏异常报警。技术实现要素：4.针对现有技术存在的问题，本公开主要披露一种日志异常监测方法、装置以及地图云平台和计算机设备，通过对任务日志的样本日志文件以及当前日志文件进行相似度比较计算，使得对日志文件异常情况的监测更加准确通用。5.为了实现上述目的，本公开采用的一个技术方案是：披露一种日志异常监测方法，其包括：6.通过预先建立的日志监测模型，读取当前日志文件，进行预处理；对预处理后的当前日志文件提取特征数据，生成当前特征向量；计算当前特征向量与样本特征向量之间的向量距离；以及，根据向量距离，判断当前日志文件与正常样本日志文件的相似度，若相似，则当前日志正常；若不相似，则当前日志异常并输出预警提示。7.本公开采用的另一个技术方案是：披露一种日志异常监测装置，其包括：8.预处理模块，用于通过预先建立的日志监测模型，读取当前日志文件，进行预处理；当前特征向量生成模块，用于对预处理后的当前日志文件提取特征数据，生成当前特征向量；向量距离计算模块，用于计算当前特征向量与样本特征向量之间的向量距离；以及，判断预警模块，用于根据向量距离，判断当前日志文件与正常样本日志文件的相似度，若相似，则当前日志正常；若不相似，则当前日志异常并输出预警提示。9.根据本公开第二方面，披露一种地图云平台，该地图云平台包括：地图数据库、可视化产品管理模块、数据申请模块、api网关模块、以及数据传输模块；所述数据申请模块、所述地图数据库以及数据传输模块用于向用户提供定制化地图数据及服务；所述api网关模块包括api接口和身份鉴权单元；所述可视化产品管理模块进一步包括前述任一种所述的日志异常监测装置和日志文件存储模块；所述日志文件存储模块用于存储正常历史日志文件、及将正常当前日志文件标以正常标签并予以储存，以及用于存储异常历史日志文件、及将异常日志文件标以异常标签并予以储存。10.根据本公开的第三方面，披露一种计算机设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器执行前述任一种所述的日志异常监测方法。11.本公开的技术方案可以达到的有益效果是：本公开的日志异常监测方法，通过当前日志文件进行以及正常样本日志文件以向量的形式进行相似度比较，计算得到任务日志的异常情况，使得对日志文件异常情况的监测更加准确，并且能够适用多种日志类型，监测方法更加通用。附图说明12.为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。13.图1是以在空间中的线段表示两个向量之间的夹角示意图；14.图2是本公开一种日志异常监测方法的一个可选实施方式的示意图；15.图3是本公开一种日志异常监测方法的一个可选实施例中变量剔除的示意图；16.图4是本公开一种日志异常监测方法的一个可选实施例的示意图；17.图5是本公开一种日志异常监测方法的一个可选实施例中词频统计的示意图；18.图6是本公开一种日志异常监测方法的一个可选实施例的示意图；19.图7是本公开一种日志异常监测方法的一个可选实施例的示意图；20.图8是本公开一种日志异常监测方法的一个可选实施例的示意图；21.图9是本公开一种日志异常监测方法的一个可选实施例的示意图；22.图10是本公开一种日志异常监测装置的一个可选实施方式的示意图；23.图11是本公开一种日志异常监测装置的一个可选实施例的示意图；24.图12是本公开一种日志异常数据监控平台的一个可选实施方式的示意图。25.通过上述附图，已示出本公开明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本公开的概念。具体实施方式26.下面结合附图对本公开的较佳实施例进行详细阐述，以使本公开的优点和特征能更易于被本领域技术人员理解，从而对本公开的保护范围做出更为清楚明确的界定。27.需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。28.对两个文件创建向量并计算向量距离。例如计算余弦距离的过程主要分为预处理‑‑》分词‑‑》词频统计‑‑》计算余弦相似度29.例如：30.文章a：我喜欢看电视，不喜欢看电影。31.文章b：我不喜欢看电视，也不喜欢看电影。32.分词：33.文章a：我/喜欢/看/电视，不/喜欢/看/电影。34.文章b：我/不/喜欢/看/电视，也/不/喜欢/看/电影。35.列出文章a和b中所有的词：36.我，喜欢，看，电视，电影，不，也。37.计算词频：38.文章a：我1，喜欢2，看2，电视1，电影1，不1，也0。39.文章b：我1，喜欢2，看2，电视1，电影1，不2，也1。40.写出词频向量：41.文章a：[1,2,2,1,1,1,0][0042]文章b：[1,2,2,1,1,2,1][0043]到这里，问题就变成了如何计算这两个向量的相似程度。[0044]我们可以把它们想象成空间中的两条线段，都是从原点([0,0,...])出发，指向不同的方向，如图1所示。两条线段之间形成一个夹角，如果夹角为0度，意味着方向相同、线段重合；如果夹角为90度，意味着形成直角，方向完全不相似；如果夹角为180度，意味着方向正好相反。因此，我们可以通过夹角的大小，来判断向量的相似程度。夹角越小，就代表越相似。这时就可以使用两个向量的余弦值代表两个文章的相似度夹角越小余弦值越接近越1，夹角越大余弦值越接近越0，余弦距离就是用1减去这个代表余弦相似度的余弦值。。[0045]下面以可选地实施例将结合附图对本公开的技术方案以及本公开的技术方案如何解决上述技术问题进行详细说明。下面这几个可选的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。[0046]图2示出了本公开一种日志异常监测方法的一个可选实施方式。[0047]在图2示出的可选实施方式中，本公开的日志异常监测方法主要包括：[0048]步骤s201通过预先建立的日志监测模型，读取当前日志文件，进行预处理，能够便于在预处理后的当前日志的基础上得到当前特征向量。[0049]步骤s202对预处理后的当前日志文件提取特征数据，生成当前特征向量，能够便于将当前特征向量与样本特征向量进行比较，从而进一步得到当前日志文件与样本日志文件的相似度。[0050]步骤s203，计算当前特征向量与样本特征向量之间的向量距离，能够便于根据向量距离判断当前日志文件与正常样本日志文件是否相似，并且进一步对当前日志是否是正常日志做出判断，并对异常日志的情况输出预警提示。[0051]以及步骤s204，根据向量距离，判断当前日志文件与正常样本日志文件的相似度，若相似，则当前日志正常；若不相似，则当前日志异常并输出预警提示，能够最终计算得到任务日志的异常情况，并输出预警，使得对日志文件异常情况的监测更加准确，并且能够适用多种日志类型，监测方法更加通用。[0052]本公开通过当前日志文件进行以及样本日志文件以向量的形式进行相似度比较，计算得到任务日志的异常情况，使得对日志文件异常情况的监测更加准确，并且能够适用多种日志类型，监测方法更加通用。[0053]可选的是，上述读取当前日志文件，进行预处理的过程包括，将当前日志文件整篇内容一次性读取完毕，将变量剔除，如数字、十六进制数据、星期几、地名、省份等常变数据替换为星号*，如图3所示。[0054]可选的是，上述读取当前日志文件，进行预处理的过程还包括，将整个当前日志文件的内容做分词处理。[0055]可选的是，上述读取当前日志文件，进行预处理的过程包括，将当前日志文件分行读取，将变量剔除，如数字、十六进制数据、星期几、地名、省份等常变数据替换为星号*，如图3所示。[0056]可选的是，上述读取当前日志文件，进行预处理的过程包括，将分行读取的当前日志文件进行行分类得到不同的行类。[0057]可选的是，上述日志模型根据任务日志的历史日志建立，其中包括样本特征向量以及样本日志文件，其中样本日志文件包括正常日志文件以及异常日志文件，样本特征向量根据样本日志文件创建。[0058]可选的是，上述日志检测模型根据任务日志的最近预定天数，例如30天，的历史日志建立，这样就能够保证其中的样本特征向量以及样本日志文件为最新的，保证其可靠性。[0059]在一可选实施例中，上述样本特征向量包括正常词特征样本向量，为与当前日志文件时间最近的正常样本日志文件的词特征向量，即根据与当前日志文件时间最近的正常样本日志文件提取的词特征向量，能够保证正常词特征样本向量是可靠的。[0060]在一可选实施例中，对预处理后的当前日志文件提取特征数据，生成当前特征向量的过程包括，对预处理后的当前日志文件提取词特征数据，生成当前词特征向量，以便于根据当前词特征向量与正常词特征样本向量进行相似度比较，判断当前日志的正常与否。[0061]可选的是，将整个当前日志文件的各个词(即词组)做词频统计，即计算出每个词在当前日志文件中出现的次数，如图5所示，并将当前日志文件中的词组与正常词特征样本向量的词组做比较，然后相互补全词组，所补全词组对应的频次为0。[0062]在一可选实施例中，计算当前特征向量与样本特征向量之间的向量距离的过程包括，计算当前词特征向量与正常词特征样本向量之间的向量距离得到当前词向量距离，以便于根据词向量距离判断当前日志文件正常与否。[0063]在一可选实施例中，根据向量距离，判断当前日志文件与正常样本日志文件的相似度的过程包括，若当前词向量距离小于预设的第一向量距离阈值，则将当前日志文件与正常样本日志文件判断为相似；若当前词向量距离不小于预设的第一向量距离阈值，则将当前日志文件与正常样本日志文件判断为不相似，以便于得到任务日常的异常情况并输出预警。[0064]在一可选的实例中，如图6所示，将新的当前日志文件(一个监控循环结束，下一个周期开始产生的日志)f1内容(整篇日志，一次性读取完毕)做预处理，将变量剔除，如数字、十六进制数据、星期几、地名、省份等常变数据替换为星号*如图3所示；将整个日志文件的内容做分词处理，做词频统计，即计算出每个词在日志文件中出现的次数，如图5所示，词频统计结果中的一部分，前者为具体的词(即词组)，后者为该词组出现的次数；将f1和与f1最近的一个正常样本文件f0的日志词频做比较，然后相互补全词组(补全词组对应的频次为0)，f0文件的词频组成向量a，f1文件的词频组成向量b(补全方式同理)，生成两个向量。[0065]余弦相似度计算：计算向量a和向量b之间夹角的余弦值，余弦值大于0.9(范围：0.85-0.98)，则表明这两个日志文件高度相似，新的日志文件则大概率是正常的，否则，余弦值小于0.85，则新的日志文件大概率是异常的。报出，需要人工确认。(具体的处理流程如图4)[0066]举例：f0和f1余弦相似度的计算过程，及判断过程：以二维向量为例，设f0词频向量为(x0,y0)，设f1词频向量为(x1,y1)，设两个向量的夹角为θ，则夹角的余弦值计算如下：[0067][0068]当值大于0.9，则表明f0和f1向量方向非常接近，判定f0和f1两篇内容都是正常的，如果值小于0.9，则表明f0和f1向量差异比较大，判定f1内容大概率为异常。[0069]在一可选实施例中，上述样本特征向量包括正常质心行特征向量以及异常行特征向量，其中正常质心行特征向量为，根据历史任务周期内的样本日志文件计算得到历史行特征向量，并抽取部分或全部历史行特征向量的质心向量得到的质心行特征向量；异常行特征向量为，根据历史任务周期内的异常样本日志文件，计算得到的异常样本日志文件的行特征向量。[0070]在一可选实施例中，对对预处理后的当前日志文件提取特征数据，生成当前特征向量的过程包括，对预处理后的当前日志文件提取行特征数据，生成当前行特征向量，以便于根据当前行特征向量与正常质心行特征向量以及距离最近异常行特征向量之间的距离，判断当前日志正常与否。[0071]可选的是，上述对预处理后的当前日志文件提取行特征数据，生成当前行特征向量的过程包括，将按照分行读取的整个当前日志文件的各个行类做行频统计，即计算出每个行类在当前日志文件中出现的次数，并将按照分行读取的当前日志文件的各个行类与最近预定天数的样本日志文件的行特征向量的各个行类做比较，然后相互补全行类，所补全行类对应的频次为0。[0072]在一可选实施例中，计算当前特征向量与样本特征向量之间的向量距离的过程包括，计算当前行特征向量与正常质心行特征向量之间的向量距离，得到第一当前行向量距离，以及，计算当前行特征向量与异常行特征向量之间的向量距离，得到向量距离最短的第二当前行向量距离。[0073]若第一当前行向量距离小于预设的第二距离阈值时，则当前日志文件与正常样本日志文件相似，提示当前日志文件正常；若第一当前行向量距离不小于第二距离阈值，则当前日志文件与正常样本日志文件不相似，提示当前日志文件异常。[0074]和/或若第一当前行向量距离小于预设的第二距离阈值时，则当前日志文件与正常样本日志文件相似，提示当前日志文件正常；若第一当前行向量距离不小于第二距离阈值，则当前日志文件与正常样本日志文件不相似，提示当前日志文件异常。[0075]可选的是，上述计算当前特征向量与样本特征向量之间的向量距离的过程包括，计算当前特征向量与样本特征向量之间的余弦距离，和/或计算当前特征向量与样本特征向量之间的欧式距离。[0076]可选的是，把被判断为与正常样本日志文件相似的当前日志文件判断为正常日志文件并打上正常标签，把被判断为与正常样本日志文件不相似的当前日志文件判断为异常日志文件并打上异常标签。[0077]可选的是，上述第二距离阈值为，用于计算得到上述向量距离的正常质心行特征向量的样本特征向量中，其他每一个非质心行特征向量到正常质心行特征向量的距离的平均值与上述其他每一个行特征向量到当前质心行特征向量标准差之和。[0078]在一可选实例中，上述正常质心行特征向量包括第一正常质心行特征向量以及第二正常质心行特征向量，其中，第一正常质心行特征向量为，根据历史任务周期内的样本日志文件中的正常样本日志文件的行特征向量，抽取质心向量得到的正常质心行特征向量；第二正常行特征向量为，根据历史任务周期内的样本日志文件计算得到历史行特征向量，并抽取全部历史行特征向量的质心向量得到的质心行特征向量，上述异常行特征向量为，根据历史任务周期内的异常样本日志文件，计算得到的与当前行特征向量距离最近的异常样本日志文件的行特征向量。[0079]在本可选实例中，上述计算当前特征向量与样本特征向量之间的向量距离的过程包括，计算当前行特征向量与第一正常质心行特征向量之间的向量距离得到当前正常行向量距离，并且计算当前词特征向量与距离最近异常行特征向量之间的向量距离得到当前异常行向量距离，以便于根据当前正常行向量距离以及当前异常行向量距离判断当前日志文件正常与否。[0080]在本可选实例中，若当前正常行向量距离小于当前异常行向量距离，则将当前日志文件与正常样本日志文件判断为相似；若正常行向量距离不小于异常向量距离，则将当前日志文件与正常样本日志文件判断为不相似，以便于得到任务日常的异常情况并输出预警。[0081]在本可选实例中，上述计算当前特征向量与样本特征向量之间的向量距离的过程包括，计算当前行特征向量与第二正常质心行特征向量之间的距离得到当前正常行向量距离，以便于根据当前正常行向量距离判断当前日志文件正常与否。[0082]在本可选实例中，若当前正常行向量距离小于预设的第二距离阈值时，则将当前日志文件与正常样本日志文件判断为相似；若当前正常行向量距离不小于第二距离阈值，则将当前日志文件与正常样本日志文件判断为不相似，以便于得到任务日常的异常情况并输出预警。[0083]可选的是，如图7所示，上述第一正常质心行特征向量为，以最近预定天数的样本日志文件(f0、f1、f2……fn)中的正常样本日志文件(fy0、fy1、fy2……fyn)为单位提取行类特征，形成行特征向量；计算每个正常样本日志文件的行特征向量之间的距离，形成一个距离矩阵；找出一个行特征向量，其他行特征向量到该正常特征向量的距离和最小，定义该正常行特征向量为第一正常行特征质心特征向量vy0。[0084]可选的是，如图7所示，上述距离最近异常行特征向量为，以最近预定天数的样本日志文件(f0、f1、f2……fn)中的正常样本日志文件(fn0、fn1、fn2……fnn)为单位提取行类特征形成异常行特征向量(vn0、vn1、vn2……vnn),计算当前行特征向量与每个异常行向量之间的距离，与之距离最近的异常行特征向量即为距离最近异常行特征向量。[0085]在一可选实例中，如图7所示，计算以当前日志文件fx得到的当前行特征向量，到第一正常质心行特征向量的距离s1，并且计算当前行特征向量到与其距离最近的异常行特征向量的距离s2，比较s1和s2的大小，如果s1小，说明新的日志距离正常日志更近，则判定新的日志为正常日志，打上正常标签；；如果s2小，说明新的日志距离异常日志更近，则判定新的日志文件为异常日志，打上异常标签，需要人工确认。[0086]可选的是，如图8所示，上述第二正常质心行特征向量为，以最近预定天数的样本日志文件(f0、f1、f2……fn)为单位提取行类特征，形成样本行特征向量，计算每个样本行特征向量之间的距离，如计算每个样本行特征向量之间的余弦距离，形成一个距离矩阵，找出一个行特征向量，其他特征向量到该特征向量的距离和最小，定义该行特征向量为第二正常行特征质心特征向量。[0087]可选的是，如图8所示，上述第二正常质心行特征向量为，以最近预定天数的样本日志文件(f0、f1、f2……fn)为单位提取行类特征，形成样本行特征向量，将每一个样本行特征向量归一化处理，计算每个样本行特征向量之间的欧式距离，形成一个距离矩阵，找出一个行特征向量，其他特征向量到该特征向量的距离和最小，定义该行特征向量为第二正常行特征质心特征向量。[0088]可选的是，如图8所示，计算当前行特征向量到第二正常质心行特征向量之间的距离是否在标准差的范围内，即当前行向量距离减去非质心行向量与第二正常质心行向量之间距离的平均值是否小于非质心行向量与第二正常质心行向量之间距离的标准差，如果小于标准差，则当前日志文件为正常日志文件，打上正常标签；如若不小于标准差，则当前日志文件为异常文件，报出异常并打上异常标签。[0089]在一可选实施例中，本公开的日志异常监测方法还包括步骤s405解析当前日志文件，得到当前日志文件的行类；行类是指相同或相似的行合并形成的群组，以及步骤406，在预先创建的正常行类库和异常行类库中遍历当前日志文件的行类，若当前日志文件的行类出现在异常行类库中，则当前日志文件的行类并入至对应的行类中，并输出异常提示信息，若当前日志文件的行类出现在正常行类库，则当前日志文件的行类并入至对应的行类中，若正常行类库和异常行类库中都不存在当前日志文件的行类，则当前日志文件的行类为新出现的行类，输出异常提示信息，并判断当前日志文件的行类属于正常行类还是异常行类，并对应入库。[0090]步骤s405对当前日志文件的各行进行解析，将内容相同或相似的行合并形成的群组最为一个行类，能够便于将当前日志的行类和余弦创建的正常行类库和异常行类库进行比较匹配，从而对当前日志文件是否正常进行判断。[0091]可选的是，预先建立的日志监测模型将样本日志文件分行读取，并进行行分类后，能够精准识别每一行类潜在或隐藏的异常信息，根据识别结果，利用正常的行类得到正常行类库，并且利用异常的行类得到异常行类库。[0092]步骤406能够对当前日志文件的行类是否为正常行类进行判断，对当前日志文件的行类为异常行类则输出预警，并且利用当前日志文件的正常行类和异常行类分别对正常行类库和异常行类库进行更新，这样能够使得对日志文件异常情况的监测更加准确，并且能够适用多种日志类型，监测方法更加通用，同时，使正常行类库和异常行类库保持最新，利于接下来的日志异常监测的顺利进行。[0093]在一可选实例中，如图9所示，将当前日志文件fx进行行读取，进行预处理，将变量剔除，数字、十六进制数据、星期几、地名、省份等常变数据替换为星号*如图3所示。将新的日志文件行类与数据库中的行类进行匹配，判断新的日志行内容是否在数据库中，数据库包括记录正常行类的正常行类库、以及异常行类的异常行类库：[0094]如果新的日志行不在数据库(正常、异常均没有)中，则报出待二次确认，需要人工确认；如果确认是异常信息，则将日志行存入异常数据库表中，如果确认不是异常信息，则将日志行存入正常数据库表中。[0095]如果新的日志行存在于数据库中，如果是存在于异常数据库表中，则报出异常信息，如果是存在于正常数据库表中，则忽略。[0096]图10示出了本公开一种日志异常监测装置的一个可选实施方式。[0097]在图2示出的可选实施方式中，本公开的日志异常监测装置主要包括模块1001，预处理模块，用于通过预先建立的日志监测模型，读取当前日志文件，进行预处理，能够便于在预处理后的当前日志的基础上得到当前特征向量。[0098]模块1002，当前特征向量生成模块，用于对预处理后的当前日志文件提取特征数据，生成当前特征向量，[0099]模块1003，向量距离判断模块，用于计算当前特征向量与样本特征向量之间的向量距离；[0100]以及模块1004，判断预警模块，用于根据向量距离，判断当前日志文件与正常样本日志文件的相似度，若相似，则当前日志正常；若不相似，则当前日志异常并输出预警提示。[0101]本公开能够通过当前日志文件进行以及样本日志文件以向量的形式进行相似度比较，计算得到任务日志的异常情况，使得对日志文件异常情况的监测更加准确，并且能够适用多种日志类型，监测方法更加通用。[0102]可选的是，预处理模块1001，能够将当前日志文件整篇内容一次性读取完毕，将变量剔除，如数字、十六进制数据、星期几、地名、省份等常变数据替换为星号*，并将整个当前日志文件的内容做分词处理，够便于在预处理后的当前日志的基础上得到当前特征向量。[0103]可选的是，预处理模块1001，将当前日志文件分行读取，将变量剔除，如数字、十六进制数据、星期几、地名、省份等常变数据替换为星号*，并将分行读取的当前日志文件进行行分类得到不同的行类。[0104]可选的是，预处理模块1001用到的日志监测模型，根据任务日志的历史日志建立，其中包括样本特征向量以及样本日志文件，其中样本日志文件包括正常日志文件以及异常日志文件，样本特征向量根据样本日志文件创建。[0105]在一可选实施例中，上述样本特征向量包括正常词特征样本向量，为与当前日志文件时间最近的正常样本日志文件的词特征向量，即根据与当前日志文件时间最近的正常样本日志文件提取的词特征向量，能够保证正常词特征样本向量是可靠的。[0106]在一可选实施例中，当前特征向量生成模块1002对预处理后的当前日志文件提取词特征数据，生成当前词特征向量，以便于根据当前词特征向量与正常词特征样本向量进行相似度比较，判断当前日志的正常与否。[0107]可选的是，当前特征向量生成模块1002将整个当前日志文件的各个词(即词组)做词频统计，即计算出每个词在当前日志文件中出现的次数，如图5所示，并将当前日志文件中的词组与正常词特征样本向量的词组做比较，然后相互补全词组，所补全词组对应的频次为0。[0108]在一可选实施例中，向量距离判断模块1003计算当前词特征向量与正常词特征样本向量之间的向量距离得到当前词向量距离，以便于根据词向量距离判断当前日志文件正常与否。[0109]在一可选实施例中，判断预警模块1004根据向量距离，若当前词向量距离小于预设的第一向量距离阈值，则将当前日志文件与正常样本日志文件判断为相似；若当前词向量距离不小于预设的第一向量距离阈值，则将当前日志文件与正常样本日志文件判断为不相似，以便于得到任务日常的异常情况并输出预警。[0110]在一可选实施例中，上述样本特征向量包括正常质心行特征向量以及异常行特征向量，其中正常质心行特征向量为，根据历史任务周期内的样本日志文件计算得到历史行特征向量，并抽取部分或全部历史行特征向量的质心向量得到的正常质心行特征向量；异常行特征向量为，根据历史任务周期内的异常样本日志文件，计算得到的异常样本日志文件的行特征向量。[0111]在一可选实施例中，当前特征向量生成模块1002对预处理后的当前日志文件提取行特征数据，生成当前行特征向量，以便于根据当前行特征向量与正常质心行特征向量以及距离最近异常行特征向量，进行相似度比较，判断当前日志正常与否。[0112]可选的是，当前特征向量生成模块1002将按照分行读取的整个当前日志文件的各个行类做行频统计，即计算出每个行类在当前日志文件中出现的次数，并将按照分行读取的当前日志文件的各个行类与最近预定天数的样本日志文件的行特征向量的各个行类做比较，然后相互补全行类，所补全行类对应的频次为0。[0113]在一可选实施例中，向量距离判断模块1003，能够计算当前行特征向量与正常质心行特征向量之间的向量距离，得到第一当前行向量距离，以及，计算当前行特征向量与异常行特征向量之间的向量距离，得到向量距离最短的第二当前行向量距离。[0114]在一可选实施例中，判断预警模块1004根据向量距离，若第一当前行向量距离小于预设的第二距离阈值时，则当前日志文件与正常样本日志文件相似，提示当前日志文件正常；若第一当前行向量距离不小于第二距离阈值，则当前日志文件与正常样本日志文件不相似，提示当前日志文件异常。[0115]在一可选实施例中，若第一当前行向量距离小于预设的第二距离阈值时，则当前日志文件与正常样本日志文件相似，提示当前日志文件正常；若第一当前行向量距离不小于第二距离阈值，则当前日志文件与正常样本日志文件不相似，提示当前日志文件异常。[0116]可选的是，上述第二距离阈值为，用于计算得到上述向量距离的正常质心行特征向量的样本特征向量中，其他每一个非质心行特征向量到当前质心行特征向量的距离的平均值与上述其他每一个行特征向量到正常质心行特征向量标准差之和。[0117]可选的是，判断预警模块1004能够计算当前特征向量与样本特征向量之间的余弦距离，和/或计算当前特征向量与样本特征向量之间的欧式距离。[0118]可选的是，本实施例的日志异常监测装置还包括，日志标记模块，能够把被判断为与正常样本日志文件相似的当前日志文件判断为正常日志文件并打上正常标签，把被判断为与正常样本日志文件不相似的当前日志文件判断为异常日志文件并打上异常标签。[0119]在一可选实例中，上述正常质心行特征向量包括第一正常质心行特征向量以及第二正常质心行特征向量，其中，第一正常质心行特征向量为，根据历史任务周期内的样本日志文件中的正常样本日志文件的行特征向量，抽取质心向量得到的正常质心行特征向量；第二正常行特征向量为，根据历史任务周期内的样本日志文件计算得到历史行特征向量，并抽取全部历史行特征向量的质心向量得到的质心行特征向量，上述异常行特征向量为，根据历史任务周期内的异常样本日志文件，计算得到的与当前行特征向量距离最近的异常样本日志文件的行特征向量。[0120]在本可选实例中，向量距离判断模块1003能够计算当前行特征向量与第一正常质心行特征向量之间的向量距离得到当前正常行向量距离，并且计算当前词特征向量与距离最近异常行特征向量之间的向量距离得到当前异常行向量距离，以便于根据当前正常行向量距离以及当前异常行向量距离判断当前日志文件正常与否。[0121]在本可选实例中，判断预警模块1004能够根据向量距离，若当前正常行向量距离小于当前异常行向量距离，则将当前日志文件与正常样本日志文件判断为相似；若正常行向量距离不小于异常向量距离，则将当前日志文件与正常样本日志文件判断为不相似，以便于得到任务日常的异常情况并输出预警。[0122]在本可选实例中，向量距离判断模块1003能够计算当前行特征向量与第二正常质心行特征向量之间的距离得到当前正常行向量距离，以便于根据当前行向量距离判断当前日志文件正常与否。[0123]在本可选实例中，判断预警模块1004能够根据向量距离，若当前正常行向量距离小于预设的第二距离阈值时，则将当前日志文件与正常样本日志文件判断为相似；若当前正常行向量距离不小于第二距离阈值，则将当前日志文件与正常样本日志文件判断为不相似，以便于得到任务日常的异常情况并输出预警。[0124]可选的是，判断预警模块1004能够计算当前行特征向量到第二正常质心行特征向量之间的距离是否在标准差的范围内，即当前行向量距离减去非质心行向量与当前质心行向量之间距离的平均值是否小于非质心行向量与第二正常质心行特征向量之间距离的标准差，如果小于标准差，则当前日志文件为正常日志文件；如若不小于标准差，则当前日志文件为异常文件。[0125]在一可选实施例中，如图11所示，本公开的日志异常监测装置还包括，[0126]模块1105，行类提取模块，用于解析当前日志文件，得到当前日志文件的行类；行类是指相同或相似的行合并形成的群组。[0127]模块1106，行类比较匹配模块，用于在预先创建的正常行类库和异常行类库中遍历当前日志文件的行类，若当前日志文件的行类出现在异常行类库中，则当前日志文件的行类并入至对应的行类中，并输出异常提示信息，若当前日志文件的行类出现在正常行类库，则当前日志文件的行类并入至对应的行类中，若正常行类库和异常行类库中都不存在当前日志文件的行类，则当前日志文件的行类为新出现的行类，输出异常提示信息，并判断当前日志文件的行类属于正常行类还是异常行类，并对应入库。[0128]这样能够使得对日志文件异常情况的监测更加准确，并且能够适用多种日志类型，监测方法更加通用，同时，使正常行类库和异常行类库保持最新，利于接下来的日志异常监测的顺利进行。[0129]在一可选实施例中，行类比较匹配模块1105，能够利用预先建立的日志监测模型将样本日志文件分行读取，并进行行分类后，能够精准识别每一行类潜在或隐藏的异常信息，根据识别结果，利用正常的行类得到正常日志行内容数据库，并且利用异常的行类得到异常日志行内容数据库。[0130]图12示出了本公开一种地图云平台的一个可选实施方式。[0131]本实施例中，披露一种地图云平台，该地图云平台包括：数据申请模块1201、api网关模块1202、数据传输模块1203、产品管理模块1204、以及地图数据库1205。[0132]本实施例中，数据申请模块、地图数据库以及数据传输模块用于向用户提供定制化地图数据及服务；api网关模块包括api接口和身份鉴权单元。[0133]其中，可视化产品管理模块进一步包括前述任一种的日志异常监测装置和日志文件存储模块；日志文件存储模块用于存储正常历史日志文件、及将正常当前日志文件标以正常标签并予以储存，以及用于存储异常历史日志文件、及将异常日志文件标以异常标签并予以储存。[0134]日志异常监测模块，用于执行前述任一实施例的日志异常监测方法得到正常当前日志文件以及异常当前日志文件；[0135]日志文件存储模块，包括正常日志文件存储单元用于存储正常历史日志文件，及将正常当前日志文件标以正常标签并予以储存，以及异常日志文件存储单元用于存储异常历史日志文件及将异常日志文件标以异常标签并予以储存以及模块；[0136]异常分析模块，对异常日志文件所出现的异常文件进行分析。[0137]在一可选实施例中，本公开一种日志异常监测装置以及一种日志异常监控平台中各功能模块可直接在硬件中、在由处理器执行的软件模块中或在两者的组合中。[0138]根据本公开的第三方面，本实施例披露一种计算机设备，该计算机设备包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的计算机程序，计算机程序被至少一个处理器执行，以使至少一个处理器执行前述任一种的日志异常监测方法。[0139]软件模块可驻留在ram存储器、快闪存储器、rom存储器、eprom存储器、eeprom存储器、寄存器、硬盘、可装卸盘、cd-rom或此项技术中已知的任何其它形式的存储介质中。示范性存储介质耦合到处理器，使得处理器可从存储介质读取信息和向存储介质写入信息。[0140]处理器可以是中央处理单元(英文：central processing unit，简称：cpu)，还可以是其他通用处理器、数字信号处理器(英文：digital signal processor，简称：dsp)、专用集成电路(英文：application specific integrated circuit，简称：asic)、现场可编程门阵列(英文：field programmable gate array，简称：fpga)或其它可编程逻辑装置、离散门或晶体管逻辑、离散硬件组件或其任何组合等。通用处理器可以是微处理器，但在替代方案中，处理器可以是任何常规处理器、控制器、微控制器或状态机。处理器还可实施为计算装置的组合，例如dsp与微处理器的组合、多个微处理器、结合dsp核心的一个或一个以上微处理器或任何其它此类配置。在替代方案中，存储介质可与处理器成一体式。处理器和存储介质可驻留在asic中。asic可驻留在用户终端中。在替代方案中，处理器和存储介质可作为离散组件驻留在用户终端中。[0141]在本公开的另一个可选实施方式中，一种计算机可读存储介质，其存储有计算机指令，计算机指令被操作以执行方案一种日志异常监测方法。[0142]在本公开所披露的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。[0143]作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。[0144]以上仅为本公开的实施例，并非因此限制本公开的专利范围，凡是利用本公开说明书及附图内容所作的等效结构变换，或直接或间接运用在其他相关的技术领域，均同理包括在本公开的专利保护范围内。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!