一种基于SpringBoot架构的接口系统的制作方法

计算;推算;计数设备的制造及其应用技术search用于储存所述log stash管道处理后的日志数据，所述mysql数据库用于储存所述用户设定规则。18.进一步地，所述spring boot架构还包括spring boot web层，所述spring boot web层用于显示和用户自定义配置所述用户设定规则。19.进一步地，用户在所述spring boot web层上通过正则表达式的方式自定义配置所述用户设定规则。20.基于同一发明构想，本发明还提供了一种基于spring boot架构的日志数据处理方法，使用上述任一项所述的接口系统，包括如下步骤：21.s1、获取各种日志数据；22.s2、按照用户设定规则处理所述各种日志数据；23.s3、对处理后的所述各种日志数据，以及所述用户设定规则进行储存；24.s4、接收用户请求，并获取对应的用户设定规则的脚本，然后进行对应的解释执行，返回对应的日志数据。25.基于同一发明构想，本发明还提供了一种电子设备，包括处理器和存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现上述的方法。26.基于同一发明构想，本发明还提供了一种可读存储介质，其特征在于，所述可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时，实现上述的方法。27.有益效果28.本发明提供的技术方案通过用户自定义设计规则，将采集日志数据规则化存储到非关系型数据库中，并对应地将自定义规则信息存储到关系型数据库中，便于后期用户数据查询和获取，实现接口对大数据平台产生的庞大日志信息进行处理和分析，有效地提高平台日志数据管理效率，解决人工管理的烦琐耗时问题。附图说明29.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。30.图1为本发明一实施例提供的基于spring boot架构的接口系统示意图；31.图2为本发明一实施例提供的基于spring boot架构的接口系统对日志数据的处理流程示意图。具体实施方式32.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。33.参阅图1，本发明一实施例提供了一种基于spring boot架构的接口系统，包括：34.数据获取模块，用于获取各种日志数据；35.数据处理模块，按照用户设定规则处理所述各种日志数据；36.数据储存模块，用于储存处理后的所述各种日志数据，以及所述用户设定规则；37.spring boot架构，与所述数据储存模块相连，在接收到请求时从所述数据储存模块获取对应的用户设定规则的脚本，然后进行对应的解释执行，返回对应的日志数据。38.在本实施例中，如图2所示，所述数据获取模块一般采用file beat服务获取各种日志数据。所述数据获取模块一般使用kafka将file beat服务获取的各种日志数据流转至所述数据处理模块。所述数据获取模块一般还通过kafka查看日志数据的消费状态，以验证日志数据是否采集成功。所述数据处理模块一般通过配置log stash管道对所述各种日志数据进行数据处理，所述log stash管道的配置规则为所述用户设定规则。所述数据储存模块一般包括elastic search和mysql数据库，所述elastic search用于储存所述log stash管道处理后的日志数据，所述mysql数据库用于储存所述用户设定规则。所述spring boot架构一般还包括spring boot web层，所述spring boot web层用于显示和用户自定义配置所述用户设定规则。用户在所述spring boot web层上一般通过正则表达式的方式自定义配置所述用户设定规则。39.因此，本发明设计一个基于spring boot框架的日志监控接口服务，系统通过调用file beat、kafka、log stash以及elastic search服务，通过用户自定义设计规则，将采集日志数据规则化存储到elastic search非关系型数据库中，并对应地将自定义规则信息存储到mysql关系型数据库中，便于后期用户数据查询和获取，实现接口对大数据平台产生的庞大日志信息进行处理和分析，有效地提高平台日志数据管理效率，解决人工管理的烦琐耗时问题。40.具体地，如图2所示，本发明涉及file beat、kafka、log stash和elastic search服务。其中file beat是转发和集中日志数据的轻量级工具，作为服务器上的代理安装，file beat监视用户指定的日志文件或位置，收集日志数据，并将其转发到elastic search或log stash进行索引。由于log stash相对而言较于耗性能，故采用file beat进行数据采集。41.kafka服务则是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据，log stash作为一个开源的数据收集引擎，它具有备实时数据传输能力。它可以统一过滤来自不同源的数据，并按照开发者的制定的规范输出到目的地。log stash收集数据对象就是日志数据。由于日志数据来源多(如：系统日志、服务器日志等)，且内容杂乱，不便于用户进行观察。因此，可以使用log stash对日志文件进行收集和统一过滤，变成可读性高的内容，方便开发者或运维人员观察，从而有效的分析系统/项目运行的性能，做好监控和预警的准备工作等。elastic search是一个基于lucene的搜索服务器，也可被认为是一个非关系型数据库。它提供了一个分布式多用户能力的全文搜索引擎，基于restful web接口。本发明所提出接口的将采集日志数据到elasticsearch中，并通过用户自定义匹配规则，实现有效过滤日志数据，并将数据在浏览器进行可视化展示与分析，用户自定义规则信息会存储到mysql数据库中，便于用户查找和前端智能化输出。42.具体地，如图2所示，所有服务启动之后，所述spring boot架构便可实现日志的获取与解析功能，所述spring boot架构与mysql数据库相连，使得用户可以在所述spring boot架构的web层查看之前设置的日志规则；之后用户根据需求，在所述spring boot架构的web层上配置所述用户设定规则，通过正则表达式的方式进行实现此过程，首先系统会根据用户设置的规则，进行判断正则表达式是否正确，如果不正确，则反馈给用户，如果正确，则将用户匹配的规则信息，则修改到log stash配置文件的filter插件，log stash配置文件修正后，会自动重启，加载新的过滤信息，实现用户自定义信息配置，log stash将过滤后的数据存储到elastic search中，实现数据的获取与可视化展示。43.基于同一发明构想，本发明还提供了一种基于spring boot架构的日志数据处理方法，使用上述任一项所述的接口系统，包括如下步骤：44.s1、获取各种日志数据；45.s2、按照用户设定规则处理所述各种日志数据；46.s3、对处理后的所述各种日志数据，以及所述用户设定规则进行储存；47.s4、接收用户请求，并获取对应的用户设定规则的脚本，然后进行对应的解释执行，返回对应的内容。48.基于同一发明构想，本发明还提供了一种电子设备，包括处理器和存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现所述基于spring boot架构的日志数据处理方法。49.所述处理器在一些实施例中可以是中央处理器(central processing unit，cpu)、控制器、微控制器、微处理器(例如gpu(graphics processing unit-图形处理器))、或其他数据处理芯片。该处理器通常用于控制所述电子设备的总体操作。本实施例中，所述处理器用于运行所述存储器中存储的程序代码或者处理数据，例如运行所述的基于spring boot架构的日志数据处理方法的程序代码。50.所述存储器至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，sd或dx存储器等)、随机访问存储器(ram)、静态随机访问存储器(sram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、可编程只读存储器(prom)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器可以是所述电子设备的内部存储单元，例如该电子设备的硬盘或内存。在另一些实施例中，所述存储器也可以是所述电子设备的外部存储设备，例如该电子设备上配备的插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)等。当然，所述存储器还可以既包括所述电子设备的内部存储单元也包括其外部存储设备。本实施例中，所述存储器通常用于存储安装于所述电子设备的操作方法和各类应用软件，例如所述基于spring boot架构的日志数据处理方法的程序代码等。此外，所述存储器还可以用于暂时地存储已经输出或者将要输出的各类数据。51.基于同一发明构想，本发明还提供一种可读存储介质，所述可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时，实现所述基于spring boot架构的日志数据处理方法。52.本发明的优点在于通过用户自定义设计规则，将采集日志数据规则化存储到非关系型数据库中，并对应地将自定义规则信息存储到关系型数据库中，便于后期用户数据查询和获取，实现接口对大数据平台产生的庞大日志信息进行处理和分析，有效地提高平台日志数据管理效率，解决人工管理的烦琐耗时问题。53.以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不会使相应技术方案的本质脱离本发明各实施例技术方案的保护范围。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!