选煤厂应用平台的数据管理系统的制作方法

计算;推算;计数设备的制造及其应用技术1.本技术实施例涉及计算机技术领域，尤其涉及选煤厂应用平台的数据管理系统。背景技术：2.目前已建成的多数选煤厂在生产运行阶段拥有多套信息化系统，例如，plc工控系统，且各系统的建设较为独立，系统功能仅包括简单浏览、查看等，各系统数据未能进行统一的采集、治理及质量控制，数据的可利用性差，难以从不同的系统的数据中提取出有价值的信息。技术实现要素：3.本技术实施例提出了选煤厂应用平台的数据管理系统，该系统包括：数据采集模块，被配置成将选煤厂信息化系统的多源异构数据按照批数据、流数据采集；数据治理模块，被配置成治理数据采集模块采集的数据；数据质量控制模块，被配置成基于预先建立的数据质量指标体系进行数据质量控制。4.在一些实施例中，数据采集模块，进一步被配置成：基于opc接口采集选煤厂工控系统的实时流数据。5.在一些实施例中，基于opc接口采集选煤厂工控系统的实时流数据，包括：通过opc服务器软件实时访问选煤厂工控系统中plc控制器中的在线参数及检测数据，与opc服务器软件的通信通过引用自动化接口组件实现。6.在一些实施例中，通过opc服务器软件实时访问选煤厂工控系统中plc控制器中的在线参数及检测数据，包括：在数据采集模块初始化时进行参数配置，枚举所配置opc服务器地址主机内的opc服务器名称并连接获取；读取并显示在opc服务器软件中预设的plc控制器中数据的标签信息；根据标签信息中配置的采集频率、存储名称及位置，将数据的标签名称、数据值以及时间戳作为一条标签数据传输至服务端的配置数据库中；为标签数据生成唯一的id编码，按照相应的存储要求处理并分别存储至实时数据库和历史数据库。7.在一些实施例中，数据采集模块，进一步被配置成：基于异构数据源离线同步工具采集选煤厂信息化系统的批数据。8.在一些实施例中，选煤厂信息化系统的数据资源池包括原始数据区、标准数据区、数据主题区以及应用专题区，数据治理模块，进一步被配置成：基于数据资源池分层治理数据采集模块采集的数据。9.在一些实施例中，数据治理模块，进一步被配置成：基于概念数据模型、逻辑数据模型、物理数据模型治理数据采集模块采集的数据。10.在一些实施例中，数据质量指标体系基于dama知识体系，通过配置数据质量规则结合数据质量要求建立。11.在一些实施例中，数据质量控制模块，进一步被配置成：根据数据质量指标体系对选煤厂应用平台大数据资源池中数据进行质量稽查，形成数据质量评估报告。12.在一些实施例中，系统还包括集成模块，集成模块被配置成：基于服务总线模式集成数据模型服务。13.本技术实施例提供的选煤厂应用平台的数据管理系统，包括数据采集模块，被配置成将选煤厂信息化系统的多源异构数据按照批数据、流数据采集；数据治理模块，被配置成治理数据采集模块采集的数据；数据质量控制模块，被配置成基于预先建立的数据质量指标体系进行数据质量控制，本技术实施例提供了一种数据流批融合处理机制，将选煤厂信息化系统的多源异构数据按照批数据、流数据采集并进行数据治理及质量控制，提高了选煤厂数据的可利用性。附图说明14.通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本技术的其它特征、目的和优点将会变得更明显：15.图1是本技术的选煤厂应用平台的数据管理系统的一个结构示意图；16.图2是本技术的实施例中实时数据采集流程的一个示意图；17.图3是本技术的实施例中选煤厂数据治理标准流程的一个示意图；18.图4是本技术的实施例中选煤厂数据质量管理框架的一个示意图；19.图5是本技术的实施例中服务总线模式数据模型管理引擎系统原型架构的一个示意图；20.图6是适于用来实现本技术的一些实施例的计算机系统的结构示意图。具体实施方式21.下面结合附图和实施例对本技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。22.需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本技术。23.继续参考图1，示出了本技术的选煤厂应用平台的数据管理系统的一个结构100。该选煤厂应用平台的数据管理系统，包括以下模块：24.数据采集模块101，被配置成将选煤厂信息化系统的多源异构数据按照批数据、流数据采集。25.选煤厂信息化系统的多源异构数据可以包括选煤厂内部设备在线监测系统、皮带秤称重系统、瓦斯监测系统、数据填报系统、plc集控系统等信息化系统的数据。26.在本实施例的一些可选实现方式中，数据采集模块，进一步被配置成：基于opc(ole for process control，用于过程控制的ole)接口采集选煤厂工控系统的实时流数据。此外，还可以基于实时流技术去实现选煤厂实时数据采集技术方案。27.在本实施例的一些可选实现方式中，基于opc接口采集选煤厂工控系统的实时流数据，包括：通过opc服务器软件实时访问选煤厂工控系统中plc控制器中的在线参数及检测数据，与opc服务器软件的通信通过引用自动化接口组件实现。作为示例，参照图2，可以通过opc服务器软件(如kepserver软件)实时访问选煤厂工控系统各plc控制器中的在线参数及检测数据，软件程序开发中通过引用自动化接口interop.opcautomation.dll组件与实现kepserver软件通信。在采集模块初始化时进行参数配置，程序枚举所配置opc服务器地址主机内的opc server名称并连接获取，读取并显示在opc服务器软件中预设的plc控制器中的数据标签、类型及地址信息，并根据标签存储设置中采集频率、存储名称及位置，将数据的标签名称、数据值以及时间戳传输至服务端的配置数据库中，同时为每一条标签数据生成唯一的id编码，按照相应的存储要求处理并分别存储至实时数据库和历史数据库。28.在本实施例的一些可选实现方式中，通过opc服务器软件实时访问选煤厂工控系统中plc控制器中的在线参数及检测数据，包括：在数据采集模块初始化时进行参数配置，枚举所配置opc服务器地址主机内的opc服务器名称并连接获取；读取并显示在opc服务器软件中预设的plc控制器中数据的标签信息；根据标签信息中配置的采集频率、存储名称及位置，将数据的标签名称、数据值以及时间戳作为一条标签数据传输至服务端的配置数据库中；为标签数据生成唯一的id编码，按照相应的存储要求处理并分别存储至实时数据库和历史数据库。29.在本实施例的一些可选实现方式中，数据采集模块，进一步被配置成：基于异构数据源离线同步工具采集选煤厂信息化系统的批数据。30.数据治理模块102，被配置成治理数据采集模块采集的数据。31.在本实施例的一些可选实现方式中，选煤厂信息化系统的数据资源池包括原始数据区、标准数据区、数据主题区以及应用专题区，数据治理模块，进一步被配置成：基于数据资源池分层治理数据采集模块采集的数据。参见图3，数据从数据湖单向地向上一层级流动，下层数据区为上层数据区提供数据源。数据源中数据直接存入或经结构化处理后存入原始数据区；将原始数据区进行清洗加工并参照预先设置的标准进行数据标准化得到标准数据区的数据；对标准数据区的数据进行整理、划分和/或关联聚合得到数据主题区的数据；对数据主题区的数据进行字段筛选和/或关联聚合得到应用专题区的数据。32.在本实施例的一些可选实现方式中，数据治理模块，进一步被配置成：基于概念数据模型、逻辑数据模型、物理数据模型治理数据采集模块采集的数据。33.数据质量控制模块103，被配置成基于预先建立的数据质量指标体系进行数据质量控制。34.在本实施例的一些可选实现方式中，数据质量指标体系基于dama知识体系，通过配置数据质量规则结合数据质量要求建立。选煤厂数据质量管理(data quality management)，是指对数据从计划、获取、存储、共享、维护、应用、消亡生命周期，每个阶段里可能引发的各类数据质量问题，进行识别、度量、监控、预警等一系列管理活动，并通过改善和提高组织的管理水平使得数据质量获得进一步提高。参见图4，数据质量控制技术是通过配置数据质量规则，形成选煤厂数据质量基本原则，结合质量要求建立起选煤厂数据质量指标体系。根据数据质量指标体系标准，cpim(certified in planning&inventory management，计划和库存管理认证)等大数据平台可以根据指标体系对大数据资源池中数据进行质量稽查，最后形成数据质量评估报告。35.在本实施例的一些可选实现方式中，数据质量控制模块，进一步被配置成：根据数据质量指标体系对选煤厂应用平台大数据资源池中数据进行质量稽查，形成数据质量评估报告。36.在本实施例的一些可选实现方式中，系统还包括集成模块，集成模块被配置成：基于服务总线模式集成数据模型服务。参见图5，围绕智能选煤厂建设过程中信息系统分布散落、技术标准不统一、数据烟囱林立等问题，整合流批数据处理、多维度数据融合、跨部门数据共享等技术方法，实现一种基于服务总线模式的多源异构数据模型服务化集成技术。该技术实现依据业务场景不同选择适配的采集接入模式作服务总线多源异构数据统一接入服务提供者，实现基于统一数据资源目录体系为服务请求者提供一体化的数据服务化访问通道。同时，基于面向选煤厂cpim数据模型的高效管理架构，集成包含数据采集管理、数据源管理、数据项目管理、数据规范管理、数据服务管理的选煤厂cpim数据模型管理引擎软件系统，实现“采、存、管、治、融、智”一体化集成。37.本技术的上述实施例提供的系统通过数据采集模块，被配置成将选煤厂信息化系统的多源异构数据按照批数据、流数据采集；数据治理模块，被配置成治理数据采集模块采集的数据；数据质量控制模块，被配置成基于预先建立的数据质量指标体系进行数据质量控制，提供了一种数据流批融合处理机制，将选煤厂信息化系统的多源异构数据按照批数据、流数据采集并进行数据治理及质量控制，提高了选煤厂数据的可利用性。38.下面参考图6，其示出了适于用来实现本技术实施例的计算机系统600的结构示意图。图6示出的计算机系统仅仅是一个示例，不应对本技术实施例的功能和使用范围带来任何限制。39.如图6所示，计算机系统600包括中央处理单元(cpu)601，其可以根据存储在只读存储器(rom)602中的程序或者从存储部分608加载到随机访问存储器(ram)603中的程序而执行各种适当的动作和处理。在ram 603中，还存储有系统600操作所需的各种程序和数据。cpu 601、rom 602以及ram 603通过总线604彼此相连。输入/输出(i/o)接口605也连接至总线604。40.以下部件可以连接至i/o接口605：包括诸如键盘、鼠标等的输入部分606；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至i/o接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。41.特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(cpu)601执行时，执行本技术的方法中限定的上述功能。需要说明的是，本技术所述的计算机可读介质可以是计算机可读信号介质或者计算机可读介质或者是上述两者的任意组合。计算机可读介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本技术中，计算机可读介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本技术中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。42.可以以一种或多种程序设计语言或其组合来编写用于执行本技术的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c++，还包括常规的过程式程序设计语言—诸如c语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。43.附图中的流程图和框图，图示了按照本技术各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。44.以上描述仅为本技术的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本技术中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本技术中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!