基于深度学习及并行计算的电网数据流连接方法与流程

计算;推算;计数设备的制造及其应用技术1.本发明涉及电网数据，特别是一种基于深度学习及并行计算的电网数据流连接方法。背景技术：2.电网数据是一种典型的时间序列型数据，在电网系统中，关于电网数据流的相似度连接为各项应用提供了基础支撑，因为该操作不仅赋能了运输配电工作，而且也在电压调整和电网管理方面起到了重要作用。近年来，随着相关技术的发展和深度学习的广泛应用，很多序列型数据能够通过嵌入表征的方法通过深度学习的方式转换为具有d维特征的时间序列。时间序列的一般流程框架完全适用于电网数据。时间序列数据按时间顺序组织，以“相似性”作为各种基本操作的谓词。衡量时间序列相似度的距离函数有很多，例如hausdorff距离、dtw距离、 lcss距离、erp距离和edr距离。这些方法可以捕捉系列数据在空间、结构、运动趋势等方面的特征。然而，这些成对的距离函数需要对齐部分或完整的点，计算复杂度相当高。3.计算两个时间序列相似度的点匹配方法在以下三种情况下会遇到性能瓶颈：4.1、当系列状态相对变化时。时间序列是一个属性丰富复杂的结构，在时间和空间维度上都有明显的不均匀分布。举例来说，中心区域时空数据的密度和复杂度都相当高，而周边区域的点数明显稀疏。这意味着，空间分布中存在严重的数据倾斜问题。5.2、第二种情况是时序数据质量差，计算结果不可信。由于对目标对象的采样不能完全实时，即经常出现序列无序的现象。例如，偏远地区或某些信号较弱的地区产生的数据在计算距离时确实是不均匀的。此外，抽样记录还会受到其他活动的影响。此外，当数据到达系统时，时间是未知且无序的，这就是经典的时间无序问题。基于这种现象，相似度可能完全不同，因为很多度量都是基于点对点匹配的。6.3、第三种情况是样本点有噪声。如果时间序列中有很多噪声点，则很难克服匹配点的位置误差。目前传统的相似度计算函数，需要对序列中的采样点进行对齐。当有噪声干扰时，会对距离计算结果产生很大影响。电网数据受到各种信号干扰，以及电压不稳等情况的影响，其数据序列存在很多噪声，如果在处理过程中没有能够对这些噪声数据进行合理清洗和识别，容易给结果带来严重偏差。技术实现要素：7.发明目的：本发明的目的是提供一种基于深度学习及并行计算的电网数据流连接方法，从而在执行顺序连接操作时能够保持系统的稳定性和连接计算的准确性。8.技术方案：本发明所述的一种基于深度学习及并行计算的电网数据流连接方法，原理为：将数据序列嵌入到一定的维度空间中，对不同长度和采样率的原始数据进行压缩和归一化处理。然后，所有嵌入向量由管理器随机划分，以完成后续矩阵模型的并行计算，每个进程节点在接收到的时间表示上计算其向量相似度结果，并在下游应用程序中重新聚合它们。9.一种基于深度学习及并行计算的电网数据流连接方法包括以下步骤：10.(1)接收电网数据流。对于每条序列，按时间步迭代输入到循环神经网络中，并经过两次激活函数处理；11.(2)实时处理步骤(1)接收的序列，进行嵌入表征并将一个时间窗口内的数据流压缩到确定维度内的多维向量；12.(3)将所有处理节点在逻辑上按照矩阵模式进行组织，分别接收来自步骤(2) 的向量序列；13.(4)基于步骤(3)将向量序列以不同方向汇入到处理节点后，计算向量相似度，并进行标准化处理；14.(5)根据步骤(4)得到的不同向量序列之间的相似度结果，能够表达出电网数据流相似度连接语义；15.(6)步骤(5)得到的流连接结果将作为电网数据流相关性的量化表示，并且将两两之间的相似度在步骤(8)中进行聚合；16.(7)所有单个处理节点的相似度连接完成；17.(8)由控制节点在下游进行连接操作的聚合；18.(9)根据聚合结果分析电网数据流的相关性，得到最终分析结果用于后续应用；19.(10)对于不断流入的电网数据进行迭代处理。20.本方法采用带有门控机制的循环神经网络进行数据建模，并通过矩阵模型组织所有处理节点。具体来说，该门控机制主要用于解决在神经网络训练阶段可能出现的梯度爆炸或者梯度消失的问题，同时能够有效地降低计算负载，对电网数据噪声和异常波动进行鲁棒性处理。同时，矩阵模型的具体规模将根据具体的流量进行动态更新调整，包含行列扩增或合并操作。21.一种计算机存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述的一种基于深度学习及并行计算的电网数据流连接方法。22.一种计算机设备，包括储存器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的一种基于深度学习及并行计算的电网数据流连接方法。23.有益效果：与现有技术相比，本发明具有如下优点：本发明采用深度学习的方法对电网数据进行特征提取和表示，有效地对海量数据进行压缩，能够将质量不统一、采样率和长度都难以对齐的序列数据嵌入到一个固定的空间内，保证了数据表示的统一性，为后续相似度计算提供了完备的前提。同时，工作节点在逻辑上组织为矩阵能够有效地降低工作负载，并根据电网流量进行动态调整。附图说明24.图1为本发明的步骤流程图；25.图2构建深度表征学习和并行计算架构示意图；26.图3为采用基于具有门单元的递归神经网络图；27.图4为采用基于矩阵模型的分布式计算图。图5为电网数据序列的一个实例。具体实施方式28.下面结合附图对本发明的技术方案作进一步说明。29.如图1～2所示，一种基于深度学习及并行计算的电网数据流连接方法，包括以下步骤：30.(1)接收电网数据流；31.(2)如图3所示，实时处理步骤(1)接收的序列，进行嵌入表征并将一个时间窗口内的数据流压缩到确定维度内的向量；32.(3)如图4所示，将所有处理节点在逻辑上按照矩阵模式进行组织，分别接收来自步骤(2)的向量序列；33.(4)基于步骤(3)将向量序列以不同方向汇入到处理节点后，计算向量相似度，并进行标准化处理；34.(5)根据步骤(4)得到的不同向量序列之间的相似度结果，能够表达出电网数据流相似度连接语义；35.(6)步骤(5)得到的流连接结果将作为电网数据流相关性的量化表示，并且将两两之间的相似度在步骤(8)中进行聚合；36.(7)所有单个处理节点的相似度连接完成；37.(8)由控制节点在下游进行连接操作的聚合；38.(9)根据聚合结果分析电网数据流的相关性，得到最终分析结果用于后续应用；39.(10)对于不断流入的电网数据进行迭代处理，如图5所示。40.图1为本发明的步骤流程图，电网数据在流入系统中之后首先通过嵌入表征模块进行特征提取(具体参见步骤(1)～(2))，然后通过分布式计算模块，在该模块中所有的处理节点在逻辑层组织为一个矩阵，能够高效处理数据流连接操作(具体参见步骤(3)～(6))，最后通过结果输出模块进行数据流聚合和输出(具体参见步骤(7)～(9))。41.图3为采用基于具有门单元的递归神经网络图，本发明采用gru模型进行表征学习，每个时间步输出ht隐层表示结果。42.图4为采用基于矩阵模型的分布式计算图，本发明从横向和纵向分别流入的序列数据通过矩阵进行天然的笛卡尔积操作，有效降低计算负载。43.图5为电网数据序列的一个实例，表示第j个时间序列(记为在i 个时间步的第i个点。以欧式距离为例，t1与t2的相关性通过时间序列之间的距离进行表示。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!