电力+大数据项目中的架构研究与思考
2020-07-25
阅读目录:
1、前言
2、业务架构
3、数据架构
4、技术架构
5、实施架构
6、示範架构
7、小结
前言
智慧电网是以物理电网为基础,将现代先进的感测测量技术、通信技术、信息技术、计算机技术和控制技术与物理电网高度集成而形成的新型电网。
电力大数据是实现智慧电网的关键技术之一,它通过挖掘数据之间的关係与规律,提高电网企业在生产、经营、管理等方面的质量与效率。如开展电网设备状态监测的大数据应用,实现电网设备状态的智慧监测,实时分析电网线损、配电负载等等。
本文旨在跟读者分享某电网公司在配用电大数据项目中所採用的多维架构,为本系列的后续文章打下铺垫。
业务架构
数据架构
电力+大数据项目中的架构研究与思考
电网企业的数据主要包括三类:
1. 电力设备数据:主要包括电网设备监测数据、设备地理位置数据、设备状态数据等;
2. 企业管理数据:主要包括跨单位、跨部门的电网企业职工数据、财务数据等;
3. 企业运营数据:主要包括客户信息、客户用电数据、电费数据等。
但是上述只是一个特粗略的分类。笔者在项目实施过程中发现,数据的分类在每一个环节都需要按照不同标準重新做一次。
为何要这幺麻烦?这是因为,[数据类型]+[业务需求]将决定你选用何种大数据分析软体组件去处理它。
这里先以电网的拓扑结构数据为例:这类数据大都存在电力系统的RDBMS里,那幺我们显然可以考虑使用Sqoop来做同步;而其后为高效实现电网拓扑分析业务,显然应将其放至HIVE这类数据仓库工具里合适。
再以电网设备检测数据为例:这类数据由于具有事实性,用Storm或者Spark Streaming来同步就显然更加合适了;而这类数据有部分业务环境是不需要做太多数据分析的,因此可考虑将其导入到HBase这类NoSql数据里,实现高效存取。
读者看到这里,应该明白了需要时刻思考数据分类的原因了吧?上述两个例子都属于电力设备数据,然而它们被处理的方式显然是不同的。在实际中,我们往往根据当前架构所在层次的属性来决定使用何种组件来处理数据。个人真心建议针对将来数据特别複杂的情况,可以考虑引入「数据画像」这个概念,根据不同的处理方式为各类数据打上标籤,以便于管理。
技术架构
电力+大数据项目中的架构研究与思考
总的来说,针对配用电大数据的技术研究可以分为三个层面来展开:
1. 数据集成层面:研究电力系统中多源数据的分类方式、集成与融合方法,并设计出面向云环境的多源异构数据集成模型。
2. 基础架构层面:结合线上流处理与离线批处理的应用需求,研究可拓扑分解的流处理计算技术、分布式并行批处理计算技术,并提供应用编程介面。
3. 支援系统层面:研究电力大数据项目的建设规範,大数据集群系统的综合管理工具、大数据可视化组件,并提供多种形式的集成介面,以便支援不同上层应用对大数据以及分析结构的调用需求。
需要特别说明的是,在这三个层面之上是真正的「电力应用层」。
实施架构
电力+大数据项目中的架构研究与思考
对于配用电大数据项目的具体实施,需要明确的主要是将计算机集群具体分成哪些区,每个区又具体採用哪些组件。
这部分内容比较繁杂,以下仅针对其中某类实时数据的处理做个大致的介绍:
1. 各业务系统和数据採集系统的秒级数据通过专线网路,经过加密压缩传输到总部的负载均衡器;
2.负载均衡器将数据分发给Kafka集群落地;
3.Storm集群从Kalfa集群接收所订阅的数据,负责对数据进行清洗、按照设定的告警条件实时监测数据并发出告警;
4.Storm清洗和标注后的数据,直接存入HDFS落地;
5.HDFS中的数据同步到数据存储和查询模块,方便在其中进行线上查询;
6.数据分析平台上根据预订的作业队列,调度数据分析程序在Hadoop集群中运行,结果存入HDFS或者按用户程序定义写入相应存储位置;
7.数据分析平台将秒级数据汇总成十分钟级数据、根据定义的数据种类、数据格式和存储方式将数据分发给计算存储群组及HBase资料库;统计报表程序通过Hive集群执行各种类SQL完成统计查询和报表製作生成。
示範架构
电力+大数据项目中的架构研究与思考
在项目后期,需要将配用电大数据平台部署到部分地市局来进行试点,因而需要明确网 – 省两地,或者网 – 省 – 市三地的综合示範架构。
在本文给出的参考架构中,我们首先利用高速4G专网和GPRS /230M无线专网实现低压居民用户和专变/公变终端的採集;採集的数据通过智慧一体化终端进行简单转换后,上传至区域分布式大数据中心;区域大数据中心将对电量和非电量数据,结构化与非结构化数据进行大数据集成与融合。
在区域大数据中心,可基于大数据聚类与分析技术,实现用电用户类型的精细化划分、分析用户的用电行为、评估非介入式用户的能效水平,形成一系列面向配用电网的通用知识模型与关键技术,为省级大数据中心提供数据与关键演算法支撑。
小结
作为该系列博文的开篇,本文从各类架构的角度出发让读者对配用电大数据的项目有了全方位的整体认识。
后续的文章将涉及到真正的电力+大数据研究,这也是电力专业与计算机专业的综合领域,读者或许需要具备一定的电力系统知识才能消化。
简单回顾下电力系统相关的知识,然后一起开始智慧电网之旅吧^_^。
作者 | 穆晨
原文 | 配用电大数据项目中的架构研究与思考