9安徽省电力公司基于大数据用电信息采集系统设计与实现--肖坚红.pptx

9安徽省电力公司基于大数据用电信息采集系统设计与实现--肖坚红.pptx

《9安徽省电力公司基于大数据用电信息采集系统设计与实现--肖坚红.pptx》由会员分享，可在线阅读，更多相关《9安徽省电力公司基于大数据用电信息采集系统设计与实现--肖坚红.pptx（51页珍藏版）》请在冰点文库上搜索。

基于大数据技术的用电信息采集系统设计与实现,汇报单位：

国网安徽省电力公司,2017年5月,提纲,一、项目背景,安徽省公司用电信息采集系统经过5年的建设，实现了“全采集”、“全覆盖”、“全费控”功能，目前接入智能电能表2700万多只、40多万终端和340万采集器，已经实现采集96点负荷（三相电压、三相电流、有功功率、无功功率等）、日冻结电能示值、需量和电压合格率等数据，采集系统每天需要处理记录数达到5亿以上，新增的数据量达到70-90G，存量数据超过100T。

采集系统建设及应用情况,一、项目背景,采集系统业务不仅支撑营销部自动化抄表核算、实时费控、有序用电、计量在线监测、用电特征分析、采集管理、台区线损计算等业务，还支持运检部、安质部、运监中心、发策部等系统正常运行，为配用电网低电压分析、配变运行监测、配网抢修、供电可靠性、公司线损管理系统等业务提供数据支撑。

采集系统建设及应用情况,一、项目背景,IEO用电信息采集系统应用存在的问题,查询速度慢,统计时间长,数据质量差,数据维度少,缺少智能化,不支持实时分析,一、项目背景,一、项目背景,一、项目背景,提纲,二、业务规划,简要分析描述项目的主要技术创新点。

3、跨界思维：

打破固有模式，通过业务融合提升数据价值,2、业务思维：

定量思维，数据替代经验，一切数据皆有价值,4、实验思维：

试验选择最优方案，快速迭代持续优化,5、合作思维：

通过合作共同推进电力业务的发展与创新,1、技术思维：

高效数据处理、高效数据服务、性能线性扩展,二、业务规划,简要分析描述项目的主要技术创新点。

3、支持海量数据快速存储、高效计算和有效归集,2、实现关键业务实时监测和智能分析,4、具备数据挖掘、机器学习等智能分析功能,5、与业务深度融合，提高工作效率，提升辅助决策水平,1、以“高内聚、松耦合”方式获取所需数据,二、业务规划,二、业务规划,二、业务规划,二、业务规划,提纲,为了保证电力系统能安全、可靠运行，需要在标准原则基础上制定其未来IT架构，其技术架构的设计同样需要考虑完善的指导原则。

开放性,大数据平台的设计应选择开放式的技术，不能绑定某一厂家的特定产品，需要满足系统间灵活的信息交互的需要。

服务性,可扩展性,充分考虑可扩展性，遵循“强内聚、低耦合”，满足更大规模的业务和不断发展的技术需求。

大数据平台面向营销部或者网省公司提供基础支撑平台，为共性服务型平台，各部门基于大数据平台研发、运行各类大数据典型业务应用。

先进成熟性,大数据平台的设计应具有产品和技术先进性，产品和技术选型能够适应未来一段时间业务需求及技术发展变化的需要。

同时，尽可能兼顾产品和技术的成熟性，增强信息基础设施的整体稳定性。

三、平台设计,三、平台设计,业务应用分析,气象要素数据,状态监测数据,.,地理信息数据,节假日数据,PMS数据,人口经济数据,MDS数据,营销数据,用电信息采集数据,.,95598数据,计算、存储、分析组件支撑,电力营销大数据平台,运维管理,专用数据池,公用数据池,深入贯彻“IT服务化”的理念及国产化的思路，以大数据开源软件框架为核心，传统数据处理组件为补充，形成优势互补的混合体系架构。

电力营销计量大数据平台从数据采集、数据集成、数据存储、实时计算、海量数据处理和分析挖掘等多个层面为营销业务应用提供必要的组件支撑。

集群监控及配置,安全防护及管理,停电事件分析,配网运行分析,客户用电行为分析,客户价值挖掘,检定效率与现场作业行为,窃电行为分析,计量装置在线监测与智能诊断,。

三、平台设计,传统解决方案,大数据平台方案,主要面向结构化数据处理，不适合处理非结构化或半结构化数据海量数据处理成本高昂，对于硬件要求较高，例如依赖大规模并行处理系统（MPP）等存在单点风险线性扩展能力有限，MPP节点一般上限100+处理数据量受限（PB），数据量大时响应时间明显延长固定数据结构和模型数据处理容易保持一致性，适合事务复杂的业务系统,可以混合处理任意格式数据基于工业标准成本低廉的X86平台和开源Linux系统，降低成本，充分利旧分布式容错，无单点隐患极高的线性扩展能力，一般都在1000+可处理大量数量（TB到1E），通过横向扩展，实现秒级响应灵活的数据结构和数据模型数据处理无法保证一致性，需要单独开发验证程序，适合追求分析效率的分析系统,VS.,大数据不是RDBMS的替代方案，两者相辅相成才是最佳的解决方案！

三、平台设计,三、平台设计,简要分析描述项目的主要技术创新点。

2、设计配电网停上电事件实时分析与推送,1、流处理子系统由Flume、Kafka、Storm和Redis等软件组成,3、设计负荷数据异常实时校验与修复,4、设计日冻结抄表数据实时校验与修复，及抄表失败实时刷新,5、设计日电量实时计算、修复与补全,三、平台设计,简要分析描述项目的主要技术创新点。

2、设计满足查询和统计二类应用的海量数据存储需求,1、系统由分布式列式数据库（Hbase）、全文检索（Solr，Key_Value）、分布式数据仓库（Hive）、交互式查询（Impala）等软件组成,3、设计关键指标准实时计算与按小时进行刷新,4、设计各维度数据快速统计、按业务需求归集，支持高效查询与分析,5、计量在线监测与智能诊断软件后台计算分析重构,三、平台设计,2、离线海量数据以IBM可视化建模工具SPSS为主，实现模型学习、验证,1、系统由SPSS、SPARK、模型库、数据抽取与预处理等软件组成,3、在线机器学习以SPARK为主，通过引用SPSS分析模型实现分析,4、按业务建立分析模型库，满足各专业部门工作需求,5、设计模型自动迭代和优化，满足业务不断变化的需求,三、平台设计,2、通过IBM可视化建模工具（SPSS）的展现功能满足简单的应用需求,1、基于百度图形组件（Echart），结合业务需求开发WEB展现,3、结合业务，通过热力图、散点图、GIS和地图体现业务特征,三、平台设计,2、基于FTP实现不同区域业务实时交互应用需求,1、基于Webservices实现同一区域业务实时交互,3、结合数据交互实现模型迭代分析和自学习功能设计,4、与业务深度集成，将分析结果嵌入到业务流程中,三、系统设计,三、系统设计,三、系统设计,提纲,四、功能设计,四、功能设计,基于用电信息采集系统实时负荷、停电事件和通信流量等信息，95598计划停电信息，生产实时管控的线路故障停电及光纤网管ONU掉电事件，实现配电网停电事件监测与分析；并实时将负荷数据和停电事件推送给省调配网SCADA、运检部、95598、安质部和海量数据平台；此功能目前已经应用于生产环境，实现每天对安徽省电力公司5亿多条记录进行实时分析与诊断,四、功能设计,四、功能设计,基于用电信息采集系统日冻结抄表示值实现实时校验、修复；针对负荷、电量及关键指标通过Impala实现快速统计；基于大数据技术改造后计量在线监测异常分析（含计量、用电和终端异常）时间由原8个多小时减少到1小时以内；分析结果直接用于省公司、供电公司进行指标监控和指导现场运维，并满足营销自动化抄表结算的需求，此功能目前已经应用于生产环境。

四、功能设计,安徽公司用电信息采集系统接入的运行智能电能表中，绝大部分电能表属于IV、V类电能表，约占安徽公司运行电能表的98%。

III类电能表约占安徽公司运行电能表的1.5%，I、II类电能表只占全省运行电能表的很小一部分。

由于IV、V类电能表不采取现场检验，而IV、V类电能表的运行环境与I、II类电能表相差比较大，不能采用同一种分析方式和技术手段。

所以DL/T448电能计量装置技术管理规程来开展到期轮换已不适应新形势发展需求。

四、系统设计,提纲,五、项目成效,安徽公司新一代采集系统的“存储和计算”是基于大数据平台进行构建，已经采购31台PC服务器，目前已经完成操作系统安装和网络调试，正准备进行大数据程序安装、各类组件的部署和系统联调工作。

其中，存储由分布式数据库（HBASE）+分布式数据仓库（HIVE）组成，实现按需存储；数据计算、处理和归集由数据分析引擎（IMPALA）、实时数据分析软件（SPARK）实现；离线海量数据分析与挖掘由数据分析平台（SPSS）完成，在线机器学习由数据分析软件（SPARK）和算法库（MLlib）实现。

五、项目成效,基于大数据架构的新程序在4月中旬已经部署上线运行，新架构充分利用原有的硬件设备，只是扩展了部分服务器的硬盘和内存，通过高吞吐量的消息处理和流处理技术，实现采集2700万日冻结抄表数据从原来的90分钟提高到目前的20分钟。

在低压用户全部载波通信模式下，全省2700万电能表在5-7天内完成时钟透抄与对时工作。

由于新架构采用分布式消息系统，利用磁盘数据结构提供消息的，持久化，充分保证了前置采集数据完整性。

五、项目成效,已经实现六大类应用：

第一，配用电网停上电事件实时监测与综合分析；第二，负荷数据实时校验、修复与补全；第三，日冻结抄表数据实时校验与异常数据标记；第四，日电量实时计算、修复与补全，目前已经实现每小时对电量、线损进行在线统计；第五，抄表失败明细实时刷新，采集成功率实现按单位、用户类型、台区、终端等维度实现实时查询，支持采集系统现场高效运维；第六，有效的负荷、电能示值和事件数据等数据实时发布，有效地支持了营销抄表数据实时发布，及调度、运检的配网抢修与运行监测等需求。

五、项目成效,基于大数据平台的分布式存储与并行计算架构，实现对用电信息采集系统日冻结抄表示值、负荷、通信报文等海量数据快速存储；对各类指标、各维度负荷特征、日/月电量及关键指标实现按小时进行准实时计算，满足指标在线监控的要求；将计量在线监测异常分析（含计量、用电和终端异常）时间由原8个多小时减少到45分钟左右。

分析结果直接用于省公司、供电公司进行指标监控和指导现场运维。

五、项目成效,7类29个智能诊断分析模型,电压电流异常,电压断相,电压越限,电压不平衡,高供高计B相异常,电流失流,用电异常,电能表开盖,计量门开闭,恒定磁场干扰,负荷异常,电量异常诊断,电能表示值不平,电能表飞走,电能表倒走,电能表停走,费率设置异常,需量超容,负荷超容,电流过流,负荷持续超下限,.,.,抢修服务,抢修工单监测,抢修资源监测,投诉工单分析,保电任务监测,接线异常,反向电量异常,相序异常,潮流反向,时钟异常,终端时钟异常,电能表时钟异常,电量差动异常,.,.,问题

（1）：

缺少针对采集装置的异常分析，无法从通信质量、终端软件、运行工况分析异常的原因，有效地支持现场高效运维,问题（3）：

计算速度慢，当前基于关系型数据库的传统计算方式进行数据加工，涉及GB级别数据量操作时，需要大量I/O操作，数据加工效率低，及时性无法满足业务应用。

问题（4）：

智能化水平不足，对异常进行聚合、关联分析，不能有效地、全面地分析异常产生的原因，支持地不断发展计量业务发展。

问题

（2）：

分析规则需要细化，由于光伏用户的接入，及计量业务的发展，需要对现场电能表出现的新问题分析，优化和完善现有规划，支撑电能表状态检测。

五、项目成效,营销业务库,采集大数据平台,营销档案类数据、营销流程业务数据、营销统计类数据,新增模型,完善模型,原有模型,电流失流,电流不平衡,电压不平衡,功率差动异常,接线错误,高供高计接线异常,.,1.优化和完善现有计量在线监测诊断模型,抄表参数不一致,电能表开盖:

在电能表开盖事件产生后，通过分析开盖次数、及开盖前后三个月电量变化，准确定位用户是否存在窃电情况。

光伏用户上网电量异常:

在光伏用户中，针对自发自用余量上网情况，监控用户上网电量和发电量情况，准确定位用户是否存在骗补情况。

在原有7个模型的基础上，增加了终端异常工况、终端软件异常二个诊断模型，在原有电量异常、接线错误诊断模型中增加高供高计接线错误、光伏用户上网电量异常等2个事件，完善了电能表开盖、过流、负荷越下限等事件判断方法。

五、项目成效,阶段性成果,2.应用分布式技术和机器学习技术，提升计量异常分析效率和智能化,数据集成,数据导入工具Sqoop,分布式消息队列Kafka,数据存储,分布式数据仓库Hive,列式存储HBase,分布式文件系统HDFS,Oracle,数据交互,数据计算,流处理Storm,Spark,Impala,批量计算MapReduce,存储过程,JAVA计算服务,数据分析,SPSS,MATLAB,自定义算法,图表组件,报表,业务应用,单一异常分析,异常关联分析,基于GIS展示,计量在线监测软件,新增组件,原有组件,ETL工具,日志收集Flume,异常处理与评价,可视化数据挖掘建模:

在计量异常、用电异常和终端异常分析的基础。

建立终端异常诊断分析模型，通过决策树快速判断是否需要进行现场消缺。

分布式并行计算:

在应用大数据技术，优化后计量在线监测软件，极大地提升计量在线监测分析效率，满足计量专业大数据快速统计和在线分析需求。

五、项目成效,研制背景,五、项目成效,五、项目成效,3.应用大数据技术提升性能效果,五、项目成效,1.计量异常流程处理成效明显,五、项目成效,分析成果应用成效明显,五、项目成效,支撑配网抢修、末端融合业务发展为打造“全能型”复合人才提供技术平台,五、下一步打算,谢谢！