电力大数据博士论文
随着智能电网建设的推进,在电力系统的发电、输电、配电和用电等多个环节将完成智能化,从而实现对电力系统的全方位、多角度感知,收集多源异构数据的广度和深度不断加强,并形成电力大数据。下文是学习啦小编为大家搜集整理的关于电力大数据博士论文的内容,欢迎大家阅读参考!
电力大数据博士论文篇1
浅谈智能电网电力大数据技术
本文在综述了智能电网中大数据的数据特征、应用价值的基础上,对多源异构数据聚合管理、复杂数据分析、数据在智能电网的应用这一完整过程中的若干关键技术展开深入阐述,并在上述研究基础上提出智能电网大数据处理技术的研究方向建议。
1 智能电网中的大数据
智能电网即电网的智能化,通过先进的传感、设备技术、控制方法以及决策支持系统技术,实现电网的安全、高效、经济的目标,具有提高能源效率与供电安全性及可靠性、减少环境影响、提高供电减少输电网电能损耗等优点。
欧美各国对智能电网的研究开展较早,已经形成强大的研究群体。美国主要关注电力网络基础架构的升级更新,同时最大限度地利用信息技术,实现系统智能对人工的替代。自2010年以来,超过90亿美元的大型公共和私人投资加快了先进智能电网技术的部署,提供了有关技术成本和收益的真实数据以及最佳实践。2015年2月,AutoGrid宣布与微软达成全球合作,基于AutoGrid的能源数据平台为全球公用事业公司和创新能源服务供应商提供大数据和智能电网分析解决方案。 欧洲则重点关注的领域是可再生能源和分布式能源的发展,并带动整个行业发展模式的转变。欧盟计划在五年后实现清洁及可再生能源占其能源总消费20%的目标,并完成欧洲电网互通整合等核心变革内容。我国智能电网建设主要以整合提升调度系统、建设数字化变电站、完善电网规划体系、建设企业统一信息平台为4条主线。2015年4月,北京艾能万德智能技术有限公司与AutoGrid公司正式达成战略合作意向,本次合作意向的达成意味着在新能源与电力大数据处理专业领域将实现跨国联手,一起迎接中国新电改挑战和充满机遇的大数据时代。
1.1 电力大数据特点
智能电网大数据具有以下特征,即规模性、多样性、低价值密度、实时性。
1.1.1 规模性与多样性
互联网、社会计算和移动计算等新兴技术的飞速发展,智能电网数据的来源和规模正呈现出爆炸式增长态势,数据类型也呈现出多样性,主要包括历史数据、实时数据、时间序列数据、及跨媒体数据等各种结构化数据、半结构化数据以及非结构化数据。目前电力系统中非结构化数据占到很大比重。
1.1.2 低价值密度
在大量的数据当中找到有价值的数据概率会较低。以波形数据为例,在产生的大量波形数据中,几乎所有的波形数据都是正常数据,但是对监测、检查异常这项工作来说,有价值的数据恰恰是那些数量极少的异常数据。
1.1.3 实时性
指大数据中的物理数据都是真实事物物理状态实时更新的数据,如电网调度、控制需要的数据是实时数据,需要快速而准确地处理。电力生产需要发电和用电及时平衡,需要对电力调度、设备检修等生产数据实时处理。需要在几分之一秒内对大量数据进行分析,为决策制定提供较高的支持平台。
1.2 电力大数据价值
电力大数据规模大、类型多、价值高,不论在企业内部还是外部都有很高的应用价值,对于电力企业盈利与控制水平有很好的利用价值,研究表明数据利用率每调高1倍,可以使电网利润提升2至5倍;在电力行业以外,电力大数据在经济建设、能源配置和民生改善等方面展现出巨大的综合价值,具体内容如下:
1.2.1 在电力企业内部
可以优化企业管理模式,提升企业经营管理水平。主要应用方面包括:一是可以辅助电力企业选址、建设等重大决策;二是通过庞大的历史销量数据,对客户用电行为分析和客户市场进行细分,从而指导管理者对营销组织与服务模式的改善;三是整合电力行业生产、营销等多方数据,实现电力全环节数据共享,进而优化资源配置、提升生产效率和资源利用率。
1.2.2 在电力行业外部
利用电力行业大数据能够获得可观的社会效益,首先,利用电力行业数据可以为客户提供更加丰富的增值服务;另外,用电数据可以作为重要经济先行数据,是一个地区经济运行的“风向标”,可作为投资决策者的参考依据。
2 智能电网大数据关键技术
2.1 多源异构数据的聚合管理技术
电力大数据的数据集成管理技术,包含关系型和非关系型数据库技术、数据融合和集成技术、数据抽取技术、过滤技术和数据清洗等。电力大数据的来源极其广泛,数据类型极为繁杂,且数据质量不高,准确性、及时性均有所欠缺,对于这种多源异构数据的聚合管理技术也提出了更高的要求。首先必须对数据源的数据进行抽取和集成,现有的数据抽取与集成方式主要是基于ETL引擎的方式和基于搜索引擎的方式等,首先把数据抽取成文件,再对数据文件进行转换和清洗,最后生成多维度、多粒度的分析型数据并存储到数据仓库中。
云计算技术中的分布式存储技术满足了电网海量数据的存储需求,因此云计算技术推出不久,电力云的概念就被提出来。可信的云存储模型的建立,解决了结构化和非结构化数据的统一存储与安全管理问题。虽然分布式计算方法可以大大提高计算机的存储空间,但是不能满足电力数据的实时性要求。因此存储时需要对数据进行分级、分类,如对性能要求高的实时数据需采用实时数据库系统进行存储,对历史数据采用分布式文件系统存储,对核心业务数据则使用传统的并行数据仓库系统存储,形成完整的数据库分级存储系统。这种层次式和分布式存储和集成系统,利用海量多源异构数据存储、组织、管理最新技术,保证了数据存储的完整性与访问的高效性。
2.2 复杂数据处理技术
电力大数据处理技术主要解决大数据的实时处理和批处理问题。目前主要采用分布式计算技术、内存计算技术、实时流数据计算技术等来解决大数据的处理问题。 分布式计算主要解决计算机分布式计算和存储的问题。分布式计算典型的例子是Google文件系统(Google File System,GFS),随后 Yahoo开发了该系统的开源版本Hadoop,Hadoop集群系统具有成本低廉、灵活性强等优点,同时还支持海量数据存储和计算。已有研究针对智能电网状态监测的特点,基于Hadoop并利用其它虚拟化技术和分布式存储技术存储和管理数据,以实现对电力大数据的高效管理。
内存计算技术主要解决大数据的实时处理问题。SAP HANA是基于内存计算技术的高性能实时数据计算平台,有研究表明SAP HANA可以提高计算速度几十到上百倍。随着内存价格的不断下降,内存计算已经具备物质基础,这也在一定程度上解决了海量数据的实时处理问题。文献中介绍了使用改良Apache Spark作为执行引擎的内存计算引擎计算框架,采用轻量级的调度框架和多线程计算模型,与传统的Mapreduce框架相比,消除了频繁的I/O磁盘访问并降低了调度与启动开销。
电力大数据包括实时监测数据、企业营销数据等,它们以一种顺序、大量、快速的方式呈现,可以被看作一种流式数据。流式大数据呈现出实时性、易失性、突发性、无序性、无限性等特征,对系统提出了很多新的更高的要求。S4 流式计算系统和 Storm 流式计算系统的推出,在一定程度上推动了大数据流式计算技术的发展和应用。但是,这些系统在可伸缩性、系统容错、状态一致性、负载均衡、数据吞吐量等诸多方面仍然存在着明显不足。目前,分布式数据流实时计算系统在学术界和工业界都处于初步探索阶段。大数据流式计算技术应设计分布式多模态计算框架,选择能与Hadoop架构兼容的计算框架,调整各种计算框架中数据及索引访问模块,二次开发统一的计算任务调度模块,设计并开发统一的分布式环境。将流数据技术应用于电力系统可为决策者提供即时依据,满足实时的分析需求。
2.3 复杂数据分析技术
2.3.1 聚类分析
已有研究针对K-均值聚类算法的“零值困境”问题,提出基于香农熵的改进方法,将所提出算法应用到图像内容识别领域,构建高质量图片索引,提升图片获取效率。在一致性聚类方面,已有研究结合广义K-均值算法系统地研究了效用函数选择以及聚类分量生成分量等重大理论问题。将文本分类技术应用于电力企业的物资调配平台,可以促进物资调配平台的信息检索和分析能力的提升,方便用户快速准确的定位所需信息。另外,可以将聚类分析技术应用于客服系统中,解决客服系统客户监督模块中文档高维稀疏数据带来的“零属性困境”问题,同时可将客户的故障报修信息按不同类别聚类分析,使企业能够更加合理的调配人员同时提高用电客户满意度。
2.3.2 强关联项集挖掘
有研究提出基于余弦指标的“条件反单调性”剪枝性质,并设计了高效余弦模式挖掘算法挖掘强关联项集,根据兴趣度指标条件对其直接进行剪枝,从而挖掘出兴趣模式。同时,相关研究表明所挖掘的余弦模式能用于噪音数据过滤,降低无关数据对后续分析的干扰。通过强关联多项集的挖掘技术应用,可以成功打破电力企业各系统间的数据孤岛,实现企业内部数据资源全方位、大范围、深层次的分析与利用,为决策者提供丰富详细的数据支持。另外,采用高效余弦模式挖掘算法发现相似性子序列给用户推荐其经常访问业务系统和菜单功能,并实时跟踪每个用户访问业务系统和功能的时间,并对异常情况进行报告和预警。
2.3.3 机器学习
着重研究利用多种机器学习模型在不同应用场景下的分类模型构建方法。SVM分类器的好坏判别标准,主要取决于其所构建模型对未知数据测试的精准程度,支持向量机模型的确定主要在于惩罚系数与核函数参数的选择。传统的SVM模型由于在这两个参数选择方面耗时过多,因此构造的模型并不适用于大样本数据集。SVM模型应用于大规模数据集需要从以下两个方面入手:提高参数寻优速度和缩小参数寻优范围。文献针对大数据集分类问题使用了一种快速有效寻找最优模型参数的方法UD-SVR。
2.4 智能电网大数据展现技术
由于电力信息平台中信息体量大、且随时间不断变化,难以将所有信息一次性呈现给用户,所以要切实通过可视化技术对这些数据进行处理,使得异常数据在屏幕上较为清晰的呈现出来。针对不同类型的电力大数据,可视化方案也有所区别:首先对于电网运行数据,根据其高维、时序、快速的特点,应采取信息可视化与可视分析结合的技术方法进行处理。针对电力客户数据,客户数据主要来自用电终端信息采集系统。将用户电量信息与用户地理区域对应起来,可实现用户用电行为分析与负荷特性的可视分析。另外还可以结合地理信息系统绘制地区电力客户地图,并按照一定的权限向公众开放该全景分析图,实现用户的用电互动服务,实时反馈购、用电信息。最后是面向电网企业管理数据,可根据其不同业务部门的特点进行不同的可视化分析。
由于三维模型数据量较大,需要尽可能减小三维模型数据量,研究表明从纹理与几何两个方面对模型进行压缩,生成多种细节层次模型,以支持三维模型的动态可视化。而多细节层次技术需要解决的问题之一是如何快速地对多边形网格进行简化,以生成多分辨率模型,采用简化网格模型的算法,针对实时的虚拟场景中,保证了简化模型的连续性、实时性、保持外观特征性,使得原有的数据存储结构得以重复利用。已有研究提出基于模型组件化动态WEB 3D 虚拟现实场景的搭建方法及系统,模型可以在虚拟现实项目中进行复用,减少在场景搭建中模型使用的冗余,并提高用户体验。
目前电网企业大数据挖掘分析工作虽然不断取得新的突破,但是将相关数据绘制成高精度、高分辨率的图片的业务模型、智能算法和交互式图形处理工具开发的研究才刚起步,相关可视化系统的功能实现需要进一步予以研究开发。
3 结语
本文阐述了智能电网中大数据的数据特点以及应用价值,重点介绍了目前智能电网中大数据聚合管理、分析处理以及数据展示的关键技术,为我国智能电网大数据处理提供参考。
参考文献
[1]帅军庆.创新发展建设智能电网:华东高级调度中心项目群建设的实践[J].中国电力企业管理,2009(4):19-21.
[2]宋亚奇,周国亮,朱永利.智能电网大数据处理技术现状与挑战[J].电网技术, 2013,37(4):927-934.
[3]潘明惠.内存计算技术验证项目与应用研究[J].电力信息化,2012,10(10):29-34.
[4]王德文,宋亚奇,朱永利.基于云计算的智能电网信息平台[J].电力系统自动化,2010,34(22):7-12.
电力大数据博士论文篇2
浅谈电力行业的大数据安全防护
摘 要:随着我国经济发展水平的不断提高,电力行业得到了显著发展,成为我国经济发展的重要支柱之一,而随着用电量的不断增加、电气自动化程度的提高,电力行业中的电子设备使用日渐广泛,在能源产业中所占比重也明显提高。而要想使电力系统信息化进程进一步推进,使信息安全更加牢靠,就要做好电力行业大数据安全防护工作。
关键词:电力行业 大数据安全防护 信息技术 电气自动化
当今,“大数据”已经成为电力行业中的一个广泛关注的词汇,并且大数据的商业价值明显提升,逐渐吸引着人们的目光。电力行业是我国重要的能源利用与配给行业,对于监督人们安全用电、合理用电有重要作用,是确保国家各项建设能够顺利开展、持续进行的关键。随着智能电网的推出,使各项电力业务的开展更加便捷、高效,实时、准确的数据处于日渐增长的态势,电力大数据的使用能够与社会保障、人们日常生活紧密相连,是促进经济发展的必然。本文主要对电力大数据应用特征、安全风险、防护方法等进行了分析,从而表现了大数据安全在推动电力行业发展当中起到的重要作用。
1 电力行业大数据应用特征
随着各种智能变电站、智能服务终端、数字化工厂的兴起,电力部门能够在发电、输电、配电、调度等各项工作中产生非常多的数据,这些数据呈现出不同类型不同作用。根据相关调查显示,居民用电信息在采集过程中的终端数量已经突破了4亿;其中,供电电压自动式的采集电压监测控制点也已经分布了7万个,其他类型的监测数据也达到了2135万个;输变电动态监测装置已经安装了超过2万个,形成了一个系统性的分钟级的终端规模,数据量已经由TB级转向了PB级。
可见,电力企业已经真正开始朝着智能化、精准化的方向发展,对于资源利用效果与自动化控制水平的提升非常迫切。而通过使用大数据对各项内容进行决策、支持以及预测能够使管理与监督风险大大降低。首先,应用大数据对信息进行采集能够使决策变得更有逻辑性,收集到更多准确的信息,能够及时对内在联系做出智能化的判断,能够避免产生只凭经验做出判断的生产经营模式。此外,通过使用大数据能够收集到更为细化、品质更好的数据,使电力行业的能见度得到增强,从而符合预测需求。
2 电力行业大数据信息安全风险
此前,虚拟化、分布式、自动化的云计算构架已经在全球范围内推行,掀起了一股全新的计算机、互联网的变革。但是,电力行业的大数据信息依然存在一些安全风险,制约着电力行业的发展与信息收集。下面就对安全风险进行描述。
大数据在为电力行业带来经济效益与社会效益的同时,在信息安全方面同样是一个新挑战。因为大数据包含的信息量非常大,并且能够对网络目标进行快速的攻击,容易使网络中的隐私外泄。此外,电力大数据还会涉及到非常多的电力企业原始数据、客户个人信息等,数据敏感度非常强,一旦外泄将为企业带来一定的损失。
大数据隐藏的安全风险实际上是存在于大数据运行周期中的安全风险,这些风险是在产生、传输、处理、储存、应用的各个阶段产生的。一方面,数据在传输中容易出现中断、窃听、伪造、篡改等风险;在数据处理以及应用当中也会存在用户越权或者是主机故障等风险,也有一些数据存在一些外部风险,运行措施不当等都会造成数据安全风险。此外,并行计算、内存数据库更新等都会使数据出现生命周期的技术新变革,大数据会面临更多的安全风险。
3 电力信息系统数据安全防护策略
电力行业中的大数据安全是电力系统信息系统安全中的主要内容,如何使数据安全得到保证成为数据管理与控制的关键内容。具体防护策略如下:
3.1 构建出一体化的安全防护机制
电力行业信息安全防护体制的构建要能够满足电力行业的发展需要,将“信息保障”作为防护的中心,应用深度防御手段以及综合防范方法向结合的策略对信息安全风险做出判断与分析,将“信息安全管理”作为核心内容,从技术、管理、人员等方面做好保障,结合数据、储存方式、传输形式、数据处理方式构建出科学、合理的安全防护机制,实现数据传输的完整与保密。
3.2 提高数据存储环境安全性
在电力行业中,数据往往存在于不同的业务系统中,这些系统数据主要分为数据库系统、操作系统两方面。操作系统主要是指连接计算机、上层软件用户的纽带系统,其安全性是至关重要的,能够减少操作系统安全漏洞的出现,为此,要对操作系统进行合理、优化的配置;数据库系统中,其密级程度高、实用性非常强,为此,要构建出系统性强的安全策略,减少出现数据的外泄或者是损毁。真正实现了数据库系统的安全性与保密性。
3.3 恶意代码的安全防护方法
首先,在方案设计过程中,要按照信息系统风险部署的防范体系,在所有的入口处对恶意代码进行全面检测、清除。很多组织都会在本机构中部署恶意代码的防范体系,但是却不能覆盖到终端或者是网络边界位置处,只有50%~70%能够达到这种覆盖,防范效果非常不理想。一个组织存在1000个以上的终端,但仍有200多个终端未能得到保护,有200多台计算机感染了蠕虫,使整个病毒蔓延,导致网络的瘫痪。为此,一个有效的恶意代码防范安全技术部署则能够对网络边界继续拧全面覆盖,使系统内部的终端、服务器内部网络资源得到优化。通过对整个数据网络开展代码防范能够使安全控制效果增强。
此外,为了防止低级别安全区域内的恶意代码对高级别安全区域带来严重的辐射,可以设置逻辑隔离区部署控制手段防止恶意代码通过网络蔓延到高级安全区域,可以在同一个网络内部署同一高级别的恶意代码防范技术,从而使低级别区域内防止出现恶意代码的感染。
4 结束语
本文主要对电力行业大数据安全的特征进行了分析,并探讨了电力行业大数据面临的安全风险,可见,伴随着电力系统智能化、自动化、信息化水平的提升,将产生非常多的大数据,其风险也会伴随产生。最后,本文提出了几点提高大数据安全性的方法,构建防护机制、加强安全设计等都是非常重要的手段。
参考文献
[1]郜盼盼.智能电网系统中面向用电信息安全防护的认证加密系统研究[D].北京邮电大学,2013.
[2]梁鸿健.面向智能电网的自动化综合数据应用研究及系统开发[D].哈尔滨工业大学,2012.
[3]杨漾.输变电设备状态监测系统的信息建模与安全策略研究[D].湖南大学,2012.
[4]尹建玲,刘高俊,王婷等.核电厂实时信息监控系统的网络与数据安全设计[J].原子能科学技术,2014(z2):1059-1063.
[5]李晖,孙文海,李凤华等.公共云存储服务数据安全及隐私保护技术综述[J].计算机研究与发展,2014,51(7):1397-1409.
[6]张妍,陈驰,冯登国等.空间矢量数据细粒度强制查询访问控制模型及其高效实现[J].软件学报,2011,22(8):1872-1883.