2023基于大數(shù)據(jù)的用戶用電行為分析平臺(tái)的研究與部署

基于大數(shù)據(jù)的用戶用電行為分析平臺(tái)的研究與部署引言隨著大數(shù)據(jù)、云計(jì)算、物聯(lián)網(wǎng)、人工智能等技術(shù)的快速發(fā)展和應(yīng)用，智能電網(wǎng)近幾年迎來(lái)了高速發(fā)展期，并且隨著新能源和電動(dòng)汽車等技術(shù)的發(fā)展，智能電網(wǎng)產(chǎn)生的數(shù)據(jù)量快速增長(zhǎng)[1]。在傳統(tǒng)的電力系統(tǒng)中，電力資源的生產(chǎn)和消費(fèi)屬于兩個(gè)不同的部門管理，沒(méi)有得到很好的協(xié)調(diào)。如果能夠協(xié)調(diào)好電力資源和電力消費(fèi)數(shù)據(jù)和管理，將非常有利于提高資源的利用率，從而提高客戶的滿意度。用戶用電行為分析技術(shù)，非常好的解決了這個(gè)問(wèn)題。用戶用電行為分析是指采用大數(shù)據(jù)技術(shù)，將用戶用電數(shù)據(jù)和用戶的用電模式進(jìn)行關(guān)聯(lián)，從而發(fā)現(xiàn)其中的聯(lián)系。基于用戶用電量和用戶的用電模式，可以制定出更加合理的電價(jià)和相關(guān)營(yíng)銷策略，從而提高電力資源利用率和客戶的滿意度。在設(shè)計(jì)電力大數(shù)據(jù)應(yīng)用平臺(tái)時(shí)，需要考慮電力系統(tǒng)自身的特點(diǎn)。電力系統(tǒng)具有用戶群體龐大、用戶用電數(shù)據(jù)類型多樣的特點(diǎn)，決定了電力大數(shù)據(jù)平臺(tái)需要較高的存儲(chǔ)容量。另外，電力數(shù)據(jù)受經(jīng)濟(jì)環(huán)境、人口遷移、竊電行為等因素影響較快，對(duì)電力大數(shù)據(jù)平臺(tái)的性能提出了較高的要求。所以，電力大數(shù)據(jù)應(yīng)用平臺(tái)與其他大數(shù)據(jù)應(yīng)用平臺(tái)最大區(qū)別在于平臺(tái)的容量更大、計(jì)算性能要求更高。已有研究提出了各][3][4]。但是，大部分研究主要集中于發(fā)電、變電、輸電、調(diào)度等智能電網(wǎng)的應(yīng)用環(huán)節(jié)[5]。同時(shí)，已有研究大部分基于離線數(shù)據(jù)分析，或者批處理技術(shù)，這些解決方案的分析結(jié)果一般會(huì)有延遲，不能很好的適用于用戶用電行為分析[6]。為解決上述問(wèn)題，本文首先設(shè)計(jì)了專門針對(duì)用電行為分析的基于大數(shù)據(jù)的平臺(tái)，該平臺(tái)包括數(shù)據(jù)表現(xiàn)層、數(shù)據(jù)分析層、存儲(chǔ)計(jì)算層、數(shù)據(jù)來(lái)源層，能夠更好的解決用電行為分析中的問(wèn)題。其次，研究了平臺(tái)中使用的數(shù)據(jù)處理的關(guān)鍵技術(shù)，并實(shí)現(xiàn)和部署了大數(shù)據(jù)平臺(tái)。經(jīng)過(guò)半年多的試運(yùn)行，相比于已有系統(tǒng)，本文提出的大數(shù)據(jù)分析平臺(tái)擁有更好的使用體驗(yàn)和更加便捷的使用效果。平臺(tái)架構(gòu)基于對(duì)已有研究成果的分析可知，為了更好的支撐用戶用電行為分析業(yè)務(wù)，本文提出的用電行為分析的基于大數(shù)據(jù)的平臺(tái)，需要支撐現(xiàn)有的用電行為分析的主要業(yè)務(wù)。所以，需要對(duì)各個(gè)電力公司的現(xiàn)有相關(guān)業(yè)務(wù)進(jìn)行調(diào)研和分析。例如，通過(guò)調(diào)研可知，大部分電力公司提供的用電行為分析業(yè)務(wù)，都能夠結(jié)合專家預(yù)測(cè)、機(jī)器學(xué)習(xí)等模型進(jìn)行集中分析，建立實(shí)時(shí)判斷電力資源生產(chǎn)狀況、電力資源質(zhì)量問(wèn)題發(fā)現(xiàn)與預(yù)警、用戶用電量遠(yuǎn)程監(jiān)測(cè)、用電安全形勢(shì)預(yù)測(cè)評(píng)估等。為了支撐好現(xiàn)有的和未來(lái)可能具有的用電行為分析業(yè)務(wù)，確保平臺(tái)的便利性和易用性，本文提出的平臺(tái)架構(gòu)如下1所示，具體包括數(shù)據(jù)表現(xiàn)層、數(shù)據(jù)分析層、存儲(chǔ)計(jì)算層、數(shù)據(jù)來(lái)源層。其中，數(shù)據(jù)表現(xiàn)層主要用于實(shí)現(xiàn)數(shù)據(jù)的展現(xiàn)，具體包括圖表呈現(xiàn)、數(shù)據(jù)監(jiān)控、報(bào)表推送、查詢服務(wù)等功能。數(shù)據(jù)分析層主要用于用戶用電數(shù)據(jù)和電力資源數(shù)據(jù)的分析，包括元數(shù)據(jù)的存儲(chǔ)，數(shù)據(jù)挖掘工具的支撐。存儲(chǔ)計(jì)算層主要用于數(shù)據(jù)的存儲(chǔ)和計(jì)算；數(shù)據(jù)存儲(chǔ)方面，采用分布式的架構(gòu)，可以實(shí)現(xiàn)海量數(shù)據(jù)的實(shí)時(shí)存儲(chǔ)；在數(shù)據(jù)的計(jì)算方面，可以實(shí)現(xiàn)批量數(shù)據(jù)計(jì)算、流式計(jì)算。數(shù)據(jù)來(lái)源層用于實(shí)時(shí)獲取智能電表、智能用電設(shè)備功率等數(shù)據(jù)，包括結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)。Figure1.Platformforuserbehavioranalysisplatformbasedonbigdata圖1.基于大數(shù)據(jù)的用戶用電行為分析平臺(tái)架構(gòu)數(shù)據(jù)處理的關(guān)鍵技術(shù)本文提出的基于大數(shù)據(jù)的用電行為分析平臺(tái)，可用于基于大數(shù)據(jù)挖掘和分析的電力資源生產(chǎn)、消費(fèi)及突發(fā)事件的全過(guò)程管控，實(shí)現(xiàn)電力資源安全生產(chǎn)和消費(fèi)環(huán)境的“透明化”，在電力資源災(zāi)害的早期發(fā)現(xiàn)與預(yù)防領(lǐng)域也有較大的應(yīng)用價(jià)值。數(shù)據(jù)挖掘和分析的一般過(guò)程為抽取數(shù)據(jù)、凈化數(shù)據(jù)、數(shù)據(jù)引擎、算法引擎、運(yùn)行挖掘算法、分析結(jié)果等。下面對(duì)本文提出的大數(shù)據(jù)用電行為分析平臺(tái)中的關(guān)鍵技術(shù)進(jìn)行研究，以確保平臺(tái)的高可靠、高擴(kuò)展、高存取性能，從而實(shí)現(xiàn)更好的大數(shù)據(jù)平臺(tái)服務(wù)模式。數(shù)據(jù)的存儲(chǔ)數(shù)據(jù)的存儲(chǔ)方面，平臺(tái)根據(jù)具體應(yīng)用場(chǎng)景的需要，既支持傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)，也支持內(nèi)存數(shù)據(jù)庫(kù)、NoSQLOLTP事務(wù)處理類型的業(yè)務(wù)中，TimesTenSolidDBOLAPDHSSTeradata等數(shù)據(jù)庫(kù)；NoSQLHBase、BigTable等數(shù)據(jù)庫(kù)。數(shù)據(jù)預(yù)處理中心ESB數(shù)據(jù)預(yù)處理中心首先對(duì)不同來(lái)源的數(shù)據(jù)做時(shí)間和空間的對(duì)準(zhǔn)，然后對(duì)數(shù)據(jù)進(jìn)行清洗和整理。其中使用的處理算法主要包括數(shù)據(jù)整合算法、數(shù)據(jù)抽樣算法、數(shù)據(jù)歸一化算法、數(shù)據(jù)離散化算法、數(shù)據(jù)屬性算法、數(shù)據(jù)區(qū)間化算法、缺失值處理算法、行內(nèi)去重算法、數(shù)據(jù)修改算法、數(shù)據(jù)統(tǒng)計(jì)算法。挖掘與分析挖掘與分析方面，對(duì)數(shù)據(jù)進(jìn)行面向主題的、一般性的和挖掘性的分析，獲得特征信息，它包括電力信息整合、分析和度量，也包括電力資源專題的分析與管理，還包括電力資源管理與決策支持。通用的數(shù)據(jù)挖掘算法分為基于統(tǒng)計(jì)學(xué)習(xí)的算法、基于機(jī)器學(xué)習(xí)的算法和基于數(shù)據(jù)庫(kù)技術(shù)的算法。1)KNNK-meansCLARANS算法、DBSCAN算法；2)基于機(jī)器學(xué)習(xí)的算法：包括決策樹(shù)、SVM、關(guān)聯(lián)規(guī)則、遺傳算法、貝葉斯學(xué)習(xí)、KNNApriori算法、FP-growth算法、WFP算法；3)基于數(shù)據(jù)庫(kù)技術(shù)的算法：包括多維分析、OLAP技術(shù)、多屬性歸納等算法。另外，還提供了大量智能電網(wǎng)特有的挖掘分析算法，如基于非參數(shù)回歸的故障預(yù)測(cè)模型、礦工群體行為模型、多目標(biāo)粒子群優(yōu)化算法、模糊控制算法等。這些算法以服務(wù)的形式對(duì)外開(kāi)放，開(kāi)發(fā)者可以根據(jù)具體問(wèn)題的需要選擇合適的服務(wù)，完成具體應(yīng)用的開(kāi)發(fā)。數(shù)據(jù)應(yīng)用數(shù)據(jù)應(yīng)用方面，數(shù)據(jù)挖掘技術(shù)在用戶用電行為分析的應(yīng)用路線為：選擇數(shù)據(jù)挖掘算法、數(shù)據(jù)建模、模型驗(yàn)證、知識(shí)可視化和應(yīng)用。例如，應(yīng)用于用戶消費(fèi)模式識(shí)別時(shí)，可以實(shí)現(xiàn)電力資源的精細(xì)化管理、用戶操作行為識(shí)別、操作行為分析、技術(shù)學(xué)習(xí)培訓(xùn)、故障診斷等。大數(shù)據(jù)平臺(tái)體系架構(gòu)的實(shí)現(xiàn)與性能分析架構(gòu)實(shí)現(xiàn)2Figure2.Implementationofbigdataplatformarchitecture圖2.大數(shù)據(jù)平臺(tái)體系架構(gòu)的實(shí)現(xiàn)FTPHBaseHDFSYARNKafka用和管理。對(duì)外提供資源的方式包括application、webservice、FTP、KAFKA、MQ等多種形式。主要功能3所示，主要信息包括租戶類型、租戶名稱、租戶密碼、租戶組、隊(duì)列、hdfs數(shù)據(jù)根路徑等信息，其中租戶類型分為普通用戶和高級(jí)用戶，hdfs數(shù)據(jù)根路徑用于定義存儲(chǔ)該租戶所有hdfs4HDFSYARNHIVEHBASE5Figure3.Addtenants圖3.添加租戶Figure4.Tenantresourceapplication圖4.租戶資源申請(qǐng)F(tuán)igure5.Tenantsperformtasks圖5.租戶執(zhí)行任務(wù)性能分析為了驗(yàn)證基于大數(shù)據(jù)的用戶用電行為分析平臺(tái)的性能，本小節(jié)分析了傳統(tǒng)平臺(tái)和本文平臺(tái)下用戶用電行為分析的測(cè)試程序。該程序使用客戶類型、負(fù)荷量、天氣情況、日期類型、電價(jià)等用戶用電特征，對(duì)用戶用電模式進(jìn)行識(shí)別。傳統(tǒng)平臺(tái)下，程序的接口數(shù)據(jù)處理包括單個(gè)文件處理、全部文件關(guān)聯(lián)處理兩部分，其中單個(gè)文件大500300G12T(全月數(shù)據(jù))2小時(shí)(每天數(shù)據(jù))，6945小時(shí)、211用戶用電行為分析平臺(tái)的運(yùn)行效率較高?？偨Y(jié)在智能電網(wǎng)大發(fā)展的時(shí)代，通過(guò)用戶用電行為分析技術(shù)，可以基于用戶用電量和用戶的用電模式，制定出更加合理的電價(jià)和相關(guān)營(yíng)銷策略，從而提高資源利用率和客戶的滿意度。為解決這個(gè)