電網(wǎng)運維工具與管理研究

電網(wǎng)運維工具與管理研究

Summary：隨著電力信息化進(jìn)程的加快，電力企業(yè)的運維管理從手工操作向自動化、標(biāo)準(zhǔn)化、規(guī)范化的方向發(fā)展。本文通過對數(shù)據(jù)庫自動化工具的研究與應(yīng)用，了解其工作狀況，以便于開始查找其中存在的異常情況，而后制定針對性的管理措施，以期更好地確保電網(wǎng)得以平穩(wěn)運行。Keys：電網(wǎng)運維工具；知識結(jié)構(gòu)化；數(shù)據(jù)處理1引言電網(wǎng)運維是電網(wǎng)運行的重要組成部分，是保證電網(wǎng)安全穩(wěn)定運行的基礎(chǔ)，也是電網(wǎng)企業(yè)效益的核心。為了更好地滿足一線數(shù)據(jù)庫運維的需求，將需要積極對數(shù)據(jù)庫自動化工具進(jìn)行開發(fā)與應(yīng)用，其將能夠有效地提高運行的效率，切實推進(jìn)系統(tǒng)建設(shè)，進(jìn)一步支持運維規(guī)范化管理。2運維工具的分類2.1運維流程管理工具運維流程管理工具是基于業(yè)務(wù)流程，通過申請單、操作票等多種管理手段，對運維人員、運維時間等進(jìn)行管控。主要包括：(1)流程管理工具不能執(zhí)行商業(yè)運作，其作用是對系統(tǒng)進(jìn)行追蹤，保證閉環(huán)，由此更好地反映出事件的工作關(guān)系，并對審批的風(fēng)險進(jìn)行控制。(2)警報和突發(fā)事件管理工具，其能夠保證從錯誤中吸取經(jīng)驗教訓(xùn)、指導(dǎo)經(jīng)營控制、用人力控制風(fēng)險、充實知識庫。2.2運維監(jiān)控告警工具運維監(jiān)控告警工具主要包括網(wǎng)絡(luò)設(shè)備、數(shù)據(jù)庫、安全設(shè)備、主機以及應(yīng)用系統(tǒng)軟件等，其主要是WEB接口的分布式監(jiān)控系統(tǒng)，由此其整體的應(yīng)用自動化水平也相對較高。該系統(tǒng)主要用于對網(wǎng)絡(luò)中的服務(wù)器和其它網(wǎng)絡(luò)狀況進(jìn)行監(jiān)測，可與各種不同的數(shù)據(jù)庫配合使用，具有實時報警功能。目前存在的技術(shù)難題主要是各種工具收集對象無法滿足用戶的個性化以及對腳本、接口等第三方監(jiān)測數(shù)據(jù)的要求。同時，由于大量數(shù)據(jù)的讀取會產(chǎn)生重存輕讀問題，由此將對數(shù)據(jù)的收集與傳輸機制的設(shè)計提出了更高的要求。2.3運維發(fā)布變更工具運維發(fā)布變更工具主要是對資源發(fā)布和資源調(diào)控進(jìn)行統(tǒng)一管理，針對實際需求進(jìn)行大量發(fā)布，既可以主動發(fā)布更改，又可以實現(xiàn)被動下載?，F(xiàn)有的技術(shù)難題主要有：操作工具的使用不方便、人工學(xué)習(xí)時間長、自動組態(tài)更新等。3電網(wǎng)運維工具與管理3.1知識結(jié)構(gòu)化業(yè)務(wù)邏輯設(shè)計電網(wǎng)運維工具可以進(jìn)一步處理和規(guī)范知識庫。知識庫的內(nèi)容主要有：電網(wǎng)生產(chǎn)的典型案例庫、重大事故事件庫、系統(tǒng)庫以及新技術(shù)新產(chǎn)品知識庫等，在其業(yè)務(wù)模塊中凸顯的是多源數(shù)據(jù)融合、模型管理、數(shù)據(jù)預(yù)處理、知識介紹等功能。其主要作用是為電網(wǎng)知識管理提供支持，并且切實提升知識的可用性以及系統(tǒng)的可擴(kuò)充性。期間電網(wǎng)運維工具運用中的多數(shù)據(jù)融合實際上就是將電網(wǎng)的各種信息綜合起來；而后通過模型的管理，將實體識別和關(guān)系屬性抽取相結(jié)合，構(gòu)建多種深度學(xué)習(xí)模型，方便系統(tǒng)的統(tǒng)一管理；數(shù)據(jù)預(yù)處理是一種需要處理和處理知識庫數(shù)量的多項應(yīng)用的需求；知識簡報就是運用智能技術(shù)，對電網(wǎng)的經(jīng)營決策進(jìn)行分析。3.2多數(shù)據(jù)源融合本文提出一種基于云技術(shù)和分布式存儲技術(shù)的方法，其主要是將電網(wǎng)中的數(shù)據(jù)進(jìn)行結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)提取。然后通過對電網(wǎng)數(shù)據(jù)的整合、加工、交換和裝載，實現(xiàn)對各種數(shù)據(jù)的全量采集和實時提取。多數(shù)據(jù)源融合能夠與各種數(shù)據(jù)源、目標(biāo)庫相兼容，同時還能夠進(jìn)行數(shù)據(jù)的傳送。除此之外，多數(shù)據(jù)源融合也能夠?qū)Ω鞣N數(shù)據(jù)源進(jìn)行采集、匯聚、配置，實現(xiàn)多個服務(wù)器間的文件格式數(shù)據(jù)的安全傳輸，并能實現(xiàn)多種業(yè)務(wù)接口、數(shù)據(jù)庫等的數(shù)據(jù)傳送。3.3模型管理基于電網(wǎng)的知識資源管理，能夠滿足不同的使用者的需要，從知識圖譜、模型管理、知識檢索等多個方面提供知識服務(wù)。此外，還能為專家提供數(shù)據(jù)挖掘分析、專家模型的創(chuàng)建等業(yè)務(wù)。根據(jù)數(shù)據(jù)的抽取模型，也將能夠進(jìn)行數(shù)據(jù)管理，其中包括數(shù)據(jù)屬性標(biāo)簽、模型識別、對應(yīng)關(guān)系標(biāo)簽等方面內(nèi)容，進(jìn)而為凸顯各模塊的功能奠定堅實的基礎(chǔ)。3.4數(shù)據(jù)預(yù)處理3.4.1數(shù)據(jù)預(yù)處理在收集不同維度、來源以及結(jié)構(gòu)的數(shù)據(jù)時，需要對數(shù)據(jù)進(jìn)行預(yù)處理，以便有效地修改錯誤數(shù)據(jù)，并對數(shù)據(jù)進(jìn)行整理和儲存。數(shù)據(jù)提取是利用ETL技術(shù)從數(shù)據(jù)源中提取數(shù)據(jù)，而在實際操作中，往往存在許多可供使用的數(shù)據(jù)采集工具，因此，要根據(jù)電網(wǎng)運維業(yè)務(wù)的實際情況，選取合適的采集工具。期間可以通過以下方法從數(shù)據(jù)庫提取數(shù)據(jù)信息：（1）全量抽取。這種方法類似于數(shù)據(jù)鏡像，能夠完全地從數(shù)據(jù)源中提取表格和視圖，主要應(yīng)用在系統(tǒng)的初始化階段。（2）增量抽取。當(dāng)所有的數(shù)據(jù)都被提取出來之后，再從數(shù)據(jù)庫中提取出新的或者需要修改的數(shù)據(jù)。進(jìn)入數(shù)據(jù)篩選階段，還需要對電網(wǎng)運行運維中產(chǎn)生的不符合規(guī)范和無效的數(shù)據(jù)進(jìn)行清理，確保所采集到的數(shù)據(jù)符合規(guī)范的要求。但是，由于某些數(shù)據(jù)數(shù)據(jù)存在格式錯誤、代碼值沖突等問題，為了適應(yīng)對數(shù)據(jù)的加載處理，還需要對業(yè)務(wù)數(shù)據(jù)進(jìn)行及時轉(zhuǎn)換。數(shù)據(jù)的轉(zhuǎn)換方式有兩種，即插入和修改，期間可以將已完成的數(shù)據(jù)和不干凈的數(shù)據(jù)插入到數(shù)據(jù)表中。若數(shù)據(jù)量較大，可建立數(shù)據(jù)庫，儲存于應(yīng)用程式文字檔案，并配合文字處理程式執(zhí)行作業(yè)。3.4.2數(shù)據(jù)清洗由于電網(wǎng)運行環(huán)境的復(fù)雜性和存在電網(wǎng)運維數(shù)據(jù)的多次上報等問題，經(jīng)常出現(xiàn)數(shù)據(jù)重復(fù)的情況，因此可以利用域的相似性對其進(jìn)行識別。同時，由于技術(shù)和物理因素的原因，導(dǎo)致數(shù)據(jù)的數(shù)值超出采集的范圍，并產(chǎn)生異常值。對于離散度較高的數(shù)據(jù)來源，可以采用盒式圖法，若采用數(shù)據(jù)分布特征量或電網(wǎng)運維服務(wù)難以辨識噪音數(shù)據(jù)，則可以采用聚類辨識。一些字段需要彼此確認(rèn)，并根據(jù)字段的數(shù)據(jù)來源狀況，確定哪些字段信息更可靠，哪些字段應(yīng)該刪除和重建。當(dāng)電網(wǎng)運行數(shù)據(jù)有多個源時，需要對其相關(guān)性進(jìn)行檢驗。多源數(shù)據(jù)的集成比較困難，由此需要充分考慮到數(shù)據(jù)之間的相關(guān)性，并避免數(shù)據(jù)之間的沖突。在數(shù)據(jù)不一致性方面，還需要對元數(shù)據(jù)、字典等數(shù)據(jù)進(jìn)行整理和分析，并對數(shù)據(jù)之間的關(guān)系進(jìn)行徹底的梳理，而后對數(shù)據(jù)的錯誤進(jìn)行修改。一般而言，許多不一致的數(shù)據(jù)都是由于缺乏數(shù)據(jù)規(guī)范而造成的，由此將可以將數(shù)據(jù)屬性當(dāng)作一個隨機變量，并根據(jù)其置信區(qū)間進(jìn)行判定。通過對數(shù)據(jù)信息的相似性進(jìn)行聚類處理，識別出不能分組的孤立點。期間還可以采用距離法，精確地測量數(shù)據(jù)的相似度。同時還可以利用分類方法，建立正常數(shù)據(jù)和異常數(shù)據(jù)的分類和查勘模式，由此將不符合規(guī)則的數(shù)據(jù)歸入到不正常的數(shù)據(jù)行列中。3.4.3規(guī)則處理引擎為了更好地處理電網(wǎng)運行數(shù)據(jù)，需要對各數(shù)據(jù)項目建立相應(yīng)的數(shù)據(jù)元準(zhǔn)則和處理準(zhǔn)則，實現(xiàn)數(shù)據(jù)拼接、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)檢驗等功能。而為了解決數(shù)據(jù)不規(guī)范的問題，本文提出一種基于機器學(xué)習(xí)的方法，即對各個數(shù)據(jù)域進(jìn)行識別和處理，而后使用自動標(biāo)定技術(shù)，將數(shù)據(jù)項與標(biāo)準(zhǔn)庫的數(shù)據(jù)源進(jìn)行匹配，而后采用機器學(xué)習(xí)技術(shù)進(jìn)一步降低人工勞動強度，并結(jié)合語義立體關(guān)系進(jìn)行抽樣值檢測，選擇具有較高相似性的數(shù)據(jù)作為相關(guān)數(shù)據(jù)表，然后根據(jù)數(shù)據(jù)特征選擇最合理的數(shù)據(jù)轉(zhuǎn)化規(guī)則，最后用規(guī)則模板構(gòu)造出相應(yīng)的字段。結(jié)束語綜上所述，電網(wǎng)運維工具可利用知識庫數(shù)據(jù)，對電網(wǎng)的知識庫進(jìn)行再加工、標(biāo)準(zhǔn)化，期間采用多數(shù)據(jù)融合、模型管理、數(shù)據(jù)預(yù)處理、知識通報等方式，也能夠逐步完成系統(tǒng)的設(shè)計，從而為電網(wǎng)的管理決策提供數(shù)據(jù)支撐。Reference[1]晁岱峰,劉佳.省級電網(wǎng)企業(yè)助推營商環(huán)