電力大數(shù)據(jù)開發(fā)試驗與共享服務平臺體系架構(gòu)設計

體系架構(gòu)設計·數(shù)據(jù)已經(jīng)滲透到當今的每個行業(yè)，成為重要的生產(chǎn)因素。國家電網(wǎng)公司于2015年1月正式啟動企業(yè)級大數(shù)據(jù)平臺建設計劃，并開展了多項數(shù)據(jù)分析應用開發(fā)建設。但隨著接入數(shù)據(jù)類型的逐漸豐富，數(shù)據(jù)總量的持續(xù)增長，已形成相·為了促進國家電網(wǎng)公司內(nèi)外大數(shù)據(jù)互助共享協(xié)作，推動外部數(shù)據(jù)資產(chǎn)整合，突破部門之間的信息封閉狀態(tài)，規(guī)避數(shù)據(jù)平臺重復構(gòu)建，消除部門之間信息差別，實現(xiàn)相關資源的有效互通，支撐公司電力大數(shù)據(jù)共享流通的需求，急需建設數(shù)據(jù)開放共享平臺?！译娋W(wǎng)公司擁有大量敏感數(shù)據(jù)，如電力營銷數(shù)據(jù)、電力調(diào)度數(shù)據(jù)、個人用電信息等。中華人民共和國網(wǎng)絡安全法規(guī)定：網(wǎng)絡運營者不得泄露、篡改、毀損其收集的個人信息；未經(jīng)被收集者同意，不得向他人提供個人信息。但是，經(jīng)過處理無法識別特定個人且不能復原的除外。①目前國家電網(wǎng)公司內(nèi)部大數(shù)據(jù)平臺已經(jīng)得到推廣，電力大數(shù)據(jù)技術(shù)日趨成熟，開放共享平臺作為大數(shù)據(jù)技術(shù)的深化應用，有相應的經(jīng)驗作為保障。②基于大數(shù)據(jù)平臺開發(fā)的應用目前處于起步階段，需要一個開放共享平臺作為底層技術(shù)的支撐，可以讓大數(shù)據(jù)應用開發(fā)變得更加簡單、快捷，同時節(jié)約成本。③大數(shù)據(jù)應用技術(shù)門檻較高，同時存在數(shù)據(jù)安全的問題，所以對人員的專業(yè)知識要求比較高，相應的學習成本也比較大，而開放共享平臺可以避免這些問題。①國家電網(wǎng)公司擁有大量電力營銷數(shù)據(jù)、電力調(diào)度數(shù)據(jù)、個人用電信息等等敏感數(shù)據(jù)，數(shù)據(jù)來源分散，時空跨度巨大，數(shù)據(jù)粒②數(shù)據(jù)的充分共享和分析挖據(jù)將為公司產(chǎn)生巨大的商業(yè)價值，數(shù)據(jù)的所有者和使用者分離，數(shù)據(jù)利用和保護產(chǎn)生矛盾。③數(shù)據(jù)在產(chǎn)生、傳輸、存儲、處理以及使用等環(huán)節(jié)存在隱私泄露的隱患。項目意義項目意義·促進公司內(nèi)外大數(shù)據(jù)互助共享協(xié)作，推動外部數(shù)據(jù)資產(chǎn)整合；推動數(shù)據(jù)共享·形成電力數(shù)據(jù)資產(chǎn)與社會經(jīng)濟、氣象、地理空間等外部數(shù)據(jù)源之間的互動；推動數(shù)據(jù)共享·支撐電力數(shù)據(jù)應用需求，深化數(shù)據(jù)價值創(chuàng)造；提供數(shù)據(jù)服務·積極響應社會對電力公共數(shù)據(jù)的訪問需求，提供數(shù)據(jù)共享服務·提升對大數(shù)據(jù)平臺安全技術(shù)體系及方法論與現(xiàn)有大數(shù)據(jù)平臺的契合度；提供數(shù)據(jù)保護·通過對敏感數(shù)據(jù)的過濾保護，可逐步擴大數(shù)據(jù)共享的范圍和對象，為數(shù)據(jù)的進一提供數(shù)據(jù)保護步挖掘和分析提供了重要支撐；環(huán)境快速部署幫助系統(tǒng)開發(fā)人員設計系統(tǒng)功能、調(diào)優(yōu)系統(tǒng)性能、提升部署方法，協(xié)助用戶比環(huán)境快速部署較不同系統(tǒng)的性能，利于選購產(chǎn)品。角色服角色服務數(shù)據(jù)數(shù)據(jù)分析域基礎設施測試驗證測試驗證仿真數(shù)據(jù)生成定制化數(shù)據(jù)仿真數(shù)據(jù)生成定制化數(shù)據(jù)外部數(shù)據(jù)接入明細層數(shù)據(jù)源數(shù)據(jù)源請業(yè)務分析門戶數(shù)據(jù)分析探索數(shù)據(jù)資源申請申請分析結(jié)果輸出數(shù)據(jù)處理應用數(shù)據(jù)展示應用電力業(yè)務應用大數(shù)據(jù)平臺環(huán)境申請化技術(shù)架構(gòu)生產(chǎn)區(qū)區(qū)國家電網(wǎng)公司國家電網(wǎng)公司分析域分析域半結(jié)構(gòu)與非繪構(gòu)化數(shù)據(jù)電力大數(shù)據(jù)開發(fā)試驗和共享服務平臺關系數(shù)據(jù)關系數(shù)據(jù)結(jié)構(gòu)化FIP傳輸離線拷貝實時數(shù)據(jù)國家電網(wǎng)公司數(shù)據(jù)表數(shù)據(jù)表 還原到還原到…………信息錄入(名稱、存放信息錄入(名稱、存放等)數(shù)據(jù)集市數(shù)據(jù)集市數(shù)據(jù)訪問即時查詢數(shù)據(jù)接口數(shù)據(jù)集基礎數(shù)據(jù)集用采數(shù)據(jù)集檢修數(shù)據(jù)集檔案數(shù)據(jù)集其它數(shù)據(jù)集數(shù)據(jù)組織數(shù)據(jù)整理關聯(lián)、切分、打包轉(zhuǎn)換、清洗、裝載數(shù)據(jù)處理數(shù)據(jù)傳輸原始數(shù)據(jù)列式數(shù)據(jù)庫HBase數(shù)據(jù)倉庫Hive數(shù)據(jù)源國家電網(wǎng)公司國家電網(wǎng)公司分析關聯(lián)關聯(lián)聚類分類預測國家電網(wǎng)公司國家電網(wǎng)公司樣本數(shù)據(jù)樣本訪問訪問方式即時查詢樣本集基礎數(shù)據(jù)樣本用電客戶樣本電壓曲線樣本電流曲線樣本負荷曲線樣本歷史電量樣本樣本存儲數(shù)據(jù)存儲數(shù)據(jù)安全數(shù)據(jù)整理樣本處理ETL處理原始數(shù)據(jù)數(shù)據(jù)源BI展示據(jù)據(jù)據(jù)據(jù)據(jù)元數(shù)據(jù)存儲庫據(jù)據(jù)據(jù)據(jù)據(jù)據(jù)據(jù)據(jù)國家電網(wǎng)公司|班數(shù)據(jù)統(tǒng)計數(shù)據(jù)挖掘并行算法庫數(shù)據(jù)統(tǒng)計數(shù)據(jù)挖掘并行算法庫具數(shù)據(jù)接入數(shù)據(jù)接入國家電網(wǎng)公司擎統(tǒng)一開發(fā)接口電力大數(shù)據(jù)開發(fā)試驗和共享服務平臺國家電網(wǎng)公司應用集市應用集市等置統(tǒng)一服務接口電力大數(shù)據(jù)開發(fā)試驗和共享服務平臺電力大數(shù)據(jù)開發(fā)試驗和共享服務平臺國家電網(wǎng)公司基礎設施基礎設施服務服務管理層基礎設施服務基礎組件基礎組件計算資源計算資源池服務器存儲資源池計算資源池服務器存儲資源池國家電網(wǎng)公司驗證對象驗證服務驗證工具驗證對象驗證服務驗證工具統(tǒng)一服務接口工具部署大數(shù)據(jù)仿真生成工具大數(shù)據(jù)負載生成工具大數(shù)據(jù)性能驗證工具電力大數(shù)據(jù)開發(fā)試驗和共享服務平臺國家電網(wǎng)公司◆應用在獨立沙箱內(nèi)運作，相互不影響AppB商◆應用在獨立沙箱內(nèi)運作，相互不影響AppB商業(yè)應用DOCKER容器技術(shù)◆啟動速度快：通常在一秒內(nèi)可以啟動◆性能開銷?。簬缀鯖]有額外資源開銷過20億個◆在2015年的618活動，京東線上共運行了超過了11000個Docker實例以及幾百個KVM虛擬機來支持◆截止2015年3月份，騰訊已使用了大概15000個常駐的Docker容器，來實現(xiàn)對其服務的支持國家電網(wǎng)公司DOCKERDOCKER容器技術(shù)容器和VM一樣具有著一定的隔離性，各個容器之間的數(shù)據(jù)和內(nèi)存空間相互隔離，可以保證一定的安全性。容器相對于VM有以下幾個優(yōu)點：用戶使用優(yōu)點宿主OS,對系統(tǒng)資源直接按容器劃分，不需要虛擬化出新的OS高好不足容器內(nèi)應用只能使用宿主一樣的OS資源，且需要考慮宿主安全容器特點，不推薦持久化依賴LINUX優(yōu)點使用自己的OS好不足占用更多的系統(tǒng)資源鏡像文件大，部署時間長，橫向擴展性差國家電網(wǎng)公司國家電網(wǎng)公司基本架構(gòu)DOCKER容器技術(shù)國家電網(wǎng)公司Kubernetes+DockerNodeNodeNodeKube-Proxy:對Node提供網(wǎng)絡代理和Label功能，配合Service提供網(wǎng)絡服務。Pod:是Kubernetes最基本的部署調(diào)度單元，可以包含container,邏輯上表示某種應用的APIserver:提供標準的Rest服務，更新EtcdScheduler:負責完成Pod與Node的綁定。ReplicationController:是pod用于解決pod的擴容縮容問題國家電網(wǎng)公司微服務&微應用微服務&微應用架構(gòu)的特點：■可通過API訪問的、單一用途的小型程序集合■是一組非常小的、粒狀的(granular)、獨立的協(xié)作服務或應用的集合■旨在通過將功能分解到各個離散的服務或應用中以實現(xiàn)對解決方案的解耦，符合單一職責原則和便于接口依賴?！龈餍〕绦蚩墒褂貌煌Z言，不同架構(gòu)■多系統(tǒng)聯(lián)調(diào)費時費力，編譯時間長，構(gòu)建過程往往互不相同，前期成本高WebUIDocker將所有應用都標準化為可管理、可測試、易遷移的鏡像/容器，因此為不同技術(shù)棧提供了整合管理的途徑。國家電網(wǎng)公司多租戶技術(shù)。電力大數(shù)據(jù)開放共享服務平臺的多租戶的主要功能是進行分布式存儲資源的隔離以及計算資源的隔離，是通過HDFS用戶組以及Yarn動態(tài)資源池來實現(xiàn)的。HDFS用戶組中對存儲資源的讀寫權(quán)限進行了設定和控制，不同的用戶和用戶組對存儲資源具有不同的讀寫權(quán)限?！そ⒖梢耘cHDFS的用戶組——映射的租戶組，通過將租戶加入或移除租戶組來實現(xiàn)對HDFS存儲資源的隔離。drwxr-x---drwxr-x---drwxr-x---drwxr-x---·基于Yarn動態(tài)資源池的計算資源隔離·動態(tài)資源池是對YARN應用程序進行資源和策略分配的池。動態(tài)資源池允許安排和分配用戶訪問特定池，用來執(zhí)行YARN應用程序的資源。如果一個池的資源未被使用，它可以被占用并分配給其他池。否則，就根據(jù)各個池的權(quán)重來共享資源?！っY源池+調(diào)度策略·基于權(quán)重的資源分配·基于用戶優(yōu)先級的服務水平保證/users/(tenantId)/arc/users/(tenantId)/wareh/users/ItenantId]/warehouse/[db]/Itable]/Ipar/users/AtenantId)/lan/users/itenantId)/proces/users/(tenantId)/processing/ljo/users/itenantId]/processing/ljobId)//users/itenantId)/processing/ljobId)/o國家電網(wǎng)公司國家電網(wǎng)公司清洗關聯(lián)用戶業(yè)務業(yè)務用戶管理員數(shù)據(jù)資源需求→瀏覽數(shù)據(jù)目錄信息填寫數(shù)據(jù)申請表提交數(shù)據(jù)申請N數(shù)據(jù)YYY收收業(yè)務業(yè)務用戶管理員NN審批審批審批審批數(shù)據(jù)探索-開發(fā)流程據(jù)據(jù)Y基礎設施服務大數(shù)據(jù)基礎組件驗證測試工具系統(tǒng)環(huán)境計算資源大數(shù)據(jù)基礎組件驗證測試工具系統(tǒng)環(huán)境計算資源存儲資源數(shù)據(jù)資源生產(chǎn)區(qū)開發(fā)區(qū)自有分自有分黑求設計設計國家電網(wǎng)公司電力地圖國家電網(wǎng)公司面向政府面向政府面向企業(yè)面向社會行業(yè)復工率分析行業(yè)復工率分析利用節(jié)假日期間企業(yè)用電量數(shù)據(jù)，判定企業(yè)開/復工狀態(tài)，展現(xiàn)各行業(yè)在節(jié)日期間的復工率走勢，反映行業(yè)發(fā)提供信息服務。tm后種積都和以，標m =2286*0558*i85uFF*TE#人出出展示十大行業(yè)節(jié)后復工率情況，對全行業(yè)復工率排名。用不同開工判斷標準反映各行業(yè)節(jié)日期間的復工率走勢。典型應用案例面向政府面向政府面向企業(yè)面向社會利用居民日常用電量數(shù)據(jù)，判定住房居住情況，展現(xiàn)各省近幾年的住房空置率走勢，對比某省下轄市和某市各區(qū)縣的住房空置率，反映房地產(chǎn)市場供求狀況，為政府制定樓市宏觀調(diào)控政策提供決策支持。住房空置帶住房空置帶A中Bm0以熱力圖形式展示全國各省份住房空置率高低，點擊某省份區(qū)域，右圖呈現(xiàn)該省近三年住房空置率走勢，綜合判斷該省房地產(chǎn)市場供求穩(wěn)定。住房空省事住房空省事能期：醫(yī)過輸份等選器和年份集選器，左下圖及膚了某年某留份各書的空置府數(shù)是世基中任康柱形，在上重論出對直驗的找空置房占比填定，右下握以氣過圖形此反族該力各附找、獲測居民教以及住病空算本、其中模業(yè)標表示登用國民技，保業(yè)行該區(qū)《器)的往房空重本。4●1中%m*m從居民用電維度判斷住房空置情況，展示某省各下轄市住房空置率，進一步對比各區(qū)(縣)住房空置率高低，反映各地區(qū)房地產(chǎn)市場房源分布不均、供求不平衡等狀態(tài)。典型應用案例根據(jù)行業(yè)用電量與影響因素相關性分析，對觀察區(qū)域用電市場支柱產(chǎn)業(yè)和新興產(chǎn)業(yè)進行辨識。在政府規(guī)劃城市產(chǎn)業(yè)政策時，可根據(jù)用電市場的辨識及發(fā)展趨勢有針對性的對產(chǎn)業(yè)政策進行調(diào)整。用戶數(shù)量對比100方##區(qū)●用電證疫充題勢+F各用電奧到用電型對比區(qū)○落○區(qū)1產(chǎn)業(yè)類型特征分析根據(jù)支柱產(chǎn)業(yè)和新興產(chǎn)業(yè)不同的用電類別和特征差異，并對比二者在該區(qū)域內(nèi)的產(chǎn)業(yè)規(guī)模及用電趨勢特征，對用電市場合理調(diào)整提供依據(jù)。支柱產(chǎn)業(yè)行業(yè)用電量新興產(chǎn)業(yè)行此用電量支柱產(chǎn)業(yè)綜合發(fā)屬水平排名新孔產(chǎn)業(yè)統(tǒng)合發(fā)屬水平排名u=發(fā)展評估評估各產(chǎn)業(yè)當下的發(fā)展水平和態(tài)勢，可以很直觀的看到目前在制造業(yè)和金融業(yè)是其主要的發(fā)展行業(yè)。典型應用案例利用用戶用電信息和繳費情況建立征信模型，以全面分析評估企業(yè)或個人的資質(zhì)和信用情況，從而有效提升現(xiàn)有征信體系的服務能力，有利于聯(lián)合征信體系進一步拓寬對非銀行信息的采集，有利于進一步倡導誠實守信的理念，引導消費者更為重視自己的信用。數(shù)據(jù)預處理數(shù)據(jù)預處理篩選用于建模的數(shù)據(jù)維度進行統(tǒng)計分析業(yè)依據(jù)行業(yè)信息對數(shù)據(jù)進行標準化并構(gòu)建征信體系輸出用戶的信用情況及相關指標統(tǒng)計結(jié)果分析結(jié)果展示分析結(jié)果展示各類型用戶信用情況00022030972好各類型用戶用電和欠費情況mmmP依照基于用電數(shù)據(jù)的征信參考模型，用戶可細分為信用極好，信用較好及信用一般三種類型，結(jié)合用戶個人及所在行業(yè)征信相關信息，可以有針對性地采取不同的管控策略和營銷方案。.基礎分析狀內(nèi)展東為產(chǎn)布，用市改化為步，藥片為的的長通的用產(chǎn)和用電類的，通片了.基礎分析狀內(nèi)展東為產(chǎn)布，用市改化為步，藥片為的的長通的用產(chǎn)和用電類的，通片了期電趨勢O□院a產(chǎn)用電安動與欠責匯欠費行為i計*壓據(jù)用電分布情況0叫*?面向政府面向政府面向企業(yè)面向社會電力客戶價值劃分電力客戶價值劃分電力客戶價值劃分模型主要實現(xiàn)對客戶基本信息、用戶用電行業(yè)類別、用戶用電增長潛力、欠繳費記錄、等數(shù)據(jù)進行聚類分析，對共同特征進行描述分析，最終得出更細化的用戶