數(shù)據(jù)質(zhì)量管理系統(tǒng)建設方案

1、數(shù)據(jù)質(zhì)量管理系統(tǒng)介紹 數(shù)據(jù)質(zhì)量管理系統(tǒng)介紹 目錄現(xiàn)狀及系統(tǒng)定位系統(tǒng)架構設計核心功能介紹系統(tǒng)特點目錄現(xiàn)狀及系統(tǒng)定位系統(tǒng)架構設計核心功能介紹系統(tǒng)特點數(shù)據(jù)質(zhì)量管理現(xiàn)存問題及制約因素制約因素系統(tǒng)應用對象不明確、系統(tǒng)應用層級定位不清因定位不清導致系統(tǒng)的界面設計不能滿足各層級需求系統(tǒng)適應性不能滿足地區(qū)性、個性化需求，差異明顯缺乏針對數(shù)據(jù)質(zhì)量管理的標準化流程及溝通機制系統(tǒng)適用性不強，未強調(diào)數(shù)據(jù)質(zhì)量管理，更多偏向于數(shù)據(jù)上報及下發(fā)管理數(shù)據(jù)質(zhì)量校驗規(guī)則不全面、針對網(wǎng)省的適用性相對較差不具備自建指標校驗能力技術元素導致業(yè)務人員無法使用系統(tǒng)運維等人員對業(yè)務不清導致數(shù)據(jù)質(zhì)量無法及時得到確認業(yè)務人員對運維人員依賴性強數(shù)據(jù)

2、質(zhì)量不受控制直接上報國網(wǎng)源數(shù)據(jù)提供人員無法使用系統(tǒng)，無法對上報數(shù)據(jù)進行確認不支持校驗規(guī)則自定義修改無數(shù)據(jù)質(zhì)量預判機制缺乏數(shù)據(jù)質(zhì)量的問題分析、歸集及經(jīng)驗共享機制缺乏考核通報機制數(shù)據(jù)質(zhì)量查詢功能不完善問題數(shù)據(jù)質(zhì)量管理現(xiàn)存問題及制約因素制約因素系統(tǒng)應用對象不明確、系趨于嚴謹?shù)臄?shù)據(jù)質(zhì)量評價考核規(guī)則上月28日 本月5日 本月8日 本月15日允許?。ㄊ校┲貜蜕蠄髷?shù)據(jù)，截止5日統(tǒng)計各?。ㄊ校┘皶r率本段時間允許省（市）修改各指標數(shù)據(jù)，截止8日統(tǒng)計各?。ㄊ校蚀_率、完整率、接入率截止8日不允許省（市）修改指標數(shù)據(jù)，從9日至15日出具運營監(jiān)測控數(shù)據(jù)質(zhì)量閱讀通報123當前總部數(shù)據(jù)質(zhì)量考核過程上月28日 本月8日 本

3、月15日只允許省（市）上報一次，不允許修改系統(tǒng)生成較難明細數(shù)據(jù)與上報數(shù)據(jù)增加防修改加密碼，增加上報審計功能1后期總部數(shù)據(jù)質(zhì)量考核過程一次性出具運營監(jiān)測控數(shù)據(jù)質(zhì)量閱讀通報2省公司業(yè)務系統(tǒng)數(shù)據(jù)質(zhì)量管理系統(tǒng)省公司運監(jiān)系統(tǒng)國網(wǎng)運監(jiān)系統(tǒng)123趨于嚴謹?shù)臄?shù)據(jù)質(zhì)量評價考核規(guī)則上月28日 提供友好、易操作的數(shù)據(jù)質(zhì)量管理界面系統(tǒng)應用滿足運監(jiān)人員、業(yè)務人員及系統(tǒng)運維人員需求建立數(shù)據(jù)質(zhì)量異常在線溝通及數(shù)據(jù)調(diào)整流程提升數(shù)據(jù)質(zhì)量管理省公司運監(jiān)數(shù)據(jù)質(zhì)量提升系統(tǒng)建設目標及定位定制化開發(fā)建設自定義數(shù)據(jù)校驗規(guī)則，滿足省公司實際業(yè)務運行現(xiàn)狀依托數(shù)據(jù)質(zhì)量管理辦法，有效結合制度及管理文件，通過系統(tǒng)落地建立省公司本地的數(shù)據(jù)質(zhì)量問題歸集

4、共享平臺建立省公司數(shù)據(jù)質(zhì)量評價功能，促進數(shù)據(jù)接入質(zhì)量提升提供數(shù)據(jù)質(zhì)量問題繼而輔助功能縮短數(shù)據(jù)質(zhì)量校驗頻度，提供預判功能接口及數(shù)據(jù)鏈路監(jiān)測能力提升數(shù)據(jù)質(zhì)量監(jiān)測能力提升實現(xiàn)省運監(jiān)中心對公司業(yè)務數(shù)據(jù)產(chǎn)生、數(shù)據(jù)接入到匯總計算結果的全過程、可視化監(jiān)測管理，確保數(shù)據(jù)完整、準確、及時高質(zhì)量接入及上報。提供友好、易操作的數(shù)據(jù)質(zhì)量管理界面提升數(shù)據(jù)質(zhì)量管理省公司運監(jiān)目錄現(xiàn)狀及系統(tǒng)定位系統(tǒng)架構設計核心功能介紹系統(tǒng)特點目錄現(xiàn)狀及系統(tǒng)定位系統(tǒng)架構設計核心功能介紹系統(tǒng)特點系統(tǒng)應用設計系統(tǒng)應用設計功能清單功能點功能點描述系統(tǒng)管理包括資源監(jiān)測、配置管理、安全管理、備份恢復、日志管理等數(shù)據(jù)加工通過對計算規(guī)則庫進行配置，提供計算

5、引擎和統(tǒng)計服務，實現(xiàn)數(shù)據(jù)加工數(shù)據(jù)存儲對存入數(shù)據(jù)的轉(zhuǎn)存需求進行處理，提供數(shù)據(jù)壓縮服務數(shù)據(jù)處理對接入數(shù)據(jù)質(zhì)量管理系統(tǒng)的數(shù)據(jù)進行正確性檢查、格式轉(zhuǎn)換、標準統(tǒng)一，并提供數(shù)據(jù)調(diào)整功能數(shù)據(jù)訪問跨平臺數(shù)據(jù)訪問服務及數(shù)據(jù)訪問服務數(shù)據(jù)接入傳輸提供數(shù)據(jù)接入及傳輸通道元數(shù)據(jù)管理數(shù)據(jù)監(jiān)測點管理及維護，映射關系模型維護等數(shù)據(jù)質(zhì)量評價依照管理制度對數(shù)據(jù)接入情況進行排名比較數(shù)據(jù)看板對系統(tǒng)各個環(huán)節(jié)的運行情況進行統(tǒng)計、分析、展示支撐工具門戶集成、二次開發(fā)接口等支撐服務功能清單功能點功能點描述系統(tǒng)管理包括資源監(jiān)測、配置管理、安全系統(tǒng)集成設計系統(tǒng)集成設計物理部署設計物理部署設計系統(tǒng)安全設計安全控制點防護策略設計身份認證1、設置密碼

6、的存儲和傳輸安全；2、保護身份驗證Cookie；3、同一用戶同時只允許登錄一個；授權1、設計資源訪問控制方案，驗證用戶訪問權限；2、限制用戶對系統(tǒng)級資源的訪問；3、設計統(tǒng)一的訪問控制機制；輸入輸出驗證1、設計驗證所有來源不在可信范圍之內(nèi)的輸入數(shù)據(jù)；2、應在服務器端和客戶端都應進行輸入驗證；3、應對輸入內(nèi)容進行規(guī)范化處理后再進行驗證，如文件路徑、 URL地址等，需要規(guī)范化為標準的格式后再進行驗證；配置管理1、應使用最少特權進程和服務帳戶；2、應避免應用程序調(diào)用支撐系統(tǒng)資源；3、單獨分配管理特權；會話管理1、設計登錄成功使用新的會話；2、設計會話數(shù)據(jù)的存儲安全；3、設計會話的安全終止；4、設計合理

7、的會話存活時間；加密技術1、不使用自創(chuàng)加密方法；參數(shù)操作1、確保用戶沒有繞過檢查；2、應驗證從客戶端發(fā)送的所有數(shù)據(jù)；異常管理1、使用通用錯誤信息；2、程序發(fā)生異常時，應在日志中記錄詳細的錯誤消息；審核和日志1、審計功能的啟動和關閉；2、應用系統(tǒng)的啟動和停止；3、訪問控制信息；4、用戶對數(shù)據(jù)的異常操作事件；系統(tǒng)安全設計安全控制點防護策略設計身份認證1、設置密碼的存儲目錄現(xiàn)狀及系統(tǒng)定位系統(tǒng)架構設計核心功能介紹系統(tǒng)特點目錄現(xiàn)狀及系統(tǒng)定位系統(tǒng)架構設計核心功能介紹系統(tǒng)特點明細查詢數(shù)據(jù)看板（有好圖換之）監(jiān)測校驗卡板采用“一頁紙”的設計思路，面向省公司運監(jiān)中心、省公司業(yè)務部門、地市公司運監(jiān)中心、地市公司業(yè)務

8、部門，實現(xiàn)四方面用戶的定制化適用需求，并可實現(xiàn)自定義配置，用戶可在看板完成所需的所有功能。根據(jù)用戶權限及需求建立模塊化的看板功能，基礎功能為國網(wǎng)運監(jiān)的數(shù)據(jù)接入要求，如接入率、及時率、完整性、準確性等，業(yè)務部門界面包括本期、往期數(shù)據(jù)接入情況，運監(jiān)中心可以看到本層級及下級數(shù)據(jù)接入情況，監(jiān)測看板數(shù)據(jù)依據(jù)等率時間隨時刷新界面情況，第一時間了解數(shù)據(jù)接入請款個，同時提供接入情況的對比功能（如數(shù)據(jù)接入增長率等）。系統(tǒng)將集成門戶待辦功能，數(shù)據(jù)接入情況實時進行通知，并根據(jù)內(nèi)容同時發(fā)送運監(jiān)中心及業(yè)務部門，用戶可通過通知了解概要情況，同時也可進入看板了解詳細情況?？窗寮闪讼到y(tǒng)的所有功能，類似于系統(tǒng)首頁，用戶可發(fā)起

9、詢問、數(shù)據(jù)下鉆、調(diào)整流程、校驗規(guī)則配置等多項功能。功能點規(guī)劃功能點說明功能實現(xiàn)場景配置選擇預判展示按業(yè)務對數(shù)據(jù)進行分類，并提供各指標的展示控件，即各類展示主題用戶選擇崗位權限內(nèi)關注主題進行展示。看板集成預警功能，系統(tǒng)在后臺實現(xiàn)自動校驗后完成預判展示功能，將校驗結果展示在看板上?？窗寮摄@取功能，實現(xiàn)預判數(shù)據(jù)、業(yè)務指標數(shù)據(jù)、業(yè)務明細數(shù)據(jù)的穿透查詢明細查詢數(shù)據(jù)看板（有好圖換之）監(jiān)測校驗卡板采用“一頁紙”的設數(shù)據(jù)加工對監(jiān)測點的計算規(guī)則進行設置，支持各類函數(shù)，腳本支持自定義函數(shù)公式管理，公式由數(shù)據(jù)加工服務進行存儲和管理在數(shù)據(jù)加工服務中，計算點用于表示公式，包括公式的執(zhí)行腳本、觸發(fā)方式及其他相關配置信息

10、計算點可以選擇是否在實時庫中對應測點和不對應測點用戶可以對計算點進行增加、刪除、修改調(diào)用腳本執(zhí)行計算算法，生成并保存計算結果根據(jù)用戶配置的周期，當周期到達時自動對腳本進行運算周期可以為年、月、日、小時、分鐘、秒為單位進行設置等計算結果存儲，如果計算點對應了實時庫的測點則腳本執(zhí)行結果自動存儲在對應實時庫測點中，如果沒有對應可以通過調(diào)用數(shù)據(jù)提交接口處理計算結果功能細分功能實現(xiàn)計算規(guī)則庫函數(shù)支持周期觸發(fā)計算公式管理事件觸發(fā)計算腳本編輯器定時觸發(fā)計算計算結果存儲計算引擎規(guī)則設置數(shù)據(jù)加工對監(jiān)測點的計算規(guī)則進行設置，支持各類函數(shù)，腳本支持自數(shù)據(jù)處理對數(shù)據(jù)源發(fā)送的數(shù)據(jù)進行校驗，并生成告警對產(chǎn)生的異常數(shù)據(jù)進行

11、同步強調(diào)數(shù)據(jù)預判后的處理流程，用戶通過發(fā)起流程的方式，提示業(yè)務部門重新推送數(shù)據(jù)支持數(shù)據(jù)的即時、批量修正及重新推送調(diào)整功能細分功能實現(xiàn)數(shù)據(jù)校驗數(shù)據(jù)校驗判斷校驗告警發(fā)送數(shù)據(jù)同步批量修正流程修正數(shù)據(jù)修正數(shù)據(jù)處理對數(shù)據(jù)源發(fā)送的數(shù)據(jù)進行校驗，并生成告警功能細分功能實數(shù)據(jù)接入接收不同數(shù)據(jù)來源的數(shù)據(jù)并解析成數(shù)據(jù)質(zhì)量管理系統(tǒng)標準格式存入增刪改接口服務器，分發(fā)接入接口、歷史補招任務，設置運行計劃數(shù)據(jù)源自定義監(jiān)測點定義（增刪改查），包含所屬數(shù)據(jù)源、監(jiān)測點名稱、描述、計算公式、啟用標志等監(jiān)控運行的接口運行狀態(tài)，包括內(nèi)存使用、數(shù)據(jù)寫入量、寫入監(jiān)測點列表等接入數(shù)據(jù)異常及時告警功能功能細分功能實現(xiàn)接入適配器管理接口服務器

12、管理數(shù)據(jù)源定義管理接口機運行狀態(tài)監(jiān)控接入監(jiān)控管理自定義監(jiān)測點管理接口適配器接入異常處理接口異常管理數(shù)據(jù)接入接收不同數(shù)據(jù)來源的數(shù)據(jù)并解析成數(shù)據(jù)質(zhì)量管理系統(tǒng)標準格數(shù)據(jù)質(zhì)量評價根據(jù)省公司數(shù)據(jù)質(zhì)量管理辦法，在系統(tǒng)中固化數(shù)據(jù)質(zhì)量評價規(guī)則，每周期內(nèi)對各業(yè)務數(shù)據(jù)質(zhì)量進行打分評比，按照及時性、準確性等要求，按天倒排。通報結果定期以模板形式發(fā)送各業(yè)務部門，抄送公司領導。功能細分功能實現(xiàn)評價流程流程定義流程及角色關聯(lián)評價報告指標定義評價定義模板定義數(shù)據(jù)質(zhì)量評價根據(jù)省公司數(shù)據(jù)質(zhì)量管理辦法，在系統(tǒng)中固化數(shù)據(jù)質(zhì)量目錄現(xiàn)狀及系統(tǒng)定位系統(tǒng)架構設計核心功能介紹系統(tǒng)特點目錄現(xiàn)狀及系統(tǒng)定位系統(tǒng)架構設計核心功能介紹系統(tǒng)特點系統(tǒng)應用

13、特點促進省公司大數(shù)據(jù)應用及標準化建設數(shù)據(jù)質(zhì)量管理系統(tǒng)應用將有效結合結合省公司電力大數(shù)據(jù)技術研究、應用系統(tǒng)及多項目建設成果，促進包括大數(shù)據(jù)建設、運營與服務等統(tǒng)一的大數(shù)據(jù)標準規(guī)范體系建設，為公司電力大數(shù)據(jù)建設提供保障。提升運監(jiān)中心數(shù)據(jù)綜合管理水平 通過對數(shù)據(jù)質(zhì)量管理指標的重定義、監(jiān)測校驗頻度的分析定義，構建由數(shù)據(jù)分析、數(shù)據(jù)接入、數(shù)據(jù)校驗、數(shù)據(jù)展示、數(shù)據(jù)調(diào)整的一體化管理體系，做到數(shù)據(jù)的妥善保管、高質(zhì)量有序存放、方便查閱，嚴防毀損、散失和泄密，從而大大提升運監(jiān)中心數(shù)據(jù)綜合管理水平。促進公司大數(shù)據(jù)管理標準化數(shù)據(jù)質(zhì)量管理專業(yè)化系統(tǒng)應用特點促進省公司大數(shù)據(jù)應用及標準化建設數(shù)據(jù)質(zhì)量管理系統(tǒng)系統(tǒng)建設重點數(shù)據(jù)質(zhì)量管理需建立強有力的管理制度做支撐，有效保證數(shù)據(jù)管理執(zhí)行的可行性，確保數(shù)據(jù)接入及時、準確，需與業(yè)務職能部門建立常態(tài)化的溝通協(xié)調(diào)