數(shù)據(jù)質(zhì)量管理規(guī)范-new-v01

1、數(shù)據(jù)質(zhì)量管理規(guī)范1范圍本標(biāo)準(zhǔn)規(guī)定了國(guó)網(wǎng)數(shù)據(jù)質(zhì)量管理內(nèi)容、管理機(jī)制和工作流程。本標(biāo)準(zhǔn)適用于國(guó)網(wǎng)項(xiàng)目整個(gè)生命周期的數(shù)據(jù)質(zhì)量管理，非項(xiàng)目可參照使用。2術(shù)語(yǔ)和定義下列術(shù)語(yǔ)和定義適用于本文件。2.1 數(shù)據(jù)質(zhì)量 data quality客觀反映業(yè)務(wù)數(shù)據(jù)固有特性的程度。注：“固有的”（其反義是“賦予的”）就是指在某事或某物中本 來(lái)就有的，尤其是永久的特性。2.2 數(shù)據(jù)質(zhì)量管理 data quality management對(duì)數(shù)據(jù)從計(jì)劃、獲取、存儲(chǔ)、共享、維護(hù)、應(yīng)用、消亡生命周期 的每個(gè)階段里可能引發(fā)的各類數(shù)據(jù)質(zhì)量問(wèn)題， 進(jìn)行識(shí)別、監(jiān)控、預(yù)警、 處理等一系列管理活動(dòng)，并通過(guò)改善和提高管理水平使得數(shù)據(jù)質(zhì)量獲 得

2、進(jìn)一步提高。2.3 技術(shù)評(píng)估 technology assessment科技主管部門(mén)對(duì)已審批的業(yè)務(wù)需求，組織相關(guān)部門(mén)和人員進(jìn)行技術(shù)可行性評(píng)估，并作出評(píng)估結(jié)論的活動(dòng)。2.4 數(shù)據(jù)質(zhì)量監(jiān)控 data quality control獲取業(yè)務(wù)各環(huán)節(jié)的數(shù)據(jù)質(zhì)量信息，結(jié)合有關(guān)檢查規(guī)則和采集規(guī)則, 對(duì)數(shù)據(jù)質(zhì)量情況進(jìn)行診斷，并及時(shí)向數(shù)據(jù)質(zhì)量管理實(shí)施部門(mén)報(bào)告的活 動(dòng)。2.5 數(shù)據(jù)質(zhì)量評(píng)估 data quality assessment由數(shù)據(jù)質(zhì)量管理實(shí)施部門(mén)根據(jù)需要發(fā)起，得到評(píng)估結(jié)果并作為依 據(jù)評(píng)估指標(biāo)和評(píng)估方法進(jìn)行評(píng)價(jià)，數(shù)據(jù)質(zhì)量改進(jìn)的參考和依據(jù)。2.6 數(shù)據(jù)質(zhì)量報(bào)告 data quality report對(duì)數(shù)據(jù)

3、質(zhì)量日常監(jiān)控以及質(zhì)量評(píng)估等過(guò)程累積的各種信息進(jìn)行 匯總、梳理、統(tǒng)計(jì)和分析，形成統(tǒng)計(jì)報(bào)告的過(guò)程。2.7 數(shù)據(jù)質(zhì)量知識(shí) data quality knowledge在數(shù)據(jù)質(zhì)量管理活動(dòng)中獲取的有關(guān)數(shù)據(jù)質(zhì)量問(wèn)題處理的經(jīng)驗(yàn)和 成果。3數(shù)據(jù)質(zhì)量管理內(nèi)容與評(píng)價(jià)原則3.1 管理目標(biāo)與內(nèi)容3.1.1 數(shù)據(jù)質(zhì)量管理目標(biāo)數(shù)據(jù)質(zhì)量分為絕對(duì)質(zhì)量和過(guò)程質(zhì)量，絕對(duì)質(zhì)量是指業(yè)務(wù)數(shù)據(jù)的真 實(shí)性、完備性和自洽性，過(guò)程質(zhì)量指業(yè)務(wù)數(shù)據(jù)的使用質(zhì)量、存儲(chǔ)質(zhì)量 和傳輸質(zhì)量。數(shù)據(jù)質(zhì)量管理目標(biāo)包括：a）建立穩(wěn)定運(yùn)行的數(shù)據(jù)質(zhì)量測(cè)控體系，及時(shí)發(fā)現(xiàn)并改正數(shù)據(jù)質(zhì)量問(wèn)題；b）建立可靠的數(shù)據(jù)質(zhì)量評(píng)估流程，判斷改進(jìn)趨勢(shì) ，衡量數(shù)據(jù)質(zhì)量改進(jìn) 效果；c）建立一

4、套改進(jìn)、提升數(shù)據(jù)質(zhì)量的管理機(jī)制。3.1.2 數(shù)據(jù)質(zhì)量管理內(nèi)容數(shù)據(jù)質(zhì)量管理內(nèi)容包括：a）制定、修訂數(shù)據(jù)質(zhì)量管理遵循的標(biāo)準(zhǔn)；b）確立、修訂數(shù)據(jù)質(zhì)量管理工作流程、優(yōu)化部門(mén)協(xié)同機(jī)制；c）制定數(shù)據(jù)質(zhì)量管理決策機(jī)制；d）監(jiān)督日常數(shù)據(jù)質(zhì)量管理的有序進(jìn)行；e）數(shù)據(jù)質(zhì)量的核查。3.2 數(shù)據(jù)質(zhì)量影響要素?cái)?shù)據(jù)質(zhì)量影響要素包括：a）信息類要素：由于對(duì)數(shù)據(jù)本身的描述、理解及其度量標(biāo)準(zhǔn)偏差而造成數(shù)據(jù)質(zhì)量問(wèn)題的影響要素；b）技術(shù)類要素：由于具體數(shù)據(jù)處理的各技術(shù)環(huán)節(jié)異常而造成數(shù)據(jù)質(zhì)量問(wèn)題的影響要素，技術(shù)實(shí)現(xiàn)上的某種缺陷是其產(chǎn)生的主要原因；c）流程類要素：由于系統(tǒng)作業(yè)流程和人工操作流程設(shè)置不當(dāng)造成數(shù)據(jù)質(zhì)量問(wèn)題的影響要素；d）管

5、理類要素：指由于人員素質(zhì)及管理機(jī)制方面的原因造成數(shù)據(jù)質(zhì) 量問(wèn)題的影響要素。3.3 數(shù)據(jù)質(zhì)量評(píng)價(jià)原則數(shù)據(jù)質(zhì)量評(píng)價(jià)原則包括：a）完整性：數(shù)據(jù)是充分的，任何有關(guān)操作的數(shù)據(jù)都沒(méi)有被遺漏。 主要 包括實(shí)體不缺失、屬性不缺失、記錄不缺失和字段值不缺失；b）唯一性：數(shù)據(jù)值被約束成一組獨(dú)特的條目， 每個(gè)值都是唯一的。主 要包括主鍵唯一和候選鍵唯一；c）準(zhǔn)確性：數(shù)據(jù)必須真實(shí)準(zhǔn)確的反映實(shí)際發(fā)生的業(yè)務(wù)；d）精確性：計(jì)量誤差、度量單位等方面的精確度應(yīng)符合業(yè)務(wù)需求；e） 一致性：描述數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)值和他們的相互關(guān)系符合邏輯規(guī)則的 程度。如統(tǒng)一數(shù)據(jù)來(lái)源、統(tǒng)一存儲(chǔ)和統(tǒng)一數(shù)據(jù)口徑；f）及時(shí)性：數(shù)據(jù)更新、修改和提取等的快速性程

6、度，應(yīng)符合業(yè)務(wù)需求；g）合規(guī)性：數(shù)據(jù)格式、類型、域值和業(yè)務(wù)規(guī)則的有效性。4相關(guān)部門(mén)職責(zé)4.1 概述相關(guān)部門(mén)包括以下部門(mén)：業(yè)務(wù)主管部門(mén)、技術(shù)主管部門(mén)、技術(shù)承 辦單位和數(shù)據(jù)質(zhì)量管理實(shí)施部門(mén)。4.2 業(yè)務(wù)主管部門(mén)職責(zé)主要職責(zé)包括：a）對(duì)于擬開(kāi)發(fā)的應(yīng)用項(xiàng)目，對(duì)相關(guān)業(yè)務(wù)提出數(shù)據(jù)質(zhì)量約束性需求；b）對(duì)于在開(kāi)發(fā)的應(yīng)用項(xiàng)目，從業(yè)務(wù)角度提供數(shù)據(jù)質(zhì)量檢測(cè)方法和驗(yàn)收標(biāo)準(zhǔn)；c）對(duì)于已運(yùn)行的應(yīng)用項(xiàng)目，根據(jù)應(yīng)用狀況提出數(shù)據(jù)質(zhì)量問(wèn)題和改進(jìn)建議；d）受理與本部門(mén)業(yè)務(wù)相關(guān)的數(shù)據(jù)質(zhì)量管理協(xié)同通告，并作出處理反饋。4.3 技術(shù)主管部門(mén)職責(zé)技術(shù)主管部門(mén)是數(shù)據(jù)質(zhì)量的主管部門(mén)，主要職責(zé)包括：a）組織制定、頒布數(shù)據(jù)質(zhì)量管理、保障、控制和維

7、護(hù)流程；b）組織制定、頒布數(shù)據(jù)質(zhì)量管理和技術(shù)相關(guān)標(biāo)準(zhǔn)；c）監(jiān)督數(shù)據(jù)質(zhì)量問(wèn)題處理的整個(gè)流程并對(duì)數(shù)據(jù)質(zhì)量的監(jiān)控結(jié)果進(jìn)行評(píng)估；d）組織、協(xié)調(diào)相關(guān)部門(mén)，解決數(shù)據(jù)質(zhì)量管理活動(dòng)中的異常問(wèn)題;e）受理、審批數(shù)據(jù)質(zhì)量需求變更；f）針對(duì)已處理的數(shù)據(jù)質(zhì)量問(wèn)題發(fā)起處理效能評(píng)估；g）數(shù)據(jù)質(zhì)量管理其他有關(guān)事項(xiàng)。4.4 技術(shù)承辦單位職責(zé)主要職責(zé)包括：a）協(xié)助數(shù)據(jù)質(zhì)量管理實(shí)施部門(mén)解決業(yè)務(wù)應(yīng)用系統(tǒng)數(shù)據(jù)質(zhì)量問(wèn)題；b）協(xié)助業(yè)務(wù)主管部門(mén)提出數(shù)據(jù)質(zhì)量管理的業(yè)務(wù)需求；c）協(xié)助數(shù)據(jù)質(zhì)量管理實(shí)施部門(mén)處理數(shù)據(jù)質(zhì)量需求變更評(píng)估。4.5 數(shù)據(jù)質(zhì)量管理實(shí)施部門(mén)職責(zé)受技術(shù)主管部門(mén)委托，負(fù)責(zé)數(shù)據(jù)質(zhì)量管理的具體實(shí)施。主要職責(zé)包括:a）監(jiān)控?cái)?shù)據(jù)質(zhì)量問(wèn)題；

8、b）提出數(shù)據(jù)質(zhì)量問(wèn)題改進(jìn)建議；c）依據(jù)數(shù)據(jù)質(zhì)量管理處理流程，負(fù)責(zé)數(shù)據(jù)質(zhì)量管理系統(tǒng)運(yùn)維；d）處理數(shù)據(jù)質(zhì)量監(jiān)控系統(tǒng)告警，并向相關(guān)部門(mén)通告數(shù)據(jù)質(zhì)量問(wèn)題；e）經(jīng)主管部門(mén)授權(quán)后，負(fù)責(zé)組織解決相關(guān)的數(shù)據(jù)質(zhì)量問(wèn)題；f）組織處理數(shù)據(jù)質(zhì)量需求變更的評(píng)估；g）形成報(bào)告并報(bào)技術(shù)主管部門(mén)；h）協(xié)助業(yè)務(wù)主管部門(mén)提出數(shù)據(jù)質(zhì)量管理的業(yè)務(wù)需求。5數(shù)據(jù)質(zhì)量管理工作流程5.1 工作流程圖注：圖中虛線表示為可選流程5.2 關(guān)鍵環(huán)節(jié)說(shuō)明5.2.1 業(yè)務(wù)需求提由業(yè)務(wù)主管部門(mén)依據(jù)業(yè)務(wù)工作的實(shí)際情況，在業(yè)務(wù)需向技術(shù)主管部門(mén)提出相關(guān)業(yè)務(wù)系統(tǒng)的業(yè)務(wù)需求。 求提出過(guò)程中，技術(shù)承辦部門(mén)和數(shù) 據(jù)管理實(shí)施部門(mén)應(yīng)協(xié)助業(yè)務(wù)主管部門(mén)， 就特定業(yè)務(wù)應(yīng)用系統(tǒng)，

9、歸納并 提出業(yè)務(wù)需求。5.2.2 業(yè)務(wù)需求審批技術(shù)主管部門(mén)在受理業(yè)務(wù)主管部門(mén)提交的業(yè)務(wù)需要后，應(yīng)對(duì)業(yè)務(wù)需求在規(guī)定時(shí)限內(nèi)進(jìn)行審批，并將審批意見(jiàn)告知業(yè)務(wù)需求提出部門(mén)。5.2.3 技術(shù)評(píng)估對(duì)于審批通過(guò)的業(yè)務(wù)需求，數(shù)據(jù)質(zhì)量管理實(shí)施部門(mén)應(yīng)在規(guī)定時(shí)限 內(nèi)，組織相關(guān)部門(mén)和人員，對(duì)業(yè)務(wù)需求進(jìn)行技術(shù)評(píng)估，并給出評(píng)估結(jié) 論。技術(shù)承辦單位，應(yīng)協(xié)助科技主管部門(mén)開(kāi)展業(yè)務(wù)需求的技術(shù)評(píng)估。5.2.4 系統(tǒng)設(shè)計(jì)開(kāi)發(fā)技術(shù)承辦單位對(duì)已完成技術(shù)評(píng)估的業(yè)務(wù)需求，應(yīng)依據(jù)業(yè)務(wù)需求組 織并實(shí)施應(yīng)用系統(tǒng)的設(shè)計(jì)與開(kāi)發(fā)。5.2.5 測(cè)試驗(yàn)收對(duì)于技術(shù)承辦單位已完成開(kāi)發(fā)的應(yīng)用系統(tǒng)，具業(yè)務(wù)主管部門(mén)應(yīng)在 規(guī)定時(shí)限內(nèi)組織測(cè)試與驗(yàn)收。技術(shù)承辦單位和數(shù)據(jù)質(zhì)量

10、管理實(shí)施部門(mén)應(yīng)協(xié)助業(yè)務(wù)主管部門(mén)，完成測(cè)試與驗(yàn)收。5.2.6 系統(tǒng)上線運(yùn)維對(duì)業(yè)務(wù)主管部門(mén)已驗(yàn)收的應(yīng)用系統(tǒng)，數(shù)據(jù)質(zhì)量管理實(shí)施部門(mén)應(yīng)組 織實(shí)施應(yīng)用系統(tǒng)的上線和日常運(yùn)維工作。技術(shù)承辦單位應(yīng)協(xié)助、配合數(shù)據(jù)質(zhì)量管理實(shí)施部門(mén)開(kāi)展應(yīng)用系統(tǒng) 的上線工作。5.2.7 數(shù)據(jù)質(zhì)量監(jiān)控對(duì)已上線的應(yīng)用系統(tǒng)，數(shù)據(jù)質(zhì)量管理實(shí)施部門(mén)應(yīng)利用數(shù)據(jù)質(zhì)量管 理系統(tǒng)，開(kāi)展數(shù)據(jù)質(zhì)量監(jiān)控，并定期提供數(shù)據(jù)質(zhì)量監(jiān)控報(bào)告。5.2.8 告警分析與問(wèn)題通告在數(shù)據(jù)質(zhì)量監(jiān)控過(guò)程中產(chǎn)生的告警信息， 數(shù)據(jù)質(zhì)量管理實(shí)施部門(mén) 應(yīng)在規(guī)定的時(shí)限內(nèi)開(kāi)展告警信息分析，并對(duì)告警產(chǎn)生的原因作出判定。對(duì)于一般性告警信息，數(shù)據(jù)質(zhì)量管理實(shí)施部門(mén)可直接按照操作規(guī) 程給予處理，如：系

11、統(tǒng)斷電等原因產(chǎn)生的告警；對(duì)于嚴(yán)重告警信息， 應(yīng)將告警產(chǎn)生的問(wèn)題通告技術(shù)主管部門(mén)和相關(guān)業(yè)務(wù)部門(mén)。注：一般性告警是指系統(tǒng)運(yùn)行環(huán)境異?；虿僮魇д`等導(dǎo)致的、具有偶發(fā)性、在短期內(nèi)恢復(fù)且不產(chǎn)生嚴(yán)重后果的數(shù)據(jù)質(zhì)量監(jiān)控告警。5.2.9 問(wèn)題處理授權(quán)技術(shù)主管部門(mén)在受理數(shù)據(jù)質(zhì)量管理實(shí)施部門(mén)通告的數(shù)據(jù)質(zhì)量問(wèn) 題后，應(yīng)組織協(xié)調(diào)問(wèn)題所涉及的相關(guān)部門(mén)， 協(xié)同確認(rèn)并授權(quán)數(shù)據(jù)質(zhì)量管理實(shí)施部門(mén)解決問(wèn)題。5.2.10 問(wèn)題解決數(shù)據(jù)質(zhì)量管理實(shí)施部門(mén)在獲得授權(quán)后，應(yīng)組織開(kāi)展解決問(wèn)題的工 作并予以完成。技術(shù)承辦單位應(yīng)協(xié)助數(shù)據(jù)質(zhì)量管理實(shí)施部門(mén)解決問(wèn)題的工作。5.2.11 處理結(jié)果確認(rèn)對(duì)已處理的數(shù)據(jù)質(zhì)量問(wèn)題，數(shù)據(jù)質(zhì)量管理實(shí)施部門(mén)應(yīng)將問(wèn)題處

12、理 結(jié)果在規(guī)定時(shí)限內(nèi)通告技術(shù)主管部門(mén)、 業(yè)務(wù)主管部門(mén)和技術(shù)承辦單位。5.2.12 處理結(jié)果反饋各相關(guān)部門(mén)收到數(shù)據(jù)質(zhì)量問(wèn)題處理結(jié)果后，應(yīng)在規(guī)定時(shí)限內(nèi)對(duì)問(wèn)題處理結(jié)果給予確認(rèn)，并將確認(rèn)結(jié)果和建議反饋數(shù)據(jù)質(zhì)量管理實(shí)施部 門(mén)和其他相關(guān)部門(mén)。5.2.13 數(shù)據(jù)質(zhì)量管理報(bào)告數(shù)據(jù)質(zhì)量管理實(shí)施部門(mén)應(yīng)定期編寫(xiě)數(shù)據(jù)質(zhì)量監(jiān)控報(bào)告，歸檔備查數(shù)據(jù)質(zhì)量問(wèn)題處理解決后應(yīng)編寫(xiě)數(shù)據(jù)質(zhì)量問(wèn)題分析報(bào)告，報(bào)送相關(guān)部門(mén)。對(duì)數(shù)據(jù)質(zhì)量監(jiān)控報(bào)告和問(wèn)題分析報(bào)告進(jìn)行總結(jié)，編寫(xiě)數(shù)據(jù)質(zhì)量定 期總結(jié)報(bào)告，報(bào)送相關(guān)部門(mén)6數(shù)據(jù)管理管理活動(dòng)數(shù)據(jù)質(zhì)量管理活動(dòng)的主要內(nèi)容參見(jiàn)附錄 A。附錄A（資料性附錄）數(shù)據(jù)質(zhì)量管理活動(dòng)A.1數(shù)據(jù)資源變更管理數(shù)據(jù)資源變更會(huì)引起系統(tǒng)

13、內(nèi)部和系統(tǒng)外部的數(shù)據(jù)質(zhì)量問(wèn)題。數(shù)據(jù)資源變更管理主要是利用元數(shù)據(jù)管理的分析功能對(duì)系統(tǒng)變更信息進(jìn) 行影響評(píng)估，并將變更信息及時(shí)告知數(shù)據(jù)質(zhì)量管理相關(guān)部門(mén)，協(xié)同各部門(mén)完成數(shù)據(jù)資源變更處理工作，避免變更引起的數(shù)據(jù)質(zhì)量問(wèn)題。A.2數(shù)據(jù)質(zhì)量監(jiān)控A.2.1數(shù)據(jù)采集存檔數(shù)據(jù)質(zhì)量管理業(yè)務(wù)應(yīng)在 HG業(yè)務(wù)系統(tǒng)數(shù)據(jù)處理相關(guān)環(huán)節(jié)采集數(shù) 據(jù)，供數(shù)據(jù)質(zhì)量監(jiān)控分析使用并存檔。A.2.2數(shù)據(jù)質(zhì)量分析根據(jù)監(jiān)控?cái)?shù)據(jù)對(duì)象性質(zhì)的不同，采用多種定性或定量預(yù)警分析方 法進(jìn)行數(shù)據(jù)質(zhì)量評(píng)價(jià)。A.2.3告警管理根據(jù)告警所反映的數(shù)據(jù)質(zhì)量現(xiàn)象的嚴(yán)重程度、影響范圍，設(shè)定嚴(yán)重性程度不同的告警級(jí)別。每一級(jí)別告警信息的發(fā)送都應(yīng)具備多種送達(dá)手段。從數(shù)據(jù)采集、預(yù)

14、警分析到告警生成，每個(gè)階段都需進(jìn)行程序化管 理。A.3數(shù)據(jù)質(zhì)量問(wèn)題處理指對(duì)數(shù)據(jù)質(zhì)量管理中產(chǎn)生的各類問(wèn)題進(jìn)行分析， 并根據(jù)分析結(jié)果, 方法進(jìn)行處理，選擇適當(dāng)?shù)姆绞?、并根?jù)處理效果歸納總結(jié)的處理過(guò) 程。關(guān)鍵環(huán)節(jié)包括：?jiǎn)栴}發(fā)現(xiàn)、問(wèn)題分析、問(wèn)題通告、問(wèn)題解決指派、 問(wèn)題處理方法設(shè)計(jì)、審評(píng)、實(shí)施和問(wèn)題總結(jié)。A.4數(shù)據(jù)質(zhì)量評(píng)估指利用各種評(píng)估方法（如：直接評(píng)估法和間接評(píng)估法），根據(jù)數(shù) 據(jù)質(zhì)量問(wèn)題影響程度的不同，以評(píng)估報(bào)告等形式，對(duì)數(shù)據(jù)質(zhì)量的給以 評(píng)價(jià)和改進(jìn)建議。A.5數(shù)據(jù)質(zhì)量報(bào)告數(shù)據(jù)質(zhì)量報(bào)告是對(duì)數(shù)據(jù)資源變更管理、 數(shù)據(jù)監(jiān)控、數(shù)據(jù)質(zhì)量分析、 問(wèn)題處理以及數(shù)據(jù)質(zhì)量評(píng)估等過(guò)程積累的各種信息進(jìn)行匯總、梳理、 統(tǒng)計(jì)和分析，形成統(tǒng)計(jì)報(bào)告的