數(shù)據(jù)質(zhì)量管理

1、數(shù)據(jù)質(zhì)量管理定義:是指對(duì)數(shù)據(jù)從計(jì)劃、獲取、存儲(chǔ)、共享、維護(hù)、應(yīng)用、消亡生命周期的每個(gè)階段里可能引發(fā)的各類數(shù)據(jù)質(zhì)量問(wèn)題，進(jìn)行識(shí)別、度量、監(jiān)控、預(yù)警等一系列管理活動(dòng)，并通過(guò)改善和提高組織的管理水平使得數(shù)據(jù)質(zhì)量獲得進(jìn)一步提高。目錄1 HYPERLINK ”/view/6447037.htm l 1 數(shù)據(jù)質(zhì)量管理2 HYPERLINK ”http：/view/6447037。htm l 2 數(shù)據(jù)質(zhì)量管理評(píng)估維度3 HYPERLINK ”http：/view/6447037。htm” l ”3” 分析影響數(shù)據(jù)質(zhì)量的因素4 HYPERLINK ”http：/view/6447037。htm” l ”4 M

2、TC-DQM 數(shù)據(jù)質(zhì)量管理的方法與步驟一 數(shù)據(jù)質(zhì)量管理數(shù)據(jù)質(zhì)量管理是循環(huán)管理過(guò)程，其終極目標(biāo)是通過(guò)可靠的數(shù)據(jù)提升數(shù)據(jù)在使用中的價(jià)值,并最終為企業(yè)贏得經(jīng)濟(jì)效益。二 數(shù)據(jù)質(zhì)量管理評(píng)估維度由于數(shù)據(jù)清洗(DataCleaning)工具通常簡(jiǎn)單地被稱為數(shù)據(jù)質(zhì)量（Data Quality）工具,因此很多人認(rèn)為數(shù)據(jù)質(zhì)量管理，就是修改數(shù)據(jù)中的錯(cuò)誤、是對(duì)錯(cuò)誤數(shù)據(jù)和垃圾數(shù)據(jù)進(jìn)行清理.這個(gè)理解是片面的,其實(shí)數(shù)據(jù)清洗只是數(shù)據(jù)質(zhì)量管理中的一步.數(shù)據(jù)質(zhì)量管理（DQM），不僅包含了對(duì)數(shù)據(jù)質(zhì)量的改善，同時(shí)還包含了對(duì)組織的改善。針對(duì)數(shù)據(jù)的改善和管理，主要包括數(shù)據(jù)分析、數(shù)據(jù)評(píng)估、數(shù)據(jù)清洗、數(shù)據(jù)監(jiān)控、錯(cuò)誤預(yù)警等內(nèi)容；針對(duì)組織的改善

3、和管理，主要包括確立組織數(shù)據(jù) HYPERLINK ”http：/view/543260。htm t http：/view/_blank” 質(zhì)量改進(jìn)目標(biāo)、評(píng)估 HYPERLINK http：/view/160547.htm” t http：/view/_blank” 組織流程、制定組織流程改善計(jì)劃、制定組織監(jiān)督審核機(jī)制、實(shí)施改進(jìn)、評(píng)估改善效果等多個(gè)環(huán)節(jié)。任何改善都是建立在 HYPERLINK http：/view/20473。htm” t ”/view/_blank 評(píng)估的基礎(chǔ)上，知道問(wèn)題在哪才能實(shí)施改進(jìn).通常數(shù)據(jù)質(zhì)量 HYPERLINK http：/view/20473。htm” t http

4、：/view/_blank 評(píng)估和管理評(píng)估需通過(guò)以下幾個(gè)維度衡量。1 數(shù)據(jù)質(zhì)量評(píng)估維度完整性 Completeness:完整性用于度量哪些數(shù)據(jù)丟失了或者哪些數(shù)據(jù)不可用。規(guī)范性 Conformity：規(guī)范性用于度量哪些數(shù)據(jù)未按統(tǒng)一格式存儲(chǔ)。一致性 Consistency：一致性用于度量哪些數(shù)據(jù)的值在信息含義上是沖突的。準(zhǔn)確性 Accuracy：準(zhǔn)確性用于 HYPERLINK ”http：/view/707359.htm” t ”http：/view/_blank” 度量哪些數(shù)據(jù)和信息是不正確的，或者數(shù)據(jù)是超期的。唯一性 Uniqueness：唯一性用于度量哪些數(shù)據(jù)是重復(fù)數(shù)據(jù)或者數(shù)據(jù)的哪些屬性是重

5、復(fù)的.關(guān)聯(lián)性 Integration:關(guān)聯(lián)性用于 HYPERLINK /view/707359。htm t http：/view/_blank 度量哪些關(guān)聯(lián)的數(shù)據(jù)缺失或者未建立索引。2 管理質(zhì)量評(píng)估維度配置管理 Config Management：此維度用于 HYPERLINK ”http：/view/707359.htm” t ”http：/view/_blank” 度量數(shù)據(jù)在其生命周期內(nèi)的一切資源是否得到了控制和規(guī)范,即數(shù)據(jù)的計(jì)劃、產(chǎn)生、變更直至消亡的過(guò)程中,與數(shù)據(jù)相關(guān)的計(jì)劃、規(guī)范、描述是否收到控制。評(píng)估指標(biāo)包括：評(píng)估配置項(xiàng)的細(xì)化粒度、評(píng)估基線準(zhǔn)確度和頻度以及變更 HYPERLINK ht

6、tp：/view/158951。htm” t http：/view/_blank” 流程是否合理完善等。 HYPERLINK ”/view/9787。htm” t /view/_blank” 培訓(xùn)Training:此維度用于度量數(shù)據(jù)的生產(chǎn)和使用者在數(shù)據(jù)生命周期內(nèi)的一切活動(dòng)中是否經(jīng)過(guò)了知識(shí)和技能的培訓(xùn)、 HYPERLINK /view/1609600。htm t ”http：/view/_blank” 培訓(xùn)效果是否滿足崗位需要；受訓(xùn)的知識(shí)和技能是否經(jīng)過(guò)審核和確認(rèn)，受訓(xùn)的內(nèi)容是否與 HYPERLINK /view/4152.htm” t /view/_blank 企業(yè)文化和價(jià)值觀一致；培訓(xùn) HYP

7、ERLINK /view/158951。htm” t ”http：/view/_blank” 流程是否合理完善等;驗(yàn)證和確認(rèn) Verify & Validation:此維度用于 HYPERLINK ”/view/707359.htm t http：/view/_blank” 度量數(shù)據(jù)在其生命周期內(nèi)是否得到驗(yàn)證和確認(rèn).評(píng)估內(nèi)容包括是否通過(guò)驗(yàn)證 HYPERLINK ”/view/158951。htm” t /view/_blank” 流程確保工作產(chǎn)品（數(shù)據(jù))滿足指定的要求、是否通過(guò)“確認(rèn)” HYPERLINK ”http：/view/158951。htm t ”http：/view/_blank”

8、 流程保證工作產(chǎn)品（數(shù)據(jù)）在 HYPERLINK ”/view/149377.htm” t ”http：/view/_blank” 計(jì)劃的環(huán)境中滿足使用的要求；“驗(yàn)證”和“確認(rèn)”的流程是否完善；監(jiān)督和監(jiān)控 Monitoring:此維度用于度量產(chǎn)生和使用數(shù)據(jù)的流程在數(shù)據(jù)的整個(gè)生命周期內(nèi)是否真正受控.脫離監(jiān)控的信息、技術(shù)、 HYPERLINK http：/view/149377。htm” t http：/view/_blank 計(jì)劃、流程、制度,會(huì)導(dǎo)致數(shù)據(jù)質(zhì)量低下。監(jiān)督和監(jiān)控的 HYPERLINK ”/view/158951.htm” t /view/_blank” 流程是否完善。三 分析影響數(shù)據(jù)

9、質(zhì)量的因素影響數(shù)據(jù)質(zhì)量的因素主要來(lái)源于四方面：信息因素、技術(shù)因素、 HYPERLINK ”/view/158951.htm” t ”/view/_blank 流程因素和管理因素信息因素：產(chǎn)生這部分?jǐn)?shù)據(jù)質(zhì)量問(wèn)題的原因主要有：數(shù)據(jù)描述及理解錯(cuò)誤、數(shù)據(jù) HYPERLINK /view/707359。htm t ”http：/view/_blank” 度量的各種性質(zhì)（如:數(shù)據(jù)源規(guī)格不統(tǒng)一)得不到保證和變化頻度不恰當(dāng)?shù)?技術(shù)因素:主要是指由于具體數(shù)據(jù)處理的各技術(shù)環(huán)節(jié)的異常造成的數(shù)據(jù)質(zhì)量問(wèn)題。數(shù)據(jù)質(zhì)量問(wèn)題的產(chǎn)生環(huán)節(jié)主要包括數(shù)據(jù)創(chuàng)建、數(shù)據(jù)獲取、數(shù)據(jù)傳輸、數(shù)據(jù)裝載、數(shù)據(jù)使用、數(shù)據(jù)維護(hù)等方面的內(nèi)容.流程因素：是

10、指由于系統(tǒng)作業(yè)流程和人工操作流程設(shè)置不當(dāng)造成的數(shù)據(jù)質(zhì)量問(wèn)題,主要來(lái)源于系統(tǒng)數(shù)據(jù)的創(chuàng)建流程、傳遞流程、裝載流程、使用流程、維護(hù)流程和 HYPERLINK ”http：/view/1255305。htm” t ”/view/_blank” 稽核流程等各環(huán)節(jié)。管理因素：是指由于人員素質(zhì)及 HYPERLINK ”http：/view/3583276。htm” t http：/view/_blank” 管理機(jī)制方面的原因造成的數(shù)據(jù)質(zhì)量問(wèn)題。如人員 HYPERLINK ”http：/view/9787。htm” t ”http：/view/_blank” 培訓(xùn)、 HYPERLINK http：/view/

11、581221.htm” t ”http：/view/_blank” 人員管理、培訓(xùn)或者獎(jiǎng)懲措施不當(dāng)導(dǎo)致的管理缺失或者管理缺陷.四MTCDQM 數(shù)據(jù)質(zhì)量管理的方法與步驟熟悉 HYPERLINK ”http：/view/723933.htm” t /view/_blank” 六西格瑪管理的人應(yīng)該知道,六西格瑪強(qiáng)調(diào)以事實(shí)驅(qū)動(dòng)管理。但事實(shí)是用數(shù)據(jù)說(shuō)話.映射到 HYPERLINK ”http：/view/723933.htm” t ”/view/_blank” 六西格瑪管理方法，MTCDQM推薦采用十步數(shù)據(jù)質(zhì)量管理方法。 1。 定義和商定問(wèn)題、時(shí)機(jī)和目標(biāo)，以指導(dǎo)整個(gè)數(shù)據(jù)質(zhì)量管理的工作。2。 收集、匯總、分析有關(guān)形式和信息環(huán)境.設(shè)計(jì)設(shè)計(jì)捕獲和評(píng)估的方案。3。 按照數(shù)據(jù)質(zhì)量維度對(duì)數(shù)據(jù)質(zhì)量進(jìn)行 HYPERLINK http：/view/20473。htm” t /view/_blank” 評(píng)估。4。 使用各種技術(shù)評(píng)估劣質(zhì)數(shù)據(jù)對(duì) HYPERLINK ”http：/view/64906。htm t ”http：/view/_blank 業(yè)務(wù)產(chǎn)生的影響。5。 確定影響數(shù)據(jù)質(zhì)量的真實(shí)原因,并區(qū)分這些原因的影響的數(shù)據(jù)質(zhì)量的級(jí)別。6. 最終確定行動(dòng)的建議，為數(shù)據(jù)質(zhì)量改善制定方案,包括