數(shù)據(jù)倉庫的數(shù)據(jù)質(zhì)量

1、精選優(yōu)質(zhì)文檔-傾情為你奉上（一）數(shù)據(jù)質(zhì)量的衡量標(biāo)準(zhǔn)、好處和問題           數(shù)據(jù)質(zhì)量的好壞是決定一個(gè)數(shù)據(jù)倉庫成功的關(guān)鍵，但是需要從那些方面衡量數(shù)據(jù)倉庫中數(shù)據(jù)的質(zhì)量呢? 可以從下列方面衡量系統(tǒng)中的數(shù)據(jù)質(zhì)量：        準(zhǔn)確性：存儲(chǔ)在系統(tǒng)中的關(guān)于一個(gè)數(shù)據(jù)元素的值是這個(gè)數(shù)據(jù)元素的正確值 ；        域完整性：一個(gè)屬性

2、的數(shù)值在合理且預(yù)定義的范圍之內(nèi)；        數(shù)據(jù)類型：一個(gè)數(shù)據(jù)屬性的值通常是根據(jù)這個(gè)屬性所定義的數(shù)據(jù)類型來存儲(chǔ)的；       一致性：一個(gè)數(shù)據(jù)字段的形式和內(nèi)容在多個(gè)源系統(tǒng)之間是相同的。        冗余性：相同的數(shù)據(jù)在一個(gè)系統(tǒng)中不能存儲(chǔ)在超過一個(gè)地方；        完整性：系統(tǒng)中的屬性不應(yīng)該有缺失的值； &#

3、160;      重復(fù)性：完全解決一個(gè)系統(tǒng)中記錄的重復(fù)性的問題；        結(jié)構(gòu)明確：在數(shù)據(jù)項(xiàng)的結(jié)構(gòu)可以分成不同部分的任何地方，這個(gè)數(shù)據(jù)項(xiàng)都必須包含定義好的結(jié)構(gòu)；        數(shù)據(jù)異常：一個(gè)字段必須根據(jù)預(yù)先定義的目的來使用；        清晰：一個(gè)數(shù)據(jù)元素必須有正確的定義，也就是需要一個(gè)正確的命名；  

4、60;     時(shí)效性：用戶決定了數(shù)據(jù)的時(shí)效性；        有用性：數(shù)據(jù)倉庫中的每一個(gè)數(shù)據(jù)元素必須滿足用戶的一些需求；       符合數(shù)據(jù)完整性的規(guī)則：源系統(tǒng)中的關(guān)系數(shù)據(jù)庫中存儲(chǔ)的數(shù)據(jù)必須符合實(shí)體完整性及參考完整性規(guī)則。既然數(shù)據(jù)質(zhì)量是成功的關(guān)鍵，那么，提高數(shù)據(jù)質(zhì)量有那些好處：        對(duì)實(shí)時(shí)信息的分析：高質(zhì)量的數(shù)據(jù)提供及時(shí)的信息，是為用

5、戶創(chuàng)造的一個(gè)重要益處；        更好的客戶服務(wù)：完整而準(zhǔn)確的信息能夠大大提高客戶服務(wù)的質(zhì)量；       更多的機(jī)會(huì)：數(shù)據(jù)倉庫中的高質(zhì)量數(shù)據(jù)是一個(gè)巨大的市場(chǎng)機(jī)會(huì)，它給產(chǎn)品和部門之間的交叉銷售打開了機(jī)會(huì)的大門；       減少成本和風(fēng)險(xiǎn)：如果數(shù)據(jù)質(zhì)量不好，明顯的風(fēng)險(xiǎn)就是戰(zhàn)略決策可能會(huì)導(dǎo)致災(zāi)難性的后果。        提高生

6、產(chǎn)率：用戶可以從真?zhèn)€企業(yè)的角度來看待數(shù)據(jù)倉庫的信息，而全面的信息促使流程和真?zhèn)€操作更順暢，                                從而提高生長(zhǎng)率；       可靠的戰(zhàn)略決策制定：如果數(shù)據(jù)倉庫的數(shù)據(jù)是可靠而

7、高質(zhì)量的，那么基于這些信息進(jìn)行的決策就是好的決策。在數(shù)據(jù)處理過程中，會(huì)有那些數(shù)據(jù)質(zhì)量問題：          字段中的虛假值          數(shù)據(jù)值缺失         對(duì)字段的非正規(guī)使用         晦澀的值   

8、0;     互相沖突的值        違反商業(yè)規(guī)則        主鍵重用        標(biāo)志不唯一        不一致的值        不正確的值    

9、60;   一個(gè)字段多種用途       錯(cuò)誤的集成 （二）數(shù)據(jù)質(zhì)量的挑戰(zhàn)        數(shù)據(jù)的污染是在數(shù)據(jù)倉庫中處理的，但是數(shù)據(jù)的污染卻是在數(shù)據(jù)倉庫之外發(fā)生，所以我們必須要知道數(shù)據(jù)有那些污染源：        系統(tǒng)轉(zhuǎn)換：系統(tǒng)轉(zhuǎn)換和遷移是數(shù)據(jù)污染的重要原因；       

10、; 數(shù)據(jù)老化：       復(fù)雜的系統(tǒng)集成：源系統(tǒng)種類越繁多，出現(xiàn)污染數(shù)據(jù)的可能性就越大；       拙劣的數(shù)據(jù)庫設(shè)計(jì)：堅(jiān)持實(shí)體完整性和參考完整性規(guī)則可以防止一些數(shù)據(jù)污染；        數(shù)據(jù)輸入的不完整信息：        輸入錯(cuò)誤：錯(cuò)誤的數(shù)據(jù)輸入是數(shù)據(jù)污染的一個(gè)主要來源；   

11、60;   國(guó)際化/本地化：       欺詐：有些數(shù)據(jù)是故意輸入錯(cuò)誤的；       缺乏相關(guān)政策：如果一個(gè)公司對(duì)數(shù)據(jù)質(zhì)量沒有明確的相關(guān)政策，它的數(shù)據(jù)質(zhì)量就不可能得到保證。 數(shù)據(jù)質(zhì)量問題產(chǎn)生的影響：         根據(jù)常規(guī)分析方法所作出的錯(cuò)誤決定；        

12、由于“臟”數(shù)據(jù)或數(shù)據(jù)不可用失去商業(yè)機(jī)會(huì)；        由于錯(cuò)誤的數(shù)據(jù)導(dǎo)致要重新運(yùn)行數(shù)據(jù)清洗，造成源系統(tǒng)額外開銷；        由于數(shù)據(jù)不符合規(guī)則二導(dǎo)致政府機(jī)構(gòu)的懲罰；        審查的問題；       不必要的冗余數(shù)據(jù)占用資源；       

13、0;不一致的報(bào)表；        每次發(fā)現(xiàn)并修改數(shù)據(jù)錯(cuò)誤所耗費(fèi)的時(shí)間和精力。 （三）數(shù)據(jù)質(zhì)量工具        現(xiàn)在已經(jīng)清楚數(shù)據(jù)質(zhì)量從那里來，會(huì)帶來什么問題，做好數(shù)據(jù)質(zhì)量管理能帶來那些好處，那么，我們可以采用那些方法和工具來保證數(shù)據(jù)的質(zhì)量。  數(shù)據(jù)清洗工具        數(shù)據(jù)錯(cuò)誤發(fā)現(xiàn)工具用于識(shí)別源數(shù)據(jù)的不準(zhǔn)確和不一致；數(shù)據(jù)修正工具幫助修改受污染的數(shù)據(jù)。

14、60;數(shù)據(jù)清洗工具的錯(cuò)誤發(fā)現(xiàn)：       方便快捷地識(shí)別重復(fù)記錄；       辨認(rèn)出那些超出合法域值范圍地?cái)?shù)據(jù)項(xiàng)；       找到不一致地?cái)?shù)據(jù)；       檢查允許值的范圍；       檢測(cè)不同來源地?cái)?shù)據(jù)項(xiàng)地不一致性；     &

15、#160; 允許用戶辨認(rèn)和確定數(shù)據(jù)質(zhì)量問題的數(shù)量；       監(jiān)控?cái)?shù)據(jù)質(zhì)量隨時(shí)間變化地趨勢(shì)；       面向用戶報(bào)告分析所用數(shù)據(jù)地質(zhì)量；       解決關(guān)系數(shù)據(jù)庫管理系統(tǒng)數(shù)據(jù)參考完整性地問題。數(shù)據(jù)修正工具的數(shù)據(jù)修正：        規(guī)范不一致地?cái)?shù)據(jù)；        改善不同

16、數(shù)據(jù)源中數(shù)據(jù)地合并過程；        對(duì)屬于同一個(gè)家庭地客戶記錄進(jìn)行分群和關(guān)聯(lián)；        提供數(shù)據(jù)質(zhì)量地衡量指標(biāo)；        使允許地?cái)?shù)值生效。 （四）確保數(shù)據(jù)質(zhì)量         為保證數(shù)據(jù)倉庫數(shù)據(jù)地質(zhì)量，需要對(duì)數(shù)據(jù)進(jìn)行清洗，有兩種清洗方法：一種是只讓干凈地?cái)?shù)據(jù)進(jìn)入數(shù)據(jù)倉庫；而是在需要地時(shí)候清洗。進(jìn)行數(shù)據(jù)清洗決策需要解決地基本問題：        需要清洗那些數(shù)據(jù)：需要由用戶決定那些數(shù)據(jù)是重要地必須清洗，IT專家只起輔助作用；