數(shù)據(jù)質(zhì)量管理系統(tǒng)應(yīng)用

1、書(shū)山有路勤為徑，學(xué)海無(wú)涯苦作舟。數(shù)據(jù)質(zhì)量管理系統(tǒng)應(yīng)用 -生活篇 最近在看關(guān)于綜合分析數(shù)據(jù)質(zhì)量管理規(guī)范的時(shí)候，結(jié)合實(shí)際生活當(dāng)中的例子。在這里說(shuō)出來(lái)，可以討論一下。這里主要是指標(biāo)值數(shù)據(jù)質(zhì)量的管理： 1。數(shù)值檢查個(gè)可以和我們固定的閾值檢查結(jié)合起來(lái)，即通過(guò)檢查單個(gè)指標(biāo)的數(shù)值和閾值的比較發(fā)現(xiàn)指標(biāo)的異常和變動(dòng)的情況。這個(gè)就是固定閾值的一種情況。比如當(dāng)?shù)罔F離近站只有4分鐘的時(shí)候，地鐵旁邊的燈會(huì)一直閃爍。地鐵離開(kāi)車(chē)只有一分鐘要關(guān)門(mén)的時(shí)候，就會(huì)告警即將開(kāi)車(chē)。以免突然開(kāi)車(chē)造成人的傷害。 2：波動(dòng)檢查：一般就是同比波動(dòng)的檢查和環(huán)比波動(dòng)的檢查。先計(jì)算指標(biāo)的同比或環(huán)比波動(dòng)率，然后與預(yù)訂的波動(dòng)率上下限（閾值）進(jìn)行比較。這

2、個(gè)就是范圍閾值。例如昨天公交車(chē)上有一條新聞就是重慶目前一小時(shí)之內(nèi)公交車(chē)換成免費(fèi)。那么這一個(gè)小時(shí)之內(nèi)就是一個(gè)范圍閾值，只要在一個(gè)小時(shí)之內(nèi)不收錢(qián)，即什么也不做，但是當(dāng)超過(guò)一個(gè)小時(shí)之后就要收錢(qián)。那么我們這里就需要告警。 3。還有一種日常當(dāng)中常用的就是動(dòng)態(tài)閾值比如我們乘坐地鐵的時(shí)候根據(jù)路程的不同地鐵價(jià)格不同。以及依照路程計(jì)價(jià)的公交車(chē)也一樣，路程不同，價(jià)格不同。本質(zhì)上都是乘坐地鐵或者公交，但是由于距離問(wèn)題因此價(jià)格不同，比如收入指標(biāo)閾值制定的時(shí)候，比如不同的地市，在同一時(shí)間維度閾值是不同。比如經(jīng)濟(jì)發(fā)達(dá)地區(qū)應(yīng)該制定高一點(diǎn)，經(jīng)濟(jì)欠發(fā)達(dá)地區(qū)制定低一點(diǎn)。 4。指標(biāo)之間的關(guān)聯(lián)檢查，比如我們常說(shuō)的同增同減關(guān)聯(lián)關(guān)系，還

3、是以地鐵為例，路程增加了，那價(jià)格相應(yīng)就增加了。比如我們理論上我們的用戶(hù)數(shù)增加了，那么收入應(yīng)該有所增加。但是有時(shí)候反而用戶(hù)量增加了，收入?yún)s下降了。增加的用戶(hù)數(shù)比丟失的用戶(hù)數(shù)多因此整體上用戶(hù)量增加了。但是增加的用戶(hù)量都是一些劣質(zhì)用戶(hù)，而丟失了一部分高端用戶(hù)。從而導(dǎo)致用戶(hù)數(shù)增加，收入下降的局面。 5：指標(biāo)平衡檢查：對(duì)若干個(gè)指標(biāo)值的簡(jiǎn)單四則運(yùn)算（加、減、乘、除），來(lái)檢驗(yàn)各個(gè)指標(biāo)間潛在的平衡或其他比較關(guān)系。比如有些指標(biāo)日指標(biāo)匯總應(yīng)該與月指標(biāo)的值平衡。 當(dāng)發(fā)現(xiàn)數(shù)據(jù)出現(xiàn)異常的時(shí)候，首先先分析一下，是不是一些因素導(dǎo)致指標(biāo)的變化，比如節(jié)假日，周末，市場(chǎng)營(yíng)銷(xiāo)策略，以及外部的一些政策對(duì)指標(biāo)造成的變化，然后再查看是不

4、是真的是數(shù)據(jù)質(zhì)量的問(wèn)題，以及源接口數(shù)據(jù)的問(wèn)題。 數(shù)據(jù)質(zhì)量管理系統(tǒng)-理論篇 數(shù)據(jù)質(zhì)量管理系統(tǒng)： 一：從以下5個(gè)方面對(duì)數(shù)據(jù)的質(zhì)量進(jìn)行管控 1：及時(shí)性：數(shù)據(jù)獲取是否及時(shí)，主要指數(shù)據(jù)提取、傳送、轉(zhuǎn)換、加載、展現(xiàn)的及時(shí)性。在數(shù)據(jù)處理的各個(gè)環(huán)節(jié)，都會(huì)涉及到及時(shí)性。我們一般考慮兩個(gè)方面第一就是接口數(shù)據(jù)是否能夠及時(shí)的抽取過(guò)來(lái)。第二就是展現(xiàn)層能否及時(shí)的展現(xiàn)出來(lái)。 2：完整性：是指數(shù)據(jù)是否完整，描述的數(shù)據(jù)要素，要素屬性及要素關(guān)系存在或不存在，主要包括實(shí)體缺失、屬性缺失、記錄缺失以及主外鍵參照完整性的內(nèi)容。 3：一致性：第一就是原始數(shù)據(jù)即文件接口和入庫(kù)的數(shù)據(jù)記錄條數(shù)是一致的。 第二就是同一指標(biāo)在任何地方都應(yīng)該保持一

5、致。 4：有效性：描述數(shù)據(jù)取值是否在界定的值域范圍內(nèi)，主要包括數(shù)據(jù)格式、數(shù)據(jù)類(lèi)型、值域和相關(guān)業(yè)務(wù)規(guī)則的有效性。 5：準(zhǔn)確性：主要是指指標(biāo)算法、數(shù)據(jù)處理過(guò)程的準(zhǔn)確性。這個(gè)準(zhǔn)確性主要是通過(guò)元數(shù)據(jù)管理中定義的指標(biāo)的算法、數(shù)據(jù)處理順序和人工檢查相結(jié)合的方式來(lái)保證。 二：數(shù)據(jù)倉(cāng)庫(kù)中需要進(jìn)行質(zhì)量管理的數(shù)據(jù)分類(lèi) 1：接口數(shù)據(jù)：接口數(shù)據(jù)是整個(gè)數(shù)據(jù)倉(cāng)庫(kù)的生命的起點(diǎn)，如果接口數(shù)據(jù)有問(wèn)題的話(huà)會(huì)嚴(yán)重影響數(shù)據(jù)倉(cāng)庫(kù)后面的報(bào)表以及分析結(jié)果。 接口數(shù)據(jù)分為兩種情況：文件接口和數(shù)據(jù)庫(kù)接口 文件接口方面：一方面是接口內(nèi)容本身的數(shù)據(jù)質(zhì)量問(wèn)題：文件傳送及時(shí)率。文件內(nèi)容有效性。文件傳遞的完整性 一方面是文件接口采集程序的監(jiān)控。文件接口

6、采集程序是否正常啟動(dòng)，正常結(jié)束等。 賬期，接口名稱(chēng)，采集開(kāi)始時(shí)間，采集結(jié)束時(shí)間，有效標(biāo)志，接口及時(shí)率標(biāo)志，接口完整性標(biāo)志等。 這些可以通過(guò)查看接口運(yùn)行日志來(lái)獲取相關(guān)信息情況。 數(shù)據(jù)庫(kù)接口方面。數(shù)據(jù)庫(kù)接口參考文件接口部分。 2：數(shù)據(jù)倉(cāng)庫(kù)層面的數(shù)據(jù)：關(guān)鍵包括兩個(gè)方面的內(nèi)容數(shù)據(jù)處理過(guò)程執(zhí)行情況和關(guān)鍵指標(biāo)檢查 第一：數(shù)據(jù)處理過(guò)程監(jiān)控：監(jiān)控所有的數(shù)據(jù)處理過(guò)程十分按時(shí)調(diào)度，是否成功。這些可以通過(guò)查看數(shù)據(jù)處理過(guò)程日志表來(lái)獲取相關(guān)信息 第二：關(guān)鍵指標(biāo)的檢查：指標(biāo)檢查主要包括兩個(gè)方面： 首先是基礎(chǔ)指標(biāo)的檢查：數(shù)值檢查：主要是通過(guò)檢查單個(gè)指標(biāo)的數(shù)值來(lái)發(fā)現(xiàn)指標(biāo)的異常和突變等情況。這里需要設(shè)置相應(yīng)的閥值來(lái)進(jìn)行。這里需

7、要考慮周末、節(jié)假日以及一些外部因素對(duì)指標(biāo)的影響。因此指標(biāo)異常并不一定是數(shù)據(jù)的問(wèn)題。波動(dòng)檢查：主要是同比或者環(huán)比的檢查。先計(jì)算指標(biāo)的同比或環(huán)比波動(dòng)率，然后與預(yù)定的波動(dòng)率上下限（閾值）進(jìn)行比較。需要考慮周末、節(jié)假日及一些外部因素對(duì)指標(biāo)的影響。因此指標(biāo)異常不一定是數(shù)據(jù)的問(wèn)題。關(guān)聯(lián)檢查：對(duì)兩個(gè)存在關(guān)聯(lián)關(guān)系的指標(biāo)（如同增、同減正關(guān)聯(lián)關(guān)系），分析變化和波動(dòng)情況。比如用戶(hù)量和話(huà)務(wù)量以及用戶(hù)量和收入之間的關(guān)聯(lián)分析。用戶(hù)量增加了。應(yīng)該收入有所增加。但是有時(shí)候反而用戶(hù)量增加了，收入?yún)s下降了。增加的用戶(hù)數(shù)比丟失的用戶(hù)數(shù)多因此整體上用戶(hù)量增加了。但是增加的用戶(hù)量都是一些劣質(zhì)用戶(hù)，而丟失了一部分高端用戶(hù)。從而導(dǎo)致用戶(hù)數(shù)

8、增加收入下降的局面。 平衡檢查。通過(guò)對(duì)若干個(gè)指標(biāo)值的簡(jiǎn)單四則運(yùn)算（加、減、乘、除），來(lái)檢驗(yàn)各個(gè)指標(biāo)間潛在的平衡或其他比較關(guān)系。比如收入-支出=利潤(rùn)。這三者之間的平衡。日指標(biāo)匯總與月指標(biāo)的平衡檢查等。 其次加權(quán)波動(dòng)檢查。通過(guò)對(duì)單個(gè)指標(biāo)的基礎(chǔ)檢查結(jié)果和影響因素的加權(quán)計(jì)算分析，綜合檢查指標(biāo)的波動(dòng)和變化情況。比如一個(gè)指標(biāo)今天異常的超出了范圍，我們首先應(yīng)該加上一些外部的因素比如制定了相應(yīng)的優(yōu)惠政策以及節(jié)假日然后對(duì)其進(jìn)行分析。分析得出該結(jié)果是正常的。因此當(dāng)指標(biāo)異常的時(shí)候我們不能首先就判斷該指標(biāo)數(shù)據(jù)質(zhì)量有問(wèn)題，應(yīng)該先分析一些外部因素對(duì)其的影響。然后再考慮是否確實(shí)是數(shù)據(jù)質(zhì)量的問(wèn)題。 三：數(shù)據(jù)質(zhì)量處理流程 問(wèn)題

9、生成-問(wèn)題分析-問(wèn)題處理-問(wèn)題總結(jié) 每個(gè)處理流程都針對(duì)于后臺(tái)相應(yīng)的表已經(jīng)相應(yīng)的處理過(guò)程 問(wèn)題生成部分。我們應(yīng)該監(jiān)控接口的日志信息，數(shù)據(jù)倉(cāng)庫(kù)部分各個(gè)處理過(guò)程的日志信息以及指標(biāo)的檢查相關(guān)過(guò)程。 問(wèn)題分析部分：將發(fā)生的問(wèn)題進(jìn)行歸類(lèi)，將同一類(lèi)的問(wèn)題進(jìn)行集中分析。問(wèn)題分析的時(shí)候會(huì)用到元數(shù)據(jù)管理部分的一些分析方法比如：血緣分析，影響分析、數(shù)據(jù)映射分析等。 問(wèn)題處理部分。結(jié)合系統(tǒng)后臺(tái)提前準(zhǔn)備的問(wèn)題處理流程，對(duì)相應(yīng)的問(wèn)題采用相應(yīng)的處理流程來(lái)解決該問(wèn)題。 問(wèn)題總結(jié)。當(dāng)問(wèn)題處理結(jié)束之后，我們要對(duì)以前的問(wèn)題進(jìn)行匯總，并且對(duì)問(wèn)題的解決方法也進(jìn)行匯總，便于下次能夠不出現(xiàn)這樣的問(wèn)題。或者出現(xiàn)問(wèn)題之后能夠很快的解決。 因?yàn)槲覀円呀?jīng)有相應(yīng)的問(wèn)題解決方案。該處理流程是一個(gè)循環(huán)的過(guò)程。 四：數(shù)據(jù)質(zhì)