如何利用ODSEDW提升企業(yè)數(shù)據(jù)質(zhì)量.ppt

如何利用ODS/EDW提升企業(yè)數(shù)據(jù)質(zhì)量,IBM 2019年7月15日,ODS/EDW系統(tǒng) IBM機(jī)密 | 15-Jul-19,2,湯傳俊個(gè)人介紹 MSN: ,IBM業(yè)務(wù)咨詢服務(wù)部的信息技術(shù)架構(gòu)師，專業(yè)集中在信息系統(tǒng)架構(gòu)設(shè)計(jì)，業(yè)務(wù)流程分析和設(shè)計(jì)，應(yīng)用系統(tǒng)設(shè)計(jì)和開(kāi)發(fā)，數(shù)據(jù)架構(gòu)設(shè)計(jì)，數(shù)據(jù)建模和項(xiàng)目管理。 十二年電信行業(yè)經(jīng)驗(yàn)，93年進(jìn)入電信，從96年就開(kāi)始參與電信九七工程的建設(shè)，足跡覆蓋大部分省份，參與或領(lǐng)導(dǎo)的項(xiàng)目、產(chǎn)品有九七工程、本地網(wǎng)計(jì)費(fèi)系統(tǒng)、移動(dòng)計(jì)費(fèi)系統(tǒng)、聯(lián)通綜合營(yíng)帳系統(tǒng)、寬窄帶系統(tǒng)、IP網(wǎng)管系統(tǒng)、radius認(rèn)證計(jì)費(fèi)系統(tǒng)、大客戶系統(tǒng)、郵政BOSS系統(tǒng)等，以及目前正在進(jìn)行的EDA/ODS項(xiàng)目。 所參與的系統(tǒng)涉及的運(yùn)營(yíng)商包括中國(guó)電信、中國(guó)移動(dòng)、中國(guó)聯(lián)通、中國(guó)網(wǎng)通等。,主要的項(xiàng)目： 云南電信ODS系統(tǒng) 武漢電信計(jì)費(fèi)帳務(wù)系統(tǒng) 長(zhǎng)沙電信九七/計(jì)費(fèi)系統(tǒng) 烏魯木齊電信計(jì)費(fèi)帳務(wù)系統(tǒng) 安徽全省本地網(wǎng)計(jì)費(fèi)系統(tǒng) 寧夏全省本地網(wǎng)計(jì)費(fèi)系統(tǒng) 上海移動(dòng)綜合計(jì)費(fèi)帳務(wù)系統(tǒng) 河南網(wǎng)通大客戶系統(tǒng) 中國(guó)聯(lián)通綜合營(yíng)帳系統(tǒng)（聯(lián)通BOSS） 廣東郵政綜合服務(wù)平臺(tái)（郵政BOSS） 河南電信互聯(lián)網(wǎng)客戶管理與認(rèn)證計(jì)費(fèi)系統(tǒng) IP網(wǎng)管系統(tǒng) 企業(yè)級(jí)VoIP網(wǎng)關(guān),Name: 湯傳俊(Tommy) MSN： Mobile:Office:2686 Email: ,ODS/EDW系統(tǒng) IBM機(jī)密 | 15-Jul-19,3,文檔內(nèi)容,數(shù)據(jù)質(zhì)量問(wèn)題產(chǎn)生原因與分類 ODS/EDW在數(shù)據(jù)架構(gòu)層面對(duì)數(shù)據(jù)質(zhì)量的支撐 ODS/EDW在應(yīng)用功能層面對(duì)數(shù)據(jù)質(zhì)量的支撐 ODS/EDW在管理層面對(duì)數(shù)據(jù)質(zhì)量的支撐 ODS/EDW數(shù)據(jù)質(zhì)量管理案例（穿插）,ODS/EDW系統(tǒng) IBM機(jī)密 | 15-Jul-19,4,數(shù)據(jù)的重要性不亞于業(yè)務(wù)功能,為什么我的電話 這么久沒(méi)裝好？,客戶投訴我不是我的錯(cuò)！,兩個(gè)系統(tǒng)的報(bào)表怎么不一致？,目標(biāo)完成沒(méi)有？ 未來(lái)趨勢(shì)怎樣？,客戶,客戶經(jīng)理,管理者,領(lǐng)導(dǎo),實(shí)際發(fā)生的損失 資金的流失 客戶的流失 生產(chǎn)效率的影響 提升的障礙 客戶服務(wù)質(zhì)量提升 市場(chǎng)的擴(kuò)展 利潤(rùn)的增長(zhǎng),不同的系統(tǒng)數(shù)據(jù)不一致 不知道數(shù)據(jù)應(yīng)該以誰(shuí)為準(zhǔn) 數(shù)據(jù)的混亂狀況處于發(fā)散狀態(tài),ODS/EDW系統(tǒng) IBM機(jī)密 | 15-Jul-19,5,問(wèn)題數(shù)據(jù)產(chǎn)生的原因架構(gòu)上,前期建設(shè)重功能輕數(shù)據(jù) 前期采用統(tǒng)一規(guī)劃分步建設(shè)思路，對(duì)如此龐大的系統(tǒng)這是唯一可行的方法，但誰(shuí)建設(shè)誰(shuí)管理的做法造成部門/系統(tǒng)割據(jù)，系統(tǒng)接口復(fù)雜，數(shù)據(jù)流向不清，缺乏像功能業(yè)務(wù)系統(tǒng)一樣對(duì)數(shù)據(jù)的整體規(guī)劃,我們需要像功能系統(tǒng)規(guī)劃一樣來(lái)規(guī)劃數(shù)據(jù)，確定數(shù)據(jù)的整體架構(gòu)，確定數(shù)據(jù)的歸屬劃分，確定數(shù)據(jù)交互與共享規(guī)則，制定數(shù)據(jù)質(zhì)量評(píng)價(jià)規(guī)則，建立完整的數(shù)據(jù)管理體系,ODS/EDW系統(tǒng) IBM機(jī)密 | 15-Jul-19,6,問(wèn)題數(shù)據(jù)產(chǎn)生的原因系統(tǒng)功能支撐上,雖然每個(gè)系統(tǒng)多少有一些數(shù)據(jù)質(zhì)量管理的功能 但沒(méi)有一個(gè)系統(tǒng)能夠完整地、系統(tǒng)地提供數(shù)據(jù)質(zhì)量管理的機(jī)制與功能 同時(shí)由于各系統(tǒng)數(shù)據(jù)是分離的、割據(jù)的，他們的數(shù)據(jù)質(zhì)量管理功能受到本身機(jī)制上的制約,我們需要一個(gè)能夠覆蓋完整數(shù)據(jù)范圍的系統(tǒng)提供相關(guān)的數(shù)據(jù)質(zhì)量管理功能，以便能夠在日常運(yùn)營(yíng)工作中進(jìn)行數(shù)據(jù)質(zhì)量的管控、操作、量化考核，以及數(shù)據(jù)的沉淀積累等,ODS/EDW系統(tǒng) IBM機(jī)密 | 15-Jul-19,7,問(wèn)題數(shù)據(jù)產(chǎn)生的原因管理上,缺乏專門的數(shù)據(jù)管理組織與相關(guān)的制度 經(jīng)常性的臨時(shí)突擊對(duì)數(shù)據(jù)質(zhì)量進(jìn)行清理，但清理過(guò)后數(shù)據(jù)問(wèn)題暫時(shí)緩解，隨著時(shí)間的推移，數(shù)據(jù)又出現(xiàn)問(wèn)題，如此反復(fù) 數(shù)據(jù)管理工作就像警察一樣，需要長(zhǎng)期存在，一直存在,我們需要專門的數(shù)據(jù)管理組織，將數(shù)據(jù)管理工作作為日常的工作，就像訂單受理系統(tǒng)每天受理訂單一樣每天進(jìn)行數(shù)據(jù)管理的日常工作 利用系統(tǒng)提供的功能，在工作流程上建立閉環(huán)機(jī)制：發(fā)現(xiàn)、分析、規(guī)則、執(zhí)行、修正、考核,ODS/EDW系統(tǒng) IBM機(jī)密 | 15-Jul-19,8,數(shù)據(jù)質(zhì)量多重檢查維度,數(shù)據(jù)的完整性,數(shù)據(jù)的一致性,數(shù)據(jù)的唯一性,數(shù)據(jù)的連續(xù)性,數(shù)據(jù)的完備性,數(shù)據(jù)的準(zhǔn)確性,數(shù)據(jù)的邏輯性,數(shù)據(jù)的可用性,數(shù)據(jù)的清晰性,數(shù)據(jù)的正確性,數(shù)據(jù)質(zhì)量保證體系,數(shù)據(jù)質(zhì)量問(wèn)題中的 職業(yè)道德和法律問(wèn)題,數(shù)據(jù)質(zhì)量,ODS/EDW系統(tǒng) IBM機(jī)密 | 15-Jul-19,9,數(shù)據(jù)質(zhì)量問(wèn)題分類技術(shù)層面,單一系統(tǒng)數(shù)據(jù)質(zhì)量 數(shù)據(jù)缺失、錯(cuò)誤 數(shù)據(jù)非空、唯一 數(shù)據(jù)關(guān)聯(lián)完整性 跨系統(tǒng)數(shù)據(jù)質(zhì)量 數(shù)據(jù)關(guān)聯(lián)完整性（無(wú)主帳單） 不同系統(tǒng)數(shù)據(jù)一致性 匯總指標(biāo)數(shù)據(jù)質(zhì)量 原始數(shù)據(jù)質(zhì)量問(wèn)題 匯總算法問(wèn)題（非質(zhì)量問(wèn)題）,ADB單一系統(tǒng)數(shù)據(jù)質(zhì)量保證 ODS跨系統(tǒng)數(shù)據(jù)質(zhì)量保證 EDW數(shù)據(jù)匯總指標(biāo)關(guān)聯(lián)質(zhì)量 ODS可以作為以上三類數(shù)據(jù)質(zhì)量問(wèn)題的最終管理者,ODS/EDW系統(tǒng) IBM機(jī)密 | 15-Jul-19,10,文檔內(nèi)容,數(shù)據(jù)質(zhì)量問(wèn)題產(chǎn)生原因與分類 ODS/EDW在數(shù)據(jù)架構(gòu)層面對(duì)數(shù)據(jù)質(zhì)量的支撐 ODS/EDW在應(yīng)用功能層面對(duì)數(shù)據(jù)質(zhì)量的支撐 ODS/EDW在管理層面對(duì)數(shù)據(jù)質(zhì)量的支撐 ODS/EDW數(shù)據(jù)質(zhì)量管理案例（穿插）,ODS/EDW系統(tǒng) IBM機(jī)密 | 15-Jul-19,11,企業(yè)數(shù)據(jù)架構(gòu)(EDA),EDA,ODS/EDW系統(tǒng) IBM機(jī)密 | 15-Jul-19,12,ODS,EDW,EDA/ODS/EDW關(guān)系數(shù)據(jù)質(zhì)量管理的基礎(chǔ),ODS/EDW可以成為EDA的主要承載系統(tǒng) 擁有電信業(yè)務(wù)運(yùn)營(yíng)所需的完整的統(tǒng)一的數(shù)據(jù)視圖 數(shù)據(jù)歸屬劃分清晰 數(shù)據(jù)流向清晰 數(shù)據(jù)更新相對(duì)及時(shí)，反映數(shù)據(jù)最新?tīng)顩r 滿足日常運(yùn)營(yíng)所需的數(shù)據(jù)交互與共享 可以扮演數(shù)據(jù)質(zhì)量管理的關(guān)鍵角色 在此基礎(chǔ)上建立所需的數(shù)據(jù)管理體系 組織機(jī)構(gòu) 系統(tǒng)功能支撐 考核評(píng)測(cè)機(jī)制,可以看成數(shù)據(jù)的消費(fèi)者，業(yè)務(wù)運(yùn)營(yíng)系統(tǒng)的一部分,系統(tǒng)數(shù)據(jù)交互、共享、沉淀的中心,沒(méi)有單獨(dú)建設(shè)ODS的省公司，可以將其功能納入到EDW。主要在stagearea開(kāi)放性、數(shù)據(jù)交互性加強(qiáng),ODS/EDW系統(tǒng) IBM機(jī)密 | 15-Jul-19,13,ODS/EDW數(shù)據(jù)架構(gòu)工作內(nèi)容,確定數(shù)據(jù)范圍，建立統(tǒng)一數(shù)據(jù)視圖：參與者、產(chǎn)品、帳務(wù)、市場(chǎng)營(yíng)銷、地域、資源、事件、財(cái)務(wù) 確定數(shù)據(jù)所有者以及數(shù)據(jù)單向流動(dòng)原則，只有所有者能夠修改數(shù)據(jù) 建立源數(shù)據(jù)到目標(biāo)模型的數(shù)據(jù)映射關(guān)系 根據(jù)數(shù)據(jù)分類建立數(shù)據(jù)同步機(jī)制 建立數(shù)據(jù)關(guān)聯(lián)、稽核機(jī)制，建立異常數(shù)據(jù)檢測(cè)修正機(jī)制，隨著時(shí)間的積累數(shù)據(jù)逐步逼近正確 確定數(shù)據(jù)訪問(wèn)機(jī)制，建立統(tǒng)一數(shù)據(jù)平臺(tái)上的應(yīng)用,所有這些是數(shù)據(jù)質(zhì)量管控的基礎(chǔ)， 只有在這些工作完成后，數(shù)據(jù)走向 混亂的趨勢(shì)才有可能從根本上得到控制,ODS/EDW系統(tǒng) IBM機(jī)密 | 15-Jul-19,14,ODS/EDW數(shù)據(jù)庫(kù),訂單受理/業(yè)務(wù)開(kāi)通,案例：確定了數(shù)據(jù)所有者以及數(shù)據(jù)單向流動(dòng)原則，只有所有者可以修改數(shù)據(jù),計(jì)費(fèi)帳務(wù)系統(tǒng),渠道系統(tǒng),112系統(tǒng),10000系統(tǒng),網(wǎng)管系統(tǒng),產(chǎn)品 定單 工單 靜態(tài)表 卡片 客戶,商品 套餐 用戶 帳戶 帳務(wù) 資源,故障 投訴 咨詢,故障,客戶群 客戶經(jīng)理 客戶區(qū)域 渠道 用戶群,帳務(wù) 資費(fèi) 紅黑名單 銷賬 信用度 預(yù)存,資源(小靈通基站),ODS/EDW系統(tǒng) IBM機(jī)密 | 15-Jul-19,15,文檔內(nèi)容,數(shù)據(jù)質(zhì)量問(wèn)題產(chǎn)生原因與分類 ODS/EDW在數(shù)據(jù)架構(gòu)層面對(duì)數(shù)據(jù)質(zhì)量的支撐 ODS/EDW在應(yīng)用功能層面對(duì)數(shù)據(jù)質(zhì)量的支撐 ODS/EDW在管理層面對(duì)數(shù)據(jù)質(zhì)量的支撐 ODS/EDW數(shù)據(jù)質(zhì)量管理案例（穿插）,ODS/EDW系統(tǒng) IBM機(jī)密 | 15-Jul-19,16,數(shù)據(jù)質(zhì)量處理流程-閉環(huán)處理,發(fā)現(xiàn)問(wèn)題,分析問(wèn)題,規(guī)則方案,執(zhí)行,異常數(shù)據(jù),修正,工作考核,業(yè)務(wù)人員,經(jīng)驗(yàn)積累,規(guī)則積累,歸屬系統(tǒng),數(shù)據(jù)工位,數(shù)據(jù)管理組,數(shù)據(jù)工位,控制論，正反饋達(dá)到一定的程度，電路會(huì)產(chǎn)生自激而崩潰，保證電路的穩(wěn)定性需要建立負(fù)反饋機(jī)制,目前數(shù)據(jù)質(zhì)量在各個(gè)環(huán)節(jié)不斷被放大、增加，處于發(fā)散的狀態(tài)，通過(guò)閉環(huán)管理確保數(shù)據(jù)質(zhì)量處于收斂的狀態(tài)才能控制數(shù)據(jù)質(zhì)量問(wèn)題,ODS/EDW系統(tǒng) IBM機(jī)密 | 15-Jul-19,17,案例：ODS系統(tǒng)數(shù)據(jù)修正閉環(huán)流程,參與人,產(chǎn)品,帳務(wù),事件,資源,指標(biāo),統(tǒng)一數(shù)據(jù)視圖,ETL,總控臺(tái),數(shù)據(jù)支撐,數(shù)據(jù)查詢,異常數(shù)據(jù)處理,統(tǒng)計(jì)報(bào)表,外圍屬主系統(tǒng),EAI,VIEW,規(guī)則檢查,異常數(shù)據(jù),ODS/EDW系統(tǒng) IBM機(jī)密 | 15-Jul-19,18,案例：數(shù)據(jù)規(guī)則檢查形成的匯總報(bào)告與異常數(shù)據(jù)詳細(xì)記錄，包括數(shù)據(jù)庫(kù)邏輯異常和業(yè)務(wù)邏輯異常,ODS/EDW系統(tǒng) IBM機(jī)密 | 15-Jul-19,19,案例：建立異常數(shù)據(jù)檢測(cè)修正機(jī)制（規(guī)則可根據(jù)業(yè)務(wù)需要不斷擴(kuò)充），隨著時(shí)間的積累數(shù)據(jù)逐步逼近正確,三戶類 用戶無(wú)所屬客戶 帳戶無(wú)所屬客戶 用戶應(yīng)有對(duì)應(yīng)帳戶 用戶應(yīng)定義所有帳目類型的帳戶歸屬 用戶有效記錄唯一性 帳戶客戶有效記錄唯一性 托收用戶稽核 產(chǎn)品服務(wù)類 產(chǎn)品服務(wù)收費(fèi)不一致 無(wú)主帳單 無(wú)主投訴 無(wú)主故障 欠費(fèi)停機(jī) 繳費(fèi)復(fù)機(jī) 免停用戶停機(jī) 臨時(shí)電話(專線)時(shí)限、業(yè)務(wù)要求 拆機(jī)需冷號(hào)一定時(shí)間,收費(fèi)類 下半月新裝用戶月租減半 減免收費(fèi)信息不一致 計(jì)費(fèi)狀態(tài)信息不一致 費(fèi)用未繳清不能辦理業(yè)務(wù),匯總指標(biāo)類數(shù)據(jù)質(zhì)量 需要經(jīng)業(yè)務(wù)分析后形成 對(duì)原始數(shù)據(jù)的效驗(yàn)規(guī)則 如果本身平衡公式不存在， 則不能作為數(shù)據(jù)質(zhì)量問(wèn)題,跨系統(tǒng)數(shù)據(jù)質(zhì)量問(wèn)題,單一系統(tǒng)數(shù)據(jù)質(zhì)量問(wèn)題,ODS/EDW系統(tǒng) IBM機(jī)密 | 15-Jul-19,20,案例：考核，建立了修正效果對(duì)比機(jī)制，可量化評(píng)測(cè)數(shù)據(jù)質(zhì)量修正工作,數(shù)據(jù)檢查規(guī)則的定義與維護(hù) 規(guī)則的執(zhí)行與報(bào)告 提供異常數(shù)據(jù)對(duì)比跟蹤,ODS/EDW系統(tǒng) IBM機(jī)密 | 15-Jul-19,21,文檔內(nèi)容,數(shù)據(jù)質(zhì)量問(wèn)題產(chǎn)生原因與分類 ODS/EDW在數(shù)據(jù)架構(gòu)層面對(duì)數(shù)據(jù)質(zhì)量的支撐 ODS/EDW在應(yīng)用功能層面對(duì)數(shù)據(jù)質(zhì)量的支撐 ODS/EDW在管理層面對(duì)數(shù)據(jù)質(zhì)量的支撐 ODS/EDW數(shù)據(jù)質(zhì)量管理案例（穿插）,ODS/EDW系統(tǒng) IBM機(jī)密 | 15-Jul-19,22,數(shù)據(jù)質(zhì)量管理的組織機(jī)構(gòu),數(shù)據(jù)質(zhì)量決策小組 主管業(yè)務(wù)的領(lǐng)導(dǎo)牽頭 確定數(shù)據(jù)質(zhì)量的目標(biāo) 數(shù)據(jù)質(zhì)量管理小組 市場(chǎng)部主任 企化部主任 與數(shù)據(jù)打交道的關(guān)鍵業(yè)務(wù)人員 熟悉現(xiàn)有系統(tǒng)數(shù)據(jù)的關(guān)鍵技術(shù)人員 提出數(shù)據(jù)質(zhì)量具體要求 確定數(shù)據(jù)檢查規(guī)則邏輯 決定數(shù)據(jù)沖突解決方案 數(shù)據(jù)質(zhì)量執(zhí)行小組 具體的工位 根據(jù)系統(tǒng)提供的功能生成異常數(shù)據(jù)報(bào)告 組織、監(jiān)督、推動(dòng)數(shù)據(jù)修正工作 考核數(shù)據(jù)修正指標(biāo),決策,管理,執(zhí)行,反饋,需要管理和系統(tǒng)的結(jié)合 很多環(huán)節(jié)需要人為介入,將數(shù)據(jù)管理當(dāng)成 日常的工作來(lái)做,ODS/EDW系統(tǒng) IBM機(jī)密 | 15-Jul-19,23,案例：異常數(shù)據(jù)處理流程,A：EAI異常處理 B：ODS的ETL C：ODS的規(guī)則檢查 D：ODS異常處理 E：MBOSS系統(tǒng)管理 F：其他系統(tǒng)管理員,ODS/EDW系統(tǒng) IBM機(jī)密 | 15-Jul-19,24,案例：異常數(shù)據(jù)處理流程EAI,A：EAI異常處理 B：ODS的ETL C：ODS的規(guī)則檢查 D：ODS異常處理 E：MBOSS系統(tǒng)管理 F：其他系統(tǒng)管理員,ODS/EDW系統(tǒng) IBM機(jī)密 | 15-Jul-19,25,案例：異常數(shù)據(jù)處理流程ETL,A：EAI異常處理 B：ODS的ETL C：ODS的規(guī)則檢查 D：ODS異常處理 E：MBOSS系統(tǒng)管理 F：其他系統(tǒng)管理員,ODS/EDW系統(tǒng) IBM機(jī)密 | 15-Jul-19,26,案例：異常數(shù)據(jù)處理流程規(guī)則檢查,A：EAI異常處理 B：ODS的ETL C：ODS的規(guī)則檢查 D：ODS異常處理 E：MBOSS系統(tǒng)管理 F：其他系統(tǒng)管理員,ODS/EDW系統(tǒng) IBM機(jī)密 | 15-Jul-19,27,數(shù)據(jù)質(zhì)量提升的