數(shù)據(jù)質(zhì)量管理_數(shù)據(jù)倉(cāng)庫(kù)

1、數(shù)據(jù)倉(cāng)庫(kù)專題講座之?dāng)?shù)據(jù)質(zhì)量管理,2005年9月,目錄,數(shù)據(jù)質(zhì)量問(wèn)題分析 數(shù)據(jù)質(zhì)量方法論 質(zhì)量保證成功因素 案例分析,數(shù)據(jù)質(zhì)量歸類,錯(cuò)誤的值,錯(cuò)誤的數(shù)據(jù)依賴,重復(fù)屬性,缺乏引用完整性,違反商務(wù)規(guī)則,多種數(shù)據(jù)源中缺乏數(shù)據(jù)對(duì)應(yīng),源數(shù)據(jù)和目標(biāo)缺乏同步,沒(méi)有理由的關(guān)聯(lián),缺少數(shù)據(jù),錯(cuò)誤的計(jì)算,主鍵重復(fù),無(wú)標(biāo)準(zhǔn)的格式,稀少的實(shí)體解釋,數(shù)據(jù)質(zhì)量的示例,錯(cuò)誤的范圍,原因分析,各專業(yè)之間的指標(biāo)體系及編碼規(guī)則不一致,多個(gè)生產(chǎn)系統(tǒng)的數(shù)據(jù)源存在不一致現(xiàn)象 數(shù)據(jù)源本身存在臟數(shù)據(jù)噪聲數(shù)據(jù) 數(shù)據(jù)存在人工操作 不同數(shù)據(jù)源由不同部門管理,由于生產(chǎn)系統(tǒng)的數(shù)據(jù) 是隨生產(chǎn)而變化的， 在不同的時(shí)間點(diǎn) 進(jìn)行數(shù)據(jù)抽取的數(shù)據(jù) 是不一致的,生產(chǎn)

2、系統(tǒng)的不同版本 各分公司市場(chǎng)政策的差異 同一產(chǎn)品、業(yè)務(wù)、套餐 在生產(chǎn)系統(tǒng) 業(yè)務(wù)處理規(guī)則 編碼差異很大,統(tǒng)計(jì)口徑,數(shù)據(jù)抽取時(shí)間點(diǎn)問(wèn)題,業(yè)務(wù)規(guī)則問(wèn)題,數(shù)據(jù)源問(wèn)題,客戶關(guān)系管理,操作型數(shù)據(jù)整合環(huán)境,ODS,業(yè)務(wù)運(yùn)作系統(tǒng),企業(yè)數(shù)據(jù)倉(cāng)庫(kù),EDW,數(shù)據(jù) 集市,客戶 洞察,BSS,CRM,計(jì)費(fèi),結(jié)算,OSS,資源 管理,服務(wù) 開(kāi)通,綜合 網(wǎng)管,專業(yè) 網(wǎng)管,MSS/ERP,人力 資源,財(cái)務(wù) 管理,工程 管理,數(shù)據(jù)復(fù)制,EAI,ODS數(shù)據(jù)視圖訪問(wèn),ODS ETL,數(shù)據(jù)復(fù)制,EAI,ODS數(shù)據(jù)反饋ETL,ODS/EDW數(shù)據(jù)視圖訪問(wèn),EDW ETL,客戶 價(jià)值,客戶 流失,數(shù)據(jù) 集市,決策支持,整合的前端報(bào)表查詢和

3、分析環(huán)境,多維數(shù)據(jù)訪問(wèn),ODS書籍,營(yíng)銷活動(dòng),渠道管理,客戶關(guān)懷,客戶洞察,經(jīng)營(yíng)分析,績(jī)效管理,KPI,其他數(shù)據(jù),反饋 分析 數(shù)據(jù),元數(shù)據(jù)管理,安全和權(quán)限管理,系統(tǒng)管理,收入 分析,業(yè)務(wù)發(fā)展分析,客戶 分析,客戶 細(xì)分,營(yíng)銷 分析,營(yíng)銷評(píng)估監(jiān)控,信用度計(jì)算,渠道 監(jiān)控,綜合查詢,綜合報(bào)表,數(shù)據(jù)挖掘,數(shù)據(jù) 稽核,數(shù)據(jù)質(zhì)量 監(jiān)控,當(dāng)企業(yè)的所有系統(tǒng)，包括業(yè)務(wù)系統(tǒng)、管理系統(tǒng)、EDA系統(tǒng)都結(jié)為一體的時(shí)候，系統(tǒng)監(jiān)控、 工作流、 數(shù)據(jù)流、 系統(tǒng)管理變成一個(gè)重要挑戰(zhàn),目錄,數(shù)據(jù)質(zhì)量問(wèn)題分析 數(shù)據(jù)質(zhì)量方法論 質(zhì)量保證成功因素 案例分析,數(shù)據(jù)質(zhì)量管理方法論,管理機(jī)制的保障是數(shù)據(jù)質(zhì)量控制的關(guān)鍵,驗(yàn)證檢查是數(shù)據(jù)保障的

4、督促和推動(dòng),嚴(yán)謹(jǐn)?shù)倪^(guò)程定義是數(shù)據(jù)質(zhì)量保障的基礎(chǔ),有效的落實(shí)是數(shù)據(jù)質(zhì)量保障的根本,有效的組織機(jī)構(gòu)是管理機(jī)制的有力支持,完善文檔的建立和維護(hù)是數(shù)據(jù)質(zhì)量保障各個(gè)環(huán)節(jié)以及組織之間溝通的依據(jù),建立合理的數(shù)據(jù)管理機(jī)構(gòu)、制定數(shù)據(jù)質(zhì)量管理機(jī)制、 落實(shí)人員執(zhí)行責(zé)任、保障組織間高效的溝通、持續(xù)監(jiān)控?cái)?shù)據(jù)應(yīng)用過(guò)程和領(lǐng)導(dǎo)強(qiáng)有力的督促是保證企業(yè)數(shù)據(jù)質(zhì)量的關(guān)鍵,數(shù)據(jù)質(zhì)量保障流程,按照制定的規(guī)范獲取相應(yīng)的項(xiàng)目資源、支撐工具以及制定工作計(jì)劃,定義詳細(xì)的過(guò)程、數(shù)據(jù)、組織的劃分以及質(zhì)量元素、標(biāo)準(zhǔn)及測(cè)算方法。,對(duì)現(xiàn)存數(shù)據(jù)及業(yè)務(wù)環(huán)境進(jìn)行評(píng)估，以便識(shí)別項(xiàng)目對(duì)數(shù)據(jù)、過(guò)程、系統(tǒng)以及組織架構(gòu)所造成的影響。,建立業(yè)務(wù)環(huán)境，改進(jìn)現(xiàn)有數(shù)據(jù)的數(shù)據(jù)質(zhì)量

5、。,目錄,數(shù)據(jù)質(zhì)量問(wèn)題分析 數(shù)據(jù)質(zhì)量方法論 質(zhì)量保證成功因素 案例分析,綜述,按照現(xiàn)代質(zhì)量觀念，質(zhì)量是一個(gè)過(guò)程而不是結(jié)果。 數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)質(zhì)量應(yīng)當(dāng)在整個(gè)數(shù)據(jù)倉(cāng)庫(kù)規(guī)劃、設(shè)計(jì)、建設(shè)、維護(hù)中體現(xiàn)和實(shí)現(xiàn)。 鑒于系統(tǒng)建設(shè)情況(業(yè)務(wù)系統(tǒng)、經(jīng)營(yíng)分析系統(tǒng))，應(yīng)該重點(diǎn)關(guān)注 管理、 過(guò)程 評(píng)估,質(zhì)量保證KSF,組織保證 設(shè)計(jì)崗位 明確崗位的要求和職責(zé) 制定標(biāo)準(zhǔn) 制定數(shù)據(jù)上傳計(jì)劃 制定統(tǒng)一編碼庫(kù),過(guò)程,在數(shù)據(jù)處理的流程上進(jìn)行規(guī)范并設(shè) 置相應(yīng)的控制點(diǎn)和稽核點(diǎn) 規(guī)范的流程 過(guò)程校驗(yàn)點(diǎn)和稽核點(diǎn) 異常處理措施,制定數(shù)據(jù)質(zhì)量的評(píng)測(cè)標(biāo)準(zhǔn)并按 所制定的標(biāo)準(zhǔn)對(duì)其進(jìn)行考核： 標(biāo)準(zhǔn) 及時(shí)性、準(zhǔn)確性、一致性等 考核 獎(jiǎng)勵(lì)、懲罰 階段評(píng)估

6、,管理崗位,為經(jīng)營(yíng)分析系統(tǒng)的數(shù)據(jù)質(zhì)量管理工作提供宏觀方向指導(dǎo)，并予以授權(quán),支持?jǐn)?shù)據(jù)質(zhì)量管理小組的部門或系統(tǒng)間協(xié)調(diào)工作,全面負(fù)責(zé)經(jīng)營(yíng)分析系統(tǒng)的建設(shè)和維護(hù) 領(lǐng)導(dǎo)數(shù)據(jù)質(zhì)量管理員進(jìn)行數(shù)據(jù)質(zhì)量管理工作,編寫和維護(hù)數(shù)據(jù)質(zhì)量工作相關(guān)文檔，如數(shù)據(jù)質(zhì)量檢測(cè)標(biāo)準(zhǔn)、控制流程； 定期組織相關(guān)力量對(duì)經(jīng)營(yíng)分析系統(tǒng)的業(yè)務(wù)和設(shè)計(jì)（包括數(shù)據(jù)模型設(shè)計(jì)）的完備性進(jìn)行評(píng)估，總結(jié)問(wèn)題，及時(shí)發(fā)現(xiàn)影響數(shù)據(jù)質(zhì)量的隱患； 定期、不定期地進(jìn)行質(zhì)量評(píng)估； 監(jiān)控?cái)?shù)據(jù)質(zhì)量問(wèn)題解決的整個(gè)流程； 數(shù)據(jù)質(zhì)量相關(guān)知識(shí)的培訓(xùn)； 建立、維護(hù)數(shù)據(jù)質(zhì)量問(wèn)題解決的經(jīng)驗(yàn)集,負(fù)責(zé)經(jīng)營(yíng)分析系統(tǒng)與業(yè)務(wù)系統(tǒng)間的協(xié)調(diào)和工作落實(shí) 參與質(zhì)量方案的評(píng)估和方案制定 負(fù)責(zé)監(jiān)督和管理相應(yīng)業(yè)務(wù)

7、系統(tǒng)建設(shè)、維護(hù)單位進(jìn)行的與經(jīng)營(yíng)分析系統(tǒng)數(shù)據(jù)質(zhì)量問(wèn)題有關(guān)的活動(dòng),管理數(shù)據(jù)上傳計(jì)劃,制定各個(gè)業(yè)務(wù)系統(tǒng)的數(shù)據(jù)上傳內(nèi)容計(jì)劃，此計(jì)劃需要業(yè)務(wù)系統(tǒng)相應(yīng)崗位人員認(rèn)真執(zhí)行：,管理統(tǒng)一編碼庫(kù),標(biāo)準(zhǔn)代碼是指省公司統(tǒng)一各分公司的業(yè)務(wù)情況整理的標(biāo)準(zhǔn)的業(yè)務(wù)代碼，內(nèi)容是代碼、名稱及代碼分類。標(biāo)準(zhǔn)代碼是數(shù)據(jù)源的主要業(yè)務(wù)代碼，所有的分析都是此代碼組合的維度基礎(chǔ)上，因此維護(hù)好代碼也是保證數(shù)據(jù)質(zhì)量的關(guān)鍵之一 建立的原則 維護(hù)的原則 分公司應(yīng)該理解省公司編碼有代表的實(shí)際業(yè)務(wù)內(nèi)容，然后把本公司的業(yè)務(wù)對(duì)應(yīng)到省公司的標(biāo)準(zhǔn)代碼上 建立的原則 維護(hù)的原則,質(zhì)量保證KSF,在行政管理以及職能上設(shè)置相應(yīng)的 人員、設(shè)立相應(yīng)的崗位進(jìn)行數(shù)據(jù)質(zhì) 量管理

8、，包含以下內(nèi)容： 設(shè)計(jì)崗位； 明確崗位的要求和職責(zé)； 制定數(shù)據(jù)上傳計(jì)劃 制定統(tǒng)一編碼庫(kù),評(píng)估,管理,過(guò)程,1,2,3,質(zhì)量保證 關(guān)鍵成功因素 KSF,規(guī)范 規(guī)范的流程 檢查點(diǎn) 過(guò)程校驗(yàn)點(diǎn)和稽核點(diǎn) 異常處理措施,制定數(shù)據(jù)質(zhì)量的評(píng)測(cè)標(biāo)準(zhǔn)并按 所制定的標(biāo)準(zhǔn)對(duì)其進(jìn)行考核： 標(biāo)準(zhǔn) 及時(shí)性、準(zhǔn)確性、一致性等 考核 獎(jiǎng)勵(lì)、懲罰 階段評(píng)估,過(guò)程規(guī)范的流程,定義了用于構(gòu)造一個(gè)完善的、滿足業(yè)務(wù)功能的數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)所不可缺少的步驟和任務(wù)。這是一組預(yù)定義好的、在整個(gè)數(shù)據(jù)倉(cāng)庫(kù)項(xiàng)目中起指導(dǎo)作用的、可用多種方法管理的實(shí)施步驟,過(guò)程校驗(yàn)點(diǎn),對(duì)數(shù)據(jù)的稽核應(yīng)包括三個(gè)層面的KPIs檢查校驗(yàn)，其中業(yè)務(wù)層面對(duì)于數(shù)據(jù)質(zhì)量保證更為重要，也更

9、為復(fù)雜,數(shù)據(jù)稽核,技術(shù)指標(biāo)稽核,業(yè)務(wù)指標(biāo)稽核,操作指標(biāo)稽核,文件命名是否正確 文件個(gè)數(shù)是否正常 索引標(biāo)識(shí)是否對(duì)應(yīng),文件中記錄行數(shù)是否正常 文件大小是否正常,文件中各類指標(biāo)匯總值是否異常波動(dòng) 根據(jù)歷史經(jīng)驗(yàn)和季節(jié)規(guī)律進(jìn)行時(shí)間序列分析數(shù)據(jù)校驗(yàn)利器,在系統(tǒng)中予以固化，提供自動(dòng)異常預(yù)警，使操作人員可以方便地進(jìn)行審核確認(rèn),過(guò)程稽核點(diǎn),由于各省數(shù)據(jù)情況復(fù)雜，因此數(shù)據(jù)在上傳集團(tuán)公司的過(guò)程中，應(yīng)經(jīng)過(guò)多次稽核檢驗(yàn)把關(guān)，才能各環(huán)節(jié)數(shù)據(jù)的質(zhì)量,省公司,本地網(wǎng),生成數(shù)據(jù),檢查通過(guò)？,檢查通過(guò)？,處理/生成,檢查通過(guò)？,檢查通過(guò)？,處理/稽核/展現(xiàn),省公司管控范圍,集團(tuán)公司管控范圍,過(guò)程稽核方法1,在從分公司到省公司的E

10、TL過(guò)程中，采取總量稽核與分量稽核方法來(lái)校驗(yàn)環(huán)節(jié)之間的數(shù)據(jù)平衡關(guān)系,對(duì)兩個(gè)相鄰環(huán)節(jié)中，對(duì)數(shù)據(jù)的總量進(jìn)行驗(yàn)證，總量指標(biāo)包括：總記錄數(shù)，所有度量指標(biāo)的總值等。 總量正確說(shuō)明數(shù)據(jù)沒(méi)有被丟棄，沒(méi)有不符合裝載邏輯規(guī)則的臟數(shù)據(jù)存在。 總量不正確，則需要檢查本環(huán)節(jié)裝載日志中是否有被拋棄的記錄，如果沒(méi)有數(shù)據(jù)丟失，則需要檢查數(shù)據(jù)運(yùn)算邏輯規(guī)則。 總量稽核要對(duì)每個(gè)度量進(jìn)行，才算完整的稽核,分量稽核是指對(duì)相鄰的兩個(gè)環(huán)節(jié)中，在總量正確的前提下，對(duì)數(shù)據(jù)分布情況的稽核，在這個(gè)過(guò)程中，需要對(duì)每個(gè)維度上的分布的每個(gè)度量進(jìn)行查詢，如果數(shù)據(jù)在每個(gè)維上的分布都正確，則在組合維查詢時(shí)數(shù)據(jù)也正確，可以保證多維分析的正確性。 在總量正確的

11、基礎(chǔ)之上，做分量稽核時(shí)只需要選擇任一度量進(jìn)行稽核，可認(rèn)為在其他度量上的分量正確,1,過(guò)程稽核方法2,列出整體的數(shù)據(jù)處理情況，包括入庫(kù)和采集及分析與渠道系統(tǒng)的使用,2,過(guò)程稽核方法3,此稽核方法可以作為總量和分量稽核的輔助，即針對(duì)某個(gè)度量而言在總量上或分量上的波動(dòng)在設(shè)定的闕值內(nèi)認(rèn)為數(shù)據(jù)時(shí)正常的，否則認(rèn)為為異常，需要檢查確認(rèn),3,過(guò)程稽核方法3,邏輯稽核主要對(duì)于某個(gè)度量在某個(gè)分量（維度）上的分布是否符合業(yè)務(wù)邏輯，邏輯稽核也是以自定義的方式實(shí)現(xiàn),3,過(guò)程稽核方法4,4,在上傳集團(tuán)公司之前，通過(guò)稽核模板，對(duì)關(guān)鍵業(yè)務(wù)指標(biāo)等KPIs進(jìn)行環(huán)比和趨勢(shì)分析審核，確認(rèn)數(shù)據(jù)在正確的范圍之內(nèi),過(guò)程異常處理措施,對(duì)于存

12、在的錯(cuò)誤和異常情況，本地網(wǎng)維護(hù)人員進(jìn)行原因分析和相應(yīng)處理，通過(guò)界面回收錯(cuò)誤數(shù)據(jù),質(zhì)量保證KSF,在行政管理以及職能上設(shè)置相應(yīng)的 人員、設(shè)立相應(yīng)的崗位進(jìn)行數(shù)據(jù)質(zhì) 量管理，包含以下內(nèi)容： 設(shè)計(jì)崗位； 明確崗位的要求和職責(zé)； 制定數(shù)據(jù)上傳計(jì)劃 制定統(tǒng)一編碼庫(kù),評(píng)估,管理,過(guò)程,1,2,3,質(zhì)量保證 關(guān)鍵成功因素 KSF,在數(shù)據(jù)處理的流程上進(jìn)行規(guī)范并設(shè) 置相應(yīng)的控制點(diǎn)和稽核點(diǎn) 規(guī)范的流程 過(guò)程校驗(yàn)點(diǎn)和稽核點(diǎn) 異常處理措施,評(píng)估標(biāo)準(zhǔn) 及時(shí)性、準(zhǔn)確性一致性等 考核 獎(jiǎng)勵(lì)、懲罰 階段評(píng)估,評(píng)估標(biāo)準(zhǔn),數(shù)據(jù)質(zhì)量分級(jí)目標(biāo) 報(bào)表數(shù)據(jù) 報(bào)表數(shù)據(jù)一般對(duì)于數(shù)據(jù)的準(zhǔn)確性要求比較高，特別是財(cái)務(wù)方面的指標(biāo)，是嚴(yán)格限定在誤差范圍

13、內(nèi)的。對(duì)于報(bào)表的指標(biāo)，即使是允許的誤差范圍，也要求給出誤差產(chǎn)生的原因，例如是小數(shù)點(diǎn)四舍五入或是由于秒轉(zhuǎn)換到分鐘算法不同等。 OLAP數(shù)據(jù)分析 OLAP分析一般是總體數(shù)據(jù)的宏觀比例、趨勢(shì)等分析，對(duì)于數(shù)據(jù)總量的誤差有一定的限制，但要求數(shù)據(jù)在不同維度上的分布比例正確，能夠正確反映宏觀比例和趨勢(shì)。 數(shù)據(jù)挖掘 數(shù)據(jù)挖掘一般使用比較復(fù)雜的數(shù)學(xué)算法對(duì)于數(shù)據(jù)進(jìn)行處理，因算法比較復(fù)雜，對(duì)于硬件環(huán)境要求比較高，同時(shí)也限定了使用的數(shù)據(jù)集合不能太大，一般要求對(duì)于全體數(shù)據(jù)進(jìn)行采樣，因此在這個(gè)過(guò)程中，僅關(guān)心樣本的代表性。,評(píng)估標(biāo)準(zhǔn),接口數(shù)據(jù) 文件傳送完整率 每日傳送至分析系統(tǒng)中的完整的接口文件百分比（其中，完整的接口文件

14、指文件的名稱、格式、時(shí)間標(biāo)識(shí)、文件大小等均符合經(jīng)營(yíng)分析系統(tǒng)接口規(guī)范規(guī)定的接口文件） 文件記錄合法率 接口文件記錄中各數(shù)據(jù)項(xiàng)長(zhǎng)度、類型及值域均符合接口規(guī)范定義 文件傳送及時(shí)率 在接口規(guī)范中規(guī)定的文件傳送時(shí)間窗口內(nèi)傳送至分析系統(tǒng)的文件個(gè)數(shù)百分比,評(píng)估標(biāo)準(zhǔn),接口表 數(shù)據(jù)處理及時(shí)率 在文件正確到達(dá)后及時(shí)處理文件比率 ODS層數(shù)據(jù) 數(shù)據(jù)處理及時(shí)率 轉(zhuǎn)換后的ODS層及時(shí)準(zhǔn)確情況 數(shù)據(jù)倉(cāng)庫(kù)檢查 數(shù)據(jù)處理及時(shí)率 數(shù)據(jù)倉(cāng)庫(kù)層處理及時(shí)準(zhǔn)確情況,目錄,數(shù)據(jù)質(zhì)量問(wèn)題分析 數(shù)據(jù)質(zhì)量方法論 質(zhì)量保證成功因素 案例分析,案例1某省電信,源系統(tǒng)的數(shù)據(jù)質(zhì)量問(wèn)題 信息不正確：數(shù)據(jù)無(wú)效或錯(cuò)誤，違反數(shù)據(jù)約束規(guī)則、業(yè)務(wù)規(guī)則等。 信息不

15、完整：源系統(tǒng)中某些信息缺失或未填充，雖然不影響源系統(tǒng)正常運(yùn)轉(zhuǎn)，但這些信息的缺失會(huì)嚴(yán)重影響數(shù)據(jù)倉(cāng)庫(kù)的應(yīng)用分析。 信息不一致：當(dāng)同一信息內(nèi)容來(lái)自多個(gè)源系統(tǒng)時(shí)，存在沖突和差異，或者同一業(yè)務(wù)系統(tǒng)內(nèi)部的冗余信息之間存在沖突。 編碼映射問(wèn)題 標(biāo)準(zhǔn)編碼不完全、不合理 ：許多本地網(wǎng)編碼不能歸類到標(biāo)準(zhǔn)編碼，導(dǎo)致 “未知”一欄的數(shù)量奇高，降低了應(yīng)用分析的價(jià)值，并影響使用人員對(duì)系統(tǒng)的信任度。 編碼映射不合理：將本地網(wǎng)編碼歸類到標(biāo)準(zhǔn)編碼時(shí)有錯(cuò)誤或不合理，導(dǎo)致與業(yè)務(wù)系統(tǒng)形成重大差距。 本地網(wǎng)編碼發(fā)生調(diào)整，數(shù)據(jù)倉(cāng)庫(kù)未同步修改：將導(dǎo)致新增編碼歸類到 “未知”一類，發(fā)生變化的編碼，歸類到錯(cuò)誤的標(biāo)準(zhǔn)編碼。 指標(biāo)統(tǒng)計(jì)問(wèn)題 指標(biāo)定

16、義不一致：各本地網(wǎng)對(duì)指標(biāo)理解不一致，導(dǎo)致提供上來(lái)的數(shù)據(jù)不標(biāo)準(zhǔn)、不具可比性。 統(tǒng)計(jì)口徑不一致：各本地網(wǎng)對(duì)統(tǒng)計(jì)口徑理解不一致，導(dǎo)致本系統(tǒng)可能與各本地網(wǎng)系統(tǒng)形成重大差距。 ETL數(shù)據(jù)質(zhì)量問(wèn)題 技術(shù)性問(wèn)題：包括腳本未按規(guī)范編寫，存在語(yǔ)法錯(cuò)誤或邏輯錯(cuò)誤，或者沒(méi)有遵循數(shù)據(jù)約束規(guī)則（如唯一性、引用性、非空等）。 非技術(shù)性問(wèn)題：包括對(duì)業(yè)務(wù)規(guī)則理解不準(zhǔn)確、編碼規(guī)則不一致等產(chǎn)生的問(wèn)題。非技術(shù)性問(wèn)題通常需要向業(yè)務(wù)專家、統(tǒng)計(jì)專家、源系統(tǒng)維護(hù)人員咨詢。,數(shù)據(jù)質(zhì)量檢查的技術(shù)方法及考核指標(biāo),文件級(jí)檢查： 及時(shí)性 正確性：打開(kāi)正常、文件大小正常/波動(dòng)范圍內(nèi) 記錄合法性：記錄數(shù)、記錄長(zhǎng)度正常,文件級(jí)檢查： 數(shù)據(jù)域檢查： 記錄中數(shù)值字段、日期字段是否合法,記錄級(jí)檢查： 主鍵檢查 外鍵檢查 編碼映射檢查 數(shù)據(jù)值域檢查 業(yè)務(wù)規(guī)則檢查,記錄級(jí)檢查： 業(yè)務(wù)規(guī)則檢查 業(yè)務(wù)指標(biāo)檢查： 業(yè)務(wù)指標(biāo)平衡性檢查 同一指標(biāo)在臨時(shí)區(qū)、DW、DM/OLAP平衡檢查 客戶、用戶 業(yè)務(wù)指標(biāo)波動(dòng)性檢查 收入、詳單數(shù) 業(yè)務(wù)指標(biāo)與業(yè)務(wù)系統(tǒng)比對(duì),文件級(jí)KPI： 文件及時(shí)率 文件正確率,文件級(jí)KPI： 文件及時(shí)率/正確率 文件處理及時(shí)率 記錄合法率,記錄級(jí)K