基于數(shù)據(jù)治理的企業(yè)數(shù)據(jù)質(zhì)量管理與保障解決方案PPT

基于數(shù)據(jù)治理的企業(yè)數(shù)據(jù)質(zhì)量管理與保障解決方案1數(shù)據(jù)質(zhì)量問(wèn)題背景及分類2數(shù)據(jù)質(zhì)量體系建設(shè)原則3數(shù)據(jù)質(zhì)量方案框架及關(guān)鍵技術(shù)4數(shù)據(jù)質(zhì)量行業(yè)實(shí)踐整理制作：郎豐利1519制作時(shí)間：2023年睿利而行整理制作：郎豐利1519制作時(shí)間：2023年睿利而行整理制作：郎豐利1519制作時(shí)間：2023年睿利而行1數(shù)據(jù)質(zhì)量問(wèn)題產(chǎn)生的背景2數(shù)據(jù)質(zhì)量體系建設(shè)原則3數(shù)據(jù)質(zhì)量方案框架及關(guān)鍵技術(shù)4數(shù)據(jù)質(zhì)量行業(yè)實(shí)踐整理制作：郎豐利1519制作時(shí)間：2023年睿利而行整理制作：郎豐利1519制作時(shí)間：2023年睿利而行整理制作：郎豐利1519制作時(shí)間：2023年睿利而行數(shù)據(jù)質(zhì)量管理體系的構(gòu)成為建立全方位的數(shù)據(jù)質(zhì)量管理體系，應(yīng)同時(shí)關(guān)注組織、技術(shù)和流程三大核心部分，三部分相輔相成才能形成完整的數(shù)據(jù)質(zhì)量管理體系。數(shù)據(jù)質(zhì)量體系建設(shè)五個(gè)原則目標(biāo)提升數(shù)據(jù)質(zhì)量問(wèn)題解決效率，提升企業(yè)數(shù)據(jù)質(zhì)量全程監(jiān)控：從數(shù)據(jù)的定義、錄入、存儲(chǔ)、加工、交互、使用全過(guò)程進(jìn)行數(shù)據(jù)質(zhì)量監(jiān)控，明確各部門在全過(guò)程中的責(zé)任，全方位保證數(shù)據(jù)質(zhì)量主動(dòng)管理：強(qiáng)化對(duì)企業(yè)發(fā)現(xiàn)的各IT系統(tǒng)數(shù)據(jù)質(zhì)量問(wèn)題的主動(dòng)管理，協(xié)同相關(guān)部門推動(dòng)問(wèn)題的有效解決閉環(huán)管理：建立數(shù)據(jù)質(zhì)量問(wèn)題的發(fā)現(xiàn)、通報(bào)、整改和反饋等環(huán)節(jié)具體流程，形成數(shù)據(jù)質(zhì)量問(wèn)題的閉環(huán)管理自動(dòng)管理：深入分析業(yè)務(wù)人員發(fā)現(xiàn)的數(shù)據(jù)質(zhì)量問(wèn)題的業(yè)務(wù)規(guī)則和成因，科技部門將其轉(zhuǎn)化為技術(shù)規(guī)則落地到系統(tǒng)中，實(shí)現(xiàn)數(shù)據(jù)質(zhì)量問(wèn)題的自動(dòng)篩選。全員參與：業(yè)務(wù)人員、技術(shù)人員和運(yùn)維人員要共同參與數(shù)據(jù)質(zhì)量提升工作。12345全程監(jiān)控—事前、事中、事后三階段管理事前預(yù)防事中監(jiān)控事后改善數(shù)據(jù)質(zhì)量主動(dòng)保證，側(cè)重面向未來(lái)的數(shù)據(jù)（指業(yè)務(wù)運(yùn)營(yíng)過(guò)程中新增的數(shù)據(jù)），通過(guò)業(yè)務(wù)流程優(yōu)化、源系統(tǒng)改造和數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范來(lái)提升數(shù)據(jù)質(zhì)量。未來(lái)數(shù)據(jù)數(shù)據(jù)質(zhì)量持續(xù)監(jiān)控與優(yōu)化，側(cè)重面向當(dāng)前的數(shù)據(jù)（當(dāng)前數(shù)據(jù)質(zhì)量檢查周期內(nèi)更新的數(shù)據(jù)），根據(jù)數(shù)據(jù)質(zhì)量檢核規(guī)則，對(duì)數(shù)據(jù)進(jìn)行持續(xù)、周期性監(jiān)測(cè)。當(dāng)前數(shù)據(jù)歷史數(shù)據(jù)數(shù)據(jù)質(zhì)量清洗提升，側(cè)重面向歷史數(shù)據(jù)(指某個(gè)時(shí)間點(diǎn)前已經(jīng)生成的數(shù)據(jù))。按業(yè)務(wù)系統(tǒng)或主題分批對(duì)數(shù)據(jù)質(zhì)量分析、清洗，提高既有數(shù)據(jù)的質(zhì)量。從發(fā)現(xiàn)到改進(jìn)閉環(huán)管理建立數(shù)據(jù)質(zhì)量閉環(huán)管理機(jī)制、明確各部門關(guān)于數(shù)據(jù)質(zhì)量提升工作的分工職責(zé)并強(qiáng)化執(zhí)行；同時(shí)基于數(shù)據(jù)管理工具，固化流程，線上支撐企業(yè)級(jí)數(shù)據(jù)質(zhì)量管理，確保企業(yè)級(jí)數(shù)據(jù)質(zhì)量穩(wěn)步提升。固化流程、全員參與借助工具、自動(dòng)管理數(shù)據(jù)質(zhì)量管理員技術(shù)人員業(yè)務(wù)人員問(wèn)題定義問(wèn)題發(fā)現(xiàn)/分析問(wèn)題跟蹤問(wèn)題處理評(píng)估和統(tǒng)計(jì)數(shù)據(jù)質(zhì)量問(wèn)題需求提出,選擇系統(tǒng)（檢核對(duì)象業(yè)務(wù)實(shí)體、屬性）需求轉(zhuǎn)化檢核規(guī)則，通過(guò)可配置化方式，自動(dòng)生成檢核腳本，批量檢核問(wèn)題數(shù)據(jù)。輸入數(shù)據(jù)質(zhì)量問(wèn)題管理，疑似問(wèn)題發(fā)布數(shù)據(jù)質(zhì)量問(wèn)題整改。采用問(wèn)題認(rèn)責(zé)方式，保證問(wèn)題處理及時(shí)行。數(shù)據(jù)質(zhì)量問(wèn)題整改效果確認(rèn)。未及時(shí)處理的問(wèn)題，納入考核計(jì)分?jǐn)?shù)據(jù)質(zhì)量問(wèn)題評(píng)估與分析，圖形化展示統(tǒng)計(jì)報(bào)表。1）檢核維度報(bào)表2）機(jī)構(gòu)問(wèn)題統(tǒng)計(jì)報(bào)表。3）問(wèn)題整改效果報(bào)表。4）問(wèn)題分布報(bào)表。檢核目標(biāo)庫(kù)輸出企業(yè)級(jí)元數(shù)據(jù)管理流程自動(dòng)化sql腳本引擎問(wèn)題存儲(chǔ)庫(kù)數(shù)據(jù)質(zhì)量問(wèn)題分析。元數(shù)據(jù)模塊提供影響分析，為下游問(wèn)題預(yù)警提升意識(shí)、主動(dòng)管理因子項(xiàng)關(guān)聯(lián)定義數(shù)據(jù)標(biāo)準(zhǔn)明確數(shù)據(jù)責(zé)任人開展數(shù)據(jù)質(zhì)量宣貫提升數(shù)據(jù)質(zhì)量意識(shí)3數(shù)據(jù)質(zhì)量方案框架及關(guān)鍵技術(shù)1數(shù)據(jù)質(zhì)量問(wèn)題背景及分類2數(shù)據(jù)質(zhì)量體系建設(shè)原則4數(shù)據(jù)質(zhì)量行業(yè)實(shí)踐功能架構(gòu)應(yīng)用功能層接口服務(wù)數(shù)據(jù)質(zhì)量報(bào)告數(shù)據(jù)質(zhì)量分析質(zhì)量監(jiān)控獲層取角色管理日志管理權(quán)限管理用戶管理參數(shù)管理ODS/EDW/hadoop方式一：檢核結(jié)果文件方式二：直連數(shù)據(jù)庫(kù)任務(wù)手工調(diào)度任務(wù)自動(dòng)調(diào)度調(diào)度參數(shù)管理并發(fā)跑批設(shè)置度量規(guī)則定義度量規(guī)則類別度量規(guī)則管理檢核方法管理檢核腳本生成檢核方法導(dǎo)入檢核方法導(dǎo)出檢核結(jié)果管理問(wèn)題顯示配置問(wèn)題發(fā)布管理問(wèn)題處理跟蹤問(wèn)題查詢管理問(wèn)題考核管理問(wèn)題導(dǎo)入/導(dǎo)出消息管理通知人管理消息模板管理發(fā)送任務(wù)管理知識(shí)庫(kù)管理知識(shí)分類管理知識(shí)內(nèi)容管理知識(shí)庫(kù)查詢多維度數(shù)據(jù)質(zhì)量報(bào)告數(shù)據(jù)質(zhì)量報(bào)告導(dǎo)出數(shù)據(jù)質(zhì)量匯總分析影響/血統(tǒng)/趨勢(shì)分析重點(diǎn)問(wèn)題監(jiān)控問(wèn)題整改監(jiān)控檢核結(jié)果接口檢核方法接口關(guān)鍵技術(shù)—檢核腳本自動(dòng)生成SQLEngine方式一：參數(shù)化配置空值檢核01）基礎(chǔ)類度量規(guī)則02）復(fù)雜業(yè)務(wù)度量規(guī)則非法值檢核非法代碼檢核主鍵重復(fù)檢核系統(tǒng)間一致性檢核數(shù)據(jù)總數(shù)檢核表間關(guān)系檢核業(yè)務(wù)邏輯Sql存儲(chǔ)過(guò)程定時(shí)調(diào)度方式二：模板導(dǎo)入按照度量規(guī)則類別，自動(dòng)生成檢核Sql語(yǔ)句。對(duì)業(yè)務(wù)邏輯復(fù)雜的檢核方法，支持編寫存儲(chǔ)過(guò)程腳本對(duì)問(wèn)題檢核。問(wèn)題跑批處理：1、支持與第三方調(diào)度工具的集成。2、產(chǎn)品自身提供跑批調(diào)度管理。業(yè)務(wù)人員通過(guò)系統(tǒng)界面進(jìn)行規(guī)則定義或者通過(guò)模板導(dǎo)入方式進(jìn)行，屏蔽技術(shù)細(xì)節(jié)?？s短度量規(guī)則轉(zhuǎn)化為檢核方法的時(shí)間。采用模板配置和頁(yè)面參數(shù)配置方式輸入檢核規(guī)則，通過(guò)系統(tǒng)內(nèi)置SQL引擎，實(shí)現(xiàn)檢核腳本自動(dòng)化生成。降低業(yè)務(wù)規(guī)則轉(zhuǎn)化為技術(shù)實(shí)現(xiàn)的成本，提高業(yè)務(wù)規(guī)則的實(shí)現(xiàn)效率。關(guān)鍵技術(shù)—數(shù)據(jù)問(wèn)題檢核架構(gòu)檢核系統(tǒng)2數(shù)據(jù)庫(kù)數(shù)據(jù)質(zhì)量系統(tǒng)調(diào)度平臺(tái)（或數(shù)據(jù)質(zhì)量調(diào)度模塊）檢核規(guī)則、方法梳理模板檢核腳本生產(chǎn)組件公共檢核執(zhí)行組件調(diào)度組件檢核腳本存儲(chǔ)表檢核系統(tǒng)檢核結(jié)果存儲(chǔ)表線程1線程2線程nEDW/Hadoop檢核系統(tǒng)1數(shù)據(jù)庫(kù)格式化數(shù)據(jù)文件分發(fā)組件關(guān)鍵技術(shù)·數(shù)據(jù)質(zhì)量問(wèn)題報(bào)告4數(shù)據(jù)質(zhì)量行業(yè)實(shí)踐1數(shù)據(jù)質(zhì)量問(wèn)題背景及分類2數(shù)據(jù)質(zhì)量體系建設(shè)原則3數(shù)據(jù)質(zhì)量方案框架及關(guān)鍵技術(shù)考核