數(shù)據(jù)治理與大數(shù)據(jù)平臺設(shè)計方案

數(shù)據(jù)治理

大數(shù)據(jù)平臺設(shè)計議程數(shù)據(jù)治理的背景和現(xiàn)狀數(shù)據(jù)治理策略元數(shù)據(jù)管理主數(shù)據(jù)管理數(shù)據(jù)質(zhì)量管理大數(shù)據(jù)平臺設(shè)計1數(shù)據(jù)治理背景大數(shù)據(jù)時代凸現(xiàn)數(shù)據(jù)重要性數(shù)據(jù)治理是大數(shù)據(jù)的基礎(chǔ)2信息孤島現(xiàn)象嚴(yán)重數(shù)據(jù)質(zhì)量問題嚴(yán)重345數(shù)據(jù)應(yīng)用未得到有效管理6數(shù)據(jù)安全問題日益嚴(yán)峻數(shù)據(jù)治理意識到了問題的嚴(yán)重1數(shù)據(jù)治理現(xiàn)狀2

“維持”代替“管理”3

歷史“包袱”沉重4

相關(guān)方利益交織，協(xié)調(diào)困難方案規(guī)劃容易，落地困難過度依賴技術(shù)工具對于數(shù)據(jù)沒有明確區(qū)分議程數(shù)據(jù)治理的背景和現(xiàn)狀數(shù)據(jù)治理策略元數(shù)據(jù)管理主數(shù)據(jù)管理數(shù)據(jù)質(zhì)量管理大數(shù)據(jù)平臺設(shè)計組織Organization流程、活動與機制Process&Activities&Mechanism計劃、制度與標(biāo)準(zhǔn)規(guī)范Plan&Rule&Standards技術(shù)平臺與工具Platform&Tools數(shù)據(jù)治理要素數(shù)據(jù)治理策略獲得支持引入外援找到“痛點”確定“起點”責(zé)任到人持之以恒績效評估??910、要閱學(xué)讀生一做切的好事書，如教同職和員過躬去親最共杰出做；的人要談學(xué)話生學(xué)。:33:4817:37/14/20215:33:48PM317:33:4817的知識，教職員躬親共學(xué)；要學(xué)生守的規(guī)則，教職員躬親共守。14,2021uyadse,nd.W41.7.12417.12Jely??1112、一要個記好住的，教你師不，僅是一教個課懂的得教心師理，學(xué)也和是教學(xué)育生學(xué)的的教人育。者7:33J2l-2114Jul-21-u1.7.1417:33:481，生活的導(dǎo)師和道德的引路人。17:33:4817:33:4817:33Wednesday,July14,202113?、ewhoseizetherightmoment,istherigHtman.h誰把握機遇，誰就心想事成。21.7.1421.7.1417:3:4817:33:43July14,2021814、誰要是自己還沒有發(fā)展培養(yǎng)和教育好，他就不能發(fā)展培養(yǎng)和教育別人。2021年7月14日星期三下午5時33分48秒17:33:4821.7.14?? 、提出一個問題往往比解決一個更重要。因為解決問題也，僅是一個數(shù)學(xué)上或?qū)嶒炆系募寄芏?，而提出新的問題，卻需要有創(chuàng)造性的想像力，而且標(biāo)志著科學(xué)的真正進步。年月日星期三時分秒1202yluJ4184:33:718433541712021y1uJ33:714.7.12l1202,433分5時午下7月2120年。人樹如莫許計之身終；木樹如莫，計之年十；谷樹如莫，計之年一6151、兒童是中心，教育的措施便圍繞他們而組織起來。下午時分秒下午時分41.7.1284:33:7133584335712、Our

destiny

offers

not

only

the

cup

of

despair,but

the

chalice

of

opportunity.(RichardNixon,AmericanPresident)命運給予我們的不是失望之酒，而是機會之杯。二〇二一年六月十七日2021年6月17日星期四???3、Patience

is

bitter,but

its

fruit

is

sweet.(JeanJacquesRousseau,Frenchthinker)忍耐是痛苦的，但它的果實是甜蜜的。10:516.17.202110:516.17.202110:5110:51:196.17.202110:516.17.20214、All

that

you

do,do

with

your

might;things

done

by

halves

are

never

done

right.----R.H.Stoddard,Americanpoet做一切事都應(yīng)盡力而為，半途而廢永遠(yuǎn)不行6.17.20216.17.202110:5110:5110:51:1910:51:19

5、You

have

tobelieve

inyourself.That"s

thesecretof

success.----CharlesChaplin人必須相信自己，這是成功的秘訣。-Thursday,June17,2021June21Thursday,June17,20216/17/2021?實事求是確定方法做好績效標(biāo)準(zhǔn)先行使用工具獎懲機制經(jīng)驗總結(jié)數(shù)據(jù)治理實施建議*數(shù)據(jù)質(zhì)量提升是目標(biāo)*主數(shù)據(jù)管理是關(guān)鍵*元數(shù)據(jù)管理是基礎(chǔ)議程數(shù)據(jù)治理的背景和現(xiàn)狀數(shù)據(jù)治理策略元數(shù)據(jù)管理主數(shù)據(jù)管理數(shù)據(jù)質(zhì)量管理大數(shù)據(jù)平臺設(shè)計什么是元數(shù)據(jù)元數(shù)據(jù)的定義技術(shù)元數(shù)據(jù)業(yè)務(wù)元數(shù)據(jù)操作元數(shù)據(jù)為什么要進行元數(shù)據(jù)管理Why?123456數(shù)據(jù)的參考框架解決數(shù)據(jù)模糊性可視化數(shù)據(jù)流動影響和血緣分析推進標(biāo)準(zhǔn)化建設(shè)規(guī)范化數(shù)據(jù)審計1.2.3.4.5.6.經(jīng)驗分享標(biāo)準(zhǔn)先行全局治理盡快見效高層支持業(yè)務(wù)參與獎懲機制數(shù)據(jù)定義標(biāo)準(zhǔn)化數(shù)量月銷售量銷售＋

＋詞素月標(biāo)準(zhǔn)單詞對象詞素詞素量詞素分析原屬性名(標(biāo)準(zhǔn)化對象)標(biāo)準(zhǔn)域數(shù)量類型：數(shù)字型長度：19，0分類詞＋標(biāo)準(zhǔn)用語月度銷售數(shù)量類型：數(shù)字型長度：19，0修飾詞標(biāo)準(zhǔn)單詞

標(biāo)準(zhǔn)單詞月度

銷售標(biāo)準(zhǔn)單詞數(shù)量標(biāo)準(zhǔn)單詞月度銷售數(shù)量分類詞(域)數(shù)據(jù)定義標(biāo)準(zhǔn)體系標(biāo)準(zhǔn)單詞標(biāo)準(zhǔn)用語

標(biāo)準(zhǔn)體系標(biāo)準(zhǔn)域數(shù)據(jù)模型標(biāo)準(zhǔn)化結(jié)構(gòu)實體、屬性、關(guān)系、主鍵，范式化等命名規(guī)則、用語詞典、標(biāo)準(zhǔn)域等管理數(shù)據(jù)管理政策、方針等配置管理、版本管理等質(zhì)量準(zhǔn)確性、完整性、實時性、一致性應(yīng)用查詢結(jié)果的準(zhǔn)確性、使用便利性、查詢結(jié)果的迅速性模型設(shè)計標(biāo)準(zhǔn)實施路線模型優(yōu)化模型診斷設(shè)計規(guī)范設(shè)計指南按照模型設(shè)計規(guī)范和指南統(tǒng)一設(shè)計企業(yè)內(nèi)部數(shù)據(jù)模型元數(shù)據(jù)管理系統(tǒng)可使用可管理可控制模型要素關(guān)系定義規(guī)則應(yīng)用系統(tǒng)審核、評估、發(fā)布提交反饋指導(dǎo)庫元數(shù)注腳數(shù)據(jù)冊本據(jù)庫元同服設(shè)數(shù)步務(wù)計據(jù)標(biāo)準(zhǔn)規(guī)范標(biāo)準(zhǔn)化體系（數(shù)據(jù)定義&模型設(shè)計）制定完善引用元數(shù)據(jù)管理工具的選擇元模型易于擴展界面友好安全和系統(tǒng)管理配置管理發(fā)布、查詢、報表功能平臺開放提前試用議程數(shù)據(jù)治理的背景和現(xiàn)狀數(shù)據(jù)治理策略元數(shù)據(jù)管理主數(shù)據(jù)管理數(shù)據(jù)質(zhì)量管理大數(shù)據(jù)平臺設(shè)計什么是主數(shù)據(jù)

企業(yè)主數(shù)據(jù)分散存儲在企業(yè)各系統(tǒng)內(nèi)，對企業(yè)至關(guān)重要的核心業(yè)務(wù)實體的數(shù)據(jù)，比如客戶、合作伙伴、員工等關(guān)鍵分散緩慢共享主數(shù)據(jù)類型當(dāng)事人事物地域財務(wù)和組織主數(shù)據(jù)與參考數(shù)據(jù)

參考數(shù)據(jù)可以是主數(shù)據(jù)，但不一定是主數(shù)據(jù)為什么要作主數(shù)據(jù)管理數(shù)據(jù)冗余難亍應(yīng)變阻礙業(yè)務(wù)數(shù)據(jù)沖突Why?如何做好主數(shù)據(jù)管理經(jīng)常遇到的問題如何做好主數(shù)據(jù)管理識別并管理主數(shù)據(jù)相關(guān)方整理并分析主數(shù)據(jù)的生命周期識別主數(shù)據(jù)含義、上下文、類型主數(shù)據(jù)實施流程運行維護項目實施主數(shù)據(jù)識別數(shù)據(jù)梳理項目實施要點?選擇工具?定制開發(fā)?制定標(biāo)準(zhǔn)規(guī)范?確定組織架構(gòu)申請維護主數(shù)據(jù)管理系統(tǒng)注冊

準(zhǔn)入審批訪問服務(wù)查詢安全管理匹配查重CRM數(shù)據(jù)校驗人事管理流程組織機構(gòu)統(tǒng)一數(shù)據(jù)共享標(biāo)準(zhǔn)規(guī)范強化決策支持主數(shù)據(jù)管理體系提升數(shù)據(jù)質(zhì)量數(shù)據(jù)導(dǎo)入ERP數(shù)據(jù)分發(fā)……版本管理財務(wù)通知廢棄議程數(shù)據(jù)治理的背景和現(xiàn)狀數(shù)據(jù)治理策略元數(shù)據(jù)管理主數(shù)據(jù)管理數(shù)據(jù)質(zhì)量管理大數(shù)據(jù)平臺設(shè)計數(shù)據(jù)質(zhì)量問題數(shù)據(jù)質(zhì)量1、數(shù)據(jù)的值域3、數(shù)據(jù)的完整性5、業(yè)務(wù)規(guī)則7、數(shù)據(jù)轉(zhuǎn)換2、數(shù)據(jù)的定義4、數(shù)據(jù)的有效性6、結(jié)構(gòu)完整性8、數(shù)據(jù)流業(yè)務(wù)部門統(tǒng)計部門（業(yè)務(wù)部門）負(fù)責(zé)業(yè)務(wù)規(guī)則的制定，在業(yè)務(wù)層面統(tǒng)管數(shù)據(jù)質(zhì)量和安全。技術(shù)主管部門技術(shù)部門負(fù)責(zé)數(shù)據(jù)集成、使用等過程中的數(shù)據(jù)質(zhì)量，并對數(shù)據(jù)質(zhì)量報告進行定期發(fā)布。評審委員會技術(shù)部門設(shè)置評審委員會，對數(shù)據(jù)方面的變更進行管控，具備技術(shù)方案否決權(quán)。組織架構(gòu)設(shè)計業(yè)務(wù)與技術(shù)部門各司其職，共同做好數(shù)據(jù)質(zhì)量管理工作應(yīng)用服務(wù)數(shù)據(jù)質(zhì)量治理流程數(shù)據(jù)錄入/質(zhì)量檢查生產(chǎn)庫

后臺庫復(fù)制數(shù)據(jù)倉庫ETL短信通知錄入修改確認(rèn)技術(shù)主管部門《數(shù)據(jù)質(zhì)量管理規(guī)范》二級檢控一級檢控短信通知業(yè)務(wù)部門管理員策略Description

ofthe

contents方法策略和方法反面影響和正面的效果征得了領(lǐng)導(dǎo)層關(guān)注改進工作分布實施，循序漸進數(shù)據(jù)質(zhì)量報告定期發(fā)布應(yīng)用系統(tǒng)需求和架構(gòu)經(jīng)過嚴(yán)格評審系統(tǒng)的數(shù)據(jù)結(jié)構(gòu)變更需要進行嚴(yán)格評估數(shù)據(jù)發(fā)生變更時，通報所有相關(guān)方Description

ofthe

contents技術(shù)手段從源頭改起，形成良性循環(huán)24小時監(jiān)控，及時按照預(yù)案處理問題多環(huán)節(jié)設(shè)置數(shù)據(jù)質(zhì)量監(jiān)控功能短信及時通知相關(guān)業(yè)務(wù)人員核對問題BI系統(tǒng)不斷整合不斷改進工具軟件最佳實踐從數(shù)據(jù)剖析（Profiling）開始盡量使用工具進行數(shù)據(jù)剖析數(shù)據(jù)剖析工作需要持續(xù)開展數(shù)據(jù)集成過程也需要進行數(shù)據(jù)剖析數(shù)據(jù)質(zhì)量評估和改進需要被動和主動兩種方式最佳實踐得到高層的支持關(guān)鍵數(shù)據(jù)先行，漸進開展在數(shù)據(jù)的“上游”解決質(zhì)量問題

“防患于未然”優(yōu)于“后期治療”數(shù)