方案-數(shù)據(jù)治理解決方案V1

1、大數(shù)據(jù)平臺(tái)下的數(shù)據(jù)治理數(shù)據(jù)治理是指從使用零散數(shù)據(jù)變?yōu)槭褂媒y(tǒng)一主數(shù)據(jù)、從具有很少或沒有組織和流程治理到企 業(yè)范圍內(nèi)的綜合數(shù)據(jù)治理、從嘗試處理主數(shù)據(jù)混亂狀況到主數(shù)據(jù)井井有條的一個(gè)過程。隨著Hadoop技術(shù)的提升，數(shù)據(jù)如何進(jìn)來，如何整合，開展什么樣的應(yīng)用都已經(jīng)有了成熟的 案例，可是，同傳統(tǒng)數(shù)倉(cāng)時(shí)代一樣，垃圾進(jìn)垃圾出，如何破？相比傳統(tǒng)數(shù)倉(cāng)時(shí)代，進(jìn)入 Hadoop集群的數(shù)據(jù)更加的多樣、更加的復(fù)雜、量更足，這個(gè)數(shù)倉(cāng)時(shí)代都沒有處理好的事 情，如何能夠在大數(shù)據(jù)時(shí)代處理好，這是所有大數(shù)據(jù)應(yīng)用者最最期盼的改變，也是大數(shù)據(jù)平 臺(tái)建設(shè)者最有挑戰(zhàn)的難題：數(shù)據(jù)治理難的不是技術(shù)，而是流程，是協(xié)同，是管理。數(shù)據(jù)治理涉及的IT

2、技術(shù)主題眾多，包括元數(shù)據(jù)管理、主數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量、數(shù)據(jù)集成、監(jiān) 控與報(bào)告等。大數(shù)據(jù)平臺(tái)下的數(shù)據(jù)生命周期熱點(diǎn)活躍歷史K3H歸檔Bai房莎計(jì)層 150。節(jié)點(diǎn).SH4Coo JOB. KSfiSi .sra. . 520TA通常傳統(tǒng)的數(shù)據(jù)治理是面向結(jié)構(gòu)化 或者可以定義的非結(jié)構(gòu)化麴居,管理 的是同類型屬性的麴居集，或者是連 續(xù)的，或者是分類的。大數(shù)據(jù)存儲(chǔ)幵非在一個(gè)站點(diǎn)，或 歸屬一個(gè)單位，數(shù)據(jù)的所有權(quán)不地 理分布屬亍多個(gè)機(jī)構(gòu)的資源中A大數(shù)據(jù)的最大特點(diǎn)就是非結(jié)構(gòu)化, 如文檔、報(bào)表、GIS信息、NoSQL 等。數(shù)據(jù)治理的關(guān)鍵場(chǎng)景?扣g 晶北管理儀表盤 數(shù)據(jù)不準(zhǔn)確T_大數(shù)據(jù)治理面臨的挑戰(zhàn)異種數(shù)據(jù)和復(fù)雜數(shù)據(jù)歷

3、史數(shù)據(jù)rsBai場(chǎng)詼Hadoop集鮮/云梯實(shí)時(shí)流數(shù) 浜大數(shù)據(jù)平臺(tái)的數(shù)據(jù)治理關(guān)鍵問題關(guān)系型數(shù)據(jù)庫(kù)文本文件內(nèi)存對(duì)象 K-V結(jié)構(gòu) NoSQL 列模式數(shù)據(jù)倉(cāng)庫(kù) 基亍Hadoop的 分布式文件系統(tǒng)基亍SQL存儲(chǔ)過程 Perl/Python 腳 本Java語言 MapReduce 幵 行采集大數(shù)據(jù)平臺(tái)的數(shù)據(jù)治理目標(biāo)制訂!観里脈Ba當(dāng)雙形成平臺(tái)不工具ODS及部分上下游系統(tǒng)元 數(shù)據(jù)納入到敬據(jù)治理平臺(tái) 隼中管理模型變更通対目應(yīng)下游元數(shù)據(jù)為ODS上游模型變 更提供服務(wù)質(zhì)嗣檢核依賴監(jiān)流程管理過程中產(chǎn)生的元 故據(jù)等信息存儲(chǔ)到i嫦治 理平臺(tái)通過服務(wù)接口流程管理獲 取元敬據(jù)數(shù)據(jù)質(zhì)量、數(shù) 據(jù)標(biāo)準(zhǔn)返回的吉嫦信息獲取監(jiān)控調(diào)度中

4、相關(guān)的元 數(shù)據(jù)與致?lián)职l(fā)相關(guān)的元數(shù)據(jù) 變更需要同步致?lián)职l(fā)命分發(fā)蹈信息接口服務(wù)數(shù)據(jù)訪問分析服務(wù)次開發(fā)卜又限集成在線用戶配置管理數(shù)據(jù)分發(fā)流程管理蜘據(jù)治理一元數(shù)據(jù)系統(tǒng)數(shù)據(jù)治理平臺(tái)與周邊系統(tǒng)關(guān)系部分業(yè)務(wù)系統(tǒng)ODS/MDM部分就日志管埋調(diào)度監(jiān)控系理系統(tǒng)管理Bai(質(zhì)量問題發(fā)現(xiàn)質(zhì)呈問題分析度量規(guī)則管理檢核調(diào)度質(zhì)量問題提交腹檢略果升需求礙維質(zhì)量兄質(zhì)量?jī)疹}報(bào)言檢核手工調(diào)度檢核自功調(diào)度基亍ETL調(diào)度檢核罷質(zhì)量I司題分臘埋質(zhì)星提升需求提交蜒鼎考核者核響t或可 報(bào)清除|考手珀瞄 分支項(xiàng)考核教 據(jù)查用戶管理?yè)?jù)治理一數(shù)據(jù)質(zhì)量系統(tǒng)數(shù)據(jù)1質(zhì)量提升方離交 質(zhì)呈提升工作總結(jié)報(bào)售I夠數(shù)括糾止數(shù)據(jù)標(biāo)進(jìn)采集日志管理#S理接口服務(wù)數(shù)

5、據(jù)訪問I分析服務(wù)綜合查詢度gw聞， g可題查詢升唾具他考核餉ETL質(zhì)呈問題采集在線用戶據(jù)治理一數(shù)據(jù)標(biāo)準(zhǔn)系統(tǒng)1礙執(zhí)行監(jiān)控赫棚所颯兄模型執(zhí)行況分析代石枷市況分析輔劣興執(zhí)行慵劣系統(tǒng)亍接口服務(wù)同分析服務(wù)標(biāo)準(zhǔn)綜合管理瞄標(biāo)準(zhǔn)需求蟾鼬N蜒版本饒權(quán)限管理日志管理系統(tǒng)管理系統(tǒng)管理Bai上游模型變更預(yù)警輔劣變更導(dǎo)致的開發(fā)自成通知成基皿姓 訂閱iass對(duì)茹比 對(duì)_手功梭 核瞄癇下游 後人昌手離響的 m)nL左分析結(jié)在Eccel 把修改 果中按原中修改彫的構(gòu) 模板號(hào)出響的結(jié)構(gòu)導(dǎo)入到 的.和 ETL |jtSg smifu 壘TK袞亍 惓改翊S 啄ETLIT建 日常檢 IT知識(shí)店鋪的店元瞄釆集數(shù)據(jù)治理平臺(tái)一元數(shù)據(jù)建立系

6、統(tǒng)管理員數(shù)據(jù)源類型XM成件方式W DBH遂方式&做分析員/開發(fā)人員/運(yùn)維人員通過元數(shù)據(jù)的檢測(cè)建立數(shù)據(jù)變更流程/; 模: 變 預(yù)，型更影響分析一輔劣 .下游下游 應(yīng)用 問題 反饋血統(tǒng) .分析一輔劣，問題 定位Bai冷戲；3. Z將。 1104x_n(M/ RPTJX知幾Gt O.寸工 WT_DM RP.FT.GJCHEJ RPY 0MQ Ug. e OM.HNANCUL7 _ 卜17IT知識(shí)店建的店Bai務(wù)莎某銀行數(shù)據(jù)治理方案平臺(tái)實(shí)施平臺(tái)應(yīng)用平臺(tái)建設(shè)平臺(tái)實(shí)施平臺(tái)應(yīng)用平臺(tái)建設(shè)立更管理流程、后據(jù)變更M興盟官窗程子數(shù)據(jù).責(zé)量應(yīng)用為程:雖有管 連辦法,映有她枷 篷栓肉曲:2011年下半年12個(gè) 考核18

7、標(biāo)由系統(tǒng)泌i檢核.5個(gè) 考1SISAI檢核栓核范圍:主要是對(duì)ODSS據(jù)沃個(gè)流程：報(bào)表新塔需求管理浣 程、報(bào)表姦更埋流程、放 掂交建需求M理流程、里磴掂數(shù)據(jù)標(biāo)準(zhǔn)應(yīng)用流程:雖有管 逢辦法 有她婉朔流 程S :客戶、產(chǎn)*、交易、財(cái)務(wù)、資產(chǎn)、協(xié)議 公共代碼興:73個(gè)隔Ti功協(xié)3項(xiàng)，二我功乾10瑣 核誠(chéng)能：瀏覽、公共代輙覽、數(shù)掂標(biāo) 進(jìn)寺求、數(shù)據(jù)標(biāo)準(zhǔn)發(fā)布、數(shù)據(jù) 標(biāo)準(zhǔn)潔 新?lián)?biāo)準(zhǔn)執(zhí)行、綜T；功花6項(xiàng)，二盤功乾14項(xiàng) 核誠(chéng)能:報(bào)弟E窗 程、瞄交颱理流程、瞄 立更管理流程、數(shù)岳15里管珪 臃等T功乾5項(xiàng),二坂功鴕15項(xiàng) 核心功能:敖據(jù)凌量可畋 現(xiàn) 、瞄疝誠(chéng)分析、瞄 星夙數(shù)璧量度量聊、 興理考核、綜第 能元數(shù)據(jù)類

8、別:去、字段、 球師験級(jí)潮、 表映財(cái)渉及姓:12個(gè)業(yè)務(wù)生產(chǎn)類系 究.9個(gè)管盼吟標(biāo)紜3個(gè)Ik 務(wù)支榜蟀統(tǒng)、ODS、RDM、 中間善堡市和財(cái)務(wù)集市m的二要匝用為分si 項(xiàng)考核數(shù)據(jù)治理平臺(tái)現(xiàn)狀六日子灌巳初步應(yīng)用一坂功能6項(xiàng),二坂功能17項(xiàng) 核，1功籍:泓據(jù)釆集、元 數(shù)豪分析、飯本司理、姦更管 理、數(shù)據(jù)哽、視圖U珪等數(shù)據(jù)標(biāo)準(zhǔn)應(yīng)用數(shù)據(jù)質(zhì)量應(yīng)用元數(shù)據(jù)應(yīng)用電子流程實(shí)施數(shù)據(jù)標(biāo)準(zhǔn)實(shí)施數(shù)據(jù)質(zhì)量實(shí)施元數(shù)據(jù)實(shí)施電子流程功能數(shù)據(jù)標(biāo)準(zhǔn)功能元數(shù)據(jù) 數(shù)據(jù)質(zhì)量數(shù)據(jù)標(biāo)準(zhǔn)電子流程一電子流程流程數(shù)據(jù)質(zhì)量功能元數(shù)據(jù)功能數(shù)據(jù)平臺(tái)治理改進(jìn)方案平臺(tái)建設(shè) 平臺(tái)實(shí)施平臺(tái)應(yīng)用當(dāng)土流涅三遷麗tN住漢準(zhǔn)流程g.鋸國(guó)中瞄疝岫a 6SEl+#ffi，戶住

9、二匚方N蘭與琪f的關(guān)系注立名匿套鴕*疝 狀況也回 基亍ETB +養(yǎng)題略5亍ETLia程常題問至三邑 建升磴核規(guī)I!汗的靈活性皇您繇之間的美親 S注沒兀3ffi. BESS. KSS剛瑛為適合雙 的文號(hào)ifi沒SVN莒理數(shù)J5點(diǎn)蒞文檔.通 二?：比發(fā)現(xiàn)TT冋成本於差異,為 曜様準(zhǔn)畫更同步至伏imc提供 5魚看求為業(yè)務(wù)目&ft進(jìn);K據(jù)殘魚 誕用考瓦W恥會(huì)上皿2抵 量看求為業(yè)務(wù)返勵(lì)瞄EDW逐煥:探訕上倒理安 更珈將分析結(jié)果謫王下滸攀統(tǒng) S 被矽為主矽以方便業(yè)Cogn。詼疼適配器EMn栄迎沒貝文各豚俺配建 立PDMJQLDM關(guān)匿32峯遊旳涙杖斷演百兄召=明已慶行瞄伝;任的莖統(tǒng)誑 行i 忻.行芟亍代5戶

10、文族配採(cǎi)蘭代蹣行兀 數(shù) 據(jù)務(wù)AH職元應(yīng) 和電孑擊船，程m實(shí)球祐涅中文化基亍 sass 流essai3?幵依 KiJ型洼立方便業(yè)務(wù)人吳側(cè)t春取立駕.將運(yùn)行態(tài)元關(guān)破務(wù)元入到無散握業(yè)中甘理兼 IHAI歡K EXCEIS7 據(jù)迸行辭創(chuàng)炙失過程元數(shù)會(huì)，如：序表使用 信目辱汚頊跡或掘入元關(guān)案= 三泛技術(shù) 盆-fol;務(wù)部門充分洶通,建立海足 業(yè)為雯癱業(yè)務(wù)指做莖烤了現(xiàn)有対ODSS遂行聞外,35 對(duì) EDWJ 行曇從翌安上明晚克冷直接逢接竺產(chǎn) 科威取運(yùn)行本元瞄asr流程產(chǎn)格笠制上游模學(xué)麥更 從制夏上荽求弘浦建歇実 供PDMJ0LDM及時(shí)熙如雖盡升壽追免在 砂就孤立的5墉態(tài)皓攻攜繾度窗堅(jiān)海 墾痂m戀謳涔亍註程必

11、制點(diǎn)飮她閔定、神 發(fā)杖 執(zhí)行、變更及豆擊逬行流程七強(qiáng) 制從缶心要求新氏性倍定茨射文件，丘市時(shí)節(jié) 和上技涌節(jié)近行as海油珞謂 況盼電化5S、頒S3、 噸程充罟援表釜求.談密sm. H加強(qiáng)至妾散據(jù)及看芻數(shù)岳毛子許 程免有対行某銀行數(shù)據(jù)治理體系建設(shè)規(guī)劃短期旬鋌7：確定角色、落 實(shí)流程.鮮決質(zhì)呈問題敵戚：ECIF系輾 風(fēng) 險(xiǎn)集市.ODS數(shù)據(jù)平臺(tái)朝踏ECIF系統(tǒng).風(fēng) 險(xiǎn)集市.ODS數(shù)據(jù)平臺(tái)痍園：規(guī)則類別莒理 、6則管理、檢販 法管,、檢曲分析. 問球決流程、，據(jù)質(zhì)呈 報(bào)吿中期旬簇位：成立団隊(duì).制 度完善.就啾體系所有需蜒據(jù) 瓣 的救3：所有.入岫 ,系支持的系穌齡：蜒呻新 功能,數(shù)據(jù)，!控,散 據(jù)清洗長(zhǎng)

12、期員:全行大部分元広：質(zhì)呈提升.全 散據(jù)成呈文化W：全行大部分系 統(tǒng)醐炳：治理平臺(tái)、部署靈活的查 詢工貝Bai場(chǎng)詼數(shù)據(jù)質(zhì)量數(shù)據(jù)標(biāo)準(zhǔn)電子流程某銀行元數(shù)據(jù)管理系統(tǒng)本階段實(shí)施情況元數(shù)據(jù)管理系統(tǒng)以O(shè)DS數(shù)據(jù)平臺(tái)為切入點(diǎn)，車新梳理ODS使用的模板文件，對(duì)ODS的Mapping映射文件、II 首僵文件、II批次文件、源系統(tǒng)調(diào)硏文件、FDM拆分規(guī)則劉拷進(jìn)行采集管理，通過實(shí)施打通了ODS內(nèi)部各小 組之間從生產(chǎn)雌至艄齡據(jù)的通路,基亍頑據(jù)的離、分析、導(dǎo)出等功能.提高模型變更工尙率、工作 質(zhì)量，輔劣ODS日常運(yùn)維，是數(shù)據(jù)資產(chǎn)得到了及時(shí)的共享運(yùn)用。元數(shù)據(jù)管理系統(tǒng)對(duì)月盼臺(tái)理項(xiàng)目提供支持,對(duì)齢治理的接口元數(shù)據(jù)、交易鏈路元數(shù)據(jù)、報(bào)文頭元數(shù)據(jù)提 供管理維護(hù)功能平臺(tái)實(shí)施平臺(tái)應(yīng)用制度勰平臺(tái)建設(shè)元 數(shù) 據(jù)元數(shù)駆集、瀏県分 析、變更曾理、檢索等 核心功能為亍權(quán)限控制的元瞄 采集功能為亍模板文臥 我功能服務(wù)磴mts采集功 能致瑁庫(kù)介質(zhì)密DB2細(xì):辦部、Mapping,調(diào)研信息、 接口、報(bào)文頭、交易鏈系統(tǒng)：55個(gè)源系統(tǒng)、ODS系統(tǒng)、分發(fā)平臺(tái)部 分配置、II平臺(tái)、服務(wù)治 理（管理三千余個(gè)接口、 A+多個(gè)三千 余條交易槌路）數(shù)據(jù)治理是專注于將數(shù)據(jù)