LFT-商行數(shù)據(jù)中心規(guī)劃

商行

基礎(chǔ)數(shù)據(jù)平臺建設(shè)規(guī)劃——專注金融領(lǐng)域、專業(yè)IT服務(wù)、助力商行信息化整體邏輯思路整體規(guī)劃目標(biāo)藍(lán)圖實(shí)施框架項(xiàng)目路徑技術(shù)實(shí)現(xiàn)總體設(shè)計(jì)數(shù)據(jù)模型技術(shù)平臺行業(yè)借鑒

Agenda一、數(shù)據(jù)中心藍(lán)圖規(guī)劃三、同行借鑒二、技術(shù)實(shí)現(xiàn)數(shù)據(jù)平臺建設(shè)－藍(lán)圖1信息分析人員系統(tǒng)運(yùn)行維護(hù)人員技術(shù)開發(fā)人員5數(shù)據(jù)平臺建設(shè)－藍(lán)圖2(技術(shù))數(shù)據(jù)中心數(shù)據(jù)交換調(diào)度服務(wù)監(jiān)控服務(wù)資源分配服務(wù)集中式調(diào)度監(jiān)控管理(ETL平臺）元數(shù)據(jù)管理數(shù)據(jù)質(zhì)量管理數(shù)據(jù)標(biāo)準(zhǔn)管理統(tǒng)一數(shù)據(jù)管控?cái)?shù)據(jù)倉庫數(shù)據(jù)中心數(shù)據(jù)加工核心系統(tǒng)T+1計(jì)算xx系統(tǒng)ETL應(yīng)用xx系統(tǒng)ETL應(yīng)用核心系統(tǒng)T+1計(jì)算數(shù)據(jù)中心數(shù)據(jù)加工數(shù)據(jù)中心數(shù)據(jù)交換數(shù)據(jù)平臺建設(shè)－藍(lán)圖3(業(yè)務(wù)應(yīng)用)6客戶客戶獲取與挽留客戶細(xì)分與價值提升交叉銷售/向上銷售事件驅(qū)動營銷營銷活動管理與優(yōu)化客戶生命周期管理風(fēng)險(xiǎn)合規(guī)與信息披露資產(chǎn)負(fù)債管理金融犯罪識別信用風(fēng)險(xiǎn)市場風(fēng)險(xiǎn)操作風(fēng)險(xiǎn)財(cái)務(wù)財(cái)務(wù)績效管理資本配置與管理法規(guī)遵從與報(bào)表產(chǎn)品捆綁與定價財(cái)務(wù)管理流程優(yōu)化運(yùn)營交易渠道管理銷售渠道管理渠道遷移與流程優(yōu)化績效考核與報(bào)表產(chǎn)品開發(fā)與定價資源規(guī)劃與管理信息數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)質(zhì)量數(shù)據(jù)安全企業(yè)數(shù)據(jù)整合元數(shù)據(jù)管理數(shù)據(jù)訪問管理與支持國外先進(jìn)銀行總結(jié)提煉了一套數(shù)據(jù)平臺業(yè)務(wù)應(yīng)用框架，包括了客戶管理、運(yùn)營管理、風(fēng)險(xiǎn)管理、財(cái)務(wù)管理、信息管理五大支柱的近三十種應(yīng)用，為銀行后續(xù)的數(shù)據(jù)平臺項(xiàng)目建設(shè)和推廣應(yīng)用提供了極好的借鑒。數(shù)據(jù)平臺建設(shè)－建設(shè)思路１業(yè)務(wù)創(chuàng)新期基礎(chǔ)建設(shè)數(shù)據(jù)治理報(bào)表支持管理優(yōu)化期業(yè)務(wù)支持期數(shù)據(jù)整合專題應(yīng)用數(shù)據(jù)開放創(chuàng)新業(yè)務(wù)技術(shù)主導(dǎo)業(yè)務(wù)參與業(yè)務(wù)需求技術(shù)支持業(yè)務(wù)主動技術(shù)服務(wù)業(yè)務(wù)價值驅(qū)動從技術(shù)“推”到業(yè)務(wù)“拉”的轉(zhuǎn)變養(yǎng)育數(shù)據(jù)、由小而大、分期建設(shè)規(guī)劃勾畫骨架；項(xiàng)目勾畫血肉數(shù)據(jù)平臺建設(shè)－建設(shè)思路２信息科技部管理信息部數(shù)據(jù)分析支持?jǐn)?shù)據(jù)管理決策支持分行服務(wù)支持總行領(lǐng)導(dǎo)全行業(yè)務(wù)狀況分析業(yè)務(wù)發(fā)展決策分析……各業(yè)務(wù)系統(tǒng)收集業(yè)務(wù)數(shù)據(jù)控制數(shù)據(jù)標(biāo)準(zhǔn)……總行各部門公司業(yè)務(wù)部個人業(yè)務(wù)部金融同業(yè)部風(fēng)險(xiǎn)管理部人力資源部。。。分支行機(jī)構(gòu)分支機(jī)構(gòu)領(lǐng)導(dǎo)分支機(jī)構(gòu)業(yè)務(wù)部門分支機(jī)構(gòu)管信部客戶經(jīng)理業(yè)務(wù)狀況分析業(yè)務(wù)發(fā)展決策分析……相關(guān)業(yè)務(wù)狀況分析業(yè)務(wù)統(tǒng)計(jì)報(bào)表……支行業(yè)務(wù)狀況分析重點(diǎn)業(yè)務(wù)部門支持……相關(guān)客戶業(yè)務(wù)分析與支持……數(shù)據(jù)管控體系戰(zhàn)略與規(guī)劃業(yè)務(wù)應(yīng)用體系服務(wù)運(yùn)營體系技術(shù)平臺體系政策、流程、制度數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)質(zhì)量元數(shù)據(jù)管理數(shù)據(jù)架構(gòu)業(yè)務(wù)創(chuàng)新戰(zhàn)略決策運(yùn)營策略管理優(yōu)化應(yīng)用驅(qū)動型服務(wù)數(shù)據(jù)驅(qū)動型服務(wù)運(yùn)營驅(qū)動型服務(wù)數(shù)據(jù)運(yùn)營治理基礎(chǔ)數(shù)據(jù)平臺數(shù)據(jù)服務(wù)平臺數(shù)據(jù)應(yīng)用平臺數(shù)據(jù)管控平臺運(yùn)營管理平臺數(shù)據(jù)平臺建設(shè)－目標(biāo)分解（總體）數(shù)據(jù)平臺建設(shè)－目標(biāo)分解（業(yè)務(wù)應(yīng)用體系）數(shù)據(jù)平臺建設(shè)－目標(biāo)分解（數(shù)據(jù)管控、服務(wù)運(yùn)營）數(shù)據(jù)平臺建設(shè)－目標(biāo)分解（技術(shù)平臺體系）數(shù)據(jù)平臺建設(shè)－實(shí)施路線圖整體規(guī)劃規(guī)劃管理規(guī)劃調(diào)整與實(shí)施監(jiān)控服務(wù)運(yùn)營體系數(shù)據(jù)服務(wù)流程、制度制定業(yè)務(wù)應(yīng)用體系業(yè)務(wù)快報(bào)業(yè)務(wù)價值驅(qū)動的專題應(yīng)用（客戶、運(yùn)營、風(fēng)險(xiǎn)、財(cái)務(wù)、信息）政策、流程、制度制定數(shù)據(jù)治理體系數(shù)據(jù)架構(gòu)管理數(shù)據(jù)安全技術(shù)平臺體系基礎(chǔ)數(shù)據(jù)平臺（數(shù)據(jù)整合）業(yè)務(wù)價值

數(shù)據(jù)架構(gòu)

技術(shù)架構(gòu)

應(yīng)用架構(gòu)

管控架構(gòu)數(shù)據(jù)開放數(shù)據(jù)標(biāo)準(zhǔn)、元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量主數(shù)據(jù)管理數(shù)據(jù)交換服務(wù)數(shù)據(jù)集成服務(wù)歷史數(shù)據(jù)服務(wù)數(shù)據(jù)開放服務(wù)基礎(chǔ)數(shù)據(jù)平臺（歷史數(shù)據(jù)）基礎(chǔ)數(shù)據(jù)平臺（統(tǒng)一數(shù)據(jù)管控平臺）基礎(chǔ)數(shù)據(jù)平臺（統(tǒng)一ETL平臺）基礎(chǔ)數(shù)據(jù)平臺（公共應(yīng)用平臺）基礎(chǔ)數(shù)據(jù)平臺（統(tǒng)一數(shù)據(jù)交換）管理駕駛艙部門報(bào)表數(shù)據(jù)平臺建設(shè)－本期數(shù)據(jù)應(yīng)用方面：建設(shè)報(bào)表集市的自由查詢功能；初步建設(shè)管理駕駛倉（50個KPI指標(biāo)）。完成30張管理報(bào)表。數(shù)據(jù)接入方面：接入新核心系統(tǒng)、信貸系統(tǒng)、個貸系統(tǒng)數(shù)據(jù)；另項(xiàng)目一階段提前接入舊核心系統(tǒng)數(shù)據(jù)表。數(shù)據(jù)供應(yīng)方面：在接入系統(tǒng)數(shù)據(jù)批處理基礎(chǔ)上、實(shí)現(xiàn)批量報(bào)表數(shù)據(jù)集中加工和批量處理。提供已接入系統(tǒng)的數(shù)據(jù)服務(wù)。平臺方面：初步建立起數(shù)據(jù)集中處理平臺架構(gòu)，重點(diǎn)建設(shè)統(tǒng)一數(shù)據(jù)交換、統(tǒng)一ETL；統(tǒng)一數(shù)據(jù)管控則主要構(gòu)建銀行數(shù)據(jù)治理框架，實(shí)現(xiàn)部分簡單的元數(shù)據(jù)管理和數(shù)據(jù)質(zhì)量檢查功能；初步建立統(tǒng)一報(bào)表應(yīng)用平臺，具備報(bào)表集中展示以及基于已有模型的分析應(yīng)用支持能力。以平臺的技術(shù)建設(shè)為主要目標(biāo)，主要實(shí)現(xiàn)三個關(guān)鍵源系統(tǒng)數(shù)據(jù)集中處理功能、報(bào)表集市及管理駕駛倉的初步建設(shè)。技術(shù)數(shù)據(jù)應(yīng)用價值能力：應(yīng)用：建立統(tǒng)一報(bào)表應(yīng)用平臺、管理駕駛倉，具備決策支持、數(shù)據(jù)分析支持能力；數(shù)據(jù)：初步建立全行報(bào)表集市；具備全行數(shù)據(jù)交換能力；技術(shù)：統(tǒng)一數(shù)據(jù)交換技術(shù)平臺；BI應(yīng)用門戶；ETL處理中心。數(shù)據(jù)平臺建設(shè)－二期數(shù)據(jù)應(yīng)用方面：完善指標(biāo)體系，完善管理駕駛艙建設(shè)；完成所有日常經(jīng)營固定報(bào)表遷移；建設(shè)客戶統(tǒng)一視圖管理專題應(yīng)用。數(shù)據(jù)源接入方面：完成所有數(shù)據(jù)源的接入。數(shù)據(jù)供應(yīng)方面：完成已建信息系統(tǒng)（如信貸系統(tǒng)、核心系統(tǒng)等）的數(shù)據(jù)服務(wù)遷移。平臺方面：一期平臺的優(yōu)化；初步建設(shè)數(shù)據(jù)整合、歷史數(shù)據(jù)存儲；完善統(tǒng)一數(shù)據(jù)管控部分的數(shù)據(jù)質(zhì)量管理，引入元數(shù)據(jù)管理工具、數(shù)據(jù)質(zhì)量管理工具，支持?jǐn)?shù)據(jù)質(zhì)量管理流程。以數(shù)據(jù)集中處理功能為主，進(jìn)一步增加數(shù)據(jù)源接入；完成1104監(jiān)管報(bào)表及其它管理報(bào)表遷移；完善管理駕駛倉建設(shè)；開始進(jìn)行客戶統(tǒng)一視圖等專題分析應(yīng)用建設(shè)技術(shù)數(shù)據(jù)應(yīng)用價值能力：應(yīng)用：決策支持、數(shù)據(jù)分析支持能力；管理駕駛倉；一站式報(bào)表服務(wù)；

客戶統(tǒng)一視圖專題分析應(yīng)用數(shù)據(jù)：全行數(shù)據(jù)集成能力（企業(yè)數(shù)據(jù)模型）；全行數(shù)據(jù)交換能力；歷史數(shù)據(jù)管理能力；

數(shù)據(jù)管控能力；集中數(shù)據(jù)處理能力技術(shù)：BI應(yīng)用門戶；ETL處理中心；統(tǒng)一數(shù)據(jù)中心技術(shù)平臺；數(shù)據(jù)管控平臺數(shù)據(jù)平臺建設(shè)－遠(yuǎn)期數(shù)據(jù)應(yīng)用方面：為各部門定制部門管理視圖，并開放相關(guān)查詢應(yīng)用；建立客戶分析、績效、CRM、風(fēng)險(xiǎn)管理應(yīng)用；建設(shè)產(chǎn)品分析專題應(yīng)用。數(shù)據(jù)源接入方面：進(jìn)一步接入其他業(yè)務(wù)系統(tǒng)的數(shù)據(jù)源。數(shù)據(jù)供應(yīng)方面：持續(xù)集成新增系統(tǒng)的數(shù)據(jù)服務(wù)。平臺方面：完善數(shù)據(jù)整合、歷史數(shù)據(jù)存儲；完善統(tǒng)一數(shù)據(jù)管控部分的元數(shù)據(jù)管理，構(gòu)建企業(yè)級元數(shù)據(jù)管理。進(jìn)一步完善整個基礎(chǔ)數(shù)據(jù)平臺體系，增加整個平臺對外的開放程度，增強(qiáng)數(shù)據(jù)服務(wù)職能；技術(shù)數(shù)據(jù)應(yīng)用價值能力：應(yīng)用：決策支持、數(shù)據(jù)分析支持能力；一站式報(bào)表服務(wù)；專題分析應(yīng)用；各部門專用自由查詢；業(yè)務(wù)創(chuàng)新支持能力；管理優(yōu)化支持能力數(shù)據(jù)：全行數(shù)據(jù)集成能力（企業(yè)數(shù)據(jù)模型）；全行數(shù)據(jù)交換能力；歷史數(shù)據(jù)管理能力；數(shù)據(jù)管控能力；集中數(shù)據(jù)處理能力；數(shù)據(jù)開放能力技術(shù)：BI應(yīng)用門戶；ETL處理中心；數(shù)據(jù)管控平臺集市層匯總層匯總基礎(chǔ)層整合層團(tuán)體協(xié)議財(cái)務(wù)產(chǎn)品渠道資產(chǎn)賬戶匯總交易統(tǒng)計(jì)匯總客戶匯總機(jī)構(gòu)匯總產(chǎn)品匯總渠道匯總指標(biāo)庫:規(guī)模指標(biāo)、客戶指標(biāo)、盈利指標(biāo)、風(fēng)險(xiǎn)指標(biāo)等核心信貸渠道國業(yè)財(cái)務(wù)網(wǎng)銀事件（1）主要業(yè)務(wù)系統(tǒng)的接入；（2）基于接入系統(tǒng)數(shù)據(jù)，初步建設(shè)基礎(chǔ)層數(shù)據(jù)表（3）初步建設(shè)客戶匯總、建設(shè)機(jī)構(gòu)、渠道和產(chǎn)品匯總（4）進(jìn)行指標(biāo)層梳理（5）支持報(bào)表集市數(shù)據(jù)平臺建設(shè)－數(shù)據(jù)能力演進(jìn)１集市層匯總層匯總基礎(chǔ)層整合層團(tuán)體協(xié)議財(cái)務(wù)產(chǎn)品渠道資產(chǎn)賬戶匯總交易統(tǒng)計(jì)匯總客戶匯總機(jī)構(gòu)匯總產(chǎn)品匯總渠道匯總指標(biāo)庫:規(guī)模指標(biāo)、客戶指標(biāo)、盈利指標(biāo)、風(fēng)險(xiǎn)指標(biāo)等核心信貸渠道國業(yè)財(cái)務(wù)網(wǎng)銀事件（1）新增系統(tǒng)接入（2）初步進(jìn)行團(tuán)體、協(xié)議和事件領(lǐng)域的模型整合（3）繼續(xù)完善匯總建設(shè)（4）繼續(xù)完善指標(biāo)層（5）支持新增集市以及原有集市優(yōu)化客戶匯總數(shù)據(jù)平臺建設(shè)－數(shù)據(jù)能力演進(jìn)２集市層匯總層匯總基礎(chǔ)層整合層團(tuán)體協(xié)議財(cái)務(wù)產(chǎn)品渠道資產(chǎn)賬戶匯總交易統(tǒng)計(jì)匯總客戶匯總機(jī)構(gòu)匯總產(chǎn)品匯總渠道匯總指標(biāo)庫:規(guī)模指標(biāo)、客戶指標(biāo)、盈利指標(biāo)、風(fēng)險(xiǎn)指標(biāo)等核心信貸渠道國業(yè)財(cái)務(wù)網(wǎng)銀事件（1）新增系統(tǒng)接入（2）完善并且增強(qiáng)已有主題、新增資產(chǎn)、產(chǎn)品、財(cái)務(wù)、渠道主題建設(shè)；（3）全面完善匯總建設(shè)（4）全面完善指標(biāo)層（5）支持新增集市以及原有集市優(yōu)化數(shù)據(jù)平臺建設(shè)－數(shù)據(jù)能力演進(jìn)３Agenda一、數(shù)據(jù)中心藍(lán)圖規(guī)劃二、技術(shù)實(shí)現(xiàn)總體設(shè)計(jì)企業(yè)數(shù)據(jù)模型規(guī)劃與建設(shè)數(shù)據(jù)平臺建設(shè)總體設(shè)計(jì)-原則項(xiàng)目總體原則前瞻性、實(shí)用性、穩(wěn)定性和先進(jìn)性模塊化靈活性安全性開放性易開發(fā)性完善的培訓(xùn)和升級服務(wù)系統(tǒng)設(shè)計(jì)原則總體設(shè)計(jì)-邏輯架構(gòu)總體設(shè)計(jì)-數(shù)據(jù)架構(gòu)總體設(shè)計(jì)-技術(shù)架構(gòu)總體設(shè)計(jì)-物理架構(gòu)總體設(shè)計(jì)-運(yùn)維架構(gòu)26設(shè)備容量規(guī)劃性能工藝優(yōu)化日常運(yùn)維管理服務(wù)基線管理運(yùn)維架構(gòu)程序優(yōu)化作業(yè)配置優(yōu)化任務(wù)依賴優(yōu)化實(shí)施工藝流程優(yōu)化數(shù)據(jù)源來數(shù)基線時間數(shù)據(jù)處理結(jié)束時間數(shù)據(jù)傳輸結(jié)束時間供數(shù)基線時間目標(biāo)系統(tǒng)要求數(shù)據(jù)時間對外服務(wù)時間定期系統(tǒng)運(yùn)行情況報(bào)告系統(tǒng)規(guī)劃容量規(guī)劃性能規(guī)劃系統(tǒng)維護(hù)系統(tǒng)配置參數(shù)管理正常啟停機(jī)檢查清理過期數(shù)據(jù)故障干預(yù)備份恢復(fù)管理定期維護(hù)管理報(bào)告系統(tǒng)運(yùn)行情況監(jiān)控性能監(jiān)控服務(wù)狀態(tài)監(jiān)控作業(yè)執(zhí)行情況監(jiān)控源數(shù)據(jù)到達(dá)情況監(jiān)控供數(shù)情況監(jiān)控Agenda一、數(shù)據(jù)中心藍(lán)圖規(guī)劃二、技術(shù)實(shí)現(xiàn)總體設(shè)計(jì)企業(yè)數(shù)據(jù)模型規(guī)劃與建設(shè)數(shù)據(jù)平臺建設(shè)企業(yè)數(shù)據(jù)模型-總體規(guī)劃企業(yè)數(shù)據(jù)模型-數(shù)據(jù)層次規(guī)劃原則企業(yè)數(shù)據(jù)模型-建設(shè)重點(diǎn)（三層）30結(jié)構(gòu)幾乎和源系統(tǒng)一致面向整合主題設(shè)計(jì)提供規(guī)范和共享數(shù)據(jù)面向應(yīng)用按需定制初級的數(shù)據(jù)加工明細(xì)VS匯總數(shù)據(jù)集市層匯總數(shù)據(jù)層基礎(chǔ)數(shù)據(jù)層整合數(shù)據(jù)層企業(yè)數(shù)據(jù)模型-基礎(chǔ)數(shù)據(jù)層模型基本同源，表增加來源系統(tǒng)，加載日期字段當(dāng)前全量加短期歷史全量的保存策略表名采用“前綴O_三位源系統(tǒng)縮寫_源表名”字段名同源，規(guī)范采用分段首字母大寫其他小寫表和字段的中文說明同源即可，嚴(yán)重不清的可適當(dāng)修改企業(yè)數(shù)據(jù)模型-整合數(shù)據(jù)層：主題劃分企業(yè)數(shù)據(jù)模型－匯總數(shù)據(jù)層：設(shè)計(jì)時間維度匯總：日匯總，月季年匯總等基礎(chǔ)維度匯總：匯總數(shù)據(jù)層也分主題，但與基礎(chǔ)數(shù)據(jù)不一致：卡匯總，賬戶匯總，客戶匯總綜合指標(biāo)匯總：機(jī)構(gòu)匯總，渠道匯總，產(chǎn)品匯總，根據(jù)需求補(bǔ)充完善。如：中間業(yè)務(wù)產(chǎn)品收益，渠道交易統(tǒng)計(jì)特殊的匯總：如OLAP類分析，由集市層實(shí)現(xiàn)企業(yè)數(shù)據(jù)模型－模型客戶化方法業(yè)務(wù)驅(qū)動分析講解：東南融通公司向客戶講解數(shù)據(jù)模型，銀行的業(yè)務(wù)人員就目前的業(yè)務(wù)進(jìn)行詳細(xì)介紹。定義需求：通過和業(yè)務(wù)人員進(jìn)一步的溝通，明確當(dāng)前的業(yè)務(wù)需求。差異化分析:根據(jù)對目前業(yè)務(wù)的了解和需求的了解，結(jié)合現(xiàn)有的模型進(jìn)行差異化分析，找出差別所在；了解模型對當(dāng)前需求的滿足度。數(shù)據(jù)驅(qū)動分析講解：東南融通公司向客戶講解模型，銀行的技術(shù)人員就目前數(shù)據(jù)源的數(shù)據(jù)結(jié)構(gòu)和邏輯關(guān)系進(jìn)行詳細(xì)介紹。確定范圍：確定范圍包括數(shù)據(jù)源的范圍、抽樣數(shù)據(jù)的范圍。收集資料：收集資料需要收集所涉及到的業(yè)務(wù)系統(tǒng)介紹、完整的數(shù)據(jù)字典以及系統(tǒng)的樣本數(shù)據(jù)。系統(tǒng)介紹應(yīng)包含系統(tǒng)架構(gòu)、設(shè)計(jì)思想以及和其它系統(tǒng)的關(guān)系等。抽樣數(shù)據(jù)有助于驗(yàn)證重要、復(fù)雜的業(yè)務(wù)規(guī)則，分析數(shù)據(jù)的使用規(guī)則。源系統(tǒng)分析：分析收集到的業(yè)務(wù)系統(tǒng)資料和抽樣數(shù)據(jù)，從而清晰了解業(yè)務(wù)系統(tǒng)的構(gòu)造和數(shù)據(jù)規(guī)則。差異化分析：根據(jù)對業(yè)務(wù)系統(tǒng)的了解，結(jié)合現(xiàn)有的模型進(jìn)行差異化分析?？蛻艋瘜?shí)施定義統(tǒng)一的業(yè)務(wù)術(shù)語，通過以上工作，技術(shù)人員和業(yè)務(wù)人員應(yīng)該就重要的業(yè)務(wù)術(shù)語形成統(tǒng)一的定義?？蛻艋瘮?shù)據(jù)模型，根據(jù)之前的差異化分析結(jié)果，和業(yè)務(wù)人員、技術(shù)人員一起進(jìn)行模型的客戶化工作。模型回顧和完善，和客戶的業(yè)務(wù)人員、技術(shù)人員交流和討論，模型是否易于理解，是否能夠?qū)崿F(xiàn)業(yè)務(wù)需求，業(yè)務(wù)規(guī)則是否得到體現(xiàn)，是否正確理解了原業(yè)務(wù)系統(tǒng)的數(shù)據(jù)，是否有遺漏的數(shù)據(jù)，實(shí)體之間的關(guān)系是否正確等。轉(zhuǎn)化成物理模型，根據(jù)數(shù)據(jù)環(huán)境、運(yùn)行環(huán)境等進(jìn)行物理模型的優(yōu)化設(shè)計(jì)。企業(yè)數(shù)據(jù)模型－模型客戶化實(shí)施流程Agenda一、數(shù)據(jù)中心藍(lán)圖規(guī)劃二、技術(shù)實(shí)現(xiàn)總體設(shè)計(jì)企業(yè)數(shù)據(jù)模型規(guī)劃與建設(shè)數(shù)據(jù)平臺建設(shè)數(shù)據(jù)平臺設(shè)計(jì)統(tǒng)一數(shù)據(jù)交換－架構(gòu)設(shè)計(jì)統(tǒng)一數(shù)據(jù)交換設(shè)計(jì)－文件存儲模塊原始層：用來存放直接從源應(yīng)用下載獲取的最原始數(shù)據(jù)。標(biāo)準(zhǔn)層：用于存放進(jìn)行了標(biāo)準(zhǔn)化的、且提取出增量的數(shù)據(jù)，通常是通過基礎(chǔ)數(shù)據(jù)層的標(biāo)準(zhǔn)化視圖而下載出來的對外供數(shù)的增量數(shù)據(jù)文件，標(biāo)準(zhǔn)層數(shù)據(jù)的標(biāo)準(zhǔn)化工作將遵從于銀行數(shù)據(jù)標(biāo)準(zhǔn)。加工層：用于存放除上述以外處理的結(jié)果文件，包括數(shù)據(jù)篩選、數(shù)據(jù)拆分、數(shù)據(jù)壓縮打包等處理以后的生成文件；位于加工層的數(shù)據(jù)結(jié)構(gòu)和內(nèi)容就會有較大的變化了。數(shù)據(jù)保留周期：3日內(nèi)原文件保留；4-14日內(nèi)壓縮保留；之后將原始層和標(biāo)準(zhǔn)層數(shù)據(jù)轉(zhuǎn)換到歷史數(shù)據(jù)存儲，加工層刪除。數(shù)據(jù)文件格式：采用ASCII編碼的文本文件，采用定界+定長的方式。雙文件規(guī)范：每個數(shù)據(jù)文件都將同時帶有一個控制文件，控制文件的主要作用是在文件傳輸結(jié)束后告訴接收方數(shù)據(jù)文件已傳完；其次還可以包含數(shù)據(jù)文件本身的一些信息，如大小、行數(shù)、生成日期等，用于使用者驗(yàn)證文件的正確性。統(tǒng)一數(shù)據(jù)交換－文件處理模塊文件處理模塊－直抽接入直抽接入設(shè)計(jì)思想采用ETL工具接口（比如，Dbroad

Datastage），完成所需功能支持多源類型支持作業(yè)重做直抽接入直加接出譯碼數(shù)據(jù)篩選數(shù)據(jù)拆分?jǐn)?shù)據(jù)打包文件處理模塊－直加接出42直加接出設(shè)計(jì)思想采用ETL工具接口（比如，Dbroad，Datastage），完成所需功能通過開關(guān)，確定是否執(zhí)行具體的數(shù)據(jù)庫加載操作，當(dāng)作業(yè)的加載部分出錯時，由運(yùn)維人員手工修改該開關(guān)，設(shè)置為不作實(shí)際的加載操作，使作業(yè)的加載部分之外的處理能夠成功。支持多種數(shù)據(jù)庫類型。直抽接入直加接出譯碼數(shù)據(jù)篩選數(shù)據(jù)拆分?jǐn)?shù)據(jù)打包文件處理模塊－譯碼43

組件設(shè)計(jì)原理：出錯處理：讀取輸入?yún)?shù)，參數(shù)值非法。解析表定義文件時出錯，表定義文件不存在、無讀權(quán)限、格式錯誤等

維護(hù)設(shè)計(jì)：表定義文件轉(zhuǎn)碼配置文件譯碼直抽接入直加接出譯碼數(shù)據(jù)篩選數(shù)據(jù)拆分?jǐn)?shù)據(jù)打包文件處理模塊－數(shù)據(jù)篩選數(shù)據(jù)篩選類型：列篩選根據(jù)數(shù)據(jù)消費(fèi)系統(tǒng)的公共需要，對文件記錄中的字段進(jìn)行列篩選，根據(jù)選定剔除無用字段，生成新的批量文件。行篩選根據(jù)目標(biāo)系統(tǒng)的公共要求，對文件記錄進(jìn)行篩選，根據(jù)列的計(jì)算條件剔除無用記錄，生成新的批量文件。數(shù)據(jù)篩選實(shí)現(xiàn)上數(shù)據(jù)加工流程中的篩選可以考慮使用ETL工具（DATASTAGE）的組件進(jìn)行篩選，將篩選后的行列傳給下一個處理流程，避免落地，提高整體的處理效率單獨(dú)的篩選需求－單獨(dú)公用組件根據(jù)配置文件中行篩選條件和列篩選條件，將輸入標(biāo)準(zhǔn)文件進(jìn)行范圍篩選，并得到處理后的輸出標(biāo)準(zhǔn)文件；即在文件上實(shí)現(xiàn)類數(shù)據(jù)庫中的一些數(shù)據(jù)篩選操作，提高時間窗口的處理效率。數(shù)據(jù)篩選直抽接入直加接出譯碼數(shù)據(jù)篩選數(shù)據(jù)拆分?jǐn)?shù)據(jù)打包文件處理模塊－數(shù)據(jù)拆分45從數(shù)據(jù)文件中的某一標(biāo)識字段中的部分值，確定要?dú)w屬到哪一個分行，此時該值有兩種情況：該值即為分行代碼直接根據(jù)該值即可得到歸屬的分行號將該記錄歸到該分行對應(yīng)的文件。該值不為分行代碼通過映射關(guān)系表獲取到歸屬分行號再行進(jìn)行分發(fā)數(shù)據(jù)拆分直抽接入直加接出譯碼數(shù)據(jù)篩選數(shù)據(jù)拆分?jǐn)?shù)據(jù)打包文件處理模塊－數(shù)據(jù)打包46數(shù)據(jù)打包設(shè)計(jì)思想和傳輸組件一起封裝，根據(jù)輸入的文件列表打包傳輸。使用場景源系統(tǒng)供數(shù)時間窗口比較一致且文件大小相差不大臨時性的數(shù)據(jù)提供（重傳、補(bǔ)傳）直抽接入直加接出譯碼數(shù)據(jù)篩選數(shù)據(jù)拆分?jǐn)?shù)據(jù)打包統(tǒng)一數(shù)據(jù)交換－文件傳輸模塊采用TCP/IP協(xié)議，客戶端和服務(wù)端建立可靠的，全雙工的面向連接的字節(jié)流網(wǎng)絡(luò)鏈接，傳輸應(yīng)用指令和數(shù)據(jù)?？蛻舳嗽谕ㄟ^身份認(rèn)證后，向服務(wù)端發(fā)送指令和經(jīng)過壓縮和加密的數(shù)據(jù)，實(shí)現(xiàn)文件安全，高效的傳輸。數(shù)據(jù)在通信的兩端會經(jīng)過指紋信息的校驗(yàn)，以確保數(shù)據(jù)的完整性。加密算法使用RSA算法，AES算法，DES算法，RC4算法，MD5算法；壓縮算法使用gzip算法。統(tǒng)一數(shù)據(jù)交換－文件傳輸模塊：組件部署48數(shù)據(jù)傳輸客戶端查詢某個節(jié)點(diǎn)上某個數(shù)據(jù)文件是否存在。將本地?cái)?shù)據(jù)文件安全，完整，快速的傳輸?shù)街付ǖ墓?jié)點(diǎn)。將指定節(jié)點(diǎn)上的數(shù)據(jù)文件安全，完整，快速的下載到本地。數(shù)據(jù)接收服務(wù)端提供安全認(rèn)證。提供數(shù)據(jù)傳輸服務(wù)相關(guān)管理功能數(shù)據(jù)整合－架構(gòu)設(shè)計(jì)數(shù)據(jù)整合－模型物理化設(shè)計(jì)接口設(shè)計(jì)源是數(shù)據(jù)庫時，從源直抽并直接加載到目標(biāo)的直接用工具實(shí)現(xiàn)，無需接口。源是文本時，采用工具直接加載。文件直傳由交換層直接實(shí)現(xiàn)，無需接口目標(biāo)需要文本的，使用目標(biāo)文本接口標(biāo)準(zhǔn)針對多個目標(biāo)的一致性應(yīng)用，無需復(fù)雜處理的可以建立統(tǒng)一的數(shù)據(jù)視圖，需要復(fù)雜處理的可以編制統(tǒng)一數(shù)據(jù)發(fā)布接口，為多個目標(biāo)提供統(tǒng)一應(yīng)用統(tǒng)一對外的XML報(bào)文接口標(biāo)準(zhǔn)存儲優(yōu)化設(shè)計(jì)確定索引策略確定數(shù)據(jù)存放位置確定存儲分配穩(wěn)定性及屏蔽源系統(tǒng)設(shè)計(jì)不使用“select*”基礎(chǔ)數(shù)據(jù)層中盡量不刪除和修改字段，只是新增字段使用輔表方式數(shù)據(jù)篩選設(shè)計(jì)數(shù)據(jù)整合－數(shù)據(jù)處理模塊：ETL總體設(shè)計(jì)數(shù)據(jù)整合－ETL異常處理流程5252錯誤數(shù)據(jù)處理異常類型異常小類產(chǎn)生原因處理方法業(yè)務(wù)異常Reject文件、錯誤日志沒有清洗規(guī)則、主鍵重復(fù)等數(shù)據(jù)質(zhì)量管理平臺統(tǒng)一收集處理基礎(chǔ)平臺異常操作系統(tǒng)、數(shù)據(jù)庫、網(wǎng)絡(luò)異常掉電、系統(tǒng)升級通過統(tǒng)一管控平臺恢復(fù)操作主機(jī)資源不夠并發(fā)數(shù)過多作業(yè)需要重新配置，或者減少并行度表空間已滿磁盤資源不足新增邏輯卷，擴(kuò)大表空間日志空間已滿事務(wù)過大調(diào)整日志級別、擴(kuò)大存儲空間操作異常程序缺失不明從版本庫恢復(fù)程序數(shù)據(jù)整合－ETL組件：標(biāo)準(zhǔn)化53數(shù)據(jù)標(biāo)準(zhǔn)化通用清洗檢核增量比對數(shù)據(jù)標(biāo)準(zhǔn)化內(nèi)容：定義標(biāo)準(zhǔn)化；屬性標(biāo)準(zhǔn)化；編碼標(biāo)準(zhǔn)化；代碼標(biāo)準(zhǔn)化數(shù)據(jù)標(biāo)準(zhǔn)化組件原則：減少落地為了減少數(shù)據(jù)落地，最好是能在加工作業(yè)中，直接將代碼字段值映射為所需的代碼標(biāo)準(zhǔn)，處理后將數(shù)據(jù)直接傳送給其他的加工處理，設(shè)計(jì)自定義的組件，完成所需的功能。值映射結(jié)果可跟蹤代碼映射時，會存在映射不上的情況，要按照統(tǒng)一的結(jié)構(gòu)進(jìn)行登記警告信息，有利于后期數(shù)據(jù)質(zhì)量跟蹤。通用原則為了使組件能夠完成所有的代碼映射，本組件需要代碼對照表，存放原值與新值對照關(guān)系表，通過對照記錄完成對照關(guān)系，而不是將對照關(guān)系固化在程序邏輯中。數(shù)據(jù)標(biāo)準(zhǔn)化數(shù)據(jù)整合－ETL組件：格式標(biāo)準(zhǔn)化、通用清洗檢核54設(shè)計(jì)一個通用的組件，實(shí)現(xiàn)所需格式檢核規(guī)則并進(jìn)行格式標(biāo)準(zhǔn)化處理。處理方案：格式標(biāo)準(zhǔn)化、通用清洗檢核數(shù)據(jù)標(biāo)準(zhǔn)化通用清洗檢核增量比對數(shù)據(jù)整合－ETL組件：通用檢核清洗檢核示例55規(guī)則名稱子規(guī)則名稱規(guī)則描述所有字段的長度檢核長度控制1、定長記錄，長度不為指定的接口長度，直接reject這條記錄，程序繼續(xù)運(yùn)行；

2、不定長記錄，長度超出指定的接口長度，直接reject這條記錄，程序繼續(xù)運(yùn)行。主鍵字段檢核主鍵空值1、參數(shù)中的allowKeyNull為'True'時,不對主鍵字段作任何特殊處理2、參數(shù)中的allowKeyNull為'False'時,對所有主鍵作空值判斷，為空則reject這條記錄，程序繼續(xù)運(yùn)行。數(shù)值字段檢核空格處理定長記錄或不定長記錄，數(shù)據(jù)全部為空格或者是出現(xiàn)||的空值情況：

1、schema中若設(shè)置為nullable，正常輸出null值；

2、schema中沒有設(shè)置nullable,賦默認(rèn)值0或default值，登記warning文件。

程序繼續(xù)運(yùn)行。整型字段檢核長度控制若schema中沒有設(shè)置固定長度或是最大長度，則默認(rèn)int32的最大長度是10，而int64最大長度是20。本長度包含符號位。整型字段檢核大小控制Int32類型的，只能在[-2147483648，2147483647]區(qū)間，Int64類型的，只能在[-9223372036854775808,9223372036854775807]區(qū)間。不在上述指定的區(qū)間內(nèi)，若設(shè)置了default值，則登記warning并賦為default值；若沒有設(shè)置default，則reject這條記錄，程序繼續(xù)運(yùn)行．整型字段檢核非數(shù)值判斷該字段出現(xiàn)非”0123456789”和空格“

”情況，若設(shè)置了default值，則登記warning并賦為default值；若沒有設(shè)置default，則reject這條記錄，程序繼續(xù)運(yùn)行．

其他數(shù)值字段檢核非數(shù)值判斷該字段出現(xiàn)非”0123456789.”和空格“

”情況，若設(shè)置了default值，則登記warning并賦為默認(rèn)值；若沒有設(shè)置default，則reject這條記錄，程序繼續(xù)運(yùn)行。其他數(shù)值字段檢核小數(shù)點(diǎn)處理該字段只出現(xiàn)字符".＂，置為0，程序繼續(xù)運(yùn)行。其他數(shù)值字段檢核大小控制定長數(shù)據(jù)，不等于接口規(guī)定的長度；不定長數(shù)據(jù)，超出接口規(guī)定的最大長度(包含整數(shù)位超長或小數(shù)位超長），這兩種情況都視為非法，若設(shè)置了default值，則登記warning并賦為default值；若沒有設(shè)置default，則reject這條記錄，程序繼續(xù)運(yùn)行。日期字段檢核特殊字符處理定長記錄或不定長記錄，數(shù)據(jù)全部為空格或者是出現(xiàn)||的空值情況，

1、schema中若設(shè)置為nullable，正常輸出null值；

2、schema中沒有設(shè)置nullable,則賦值為'0001-01-01'或default值。

程序繼續(xù)運(yùn)行。日期字段檢核不滿足月日條件數(shù)據(jù)不滿足月日條件且不在上面所列情況的,如月份：不在1-12月之間,日期不在1-31之間，登記warning，賦值為'0001-01-01'或default值，程序繼續(xù)運(yùn)行。時間、時間戳的檢核

同日期字段的檢核，時間的內(nèi)部固有默認(rèn)值為'12:00:00'，時間戳的內(nèi)部默認(rèn)值為'0001-01-0112:00:00'。數(shù)據(jù)整合－ETL組件：增量比對56增量比對方法：基于快照法的實(shí)現(xiàn)：可配置的不同排序算法適應(yīng)不同的ETL場景全文件排序比對－文件較大的特殊場景(結(jié)息)摘要排序比對－日常文件變化不大場景增量比對數(shù)據(jù)標(biāo)準(zhǔn)化通用清洗檢核增量比對歷史數(shù)據(jù)存儲-架構(gòu)設(shè)計(jì)歷史數(shù)據(jù)存儲-功能設(shè)計(jì)歷史數(shù)據(jù)存儲-設(shè)計(jì)要點(diǎn)存儲方式歷史數(shù)據(jù)存儲采用近線存儲+離線存儲兩級存儲方式近線存儲由共享存儲上的大容量SATA硬盤組成，離線存儲通過磁帶庫實(shí)現(xiàn)所有數(shù)據(jù)均以壓縮文件方式保存轉(zhuǎn)存周期保留5-10年的歷史數(shù)據(jù)；前1年近線存儲；之后離線存儲。對于統(tǒng)一數(shù)據(jù)交換原始層和標(biāo)準(zhǔn)層的數(shù)據(jù)，只在統(tǒng)一數(shù)據(jù)交換存儲上保留最近14天的，之后會將壓縮文件轉(zhuǎn)換到歷史數(shù)據(jù)存儲的“近線”存儲上對于基礎(chǔ)數(shù)據(jù)層的數(shù)據(jù)，將只在數(shù)據(jù)庫中保留最近3-6個月的，之后部分重要表的數(shù)據(jù)會以統(tǒng)一數(shù)據(jù)交換的標(biāo)準(zhǔn)格式導(dǎo)出成文件，再壓縮后轉(zhuǎn)換到歷史數(shù)據(jù)存儲的“近線”存儲上；為了數(shù)據(jù)恢復(fù)方便，對于記錄狀態(tài)的歷史類數(shù)據(jù)，建議每周將下載一份全量，平時每日下載增量自動歸檔采用參數(shù)化配置，依據(jù)該數(shù)據(jù)的生命周期設(shè)置轉(zhuǎn)存參數(shù)調(diào)度系統(tǒng)根據(jù)這個參數(shù)，觸發(fā)通用的數(shù)據(jù)庫采集、文件采集作業(yè)統(tǒng)一ETL－架構(gòu)設(shè)計(jì)統(tǒng)一ETL－邏輯架構(gòu)Builder代碼生成Scheduler調(diào)度平臺Monitor監(jiān)控平臺統(tǒng)一ETL－技術(shù)架構(gòu)開發(fā)流調(diào)度流監(jiān)控流統(tǒng)一ETL－調(diào)度模塊事件驅(qū)動設(shè)計(jì)作業(yè)封裝屏蔽作業(yè)類型資源管理支持集群統(tǒng)一ETL－調(diào)度模塊：核心功能調(diào)度驅(qū)動方式負(fù)載均衡調(diào)度控制定時時間到事件驅(qū)動文件到達(dá)事件驅(qū)動數(shù)據(jù)庫就緒事件驅(qū)動作業(yè)依賴的作業(yè)完成事件驅(qū)動調(diào)度服務(wù)器負(fù)載均衡ETLServer負(fù)載均衡ETLClient負(fù)載均衡邏輯通道選擇資源管理與分配多批次調(diào)度控制節(jié)假日調(diào)度控制周期調(diào)度控制作業(yè)并行度控制作業(yè)重跑、暫停、啟用、禁用作業(yè)定義與依賴關(guān)系定義統(tǒng)一ETL－調(diào)度模塊：調(diào)度模式65作業(yè)調(diào)度時機(jī)外部事件就緒：比如源系統(tǒng)文件到達(dá)，源系統(tǒng)庫表就緒。時間到：某個時刻到達(dá)。作業(yè)完成：需要其依賴的作業(yè)完成。作業(yè)調(diào)度通道一般通道：大部分作業(yè)將在一般通道運(yùn)行。專用通道：指運(yùn)行某一類作業(yè)的通道。比如大作業(yè)，運(yùn)行在專用通道上，可使其不影響一般作業(yè)的處理。VIP通道：對于結(jié)息，年結(jié)這些特殊場景的處理，運(yùn)用VIP通道，確保這些作業(yè)得到最優(yōu)的資源進(jìn)行處理。異常處理自動修復(fù)類：調(diào)度管理器會間隔一定的時間，自動嘗試恢復(fù)。比如事件到達(dá)，但文件還沒到（網(wǎng)絡(luò)存儲系統(tǒng)的延遲造成）。人工干預(yù)類：則需要運(yùn)維人員，根據(jù)具體的異常類型，進(jìn)行手工處理，此信息登記到全局異常表，通過管控平臺展示。ETLPLUS主要功能演示：系統(tǒng)配置用于ETL作業(yè)的運(yùn)行時支持

ETLPLUS主要功能演示：作業(yè)定義1系統(tǒng)配置的可調(diào)度的程序單元，它包括執(zhí)行的程序（比如Shell腳本或datastagejob）及其參數(shù)的配置。支持存儲過程、各類可執(zhí)行程序、虛擬作業(yè)和DS作業(yè)的管理。ETLPLUS主要功能演示：作業(yè)定義2-作業(yè)流作業(yè)流用于管理作業(yè)的依賴關(guān)系，它是系統(tǒng)調(diào)度的最小單元。ETLPLUS主要功能演示：作業(yè)定義3-作業(yè)流觸發(fā)作業(yè)流觸發(fā)條件是系統(tǒng)定義的作業(yè)流觸發(fā)接口，通過文件方式觸發(fā)作業(yè)流的運(yùn)行。ETLPLUS主要功能演示：計(jì)劃調(diào)度計(jì)劃是通過頻度+日歷方式定義要激活的作業(yè)流ETLPLUS主要功能演示：消息設(shè)置設(shè)置計(jì)劃調(diào)度運(yùn)行后的作業(yè)流運(yùn)行狀態(tài)通知，方便用戶監(jiān)控作業(yè)流運(yùn)行情況。統(tǒng)一ETL－監(jiān)控模塊：資源監(jiān)控資源監(jiān)控運(yùn)行概況監(jiān)控到數(shù)、供數(shù)監(jiān)控作業(yè)監(jiān)控統(tǒng)一ETL－監(jiān)控模塊：故障干預(yù)與運(yùn)維報(bào)表73故障干預(yù)運(yùn)維報(bào)表ETLPLUS主要功能演示：總體監(jiān)控提供作業(yè)流和作業(yè)總體監(jiān)控、作業(yè)流和作業(yè)的執(zhí)行日志。在作業(yè)流總體監(jiān)控中，可執(zhí)行啟動、停止、強(qiáng)制啟動和重置狀態(tài)等作業(yè)流干預(yù)動作。ETLPLUS主要功能演示：計(jì)劃監(jiān)控按計(jì)劃監(jiān)控作業(yè)流運(yùn)行狀態(tài)通知，可執(zhí)行啟動、停止、強(qiáng)制啟動和重置狀態(tài)等作業(yè)流干預(yù)動作。ETLPLUS主要功能演示：事件監(jiān)控按事件監(jiān)控作業(yè)流運(yùn)行狀態(tài)通知，可執(zhí)行啟動、停止、強(qiáng)制啟動和重置狀態(tài)等作業(yè)流干預(yù)動作。統(tǒng)一ETL－自動化模塊：處理過程需求說明書處理作業(yè)引用公共組件庫自動化工具組件開發(fā)78統(tǒng)一ETL－自動化模塊：功能DATASTAGE自動化－定制開發(fā)DATASTAGE自動化－批量生成存儲過程自動化自動生成配置文件ETLPLUS主要功能演示：映射定義1ETLPLUS主要功能演示：映射定義2ETLPLUS主要功能演示：自動化開發(fā)1

存儲過程自動化將映射定義生成存儲過程腳本，支持Oracle、SQLServer和DB2數(shù)據(jù)庫。ETLPLUS主要功能演示：自動化開發(fā)2

DataStage自動化將映射定義生成DataStageJob，生成程序的方式，目前支持：生成XML文件，生成并編譯JOB統(tǒng)一ETL－實(shí)施工藝促進(jìn)：自定義組件(示例)積累了豐富的組件庫。部分自定義組件通過編寫C++程序?qū)崿F(xiàn)，調(diào)用DataStage底層的API函數(shù)，然后編譯成動態(tài)鏈接庫的形式供DataStage調(diào)用。充分利用DataStage的并行處理能力和程序的靈活性相結(jié)合的特點(diǎn)。統(tǒng)一ETL－實(shí)施工藝促進(jìn)：實(shí)施工藝標(biāo)準(zhǔn)(示例)統(tǒng)一數(shù)據(jù)管控－架構(gòu)設(shè)計(jì)統(tǒng)一數(shù)據(jù)管控－邏輯架構(gòu)元數(shù)據(jù)管理源系統(tǒng)源系統(tǒng)源系統(tǒng)源系統(tǒng)ETL數(shù)據(jù)服務(wù)StageFDMADM數(shù)據(jù)服務(wù)數(shù)據(jù)服務(wù)元數(shù)據(jù)元數(shù)據(jù)元數(shù)據(jù)元數(shù)據(jù)元數(shù)據(jù)數(shù)據(jù)平臺應(yīng)用系統(tǒng)計(jì)算規(guī)則展現(xiàn)控件報(bào)表展現(xiàn)元數(shù)據(jù)元數(shù)據(jù)元數(shù)據(jù)業(yè)務(wù)元數(shù)據(jù)數(shù)據(jù)質(zhì)量管理針對源系統(tǒng)的質(zhì)量檢核ETL過程質(zhì)量監(jiān)控模型間的數(shù)據(jù)質(zhì)量分析模型間的數(shù)據(jù)質(zhì)量分析針對指標(biāo)加工的數(shù)據(jù)質(zhì)量檢測控件數(shù)據(jù)兼容性檢測數(shù)據(jù)質(zhì)量問題呈現(xiàn)影響分析、血緣分析數(shù)據(jù)標(biāo)準(zhǔn)管理統(tǒng)一數(shù)據(jù)管控－元數(shù)據(jù)管理核心功能87統(tǒng)一數(shù)據(jù)管控－元數(shù)據(jù)管理邏輯功能圖88統(tǒng)一數(shù)據(jù)管控－元模型設(shè)計(jì)元模型是元數(shù)據(jù)需求、元數(shù)據(jù)數(shù)據(jù)源、元數(shù)據(jù)應(yīng)用的結(jié)合點(diǎn)，是元數(shù)據(jù)管理系統(tǒng)的核心部分。存儲模型參照CWM模型，集中存儲、通過XML實(shí)現(xiàn)對象、對象關(guān)系及對象行為等的定義。元模型主要包括結(jié)構(gòu)元模型、映射元模型、代碼管理元模型等。89元模型結(jié)構(gòu)元模型文件結(jié)構(gòu)數(shù)據(jù)庫結(jié)構(gòu)映射元模型腳本信息映射信息代碼管理統(tǒng)一數(shù)據(jù)管控－適配器設(shè)計(jì)根據(jù)源的不同，元數(shù)據(jù)適配器可以分為以下幾類：XML適配器EXCEL適配器數(shù)據(jù)庫結(jié)構(gòu)適配器SQL腳本適配器建模工具適配器可以支持外圍系統(tǒng)提供的多種格式的，結(jié)構(gòu)化和非結(jié)構(gòu)化的元信息導(dǎo)入。90XML文件XML適配器EXCEL文件EXCEL適配器SQL腳本SQL適配器數(shù)據(jù)庫結(jié)構(gòu)數(shù)據(jù)庫適配器ERWin文件建模工具適配器元數(shù)據(jù)知識庫91元數(shù)據(jù)管理模塊－示例：結(jié)構(gòu)管理92元數(shù)據(jù)管理模塊－示例：ETL作業(yè)屬性管理93元數(shù)據(jù)管理模塊－示例：代碼管理94元數(shù)據(jù)管理模塊－示例：影響性分析、血緣分析元數(shù)據(jù)管理模塊－示例：版本管理對同一元數(shù)據(jù)多個歷史版本提供比較功能數(shù)據(jù)質(zhì)量建設(shè)：度量標(biāo)準(zhǔn)96非功能性及時性：指數(shù)據(jù)刷新、修改和提取等的及時和快速性安全性：主要包括數(shù)據(jù)在傳輸、使用過程中的安全性擴(kuò)展性：該系統(tǒng)數(shù)據(jù)體系在不滿足業(yè)務(wù)需求時進(jìn)行擴(kuò)展的可能性與復(fù)雜度功能性完整性：主要包括實(shí)體缺失、屬性缺失、

記錄缺失和字段值缺失四個方面唯一性：指主鍵唯一和候選鍵唯一兩個方面一致性：指統(tǒng)一數(shù)據(jù)來源、冗余存儲和統(tǒng)一口徑的一致性準(zhǔn)確性：指計(jì)量誤差、度量單位等方面的精確度合法性：主要包括格式、類型、值域和業(yè)務(wù)規(guī)則的有效性數(shù)據(jù)質(zhì)量建設(shè)：問題根源97缺乏明確、一致的數(shù)據(jù)需求定義數(shù)據(jù)不正確數(shù)據(jù)不完整數(shù)據(jù)不一致缺乏統(tǒng)一的數(shù)據(jù)規(guī)范規(guī)范不完整規(guī)范不一致缺乏數(shù)據(jù)質(zhì)量問題解決的組織和既定的流程缺少合適的組織來解決質(zhì)量問題缺少制定合適的解決流程數(shù)據(jù)質(zhì)量建設(shè)：解決框架98成立專門的數(shù)據(jù)質(zhì)量管理團(tuán)隊(duì)高層管理人員把控，協(xié)調(diào)不同部門，不同系統(tǒng)間關(guān)系。制定數(shù)據(jù)質(zhì)量規(guī)則不定期發(fā)現(xiàn)質(zhì)量問題及解決建立統(tǒng)一的數(shù)據(jù)質(zhì)量規(guī)則統(tǒng)一術(shù)語規(guī)范統(tǒng)一通用代碼禁止對數(shù)據(jù)的直接修改，以新記錄方式修改數(shù)據(jù)。建立并完善數(shù)據(jù)質(zhì)量問題處理流程質(zhì)量問題報(bào)告協(xié)調(diào)相關(guān)部門形成數(shù)據(jù)問題處理建議和方案執(zhí)行方案，反饋結(jié)果質(zhì)量問題持續(xù)跟蹤數(shù)據(jù)質(zhì)量長期治理在治理的規(guī)范，流程支持下，建立數(shù)據(jù)質(zhì)量管理平臺數(shù)據(jù)平臺應(yīng)用系統(tǒng)－公共應(yīng)用平臺公共應(yīng)用平臺-邏輯架構(gòu)101公共應(yīng)用平臺-權(quán)限管理為了適應(yīng)企業(yè)人員的變動和崗位的調(diào)整，系統(tǒng)將權(quán)限與用戶、角色掛鉤實(shí)現(xiàn)了多種控制方式，靈活適應(yīng)各類企業(yè)的實(shí)際情況用戶級權(quán)限角色級權(quán)限用戶組級權(quán)限公共應(yīng)用平臺-報(bào)表門戶報(bào)表管理報(bào)表開發(fā)報(bào)表數(shù)據(jù)集市BI.OfficeReportServices基本管理參數(shù)管理目錄管理報(bào)表管理報(bào)表引用報(bào)表分類報(bào)表歸檔報(bào)表版本報(bào)表收藏報(bào)表檢索數(shù)據(jù)發(fā)布報(bào)表補(bǔ)錄日志管理日志分級日志審計(jì)信息推送報(bào)表訂閱報(bào)表推送報(bào)表生命周期模板管理模板導(dǎo)入模板導(dǎo)出報(bào)表制作主題選擇模板歷史對象選擇自定義顯示公式定義圖表支持篩選排序告警計(jì)算校驗(yàn)擴(kuò)展設(shè)置過濾設(shè)置轉(zhuǎn)換規(guī)則套打水印報(bào)表使用分析模板維護(hù)數(shù)據(jù)整合層規(guī)則管理任務(wù)代理BI.OfficeUnifiedServer公共應(yīng)用平臺-綜合查詢語義層數(shù)據(jù)服務(wù)窗口數(shù)據(jù)安全行級權(quán)限業(yè)務(wù)主題業(yè)務(wù)對象業(yè)務(wù)結(jié)構(gòu)表間關(guān)系關(guān)系數(shù)據(jù)源Teradata/DB2/SQLServer/SybaseIQ/Oracle/Informix/其他表級權(quán)限主題權(quán)限字段級權(quán)限指標(biāo)權(quán)限業(yè)務(wù)別名指標(biāo)模型API開放接口數(shù)據(jù)分發(fā)和查詢服務(wù)引擎服務(wù)外部系統(tǒng)API集成API集成SQL解析/優(yōu)化器元數(shù)據(jù)服務(wù)緩存服務(wù)負(fù)載均衡會話管理輔助/管理需求管理資源審核管理展現(xiàn)定制批量管理瀏覽靈活報(bào)表圖形Excel導(dǎo)出文本導(dǎo)出報(bào)表定制圖形定制數(shù)據(jù)集定制可視化查詢SQL查詢存儲過程查詢JDBC用戶習(xí)慣分析公共應(yīng)用平臺-多維展示客戶端模塊（Browser）MDX取數(shù)引擎管理定制連接管理參數(shù)定義目錄管理日志審計(jì)分析瀏覽元數(shù)據(jù)管理數(shù)據(jù)格式交叉報(bào)表分析圖形成員搜索時間智能導(dǎo)出打印排序過濾分析跳轉(zhuǎn)告警LongtopXMLAAdapterforEssase7OracleEssbase9Others(BW,SSAS)多維探索MicrosoftSSAS多維數(shù)據(jù)庫多維計(jì)算層報(bào)表制作自定義命名集宏擴(kuò)展自定義成員成員過濾器告警規(guī)則跳轉(zhuǎn)規(guī)則維成員權(quán)限IBMDB2CubingServiceLongtopXMLAAdapterforSSAS公共應(yīng)用平臺-儀表盤Dashboard內(nèi)置表格、油量表、柱圖、餅圖、曲線圖、雷達(dá)圖、地圖等多種豐富的數(shù)據(jù)展示形式，并配以動態(tài)畫圖效果，更加生動形象。公共應(yīng)用平臺-數(shù)據(jù)補(bǔ)錄支持基于零編程、可配置的明細(xì)數(shù)據(jù)補(bǔ)錄支持純HTML補(bǔ)錄、Excel導(dǎo)入數(shù)據(jù)補(bǔ)錄支持多表/多庫的數(shù)據(jù)補(bǔ)錄支持Excel離線數(shù)據(jù)批量入庫Agenda一、數(shù)據(jù)中心藍(lán)圖規(guī)劃二、技術(shù)實(shí)現(xiàn)三、同行借鑒LongtopBI數(shù)據(jù)線客戶案例（1）

中國建設(shè)銀行總行數(shù)據(jù)平臺(2006-今)數(shù)據(jù)線整體規(guī)劃ODSEDW/MIS數(shù)據(jù)標(biāo)準(zhǔn)管理數(shù)據(jù)質(zhì)量管理元數(shù)據(jù)管理ETL自動化平臺調(diào)度監(jiān)控平臺SUP實(shí)施工藝中國建設(shè)銀行總行應(yīng)用項(xiàng)目(2006-09年)BASELII－零售PD-EAD-LGD計(jì)量零售分池風(fēng)險(xiǎn)模型實(shí)驗(yàn)室平臺ECIFOCRMACRMS-MIS集團(tuán)客戶關(guān)系管理系統(tǒng)貸記卡管理信息系統(tǒng)（CCMIS）反洗錢聯(lián)合國黑名單檢索系統(tǒng)中國建設(shè)銀行－吉林分行(2008年)ODSB數(shù)據(jù)移植中國建設(shè)銀行－新疆分行(2008年)ODSB數(shù)據(jù)移植對公/對私客戶分析中國建設(shè)銀行－遼寧省分行(2007-2008年)ODSB數(shù)據(jù)移植對公CRM，對私CRM，產(chǎn)品管理中國建設(shè)銀行－廈門分行(2007-2008年)ODSB數(shù)據(jù)移植對公/對私客戶分析、產(chǎn)品管理、績效考核中國建設(shè)銀行－山東省分行(2005-2007年)對公客戶營銷服務(wù)支持系統(tǒng)（對公CRM）對私客戶營銷服務(wù)支持系統(tǒng)（對私CRM）績效考核，產(chǎn)品