基于ODSB架構(gòu)的數(shù)據(jù)倉庫培訓(xùn)教材

1、China Construction Bank. | 1基于基于ODSBODSB架構(gòu)的數(shù)據(jù)倉庫培訓(xùn)架構(gòu)的數(shù)據(jù)倉庫培訓(xùn)China Construction Bank. | 2提綱數(shù)據(jù)倉庫基本概念數(shù)據(jù)倉庫的相關(guān)技術(shù)ODSB模型基于ODSB模型的匯總區(qū)ODSB模型架構(gòu)基于總行ODSB架構(gòu)的實施流程China Construction Bank. | 3 數(shù)據(jù)倉庫基本概念名詞解釋數(shù)據(jù)倉庫：數(shù)據(jù)倉庫：數(shù)據(jù)倉庫通常是一個面向主題的、集成的、隨時間變化的、但信息本身相對穩(wěn)定的數(shù)據(jù)集合，它用于對管理決策過程的支持。主題：主題：是指用戶使用數(shù)據(jù)倉庫進行決策時所關(guān)心的重點方面，如：收入、客戶、銷售渠道等；所謂面向

2、主題，是指數(shù)據(jù)倉庫內(nèi)的信息是按主題進行組織的，而不是像業(yè)務(wù)支撐系統(tǒng)那樣是按照業(yè)務(wù)功能進行組織的。集成：集成：是指數(shù)據(jù)倉庫中的信息不是從各個業(yè)務(wù)系統(tǒng)中簡單抽取出來的，而是經(jīng)過一系列加工、整理和匯總的過程，因此數(shù)據(jù)倉庫中的信息是關(guān)于整個企業(yè)的一致的全局信息。隨時間變化：隨時間變化：是指數(shù)據(jù)倉庫內(nèi)的信息并不只是反映企業(yè)當(dāng)前的狀態(tài)，而是記錄了從過去某一時點到當(dāng)前各個階段的信息。通過這些信息，可以對企業(yè)的發(fā)展歷程和未來趨勢做出定量分析和預(yù)測。China Construction Bank. | 4數(shù)據(jù)倉庫的特點效率足夠高：效率足夠高：數(shù)據(jù)倉庫的分析數(shù)據(jù)一般分為日、周、月、季、年等，可以看出，日為周期的數(shù)

3、據(jù)要求的效率最高，要求24小時甚至12小時內(nèi)，目前普遍的數(shù)據(jù)展現(xiàn)方式為T+1，即當(dāng)日處理昨日的業(yè)務(wù)數(shù)據(jù)。數(shù)據(jù)質(zhì)量：數(shù)據(jù)質(zhì)量：基于數(shù)據(jù)倉庫的應(yīng)用所面對的一般為企業(yè)決策層用戶，所以對數(shù)據(jù)倉庫提供的各種信息，肯定要準確的數(shù)據(jù)；但由于數(shù)據(jù)源有臟數(shù)據(jù)或者代碼不嚴謹，所以數(shù)據(jù)倉庫流程通常分為多個步驟，包括數(shù)據(jù)抽取，清洗，轉(zhuǎn)換，裝載，查詢，展現(xiàn)等等；其中數(shù)據(jù)清洗則主要對抽取過來各數(shù)據(jù)源的臟數(shù)據(jù)和不規(guī)范數(shù)據(jù)進行統(tǒng)一標準化。擴展性：擴展性：有的大型數(shù)據(jù)倉庫系統(tǒng)架構(gòu)設(shè)計復(fù)雜，是因為考慮到了未來3-5年的擴展性，這樣的話，未來不用花太多時間去重建數(shù)據(jù)倉庫系統(tǒng)，就能很穩(wěn)定運行。主要體現(xiàn)在數(shù)據(jù)建模的合理性，數(shù)據(jù)倉庫方案

4、中多出一些中間層，使海量數(shù)據(jù)流有足夠的緩沖，不至于因為數(shù)據(jù)源的變動而導(dǎo)致用戶應(yīng)用功能的頻繁變動。 China Construction Bank. | 5數(shù)據(jù)倉庫的相關(guān)技術(shù)China Construction Bank. | 6數(shù)據(jù)倉庫的相關(guān)技術(shù)-數(shù)據(jù)處理DataStage：是由IBM公司開發(fā)的，是一套專門對多種操作數(shù)據(jù)源的數(shù)據(jù)抽取、轉(zhuǎn)換和維護過程進行簡化和自動化，并將其輸入數(shù)據(jù)集市或數(shù)據(jù)倉庫目標數(shù)據(jù)庫的集成工具。DataStage 能夠處理多種數(shù)據(jù)源的數(shù)據(jù)，包括各種數(shù)據(jù)庫系統(tǒng)及普通文件系統(tǒng)等。優(yōu)點是對于多數(shù)據(jù)源中的數(shù)據(jù)處理和文本數(shù)據(jù)可以通過簡單的配置輕松的實現(xiàn)；缺點是對于需要復(fù)雜業(yè)務(wù)邏輯運算

5、的數(shù)據(jù)處理比較繁瑣，可讀性較差。Pro*C：ORACLE支持的通過在過程化編程語言C/C+中嵌入SQL語句而開發(fā)出的應(yīng)用程序。優(yōu)點是C語言的邏輯控制能力強；缺點是可移植性差，有指針引起的內(nèi)存泄露隱患。存儲過程：存儲過程：存儲過程（Stored Procedure）是在大型數(shù)據(jù)庫系統(tǒng)中，一組為了完成特定功能的SQL 語句集，經(jīng)編譯后存儲在數(shù)據(jù)庫中，用戶通過指定存儲過程的名字并給出參數(shù)（如果該存儲過程帶有參數(shù)）來執(zhí)行它。優(yōu)點是存儲過程是編譯過的，執(zhí)行快，寫程序簡單，升級、維護方便；缺點是可移植性差，編程語言SQL功能較差，對文件的處理比較弱。China Construction Bank. | 7

6、數(shù)據(jù)倉庫的相關(guān)技術(shù)-數(shù)據(jù)展現(xiàn)Cognos：IBM公司的BI產(chǎn)品，主要提供固定報表，靈活報表，儀表盤，多維分析等展現(xiàn)工具為企業(yè)提供提供完整的業(yè)務(wù)智能功能的解決方案。RIDE：建行自主研發(fā)的報表集成開發(fā)環(huán)境的簡稱，它主要為了屏蔽各種BI工具的差異性保證信息展示風(fēng)格一致，提供面向用戶的邏輯系統(tǒng)以實現(xiàn)個性化的信息展示。China Construction Bank. | 8數(shù)據(jù)倉庫的相關(guān)技術(shù)-數(shù)據(jù)挖掘數(shù)據(jù)挖掘工具可分為數(shù)據(jù)挖掘工具及文本挖掘工具，它的核心是具有多元化的數(shù)據(jù)訪問能力，強大的數(shù)據(jù)處理能力，豐富的數(shù)據(jù)模型以及直觀的數(shù)據(jù)展現(xiàn)能力。China Construction Bank. | 9ODSB

7、模型總賬（5張表）張表）協(xié)議（188張表）張表）團體（49張表）張表）事件（120張表）張表）渠道（11張表）張表）產(chǎn)品（30張表）張表）公用（58張表）張表）擴展區(qū)（7張表）張表）China Construction Bank. | 10基于ODSB模型的匯總總行匯總區(qū)總行匯總區(qū)賬戶層面的日交易匯總、月匯總信息，總行已經(jīng)考慮了各分行的共同應(yīng)用需求，已經(jīng)在ODSB 公共匯總層進行。分行匯總區(qū)分行匯總區(qū)如果各分行的一些公共應(yīng)用在現(xiàn)有的總行匯總區(qū)中不能滿足，如客戶層面的匯總、機構(gòu)層面的匯總，則可提煉出公共的要素，將在分行的數(shù)據(jù)平臺的公共匯總層進行統(tǒng)一加 工，為各管理信息系統(tǒng)使用。China Con

8、struction Bank. | 11ODSB模型架構(gòu)China Construction Bank. | 12基于總行ODSB架構(gòu)的實施流程根據(jù)ODSB及管理分析類應(yīng)用項目的實施特點，以及在ODSB建設(shè)過程中的經(jīng)驗和成果，將其項目實施過程分為8個階段，分別是：重點對需求分析階段、模型設(shè)計階段、ETL設(shè)計開發(fā)階段、前端展現(xiàn)開發(fā)階段的實施工藝流程作重點介紹對于前期準備階段、系統(tǒng)測試階段、上線運行階段和項目收尾階段的工作，各分行可以根據(jù)本分行和總行已有項目管理制度規(guī)范等來實施、完成前期準備需求分析模型設(shè)計ETL設(shè)計開發(fā)前端展現(xiàn)開發(fā)系統(tǒng)測試上線運行項目收尾China Construction Ba

9、nk. | 13需求分析階段主要任務(wù)展現(xiàn)分析展現(xiàn)分析根據(jù)收集的業(yè)務(wù)需求，進行展現(xiàn)層面的分析，并進行展現(xiàn)形式的分類。根據(jù)收集的業(yè)務(wù)需求，進行展現(xiàn)層面的分析，并進行展現(xiàn)形式的分類。 例如劃分為明細數(shù)據(jù)查詢類報表需求，分析類報表需求，復(fù)雜報表需求等，對應(yīng)用的功能性和非功能性需求進行分析，根據(jù)報表的展現(xiàn)方式分析報表的業(yè)務(wù)角度和度量。數(shù)據(jù)源分析數(shù)據(jù)源分析對展現(xiàn)的報表、查詢等數(shù)據(jù)需求進行數(shù)據(jù)來源和加工業(yè)務(wù)口徑方面分析對展現(xiàn)的報表、查詢等數(shù)據(jù)需求進行數(shù)據(jù)來源和加工業(yè)務(wù)口徑方面分析 區(qū)分可從源系統(tǒng)（包括ODSB數(shù)據(jù)模型和分行特色系統(tǒng)）采集的數(shù)據(jù)和源系統(tǒng)中無法采集，需外部錄入的數(shù)據(jù)。需求分類需求分類/整理整理從

10、技術(shù)層面和業(yè)務(wù)層面上對需求進行分類從技術(shù)層面和業(yè)務(wù)層面上對需求進行分類/整理工作。整理工作。 在技術(shù)層面，結(jié)合展現(xiàn)分析和數(shù)據(jù)源分析成果，對業(yè)務(wù)需求從其數(shù)據(jù)源頭（數(shù)據(jù)源）、中間加工過程（業(yè)務(wù)加工口徑）、到實現(xiàn)目標（展現(xiàn)功能性需求與非功能性需求）進行綜合整理；在業(yè)務(wù)層面，進行需求的整體規(guī)劃，劃分需求模塊，必要的時候能用DEMO的方式與需求提成部門確認需求。需求評審需求評審在完成需求分類在完成需求分類/整理任務(wù)后，需求分析說明書完稿，由項目發(fā)起部門召集相關(guān)業(yè)整理任務(wù)后，需求分析說明書完稿，由項目發(fā)起部門召集相關(guān)業(yè)務(wù)部門聯(lián)系人，召開需求評審會議。務(wù)部門聯(lián)系人，召開需求評審會議。China Constr

11、uction Bank. | 14需求分析階段投入產(chǎn)出物輸入前期準備階段文檔模板_需求說明書.doc輸出&主要提交物需求分析階段文檔模板_01報表功能需求分析說明書.doc需求分析階段文檔模板_02報表數(shù)據(jù)需求分析說明書.doc需求分析階段文檔模板_03數(shù)據(jù)源分析報告.docChina Construction Bank. | 15模型設(shè)計階段主要任務(wù)模型設(shè)計分析根據(jù)展現(xiàn)分析和數(shù)據(jù)源分析結(jié)果，確認當(dāng)前模型對需求的滿足情況，滿足則說明如何實現(xiàn)需求，不滿足時則提出擴充模型（總行統(tǒng)一模型和分行特色模型）的申請，使得ODSB模型能夠更好的為分行應(yīng)用提供服務(wù)，同時本階段產(chǎn)生的分析結(jié)果文檔可以為后

12、續(xù)模型設(shè)計任務(wù)提供工作依據(jù)，為ETL設(shè)計提供參考。特色模型邏輯設(shè)計MDM模型設(shè)計,特色ADM模型設(shè)計,特色FDM模型設(shè)計模型數(shù)據(jù)質(zhì)量檢核規(guī)則設(shè)計根據(jù)業(yè)務(wù)規(guī)則和模型設(shè)計結(jié)果進行數(shù)據(jù)質(zhì)量檢核規(guī)則設(shè)計。模型設(shè)計評審物理模型設(shè)計模型優(yōu)化設(shè)計China Construction Bank. | 16模型設(shè)計階段投入產(chǎn)出物輸入需求分析階段文檔模板_01需求分析說明書.doc需求分析階段文檔模板_02報表功能需求分析說明書.doc需求分析階段文檔模板_03報表數(shù)據(jù)需求分析說明書.doc需求分析階段文檔模板_04報表數(shù)據(jù)源分析報告.doc輸出ERWIN的邏輯模型模型設(shè)計階段文檔模版_01模型數(shù)據(jù)質(zhì)量檢核規(guī)則.

13、xls模型設(shè)計階段文檔模版_02模型物理設(shè)計說明書.docChina Construction Bank. | 17ETL設(shè)計開發(fā)階段主要任務(wù)ETL總體設(shè)計總體設(shè)計包括ETL實施工具選型，調(diào)度策略，實施工藝等等。ETL特殊處理設(shè)計特殊處理設(shè)計如機構(gòu)拆并、季度結(jié)息、全量數(shù)據(jù)初始化、增量等特殊場景或時點進行特殊處理設(shè)計。針對一些特殊邏輯總行已開發(fā)公共組件，則采用公共組件進行開發(fā)。ETL詳細設(shè)計詳細設(shè)計具體每個ETL作業(yè)的設(shè)計，包含MAPPING設(shè)計、數(shù)據(jù)質(zhì)量檢核設(shè)計開發(fā)、根據(jù)ETL業(yè)務(wù)場景選擇開發(fā)方式、各數(shù)據(jù)層（FDM特色模型、ADM特色模型、MDM）設(shè)計及測試反饋后的優(yōu)化等。ETL設(shè)計評審設(shè)計評

14、審針對以上的設(shè)計環(huán)節(jié)進行評審，包括ETL總體設(shè)計評審、ETL特殊處理設(shè)計評審、ETL詳細設(shè)計評審、MAPPING設(shè)計評審等。ETL作業(yè)開發(fā)作業(yè)開發(fā)具體每個ETL作業(yè)的開發(fā)，包括自動化工具開發(fā)、手工開發(fā)，及作業(yè)開發(fā)后的作業(yè)參數(shù)配置，調(diào)度開發(fā)。ETL應(yīng)用集成應(yīng)用集成的初始化全量數(shù)據(jù)和增量數(shù)對開發(fā)的作業(yè)進行集成，并部署在ETL節(jié)點及CTM上，導(dǎo)入其作業(yè)參數(shù)、調(diào)度配置參數(shù)等，準備ETL所需據(jù)，為后續(xù)ETL測試做準備。ETL測試測試對ETL進行測試，主要包含ETL作業(yè)功能與性能進行測試、數(shù)據(jù)正確性測試等，并對性能進行優(yōu)化China Construction Bank. | 18ETL設(shè)計開發(fā)階段投入產(chǎn)出物輸入各特色業(yè)務(wù)系統(tǒng)數(shù)據(jù)字典需求說明書.doc(需求分析階段提供)數(shù)據(jù)源分析報告.doc（需求分析階段提供）分行特色模型（模型設(shè)計階段提