銀行數(shù)據(jù)倉庫建設(shè)項(xiàng)目方案的報(bào)告

1、 .wd. .wd. .wd.XX銀行EDW/數(shù)據(jù)倉庫工程方案目錄 TOC o 1-3 h z HYPERLINK l _Toc469564695第一章 系統(tǒng)總體架構(gòu) PAGEREF _Toc469564695 h HYPERLINK l _Toc4695646961.1 總體架構(gòu)設(shè)計(jì)概述 PAGEREF _Toc469564696 h HYPERLINK l _Toc4695646971.1.1 總體架構(gòu)的設(shè)計(jì)框架 PAGEREF _Toc469564697 h HYPERLINK l _Toc4695646981.1.2 總體架構(gòu)的設(shè)計(jì)原那么 PAGEREF _Toc469564698 h

2、 HYPERLINK l _Toc4695646991.1.3 總體架構(gòu)的設(shè)計(jì)特點(diǎn) PAGEREF _Toc469564699 h HYPERLINK l _Toc4695647001.2 EDW執(zhí)行架構(gòu) PAGEREF _Toc469564700 h HYPERLINK l _Toc4695647011.2.1 執(zhí)行架構(gòu)概述 PAGEREF _Toc469564701 h HYPERLINK l _Toc4695647021.2.2 執(zhí)行架構(gòu)設(shè)計(jì)原那么 PAGEREF _Toc469564702 h HYPERLINK l _Toc4695647031.2.3 執(zhí)行架構(gòu)框架 PAGEREF

3、_Toc469564703 h HYPERLINK l _Toc4695647041.3 EDW邏輯架構(gòu) PAGEREF _Toc469564704 h HYPERLINK l _Toc4695647051.3.1 邏輯架構(gòu)框架 PAGEREF _Toc469564705 h HYPERLINK l _Toc4695647061.3.2 數(shù)據(jù)處理流程 PAGEREF _Toc469564706 h HYPERLINK l _Toc4695647071.4 EDW運(yùn)維架構(gòu) PAGEREF _Toc469564707 h HYPERLINK l _Toc4695647081.4.1 運(yùn)維架構(gòu)概述

4、PAGEREF _Toc469564708 h HYPERLINK l _Toc4695647091.4.2 運(yùn)維架構(gòu)的邏輯框架 PAGEREF _Toc469564709 h HYPERLINK l _Toc4695647101.5 EDW數(shù)據(jù)架構(gòu) PAGEREF _Toc469564710 h HYPERLINK l _Toc4695647111.5.1 數(shù)據(jù)架構(gòu)設(shè)計(jì)原那么 PAGEREF _Toc469564711 h HYPERLINK l _Toc4695647121.5.2 數(shù)據(jù)架構(gòu)分層設(shè)計(jì) PAGEREF _Toc469564712 h HYPERLINK l _Toc46956

5、47131.6 EDW應(yīng)用架構(gòu) PAGEREF _Toc469564713 h HYPERLINK l _Toc4695647141.6.1 應(yīng)用架構(gòu)設(shè)計(jì)原那么 PAGEREF _Toc469564714 h HYPERLINK l _Toc4695647151.6.2 數(shù)據(jù)服務(wù) PAGEREF _Toc469564715 h HYPERLINK l _Toc4695647161.6.3 應(yīng)用服務(wù) PAGEREF _Toc469564716 h HYPERLINK l _Toc469564717第二章 ETL體系建設(shè) PAGEREF _Toc469564717 h HYPERLINK l _T

6、oc4695647182.1 ETL架構(gòu)概述 PAGEREF _Toc469564718 h HYPERLINK l _Toc4695647192.2 ETL設(shè)計(jì)方案 PAGEREF _Toc469564719 h HYPERLINK l _Toc4695647202.3 ETL關(guān)鍵設(shè)計(jì)環(huán)節(jié) PAGEREF _Toc469564720 h HYPERLINK l _Toc4695647212.3.1 接口層設(shè)計(jì)策略 PAGEREF _Toc469564721 h HYPERLINK l _Toc4695647222.3.2 Staging Area設(shè)計(jì)策略 PAGEREF _Toc469564

7、722 h HYPERLINK l _Toc4695647232.3.3 數(shù)據(jù)加載策略 PAGEREF _Toc469564723 h HYPERLINK l _Toc4695647242.3.4 增量ETL設(shè)計(jì)策略 PAGEREF _Toc469564724 h HYPERLINK l _Toc4695647252.3.5 異常處理 PAGEREF _Toc469564725 h HYPERLINK l _Toc4695647262.3.6 作業(yè)調(diào)度和監(jiān)控 PAGEREF _Toc469564726 h HYPERLINK l _Toc4695647272.3.7 元數(shù)據(jù)管理 PAGEREF

8、 _Toc469564727 h HYPERLINK l _Toc4695647282.3.8 ETL模塊設(shè)計(jì) PAGEREF _Toc469564728 h HYPERLINK l _Toc4695647292.3.9 ETL流程設(shè)計(jì) PAGEREF _Toc469564729 h HYPERLINK l _Toc4695647302.3.10 動態(tài)資源分配 PAGEREF _Toc469564730 h HYPERLINK l _Toc4695647312.3.11 數(shù)據(jù)接口設(shè)計(jì) PAGEREF _Toc469564731 h 系統(tǒng)總體架構(gòu)總體架構(gòu)設(shè)計(jì)概述總體架構(gòu)的設(shè)計(jì)框架XX銀行EDW工

9、程的總體架構(gòu)分為基礎(chǔ)技術(shù)架構(gòu)、應(yīng)用架構(gòu)和數(shù)據(jù)架構(gòu)三個核心局部。這三個局部共同組成了XX銀行EDW系統(tǒng)。在基礎(chǔ)技術(shù)架構(gòu)中，包括執(zhí)行架構(gòu)、邏輯架構(gòu)、功能組件架構(gòu)和運(yùn)維架構(gòu)四個局部。執(zhí)行架構(gòu)描述系統(tǒng)大的框架和模塊區(qū)域，以及之間的邏輯關(guān)系；是確定生產(chǎn)環(huán)境的建設(shè)要求及指導(dǎo)原那么。邏輯架構(gòu)描述EDW各個模塊之間的數(shù)據(jù)的接口、數(shù)據(jù)流向、工具使用和采用具體的技術(shù)實(shí)現(xiàn)手段或方式情況，用于標(biāo)準(zhǔn)本工程最終生產(chǎn)環(huán)境的建設(shè)。邏輯架構(gòu)是建設(shè)應(yīng)用架構(gòu)、執(zhí)行架構(gòu)、運(yùn)維架構(gòu)的基礎(chǔ)，也是建設(shè)執(zhí)行架構(gòu)、應(yīng)用架構(gòu)以及運(yùn)維架構(gòu)的原型系統(tǒng)。功能組件架構(gòu)描述確定系統(tǒng)各個大的組件組件區(qū)域的功能模塊框架，以及提供的某種服務(wù)類型。運(yùn)維架構(gòu)是描述

10、EDW工程的運(yùn)維架構(gòu)標(biāo)準(zhǔn)，包括運(yùn)維架構(gòu)設(shè)計(jì)的內(nèi)容、設(shè)計(jì)原那么、各構(gòu)成組件的設(shè)計(jì)考慮因素、約束、要求等。運(yùn)維架構(gòu)通過相應(yīng)的流程和工具實(shí)現(xiàn)對邏輯架構(gòu)、功能組件架構(gòu)、執(zhí)行架構(gòu)、數(shù)據(jù)架構(gòu)以及應(yīng)用架構(gòu)的運(yùn)維和管理。而數(shù)據(jù)架構(gòu)和應(yīng)用架構(gòu)的主要描述：應(yīng)用架構(gòu)是EDW為滿足業(yè)務(wù)需求所提供的系統(tǒng)應(yīng)用功能及其藍(lán)圖設(shè)計(jì)，其中業(yè)務(wù)需求是應(yīng)用架構(gòu)設(shè)計(jì)的基礎(chǔ)，最終的應(yīng)用架構(gòu)將以應(yīng)用系統(tǒng)的形式表達(dá)在執(zhí)行架構(gòu)中，主要包括：應(yīng)用服務(wù)和數(shù)據(jù)服務(wù)。數(shù)據(jù)架構(gòu)描述于EDW系統(tǒng)相關(guān)的數(shù)據(jù)流動策略，即數(shù)據(jù)在EDW系統(tǒng)的執(zhí)行架構(gòu)下的抽取、轉(zhuǎn)換、儲存策略以及應(yīng)采用的流程，包括數(shù)據(jù)層次和總分行之間的數(shù)據(jù)分部情況等。數(shù)據(jù)架構(gòu)是建設(shè)執(zhí)行架構(gòu)標(biāo)準(zhǔn)的需

11、求定義。以下列圖是EDW工程總體架構(gòu)的框架：總體架構(gòu)的設(shè)計(jì)原那么總體架構(gòu)在著重考慮實(shí)施要求的同時，需要為后續(xù)階段進(jìn)展規(guī)劃，以保證工程最終能夠到達(dá)目標(biāo)架構(gòu)的設(shè)計(jì)；總體架構(gòu)的設(shè)計(jì)要基于包括XX銀行數(shù)據(jù)現(xiàn)狀分析、實(shí)施階段數(shù)據(jù)源情況分析、第一階段實(shí)施EDW設(shè)計(jì)建議做為參考；總體架構(gòu)設(shè)計(jì)架構(gòu)時充分考慮與現(xiàn)有系統(tǒng)兼容，充分利用已有成果，防止重復(fù)開發(fā)和建設(shè)?？傮w架構(gòu)設(shè)計(jì)過程中應(yīng)遵守XX銀行的IT管理規(guī)程，保證最終的系統(tǒng)可以順利的部署并移交給XX銀行的運(yùn)行維護(hù)部門?？傮w架構(gòu)的設(shè)計(jì)特點(diǎn)權(quán)衡功能、性能、可擴(kuò)展性、易用性、可管理性和性價比。根據(jù)XX銀行的數(shù)據(jù)情況和分析需求，采用多層次的企業(yè)EDW系統(tǒng)架構(gòu)來保證在存在

12、復(fù)雜的數(shù)據(jù)種類和關(guān)系的海量數(shù)據(jù)上進(jìn)展業(yè)務(wù)分析和查詢在業(yè)務(wù)支持能力和性能等方面的要求。多級自動的增量ETL加載機(jī)制，有效提高ETL并發(fā)度、加載效率，降低錯誤處理的復(fù)雜性。通過用戶入口支持用戶采用Web瀏覽器使用查詢和分析工具，統(tǒng)一的信息服務(wù)界面，提高系統(tǒng)易用性，減少技術(shù)支持工作量。利用企業(yè)信息集成和Web數(shù)據(jù)服務(wù)，提高系統(tǒng)的數(shù)據(jù)支持能力和接口的一致性。統(tǒng)一的數(shù)據(jù)增強(qiáng)平臺也減少數(shù)據(jù)增強(qiáng)的復(fù)雜度。EDW執(zhí)行架構(gòu)執(zhí)行架構(gòu)的主要內(nèi)容是描述EDW工程執(zhí)行架構(gòu)的建設(shè)要求及指導(dǎo)原那么，用于標(biāo)準(zhǔn)本工程最終生產(chǎn)環(huán)境的建設(shè)。EDW工程的生產(chǎn)環(huán)境的建設(shè)需要參考并遵循執(zhí)行架構(gòu)局部提出的要求。執(zhí)行架構(gòu)概述執(zhí)行架構(gòu)是EDW

13、的概念環(huán)境，主要包含：源數(shù)據(jù)、數(shù)據(jù)落地區(qū)、ETL、數(shù)據(jù)準(zhǔn)備區(qū)、數(shù)據(jù)存儲區(qū)EDW、業(yè)務(wù)應(yīng)用、用戶環(huán)境、數(shù)據(jù)管控、系統(tǒng)安全性以及EDW基礎(chǔ)設(shè)施平臺包括：服務(wù)器、存儲、網(wǎng)絡(luò)等功能組件。從技術(shù)層面上來說，EDW系統(tǒng)的執(zhí)行架構(gòu)應(yīng)實(shí)現(xiàn)多種技術(shù)平臺及應(yīng)用之間的無縫集成。執(zhí)行架構(gòu)設(shè)計(jì)原那么在EDW工程實(shí)施的過程中，系統(tǒng)執(zhí)行架構(gòu)的建設(shè)應(yīng)遵循以下技術(shù)原那么：開放性原那么：EDW工程的生產(chǎn)環(huán)境的建設(shè)應(yīng)基于業(yè)界開放標(biāo)準(zhǔn)，對系統(tǒng)中使用的網(wǎng)絡(luò)協(xié)議、硬件接口、數(shù)據(jù)接口等應(yīng)進(jìn)展統(tǒng)一規(guī)劃，EDW系統(tǒng)應(yīng)支持主流的應(yīng)用軟件包及其部署的各種硬件平臺。靈活性與可擴(kuò)展性：EDW系統(tǒng)的基礎(chǔ)設(shè)施平臺應(yīng)能夠根據(jù)未來系統(tǒng)的開展需要以及應(yīng)用需求，

14、方便的擴(kuò)展設(shè)備容量和提升設(shè)備性能；具備支持多種組件模塊、多種物理接口的能力；具備技術(shù)升級、設(shè)備更新的靈活性；具備支持業(yè)務(wù)功能的擴(kuò)展與重構(gòu)的靈活性。如：系統(tǒng)容量可以隨著ETL系統(tǒng)數(shù)據(jù)量的擴(kuò)展以及應(yīng)用系統(tǒng)的不斷擴(kuò)展、用戶量不斷擴(kuò)展而進(jìn)展平滑的擴(kuò)展。高性能原那么：系統(tǒng)應(yīng)到達(dá)數(shù)據(jù)處理時間窗口的要求，用戶定義的查詢效率、響應(yīng)時間的要求，滿足業(yè)務(wù)系統(tǒng)的要求；對現(xiàn)有業(yè)務(wù)系統(tǒng)影響小。自動化原那么：EDW工程建設(shè)的核心任務(wù)之一是數(shù)據(jù)抽取、轉(zhuǎn)換、清洗和加載ETL，在這個過程中應(yīng)采用自動化的設(shè)計(jì)原那么，防止手工操作。同時對于元數(shù)據(jù)管理過程應(yīng)采用元數(shù)據(jù)管理平臺來實(shí)現(xiàn)對元數(shù)據(jù)集中、自動化的管理。安全性原那么：EDW工程

15、建設(shè)中的數(shù)據(jù)遷移過程都必須保證數(shù)據(jù)的安全性，例如：在系統(tǒng)建設(shè)過程中應(yīng)對數(shù)據(jù)中敏感字段進(jìn)展安全處理、同時整個系統(tǒng)還應(yīng)采用網(wǎng)絡(luò)隔離、用戶身份認(rèn)證及訪問控制、數(shù)據(jù)庫安全、操作系統(tǒng)安全以及完善的安全審計(jì)機(jī)制。執(zhí)行架構(gòu)框架上圖是EDW系統(tǒng)執(zhí)行架構(gòu)，其中包含EDW系統(tǒng)中涵蓋的功能框架以及框架之間的邏輯關(guān)系。在以下的內(nèi)容中將對執(zhí)行架構(gòu)中的功能框架以及框架之間的關(guān)系進(jìn)展詳細(xì)描述，具體內(nèi)容包括：數(shù)據(jù)源：包括XX銀行的多個業(yè)務(wù)系統(tǒng)，主要有核心系統(tǒng)、個貸系統(tǒng)、信貸系統(tǒng)、國際業(yè)務(wù)系統(tǒng)、財(cái)務(wù)系統(tǒng)和各類渠道系統(tǒng)等。數(shù)據(jù)落地區(qū)：此局部內(nèi)容說明數(shù)據(jù)落地的用途，同時對數(shù)據(jù)落地區(qū)應(yīng)具備的功能進(jìn)展了標(biāo)準(zhǔn)定義以及數(shù)據(jù)落地區(qū)與其他功能

16、組件之間的關(guān)聯(lián)關(guān)系；ETL：此局部內(nèi)容描述ETL系統(tǒng)中數(shù)據(jù)抽取、轉(zhuǎn)換、加載等功能的需求，同時定義了ETL系統(tǒng)建設(shè)的標(biāo)準(zhǔn)以及ETL與系統(tǒng)中其他功能組件之間的關(guān)系；數(shù)據(jù)準(zhǔn)備區(qū)：此局部描述數(shù)據(jù)準(zhǔn)備區(qū)應(yīng)具備的功能，以及數(shù)據(jù)準(zhǔn)備區(qū)在建設(shè)過程中的標(biāo)準(zhǔn)需求。操作型存儲區(qū)：此局部內(nèi)容描述EDW系統(tǒng)在建設(shè)的過程中操作型存儲區(qū)應(yīng)遵循的標(biāo)準(zhǔn)以及系統(tǒng)建設(shè)過程中應(yīng)滿足的需求；數(shù)據(jù)倉庫存儲區(qū)：此局部內(nèi)容描述EDW系統(tǒng)的數(shù)據(jù)倉庫存儲區(qū)應(yīng)遵循的標(biāo)準(zhǔn)以及系統(tǒng)建設(shè)過程中應(yīng)滿足的需求；業(yè)務(wù)應(yīng)用：此局部內(nèi)容描述BI應(yīng)用系統(tǒng)建設(shè)的系統(tǒng)需求，包含對應(yīng)用環(huán)境、分析環(huán)境、靜態(tài)報(bào)表環(huán)境；用戶環(huán)境：此局部的內(nèi)容描述用戶在EDW系統(tǒng)中應(yīng)具備運(yùn)用的

17、能力，包括：利用通用展現(xiàn)平臺進(jìn)展信息展現(xiàn)、駕駛艙應(yīng)用、報(bào)表應(yīng)用等；時間窗口和性能的定義：此局部描述整個EDW工程中關(guān)于時間窗口的定義以及相關(guān)系統(tǒng)的性能指標(biāo)要求；元數(shù)據(jù)管理：此局部描述在系統(tǒng)執(zhí)行架構(gòu)中元數(shù)據(jù)管理的內(nèi)容以及元數(shù)據(jù)管理系統(tǒng)的建設(shè)的標(biāo)準(zhǔn)定義；系統(tǒng)安全性：此局部內(nèi)容主要描述EDW系統(tǒng)中的安全性管理內(nèi)容，包括應(yīng)用安全、網(wǎng)絡(luò)安全、數(shù)據(jù)安全、系統(tǒng)安全等，同時描述系統(tǒng)安全在建設(shè)過程中遵循的原那么；基礎(chǔ)設(shè)施平臺服務(wù)器 、網(wǎng)絡(luò)、存儲：此局部內(nèi)容主要描述生產(chǎn)系統(tǒng)中的硬件資源，包括：服務(wù)器，網(wǎng)絡(luò)以及存儲的資源需求，容量規(guī)劃應(yīng)滿足的系統(tǒng)指標(biāo)等內(nèi)容；數(shù)據(jù)源源數(shù)據(jù)系統(tǒng)是報(bào)表、關(guān)鍵指標(biāo)、靈活查詢、主題分析等應(yīng)用

18、系統(tǒng)的基礎(chǔ)數(shù)據(jù)來源。在系統(tǒng)建設(shè)初期，源數(shù)據(jù)系統(tǒng)應(yīng)提供能滿足初始業(yè)務(wù)需要的數(shù)據(jù)以及業(yè)務(wù)系統(tǒng)需要提供完整數(shù)據(jù)的時間窗口，在EDW系統(tǒng)擴(kuò)展的過程中，各個源數(shù)據(jù)系統(tǒng)中的數(shù)據(jù)將逐漸的加載到EDW系統(tǒng)當(dāng)中。源數(shù)據(jù)無法滿足應(yīng)用需求時，系統(tǒng)應(yīng)提供手工方式通過手工數(shù)據(jù)補(bǔ)入平臺將需要的數(shù)據(jù)補(bǔ)入到EDW系統(tǒng)中。目前數(shù)據(jù)源包括XX銀行的多個業(yè)務(wù)系統(tǒng)，主要有核心系統(tǒng)、個貸系統(tǒng)、對公信貸系統(tǒng)、國際業(yè)務(wù)系統(tǒng)、財(cái)務(wù)系統(tǒng)和各類渠道系統(tǒng)等。數(shù)據(jù)落地區(qū)數(shù)據(jù)落地區(qū)是為了保證多系統(tǒng)對源系統(tǒng)數(shù)據(jù)抽取的需求，在數(shù)據(jù)從源數(shù)據(jù)系統(tǒng)抽取后在統(tǒng)一的數(shù)據(jù)集成環(huán)境中整合。數(shù)據(jù)落地區(qū)應(yīng)建設(shè)與各相關(guān)源數(shù)據(jù)系統(tǒng)的接口，將這些系統(tǒng)定期卸載的數(shù)據(jù)以固定的格式接

19、收、存放到落地區(qū)，考慮數(shù)據(jù)傳輸和加載的速度，源數(shù)據(jù)系統(tǒng)應(yīng)以文本文件格式將數(shù)據(jù)定期傳輸給數(shù)據(jù)落地區(qū)進(jìn)展處理。數(shù)據(jù)落地區(qū)的數(shù)據(jù)存儲格式原那么上是與數(shù)據(jù)源的存儲格式保持一致數(shù)據(jù)ETL架構(gòu)ETL是數(shù)據(jù)的抽取、轉(zhuǎn)換、加載的全部過程，它是數(shù)據(jù)從數(shù)據(jù)落地區(qū)到ETL服務(wù)器以及從ETL服務(wù)器到EDW的數(shù)據(jù)遷移過程以及數(shù)據(jù)從EDW向數(shù)據(jù)集市的數(shù)據(jù)遷移過程中必須使用的過程和方法， ETL系統(tǒng)應(yīng)包括以下三個主要功能：數(shù)據(jù)抽取：從數(shù)據(jù)落地區(qū)系統(tǒng)抽取EDW中需要的數(shù)據(jù)；數(shù)據(jù)轉(zhuǎn)換：將從源數(shù)據(jù)系統(tǒng)獲取的數(shù)據(jù)轉(zhuǎn)換成EDW要求的形式，同時按照業(yè)務(wù)需求對數(shù)據(jù)進(jìn)展轉(zhuǎn)換；數(shù)據(jù)加載：將助轉(zhuǎn)換后的數(shù)據(jù)裝載到EDW的物理模型中；數(shù)據(jù)準(zhǔn)備區(qū)數(shù)

20、據(jù)準(zhǔn)備區(qū)是數(shù)據(jù)存儲的臨時存儲區(qū)域，數(shù)據(jù)在其中只作暫時性保存，數(shù)據(jù)經(jīng)轉(zhuǎn)換后導(dǎo)入到EDW的物理模型中。數(shù)據(jù)準(zhǔn)備區(qū)的功能包括：格式轉(zhuǎn)換、排序去重/篩選、通用基礎(chǔ)清洗、連接/合并/分割、業(yè)務(wù)轉(zhuǎn)換等操作型存儲區(qū)操作型存儲區(qū)是數(shù)據(jù)倉庫系統(tǒng)一個重要的環(huán)節(jié)。該區(qū)有著承上啟下的作用，從數(shù)據(jù)形態(tài)來看，該區(qū)的數(shù)據(jù)定義貼近業(yè)務(wù)源系統(tǒng);從數(shù)據(jù)標(biāo)準(zhǔn)來看，該區(qū)的數(shù)據(jù)標(biāo)準(zhǔn)是遵循數(shù)據(jù)倉庫系統(tǒng)的標(biāo)準(zhǔn)。所以該區(qū)一般分為兩個層次，第一個層次稱之為良好質(zhì)量的、統(tǒng)一格式的數(shù)據(jù)貼源層，第二個層次為統(tǒng)一的、標(biāo)準(zhǔn)的、遵循數(shù)據(jù)倉庫系統(tǒng)標(biāo)準(zhǔn)的數(shù)據(jù)標(biāo)準(zhǔn)層。 數(shù)據(jù)貼源層可以繼續(xù)為行內(nèi)現(xiàn)有的一些報(bào)表系統(tǒng)或者分析系統(tǒng)提供數(shù)據(jù)，而數(shù)據(jù)標(biāo)準(zhǔn)層為數(shù)據(jù)倉庫中的企

21、業(yè)數(shù)據(jù)模型的落地掃清了道路。所以該存儲區(qū)在整個EDW系統(tǒng)起到了一個承上啟下的關(guān)鍵作用。EDW存儲區(qū)EDW存儲區(qū)是面向主題的、集成的、面向企業(yè)的、最明細(xì)的數(shù)據(jù)存儲，其內(nèi)容是依據(jù)最終用戶應(yīng)用和分析需求來進(jìn)展組織。數(shù)據(jù)存儲區(qū)中的數(shù)據(jù)模型對標(biāo)準(zhǔn)層數(shù)據(jù)、基礎(chǔ)整合數(shù)據(jù)、匯總數(shù)據(jù)和面向應(yīng)用的集市數(shù)據(jù)按數(shù)據(jù)層次進(jìn)展管理，每個數(shù)據(jù)層有自己的數(shù)據(jù)管理重點(diǎn)。對于每個數(shù)據(jù)層次，再按主題進(jìn)展分類組織。這樣就可以有效的將銀行企業(yè)的操作型數(shù)據(jù)、匯總型數(shù)據(jù)和分析型數(shù)據(jù)以清晰的架構(gòu)組織、管理起來，并相輔相成。數(shù)據(jù)層的內(nèi)容相互促進(jìn)開展，組成銀行完善的數(shù)據(jù)集合，為各種主題管理應(yīng)用的構(gòu)建提供良好的數(shù)據(jù)架構(gòu)基礎(chǔ)。業(yè)務(wù)應(yīng)用業(yè)務(wù)應(yīng)用是ED

22、W系統(tǒng)向業(yè)務(wù)用戶提供應(yīng)用功能支持，根據(jù)應(yīng)用服務(wù)提供的形式和所采用的應(yīng)用系統(tǒng)的不同，業(yè)務(wù)應(yīng)用主要定義在以下幾個技術(shù)環(huán)境。數(shù)據(jù)集市：在業(yè)務(wù)應(yīng)用層中包含了應(yīng)用系統(tǒng)中需要的應(yīng)用集市、OLAP、靜態(tài)報(bào)表等數(shù)據(jù)集市。數(shù)據(jù)集市是一組特定的、針對某個主題域、部門或用戶分類的數(shù)據(jù)集合。這些數(shù)據(jù)需要針對用戶的快速訪問和數(shù)據(jù)輸出進(jìn)展優(yōu)化，優(yōu)化的方式可以通過對數(shù)據(jù)構(gòu)造進(jìn)展匯總和索引。通過數(shù)據(jù)集市可以保障EDW的高可用性、可擴(kuò)展性和高性能。應(yīng)用環(huán)境：應(yīng)用環(huán)境是為滿足業(yè)務(wù)需要在數(shù)據(jù)EDW環(huán)境中配置的應(yīng)用軟件包。分析環(huán)境：數(shù)據(jù)分析環(huán)境為EDW的高端用戶提供即時的數(shù)據(jù)分析功能等。報(bào)表環(huán)境：報(bào)表環(huán)境是于來產(chǎn)生和發(fā)布靜態(tài)報(bào)表的環(huán)

23、境，包括：產(chǎn)生的靜態(tài)報(bào)表、OLAP產(chǎn)生的報(bào)表、KPI指標(biāo)展現(xiàn)以及其他系統(tǒng)產(chǎn)生的報(bào)表。用戶環(huán)境用戶環(huán)境是EDW系統(tǒng)最終向用戶提供的某種應(yīng)用服務(wù)的集合，主要有三種應(yīng)用服務(wù)的表現(xiàn)形式：通用展現(xiàn)平臺：通過此平臺將報(bào)表、KPI展現(xiàn)、靈活查詢、分析等多個應(yīng)用集成到一個平臺中，進(jìn)展統(tǒng)一的展現(xiàn)和信息的管理，包括如：報(bào)表生命周期的管理等。數(shù)據(jù)分發(fā)環(huán)境：在數(shù)據(jù)分發(fā)的過程中應(yīng)提供大容量數(shù)據(jù)批量分發(fā)的能力。給其他需要某個系統(tǒng)的數(shù)據(jù)提供數(shù)據(jù)交換功能。報(bào)表分發(fā)環(huán)境：報(bào)表的分發(fā)應(yīng)可以滿足系統(tǒng)定義的安全性，如按照不同的用戶類型、不同的組織進(jìn)展分發(fā)，不同的用戶和組織只能看到屬于自己的報(bào)表的數(shù)據(jù)，數(shù)據(jù)的分發(fā)將通過數(shù)據(jù)傳輸平臺進(jìn)展

24、。元數(shù)據(jù)管理元數(shù)據(jù)管理是對數(shù)據(jù)信息的收集和發(fā)布的集成管理，數(shù)據(jù)信息包括：數(shù)據(jù)的業(yè)務(wù)含義和技術(shù)特性。數(shù)據(jù)倉庫系統(tǒng)架構(gòu)中的各個局部中都含有元數(shù)據(jù)信息，應(yīng)對其進(jìn)展主動式管理，以保證它正確的定義、收集和使用。元數(shù)據(jù)是“關(guān)于數(shù)據(jù)的數(shù)據(jù)。應(yīng)包括文件構(gòu)造定義，數(shù)據(jù)庫字段名稱，數(shù)據(jù)模型中的長度和標(biāo)準(zhǔn)，以及在域-域或域-報(bào)表對應(yīng)關(guān)系中的計(jì)算和公式等內(nèi)容。元數(shù)據(jù)管理的架構(gòu)如以下列圖所示，系統(tǒng)的最終架構(gòu)應(yīng)實(shí)現(xiàn)對元數(shù)據(jù)的集中的管理方式：系統(tǒng)安全性EDW系統(tǒng)中的數(shù)據(jù)和報(bào)表信息均為敏感信息。因此必須采用適當(dāng)?shù)陌踩呗砸员ＷC其系統(tǒng)和數(shù)據(jù)的安全性。數(shù)據(jù)倉庫系統(tǒng)的安全性應(yīng)涵蓋如下四個方面：驗(yàn)證：系統(tǒng)應(yīng)對用戶進(jìn)展訪問控制，保證只

25、有合法的用戶才能進(jìn)入到系統(tǒng)中；授權(quán)：系統(tǒng)應(yīng)根據(jù)用戶角色對其進(jìn)展授權(quán)，包括對數(shù)據(jù)的訪問權(quán)限，對功能的使用權(quán)限等。機(jī)密性：所有的敏感數(shù)據(jù)必須被嚴(yán)格控制，制止未授權(quán)訪問，并保障其安全性。一致性：數(shù)據(jù)和程序只能在授權(quán)模式下進(jìn)展修改。針對上述6個方面，數(shù)據(jù)倉庫分系統(tǒng)應(yīng)按照以下的6個方面的標(biāo)準(zhǔn)進(jìn)展建設(shè)：應(yīng)用層EDW應(yīng)用系統(tǒng)是建設(shè)在OLAP軟件平臺的基礎(chǔ)上，應(yīng)用層應(yīng)實(shí)現(xiàn)用戶訪問控制的功能，針對不同的用戶訪問不同的系統(tǒng)資源來保證整個應(yīng)用系統(tǒng)的安全性控制。對于未來的數(shù)據(jù)倉庫系統(tǒng)來說，應(yīng)與統(tǒng)一門戶平臺整合，實(shí)現(xiàn)整體安全性管理的策略；數(shù)據(jù)庫層只有被授權(quán)用戶才能訪問和修改數(shù)據(jù)庫中的信息并且數(shù)據(jù)在傳輸過程中應(yīng)對敏感信息

26、進(jìn)展加密處理來保證數(shù)據(jù)的安全。數(shù)據(jù)庫管理員應(yīng)按照角色對數(shù)據(jù)庫用戶進(jìn)展劃分，并且通過賦予角色權(quán)限的方式實(shí)現(xiàn)對用戶安全性訪問控制的管理，如：針對用戶組或耽誤用戶分配特定數(shù)據(jù)表訪問權(quán)限。系統(tǒng)層系統(tǒng)應(yīng)防止未授權(quán)訪問和系統(tǒng)調(diào)用，及時進(jìn)展系統(tǒng)安全補(bǔ)丁的更新。對于系統(tǒng)主機(jī)應(yīng)采用服務(wù)器加固的方法，來保證整個系統(tǒng)的安全性。網(wǎng)絡(luò)層網(wǎng)絡(luò)層安全是保證網(wǎng)絡(luò)節(jié)點(diǎn)之間數(shù)據(jù)傳遞的安全性，以及網(wǎng)絡(luò)環(huán)境不受惡意攻擊。XX銀行數(shù)據(jù)倉庫環(huán)境建設(shè)在企業(yè)內(nèi)部網(wǎng)絡(luò)中，不同功能的服務(wù)器應(yīng)部署在不同網(wǎng)段中，網(wǎng)段之間相互隔離，對網(wǎng)段之間的訪問應(yīng)通過防火墻并定義嚴(yán)格的訪問控制策略。整個系統(tǒng)的網(wǎng)絡(luò)環(huán)境應(yīng)得到實(shí)時監(jiān)控，對入侵進(jìn)展檢測和處理，并在發(fā)生入

27、侵時通知系統(tǒng)管理員。物理層物理層安全保障物理設(shè)備主機(jī)、路由器等不受非法用戶攻擊。目前物理設(shè)備的安全性由運(yùn)行中心負(fù)責(zé)。管理管理局部與上述的所有安全問題相關(guān)，對安全問題的管理必須由多個部門共同協(xié)作完成。管理層面包括：安全資源：實(shí)現(xiàn)各種安全使用的資源，如：防火墻，入侵檢測和處理設(shè)備，反病毒軟件等；安全策略和規(guī)劃：各種安全規(guī)那么，組織和責(zé)任人；突發(fā)事件處理：在發(fā)生安全威脅時的應(yīng)急處理流程，包括：事件記錄、時間報(bào)告制度等流程；安全審計(jì)：對安全策略的審核和檢查；災(zāi)難恢復(fù)方案：發(fā)生問題后的系統(tǒng)和數(shù)據(jù)恢復(fù)；EDW邏輯架構(gòu)邏輯架構(gòu)框架如上圖所示的XX銀行EDW的邏輯體系架構(gòu)，這一架構(gòu)是在聯(lián)科可擴(kuò)展的EDW系統(tǒng)框

28、架的基礎(chǔ)上，結(jié)合XX銀行信息系統(tǒng)建設(shè)的實(shí)際情況而設(shè)計(jì)出來的多層、可擴(kuò)展框架構(gòu)造。架構(gòu)的核心上包括源數(shù)據(jù)層、ETL流程調(diào)度、數(shù)據(jù)平臺層、數(shù)據(jù)集市層、應(yīng)用服務(wù)層、訪問控制層、用戶層和數(shù)據(jù)消費(fèi)傳輸通道七個大局部，另外，元數(shù)據(jù)管理和安全管理也是系統(tǒng)必不可少的局部，這2局部會涉及到所有核心層次。在明確定義各層之間的接口后，多層框架構(gòu)造具有高度的擴(kuò)展能力和方便的系統(tǒng)開發(fā)和維護(hù)性能，符合目前流行的多層應(yīng)用構(gòu)造，適合EDW系統(tǒng)多階段、多層次的應(yīng)用特點(diǎn)。源數(shù)據(jù)層【功能與作用】總行的各個業(yè)務(wù)系統(tǒng)為整個EDW系統(tǒng)提供原始數(shù)據(jù)支持，首先作為ETL層的數(shù)據(jù)抽取源。【組成局部】目前總行的數(shù)據(jù)源包括XX銀行的多個業(yè)務(wù)系統(tǒng)，

29、主要有核心系統(tǒng)、個貸系統(tǒng)、對公信貸系統(tǒng)、國際業(yè)務(wù)系統(tǒng)、財(cái)務(wù)系統(tǒng)和各類渠道系統(tǒng)等。ETL流程調(diào)度層【功能與作用】該層為EDW數(shù)據(jù)流向的主要環(huán)節(jié)，EDW系統(tǒng)數(shù)據(jù)流動的流程調(diào)度核心層，流程調(diào)度主要針對下面幾個方面：EDW系統(tǒng)將數(shù)據(jù)源的數(shù)據(jù)抽取到數(shù)據(jù)落地區(qū)EDW系統(tǒng)對數(shù)據(jù)執(zhí)行格式轉(zhuǎn)換、排序去重、通用數(shù)據(jù)清洗、業(yè)務(wù)轉(zhuǎn)換后等操作，最終完成數(shù)據(jù)準(zhǔn)備區(qū)加載。EDW系統(tǒng)再將數(shù)據(jù)準(zhǔn)備區(qū)的數(shù)據(jù)按照EDW數(shù)據(jù)模型的方式加載到數(shù)據(jù)存儲區(qū)中。在數(shù)據(jù)存儲區(qū)中進(jìn)展基礎(chǔ)數(shù)據(jù)層、加工匯總層和應(yīng)用集市層的數(shù)據(jù)加載。EDW中的數(shù)據(jù)準(zhǔn)備區(qū)和數(shù)據(jù)存儲區(qū)可以為為其它系統(tǒng)提供數(shù)據(jù)服務(wù)。總行EDW可以為分行EDW提供數(shù)據(jù)服務(wù)。【組成局部】上面

30、的邏輯架構(gòu)圖淡綠色色矩形局部為ETL 調(diào)度管理技術(shù)架構(gòu)圖，其作用是讓許多的任務(wù)在作業(yè)的執(zhí)行條件滿足時自動地執(zhí)行。ETL 調(diào)度管里最 基本的可執(zhí)行元素是單元，每個單元是完成某一特定功能的程序，相關(guān)單元組合在一起構(gòu)成了可以調(diào)度的最小組件任務(wù)。由上面的技術(shù)架構(gòu)圖可知，ETL 調(diào)度管里包含以下組件： 知識庫建設(shè)在DB中的一個數(shù)據(jù)庫，包含了與流程調(diào)度相關(guān)的一組表，保存ETL流程調(diào)度服務(wù)器、任務(wù)、任務(wù)之間的依賴觸發(fā)關(guān)系、任務(wù)組、調(diào)度方案等多種類型的信息。偵測器駐留在后臺的服務(wù)，基于定義的觸發(fā)規(guī)那么和調(diào)度方案監(jiān)測是否觸發(fā)任務(wù)的執(zhí)行。任務(wù)調(diào)度引擎承受偵測器的信息調(diào)度任務(wù)執(zhí)行可以使本服務(wù)器任務(wù)也可以是其它服務(wù)器

31、的任務(wù)。任務(wù)執(zhí)行代理調(diào)用任務(wù)包含的每個單元執(zhí)行的服務(wù)，同一服務(wù)器上可以有多個任務(wù)執(zhí)行代理同時運(yùn)行。任務(wù)封裝在Perl程序中，執(zhí)行數(shù)據(jù)加載、整合、立方體生成等工作的一組程序。日志管理引擎記錄ETL調(diào)度管理各個服務(wù)器組件以及每個任務(wù)的執(zhí)行日志，日志按天保存，可以定期清理。管理監(jiān)控器Java應(yīng)用程序，用于定義任務(wù)、任務(wù)組合觸發(fā)關(guān)系等信息，同時可以實(shí)時監(jiān)控任務(wù)執(zhí)行情況查看日志。作為專門為數(shù)據(jù)倉庫系統(tǒng)設(shè)計(jì)的流程調(diào)度管理具有如下特點(diǎn)：任務(wù)執(zhí)行代理可分布在多臺服務(wù)器上。構(gòu)造簡單、伸縮性強(qiáng)。支持多種執(zhí)行任務(wù)。加載數(shù)據(jù)整合數(shù)據(jù)數(shù)據(jù)質(zhì)量檢查和清洗數(shù)據(jù)轉(zhuǎn)換OLAP數(shù)據(jù)生成數(shù)據(jù)挖掘模型的執(zhí)行定制報(bào)表的產(chǎn)生定制頁面的產(chǎn)

32、生數(shù)據(jù)庫備份、告警等系統(tǒng)作業(yè)調(diào)用其他ETL/ELT工具產(chǎn)生的任務(wù)數(shù)據(jù)導(dǎo)出到指定的渠道系統(tǒng)執(zhí)行的任務(wù)可以是另一個任務(wù)調(diào)度引擎觸發(fā)如：EDW?？梢詥悠渌腅TL引擎的任務(wù)。數(shù)據(jù)平臺層【功能與作用】作為本系統(tǒng)的數(shù)據(jù)核心局部，它負(fù)責(zé)存儲和管理來自各種源數(shù)據(jù)系統(tǒng)的數(shù)據(jù)，并為訪問用戶提供數(shù)據(jù)服務(wù)。這些數(shù)據(jù)是按照在邏輯數(shù)據(jù)模型分主題存放的?！窘M成局部】本層由操作型存儲區(qū)、倉庫存儲區(qū)和集市應(yīng)用層四個局部組成。詳細(xì)內(nèi)容參見“EDW數(shù)據(jù)架構(gòu)數(shù)據(jù)集市層【功能與作用】數(shù)據(jù)集市是一組特定的、針對某個主題域、部門或用戶分類的數(shù)據(jù)集合。這些數(shù)據(jù)需要針對用戶的快速訪問和數(shù)據(jù)輸出進(jìn)展優(yōu)化，優(yōu)化的方式可以通過對數(shù)據(jù)構(gòu)造進(jìn)展匯總

33、和索引。通過數(shù)據(jù)集市可以保障EDW的高可用性、可擴(kuò)展性和高性能?！窘M成局部】包括：駕駛艙報(bào)表系統(tǒng)和靈活查詢以及其他應(yīng)用集市系統(tǒng)。應(yīng)用服務(wù)層【功能與作用】通過對數(shù)據(jù)平臺層中的數(shù)據(jù)進(jìn)展適當(dāng)?shù)奶釤挕R總，利用通用展現(xiàn)平臺向用戶提供包括報(bào)表服務(wù)、查詢服務(wù)、決策儀表盤等相關(guān)服務(wù)。該層為用戶對中央數(shù)據(jù)的訪問提供各種方式的服務(wù)C/S、B/S，從而實(shí)現(xiàn)訪問方式的多樣化和信息存取的透明化?！窘M成局部】通用展現(xiàn)平臺主要包括的功能模塊有：第一個層次是核心模塊包括：框架、引擎，核心模塊作為報(bào)表集成開發(fā)環(huán)境的基礎(chǔ)、核心和框架存在。報(bào)表集成開發(fā)環(huán)境核心功能和模塊組裝由核心模塊統(tǒng)一提供，只暴露給開發(fā)人員；第二個層次是管理模

34、塊包括：報(bào)表信息、 基本管理、代理、信息推送、連接信息，管理模塊為報(bào)表集成開發(fā)環(huán)境提供管理服務(wù)，它提供報(bào)表集成開發(fā)環(huán)境的用戶、權(quán)限等的統(tǒng)一管理，管理模塊也是報(bào)表集成開發(fā)環(huán)境必選模塊，它的很多功能調(diào)用由核心模塊提供，管理模塊包括5個子模塊；第三個層次是應(yīng)用模塊包括：儀表盤、靈活查詢、數(shù)據(jù)錄入、報(bào)表、復(fù)雜報(bào)表，應(yīng)用模塊提供報(bào)表集成開發(fā)環(huán)境最終用戶非管理人員的用戶體驗(yàn)，可以和管理模塊相結(jié)合有選擇地靈活部署。訪問控制層【功能與作用】訪問控制層主要包括WEB、認(rèn)證、安全、門戶四方面的服務(wù)。該層位于用戶層和中間服務(wù)層之間，為用戶層成提供HTTP服務(wù)、門戶的單點(diǎn)登錄、用戶統(tǒng)一認(rèn)證、提交用戶層請求到中間服務(wù)層

35、，對用戶實(shí)施安全策略，為用戶管理報(bào)表、查詢文檔，提供個性化定制等。用戶層由上面的邏輯架構(gòu)圖可知用戶層包括各種最終用戶。按照用戶使用EDW系統(tǒng)的方式和特點(diǎn)，可以劃分為業(yè)務(wù)分析人員、高級分析人員和管理決策人員。所有用戶統(tǒng)一通過用戶門戶訪問EDW系統(tǒng)各類應(yīng)用，從而實(shí)現(xiàn)了EDW系統(tǒng)的應(yīng)用界面、安全管理統(tǒng)一，同時用戶可以對門戶進(jìn)展個性化定制以方便自己使用。實(shí)際上，EDW系統(tǒng)還包括進(jìn)展系統(tǒng)建設(shè)的開發(fā)人員、系統(tǒng)運(yùn)行人員和系統(tǒng)管理人員，這里所指的用戶層主要針對業(yè)務(wù)用戶進(jìn)展描述。業(yè)務(wù)分析人員主要指總行各業(yè)務(wù)部門、各分行的業(yè)務(wù)用戶，如：客戶經(jīng)理。該類人員直接使用模塊化的應(yīng)用界面訪問EDW系統(tǒng)，生成或預(yù)覽預(yù)定義報(bào)表

36、，進(jìn)展相對固定的查詢以及多維分析。這類用戶會使用B/S和C/S兩種客戶端訪問EDW系統(tǒng)。高級分析人員是指總行各業(yè)務(wù)部門、各分行的較為高級的用戶。除能夠執(zhí)行一般業(yè)務(wù)分析人員進(jìn)展的操作外，可以對指定的主題、指標(biāo)進(jìn)展自定義的靈活分析和比較。分析的方式包括自定義查詢、自定義報(bào)表、多維旋轉(zhuǎn)和穿透鉆取等等。這類用戶會使用B/S和C/S兩種客戶端訪問EDW系統(tǒng)。管理決策人員主要包括各部門的領(lǐng)導(dǎo)、分行領(lǐng)導(dǎo)和總行領(lǐng)導(dǎo)。EDW系統(tǒng)為管理決策人員分配專門的系統(tǒng)資源，建設(shè)最為直觀和方便的存取界面，為決策人員賦予最大的信息訪問權(quán)限，實(shí)現(xiàn)決策人員對信息的自由訪問。同時，EDW系統(tǒng)將決策人員最為關(guān)心的信息主動發(fā)布到?jīng)Q策人員

37、的訪問界面上，簡化信息訪問的方式，使得決策人員在第一時間獲得經(jīng)營管理的各種重要信息和指標(biāo)。這類用戶只會使用B/S客戶端訪問EDW系統(tǒng)。消費(fèi)數(shù)據(jù)傳輸通道在數(shù)據(jù)倉庫系統(tǒng)建設(shè)以后，會有很長一段時間舊有的報(bào)表系統(tǒng)和分析系統(tǒng)需要逐步遷移，在此期間，需要有一個消費(fèi)數(shù)據(jù)傳輸通道來支持舊有系統(tǒng)的良好運(yùn)轉(zhuǎn)。安全管理體系安全管理體系主要包括以下四個方面：網(wǎng)絡(luò)安全主要包括在不同網(wǎng)絡(luò)層次設(shè)置不同級別的防火墻及IDS系統(tǒng)，同時在每一個安全層次下通過部署不同的安全原那么，這完全符合XX銀行的安全級別規(guī)定。操作系統(tǒng)安全系統(tǒng)所有應(yīng)用或數(shù)據(jù)庫服務(wù)器均采用Unix操作系統(tǒng)，操作系統(tǒng)本身有著嚴(yán)密的系統(tǒng)安全認(rèn)證與用戶權(quán)限管理體系，并

38、具備登錄、審核以及資源訪問的審計(jì)與跟蹤。數(shù)據(jù)安全提供各種基于數(shù)據(jù)庫的安全保護(hù)機(jī)制。應(yīng)用安全應(yīng)用是直接面對用戶的，雖然應(yīng)用系統(tǒng)能夠持續(xù)提供服務(wù)是涉及到系統(tǒng)安全的問題，但是因?yàn)檫@些問題更多的是由系統(tǒng)的安全問題來保證的。所以就應(yīng)用級的安全策略更多的是保證對數(shù)據(jù)訪問的合法性。元數(shù)據(jù)管理體系在機(jī)構(gòu)內(nèi)關(guān)于數(shù)據(jù)的信息稱為“元數(shù)據(jù)(Metadata)。清楚地區(qū)分?jǐn)?shù)據(jù)庫中的數(shù)據(jù)和元數(shù)據(jù)是很重要的，所謂元數(shù)據(jù)，是指關(guān)于數(shù)據(jù)的數(shù)據(jù)，即用來描述數(shù)據(jù)的類型、來源、定義、存儲位置，使得可以正確地使用數(shù)據(jù)倉庫。元數(shù)據(jù)倉庫(Meta Data Repository)對業(yè)務(wù)人員來說是很重要的，是業(yè)務(wù)人員與數(shù)據(jù)倉庫的數(shù)據(jù)交流的傳

39、達(dá)手段。IT人員可能已經(jīng)擁有許多有效的工具進(jìn)展數(shù)據(jù)存取。但對業(yè)務(wù)人員，他們需要一種手段和工具來理解他們存取的數(shù)據(jù)。在本期EDW系統(tǒng)的建設(shè)中，包括技術(shù)元數(shù)據(jù)和業(yè)務(wù)元數(shù)據(jù)兩類，其數(shù)據(jù)源涵蓋了EDW系統(tǒng)的各個環(huán)節(jié)，包括：數(shù)據(jù)源系統(tǒng)、EDW數(shù)據(jù)庫、EDW邏輯數(shù)據(jù)模型、ETL系統(tǒng)、業(yè)務(wù)應(yīng)用系統(tǒng)等，同時，還將涉及數(shù)據(jù)的業(yè)務(wù)含義和業(yè)務(wù)規(guī)那么等相關(guān)業(yè)務(wù)文檔。在架構(gòu)上，元數(shù)據(jù)系統(tǒng)包括：元數(shù)據(jù)應(yīng)用、元數(shù)據(jù)報(bào)表、元數(shù)據(jù)分析、元數(shù)據(jù)集成系統(tǒng)、元數(shù)據(jù)展現(xiàn)系統(tǒng)、元數(shù)據(jù)管理系統(tǒng)、元數(shù)據(jù)維護(hù)系統(tǒng)。數(shù)據(jù)處理流程各業(yè)務(wù)數(shù)據(jù)源系統(tǒng)通過多種方式(如：ETL工具直接從源系統(tǒng)獲取、源系統(tǒng)數(shù)據(jù)批量導(dǎo)出)將數(shù)據(jù)獲取過來,由數(shù)據(jù)落地區(qū)區(qū)進(jìn)展集

40、中管理。后續(xù)的數(shù)據(jù)加工、轉(zhuǎn)換通過ETL Server來完成,中間采取不落地的方式,將加工完畢后的數(shù)據(jù)放在數(shù)據(jù)準(zhǔn)備區(qū)域。ETL Server 可通過 ds job,FTP,NFS 等方式從數(shù)據(jù)落地區(qū)獲取數(shù)據(jù)，將處理后的結(jié)果放在數(shù)據(jù)準(zhǔn)備區(qū)域。再將數(shù)據(jù)準(zhǔn)備區(qū)的數(shù)據(jù)加載到數(shù)據(jù)存儲區(qū)中。根據(jù)目標(biāo)系統(tǒng)的不同,采用靈活的方式向外提供數(shù)據(jù),可使用ETL 工具直接向目標(biāo)系統(tǒng)加載或者通過FTP方式向其他目標(biāo)傳輸。為支持其他的業(yè)務(wù)需求,將近期(30-60天)的明細(xì)數(shù)據(jù)、流水?dāng)?shù)據(jù)集中存放在數(shù)據(jù)庫系統(tǒng)中,日常增量數(shù)據(jù)刷新數(shù)據(jù)庫系統(tǒng)。整個過程通過調(diào)度工具進(jìn)展統(tǒng)一調(diào)度,集中管理,確保各項(xiàng)任務(wù)有序完成。EDW運(yùn)維架構(gòu)運(yùn)維架構(gòu)

41、概述以下列圖中給出了EDW的運(yùn)維架構(gòu)，是在EDW系統(tǒng)上線后，為了保持系統(tǒng)良好的穩(wěn)定性而定義的相關(guān)的管理需求。運(yùn)維架構(gòu)主要是針對執(zhí)行架構(gòu)的數(shù)據(jù)導(dǎo)入層、數(shù)據(jù)服務(wù)層、中間服務(wù)層和訪問控制層服務(wù)器進(jìn)展管理，面向的最終用戶是IT人員。圖1 運(yùn)維邏輯體系架構(gòu)運(yùn)維架構(gòu)中包含了如下組件：系統(tǒng)監(jiān)控管理組件、系統(tǒng)維護(hù)管理組件、備份恢復(fù)管理組件、故障切換管理組件、性能容量規(guī)劃組件和運(yùn)維安全管理組件。各個組件的主要功能如下：系統(tǒng)監(jiān)控管理組件：監(jiān)控網(wǎng)絡(luò)/系統(tǒng)性能、運(yùn)行，以及診斷和報(bào)告故障。管理的硬件和軟件包括所有開發(fā)、測試和生產(chǎn)環(huán)境中的硬件和軟件。系統(tǒng)維護(hù)管理組件：系統(tǒng)維護(hù)是指系統(tǒng)在運(yùn)行過程中，為了系統(tǒng)的正常服務(wù)而進(jìn)展

42、的配置、參數(shù)管理，以及啟/停機(jī)、清理過期數(shù)據(jù)等日常操作，以及數(shù)據(jù)、系統(tǒng)發(fā)生變更的維護(hù)等。備份恢復(fù)管理組件：備份/恢復(fù)管理組件處理系統(tǒng)中所有必須的備份和恢復(fù)操作。這個組件根據(jù)備份策略，通過對數(shù)據(jù)的冗余存儲來保證系統(tǒng)可以從各種服務(wù)中斷中恢復(fù)。故障切換管理組件：故障切換管理提供了管理和控制應(yīng)用切換的機(jī)制。故障切換組件使用冗余系統(tǒng)和數(shù)據(jù)來保證關(guān)鍵任務(wù)數(shù)據(jù)流不連續(xù)。當(dāng)發(fā)生故障或失敗時，該切換發(fā)生在主系統(tǒng)和備份系統(tǒng)之間。性能容量規(guī)劃組件：性能及容量規(guī)劃從環(huán)境中的不同元素收集利用數(shù)據(jù)，并規(guī)劃硬件和軟件能力需求。運(yùn)維安全管理組件：運(yùn)維安全管理組件通過制定和管理運(yùn)維安全策略，并利用安全工具，維護(hù)信息系統(tǒng)資產(chǎn)包括

43、硬件、軟件、用戶數(shù)據(jù)、信息/數(shù)據(jù)的機(jī)密性、一致性和可用性。運(yùn)維環(huán)境管理組件：運(yùn)維環(huán)境管理用于確保物理環(huán)境和系統(tǒng)環(huán)境的妥善管理和保護(hù)，不受故障和災(zāi)難的侵害，以及不受人為因素的干擾和破壞。整個運(yùn)維架構(gòu)通過一些標(biāo)準(zhǔn)的流程實(shí)現(xiàn)生產(chǎn)環(huán)境運(yùn)行管理，包括的流程主要是日常操作流程和特殊操作流程。日常操作流程是指IT用戶在日常為維護(hù)生產(chǎn)環(huán)境正常運(yùn)轉(zhuǎn)需要做的工作，如：數(shù)據(jù)倉庫管理、系統(tǒng)監(jiān)控、備份恢復(fù)、容量規(guī)劃。特殊操作流程不會每天發(fā)生，這一流程的啟動通常是由于系統(tǒng)軟硬件升級、數(shù)據(jù)變更、新增應(yīng)用等需求引起的。運(yùn)維架構(gòu)的邏輯框架系統(tǒng)監(jiān)控管理在EDW系統(tǒng)中，需要監(jiān)控管理的系統(tǒng)元素可以分為如下五類：網(wǎng)絡(luò)/主機(jī)管理：用于監(jiān)

44、控、控制和報(bào)告網(wǎng)絡(luò)及主機(jī)狀態(tài)。數(shù)據(jù)庫/數(shù)據(jù)倉庫管理：提供相關(guān)監(jiān)控信息源,控制各個獨(dú)立的服務(wù)器或數(shù)據(jù)庫/數(shù)據(jù)倉庫。應(yīng)監(jiān)控所有的關(guān)鍵數(shù)據(jù)庫/數(shù)據(jù)倉庫性能比例，以保證高可用性和性能。應(yīng)用管理：處理客戶應(yīng)用中發(fā)生的事件。應(yīng)用本身包括了衡量內(nèi)部應(yīng)用響應(yīng)時間和性能的工具，應(yīng)搜集這些工具產(chǎn)生的信息如日志、運(yùn)行報(bào)告等用于監(jiān)控。生產(chǎn)調(diào)度：生產(chǎn)調(diào)度組件包括了一套應(yīng)用，用于調(diào)度和自動化網(wǎng)絡(luò)、系統(tǒng)和應(yīng)用管理如ETL特有的任務(wù)。安全管理：運(yùn)維架構(gòu)中涉及的安全管理內(nèi)容主要包括身份管理、系統(tǒng)級密鑰和證書管理、安全策略管理。系統(tǒng)監(jiān)控管理的主要任務(wù)及工具支持如以下列圖所示：系統(tǒng)維護(hù)管理系統(tǒng)維護(hù)是指系統(tǒng)在運(yùn)行過程中，為了系統(tǒng)的正

45、常服務(wù)而進(jìn)展的配置、參數(shù)管理，以及啟/停機(jī)、清理過期數(shù)據(jù)等日常操作，以及數(shù)據(jù)、系統(tǒng)發(fā)生變更的維護(hù)等。系統(tǒng)維護(hù)管理包括兩方面的管理內(nèi)容：系統(tǒng)維護(hù)和變更管理。系統(tǒng)維護(hù)是指系統(tǒng)在運(yùn)行過程中，為了系統(tǒng)的正常服務(wù)而進(jìn)展的配置、參數(shù)管理，以及啟/停機(jī)、清理過期數(shù)據(jù)等日常操作。變更管理允許對技術(shù)架構(gòu)組件進(jìn)展變更的控制管理。在EDW系統(tǒng)運(yùn)行過程中，有兩種典型的變更需要進(jìn)展管理：數(shù)據(jù)變更和系統(tǒng)升級。變更控制組件可以協(xié)助運(yùn)維團(tuán)隊(duì)、開發(fā)團(tuán)隊(duì)和業(yè)務(wù)部門之間的溝通，保障系統(tǒng)的變更平滑進(jìn)展。系統(tǒng)維護(hù)管理的主要任務(wù)及工具支持如以下列圖所示：備份恢復(fù)管理備份與恢復(fù)的目標(biāo)在于：保證在任何時點(diǎn)對數(shù)據(jù)的完全恢復(fù)。最低程度地降低數(shù)據(jù)

46、喪失。盡量提高數(shù)據(jù)備份過程的效率。備份恢復(fù)管理的主要任務(wù)及工具支持如以下列圖所示：故障切換管理故障切換管理組件提供了管理和控制應(yīng)用切換的機(jī)制，提供系統(tǒng)的高可用性。故障切換組件使用冗余系統(tǒng)和數(shù)據(jù)來保證關(guān)鍵任務(wù)數(shù)據(jù)流不連續(xù)。當(dāng)發(fā)生故障或失敗時，該切換發(fā)生在主系統(tǒng)和備份系統(tǒng)之間。在故障或失敗事件中，故障切換管理組件將系統(tǒng)資源重路由到穩(wěn)定配置的備份系統(tǒng)中，直到主系統(tǒng)被恢復(fù)或替代。性能和容量規(guī)劃性能和容量規(guī)劃組件代表了從環(huán)境中的不同系統(tǒng)元素收集利用數(shù)據(jù)，并規(guī)劃硬件和軟件能力需求的工具。數(shù)據(jù)通過放置在環(huán)境中系統(tǒng)元素一端的代理進(jìn)展的收集，并由容量規(guī)劃組件進(jìn)展分析，包括磁盤容量、內(nèi)存使用、處理器使用、數(shù)據(jù)庫、

47、和網(wǎng)絡(luò)等。性能容量規(guī)劃包括如下組件：信息收集：收集性能容量相關(guān)的重要分析數(shù)據(jù)；性能管理：對系統(tǒng)系統(tǒng)性能進(jìn)展監(jiān)控、管理、分析和調(diào)優(yōu)；性能容量規(guī)劃：基于歷史趨勢和未來性能容量需求進(jìn)展規(guī)劃；性能容量規(guī)劃的主要任務(wù)及工具支持如以下列圖所示：運(yùn)維安全管理安全管理組件通過制定和管理安全策略，并利用安全工具，維護(hù)信息系統(tǒng)資產(chǎn)包括硬件、軟件、固件、用戶數(shù)據(jù)、信息/數(shù)據(jù)的機(jī)密性、一致性和可用性。安全管理是貫穿EDW總體架構(gòu)的。例如，在運(yùn)維架構(gòu)中可能需要使用安全控制工具對系統(tǒng)管理工具的訪問進(jìn)展管理，在開發(fā)架構(gòu)中那么可能使用安全控制工具對代碼存儲的訪問進(jìn)展管理。為防止安全內(nèi)容的重復(fù)，所有安全組件都應(yīng)統(tǒng)一被考慮，它是

48、跨開發(fā)、執(zhí)行、運(yùn)維架構(gòu)的。EDW數(shù)據(jù)架構(gòu)數(shù)據(jù)架構(gòu)設(shè)計(jì)原那么統(tǒng)一標(biāo)準(zhǔn)對各源系統(tǒng)數(shù)據(jù)按主題進(jìn)展統(tǒng)一整合；分行特色也按統(tǒng)一標(biāo)準(zhǔn)進(jìn)展補(bǔ)充建設(shè)。靈活性原那么數(shù)據(jù)模型要為數(shù)據(jù)應(yīng)用提供有效的信息支持，這些信息需求會隨著銀行需求的變化而不斷增加，進(jìn)而會引起需求的不可預(yù)料性。特別是加工匯總層的數(shù)據(jù)架構(gòu)必須符合“匯總指標(biāo)可靈活增加的技術(shù)要求，不會隨著指標(biāo)的增加而變更數(shù)據(jù)模型?？蓴U(kuò)展性原那么隨著源系統(tǒng)和數(shù)據(jù)集市應(yīng)用系統(tǒng)的不斷增加，數(shù)據(jù)模型應(yīng)提供一個標(biāo)準(zhǔn)化的設(shè)計(jì)思路，以便業(yè)務(wù)系統(tǒng)的擴(kuò)展。高效原那么數(shù)據(jù)模型面臨海量數(shù)據(jù)的加工和存儲，隨著時間的推移，數(shù)據(jù)將不斷累積，因此效率問題是直接影響系統(tǒng)可用性的關(guān)鍵因素。數(shù)據(jù)模型的效

49、率包括ETL的加工效率和數(shù)據(jù)展現(xiàn)的查詢效率，因此數(shù)據(jù)模型的數(shù)據(jù)組織和存儲，必須是高效可用的。實(shí)用性原那么處理大量的源系統(tǒng)數(shù)據(jù)，將會占用大量的系統(tǒng)資源，因此必須仔細(xì)分析數(shù)據(jù)的實(shí)用性、指標(biāo)的使用頻率，以業(yè)務(wù)需求驅(qū)動為原那么，對業(yè)務(wù)提出的基礎(chǔ)數(shù)據(jù)和指標(biāo)需求進(jìn)展優(yōu)先級劃分，正確制定指標(biāo)的匯總粒度。加工匯總層要重點(diǎn)解決共性指標(biāo)的加工。存儲空間合理性原那么數(shù)據(jù)模型需要處理海量數(shù)據(jù)。隨時間的增加，存儲數(shù)據(jù)越來越多。因此在設(shè)計(jì)時必須考慮如何合理組織數(shù)據(jù)，以減小數(shù)據(jù)冗余。數(shù)據(jù)架構(gòu)分層設(shè)計(jì)數(shù)據(jù)庫統(tǒng)一存儲管理所轄數(shù)據(jù)，由于數(shù)據(jù)類型比較多，數(shù)據(jù)庫表也比較多，如何有效的組織管理好全行多種業(yè)務(wù)的數(shù)據(jù)和信息，對下一步清晰的

50、信息應(yīng)用、方便地使用數(shù)據(jù)是很關(guān)鍵的。因此數(shù)據(jù)和信息不能隨意堆積存放到數(shù)據(jù)庫中，需要對全行的數(shù)據(jù)和信息進(jìn)展分層、分類存放，并制定相應(yīng)的數(shù)據(jù)分層、分類的標(biāo)準(zhǔn)，EDW系統(tǒng)上所有數(shù)據(jù)和應(yīng)用的建設(shè)都應(yīng)遵從統(tǒng)一的數(shù)據(jù)管理標(biāo)準(zhǔn)。存放到EDW數(shù)據(jù)庫中的數(shù)據(jù)有以下幾類：1、從原業(yè)務(wù)系統(tǒng)直接采集過來的經(jīng)標(biāo)準(zhǔn)化處理的標(biāo)準(zhǔn)數(shù)據(jù)，由標(biāo)準(zhǔn)數(shù)據(jù)按主題整合形成的基礎(chǔ)業(yè)務(wù)數(shù)據(jù)；2、經(jīng)過中間加工匯總形成的匯總數(shù)據(jù)；3、管理應(yīng)用所專用的操作型數(shù)據(jù)；4、為滿足應(yīng)用分析需要而加工形成的多維分析數(shù)據(jù)。為了更好的管理這些數(shù)據(jù)，EDW數(shù)據(jù)按層次進(jìn)展劃分存放及管理，從邏輯模型上劃分為以下幾個數(shù)據(jù)層次：源數(shù)據(jù)緩沖層：數(shù)據(jù)層與業(yè)務(wù)源的數(shù)據(jù)構(gòu)造一一

51、對應(yīng)，是數(shù)據(jù)存儲的臨時存儲區(qū)域，數(shù)據(jù)在其中只作暫時性保存，當(dāng)新的數(shù)據(jù)到達(dá)緩儲區(qū)時，現(xiàn)有數(shù)據(jù)被刪除或覆蓋。標(biāo)準(zhǔn)化數(shù)據(jù)層：對數(shù)據(jù)做標(biāo)準(zhǔn)化處理，主要有公共代碼標(biāo)準(zhǔn)化、數(shù)據(jù)類型標(biāo)準(zhǔn)化和數(shù)據(jù)格式標(biāo)準(zhǔn)化，未來可以做客戶信息標(biāo)準(zhǔn)化。標(biāo)準(zhǔn)化全量層基礎(chǔ)數(shù)據(jù)層數(shù)據(jù)模型基礎(chǔ)數(shù)據(jù)模型用于整合、存儲全行各業(yè)務(wù)系統(tǒng)的基礎(chǔ)業(yè)務(wù)數(shù)據(jù)。原那么上該區(qū)域的數(shù)據(jù)不作復(fù)雜加工，直接存儲業(yè)務(wù)系統(tǒng)中原始數(shù)據(jù)記錄的關(guān)鍵數(shù)據(jù)主數(shù)據(jù)，盡量保持貼近源系統(tǒng)的數(shù)據(jù)構(gòu)造。為應(yīng)用方便、查詢高效考慮，可以對源系統(tǒng)進(jìn)展適當(dāng)?shù)恼?、拆分，也可以裁減掉源系統(tǒng)中沒有必要整合的數(shù)據(jù)。同時需要對各系統(tǒng)冗余及標(biāo)準(zhǔn)不一致的數(shù)據(jù)進(jìn)展標(biāo)準(zhǔn)和整合。在基礎(chǔ)據(jù)模型中按照八大主題對銀

52、行全行數(shù)據(jù)進(jìn)展整合、分類組織和存儲，這八大主題包括總帳(GL)、客戶(CI)、存款(DEP)、貸款(LN)、銀行卡(CRD)、中間業(yè)務(wù)(NIN)、渠道(CHN)、公用(CM)；每個主題下設(shè)計(jì)相應(yīng)的數(shù)據(jù)模型，最后構(gòu)成全行統(tǒng)一的基礎(chǔ)數(shù)據(jù)模型。EDW對各源系統(tǒng)機(jī)構(gòu)編碼進(jìn)展統(tǒng)一，提供統(tǒng)一的基線機(jī)構(gòu)。EDW對源系統(tǒng)客戶號進(jìn)展統(tǒng)一，提供統(tǒng)一的客戶號ECIF客戶編號。加工匯總數(shù)據(jù)層數(shù)據(jù)模型；加工匯總數(shù)據(jù)層的主題劃分為八大主題：總帳(GL)、客戶(CI)、存款(DEP)、貸款(LN)、銀行卡(CRD)、中間業(yè)務(wù)(NIN)、渠道(CHN)、公用(CM)。加工匯總數(shù)據(jù)層下的匯總需求由“應(yīng)用需要來確定。多個應(yīng)用一樣

53、的匯總要求，或者多個應(yīng)用在匯總計(jì)算的基礎(chǔ)局部有重復(fù)匯總的局部可以納入該區(qū)域進(jìn)展匯總，形成應(yīng)用共享的中間匯總結(jié)果，如按客戶、機(jī)構(gòu)、產(chǎn)品、渠道等主題的一些公共匯總數(shù)據(jù)包括每天或每個階段的業(yè)務(wù)量、業(yè)務(wù)額、平均額等數(shù)據(jù)的匯總。加工匯總數(shù)據(jù)層的數(shù)據(jù)模型設(shè)計(jì)在有相應(yīng)的匯總需求情況下才針對匯總需求進(jìn)展數(shù)據(jù)表和數(shù)據(jù)匯總?cè)蝿?wù)的擴(kuò)展設(shè)計(jì)，逐步積累公共匯總指標(biāo)，最后形成全行可共享的面向各個主題的中間匯總指標(biāo)。加工匯總數(shù)據(jù)層分為兩種不同數(shù)據(jù)形態(tài)：1匯總指標(biāo)如平均余額等2根據(jù)業(yè)務(wù)要求形成的分析加工數(shù)據(jù)如理財(cái)卡帳務(wù)數(shù)據(jù)、客戶大額存取款等集市數(shù)據(jù)層數(shù)據(jù)模型集市數(shù)據(jù)層用于建設(shè)面向各個應(yīng)用主題的數(shù)據(jù)集市，不同的主題應(yīng)用在集市數(shù)

54、據(jù)區(qū)下建設(shè)不同的數(shù)據(jù)集市，數(shù)據(jù)集市的數(shù)據(jù)模型根據(jù)應(yīng)用模型的需要進(jìn)展設(shè)計(jì)。數(shù)據(jù)集市中可存在操作型數(shù)據(jù)、匯總型數(shù)據(jù)和多維分析數(shù)據(jù)，根據(jù)應(yīng)用的需要分別進(jìn)展建設(shè)。EDW應(yīng)用架構(gòu)應(yīng)用架構(gòu)設(shè)計(jì)原那么EDW系統(tǒng)的應(yīng)用架構(gòu)應(yīng)考慮開放性、完整性、合理性。開放性：EDW系統(tǒng)的應(yīng)用架構(gòu)設(shè)計(jì)必須考慮平臺、系統(tǒng)、功能的開放性，與XX銀行的科技規(guī)劃相適應(yīng)，能夠與周邊各系統(tǒng)進(jìn)展良好的信息傳遞。完整性：EDW系統(tǒng)的應(yīng)用架構(gòu)設(shè)計(jì)應(yīng)具備完整性，涵蓋目前的應(yīng)用需求，并以框架形式界定EDW工程的應(yīng)用需求范圍。EDW系統(tǒng)的應(yīng)用架構(gòu)應(yīng)該能夠作為需求檢查列表，檢驗(yàn)當(dāng)前用戶需求是否被涵蓋，而不會發(fā)生遺漏。合理性：應(yīng)用架構(gòu)的設(shè)計(jì)應(yīng)是對用戶需求

55、的全面反映。應(yīng)用架構(gòu)應(yīng)采用先進(jìn)的理念和技術(shù)，并結(jié)合XX銀行科技規(guī)劃與現(xiàn)有的技術(shù)平臺。數(shù)據(jù)服務(wù)EDW將提供全行各個系統(tǒng)的批量數(shù)據(jù)服務(wù)，如應(yīng)用架構(gòu)圖所示EDW即可以為核心系統(tǒng)、財(cái)務(wù)系統(tǒng)、個貸系統(tǒng)、信貸系統(tǒng)等業(yè)務(wù)系統(tǒng)提供數(shù)據(jù)，也可以為資產(chǎn)負(fù)債系統(tǒng)、內(nèi)部評級系統(tǒng)、戰(zhàn)略客戶管理信息系統(tǒng)等管理內(nèi)的系統(tǒng)提供數(shù)據(jù)服務(wù)；同時也可以為未來實(shí)現(xiàn)的EDW系統(tǒng)提供數(shù)據(jù)，從而實(shí)現(xiàn)全行范圍內(nèi)系統(tǒng)間的批量數(shù)據(jù)采集、加工和發(fā)布，原那么上各系統(tǒng)不能再建設(shè)其他渠道實(shí)現(xiàn)批量數(shù)據(jù)采集、加工、發(fā)布。EDW數(shù)據(jù)采集、加工、發(fā)布的范圍包括：總行各應(yīng)用系統(tǒng)之間總行與分行應(yīng)用系統(tǒng)之間同一分行應(yīng)用系統(tǒng)間不同分行應(yīng)用系統(tǒng)間分布部署的同一應(yīng)用系統(tǒng)間E

56、DW數(shù)據(jù)服務(wù)具備的能力有：EDW快速提供批量數(shù)據(jù)，可以滿足應(yīng)用系統(tǒng)準(zhǔn)實(shí)時的數(shù)據(jù)要求。EDW能夠提供的數(shù)據(jù)會覆蓋全行所有系統(tǒng)，可以滿足全行所有的數(shù)據(jù)加工對數(shù)據(jù)的需求。EDW模型化各系統(tǒng)數(shù)據(jù)，可以滿足各應(yīng)用系統(tǒng)對全量數(shù)據(jù)、增量數(shù)據(jù)的需求，減少對重要交易系統(tǒng)的干擾。EDW能夠根據(jù)應(yīng)用系統(tǒng)的需要，對源系統(tǒng)數(shù)據(jù)進(jìn)展必要的加工處理，按照全行數(shù)據(jù)架構(gòu)原那么，合理地在數(shù)據(jù)線上分配數(shù)據(jù)加工功能，保證數(shù)據(jù)處理的高效、準(zhǔn)確。應(yīng)用服務(wù)基于數(shù)據(jù)分析功能和交易功能別離原那么，為保證交易系統(tǒng)運(yùn)行效率和數(shù)據(jù)分析功能日益增加的需求，新系統(tǒng)設(shè)計(jì)時，應(yīng)該將數(shù)據(jù)分析功能和交易功能別離到不同系統(tǒng)中，或者至少為將來別離做好技術(shù)準(zhǔn)備。在這

57、個原那么下，EDW可以對外提供應(yīng)用服務(wù)，如：駕駛艙報(bào)表系統(tǒng)中的報(bào)表功能；某些時效性要求較高的即時OLAP分析；經(jīng)營關(guān)鍵指標(biāo)KPI展示等。ETL體系建設(shè)ETL架構(gòu)概述在商業(yè)銀行的EDW系統(tǒng)中，數(shù)據(jù)由數(shù)據(jù)源系統(tǒng)加載到EDW的各個數(shù)據(jù)層中，并通過供數(shù)接口提供應(yīng)相關(guān)使用者系統(tǒng)。其實(shí)現(xiàn)的困難在于ETL系統(tǒng)將面臨復(fù)雜的數(shù)據(jù)環(huán)境，包括巨大的加載數(shù)據(jù)量、錯綜復(fù)雜的數(shù)據(jù)關(guān)系和參差不齊的數(shù)據(jù)質(zhì)量，這些都使ETL的架構(gòu)和應(yīng)用設(shè)計(jì)面臨相當(dāng)?shù)奶魬?zhàn)。通過高效的ETL系統(tǒng)構(gòu)造、層次化的應(yīng)用功能劃分和標(biāo)準(zhǔn)的程序模板，EDW系統(tǒng)能夠到達(dá)以下目標(biāo)：支持在此框架下實(shí)現(xiàn)EDW工程所需要的ETL功能；支持在規(guī)定的批處理時間窗口Batc

58、h Window內(nèi)能夠完成數(shù)據(jù)加載工作，即需要滿足日常數(shù)據(jù)加載的性能需求；能夠支持有效的應(yīng)用程序開發(fā)模式，提高開發(fā)效率，盡量減少應(yīng)用開發(fā)本錢；減少系統(tǒng)維護(hù)的復(fù)雜性，支持后續(xù)增加新數(shù)據(jù)或功能的開發(fā)工作。和上下游系統(tǒng)接口的松耦合設(shè)計(jì)，防止上下游系統(tǒng)的變更導(dǎo)致ETL程序本身頻繁變更。XX銀行總行的EDW系統(tǒng)數(shù)據(jù)源環(huán)境復(fù)雜，應(yīng)用系統(tǒng)數(shù)據(jù)需求旺盛，數(shù)據(jù)質(zhì)量參差不齊，結(jié)合以上系統(tǒng)目標(biāo)及設(shè)計(jì)原那么，建議采用如下體系架構(gòu)建設(shè)：ETL邏輯構(gòu)造按照處理過程可劃分為ETL預(yù)處理、ETL轉(zhuǎn)換清洗、ETL目標(biāo)數(shù)據(jù)裝載。對于數(shù)據(jù)提供者，包括業(yè)務(wù)系統(tǒng)核心業(yè)務(wù)系統(tǒng)、個貸系統(tǒng)、信貸系統(tǒng)、國際業(yè)務(wù)系統(tǒng)、財(cái)務(wù)系統(tǒng)、渠道系統(tǒng)以及管理

59、系統(tǒng)數(shù)據(jù)倉庫EDW系統(tǒng)、客戶關(guān)系管理CRM系統(tǒng)、績效考核系統(tǒng)、稽核管理系統(tǒng)、報(bào)表中心，通過ETL預(yù)處理，數(shù)據(jù)裝載入數(shù)據(jù)緩沖區(qū)。ETL轉(zhuǎn)換清洗通過連接、合并、分割，按照清洗規(guī)那么對數(shù)據(jù)緩沖區(qū)、數(shù)據(jù)存儲區(qū)的數(shù)據(jù)進(jìn)展加工、匯總，最終裝載入數(shù)據(jù)存儲區(qū)。ETL目標(biāo)數(shù)據(jù)裝載按照EDW的數(shù)據(jù)接口要求，給目標(biāo)系統(tǒng)提供數(shù)據(jù)。ETL1：屬于ETL預(yù)處理。加載源系統(tǒng)數(shù)據(jù)，增加時間拉鏈，數(shù)據(jù)裝載入數(shù)據(jù)緩沖區(qū)。對源數(shù)據(jù)做數(shù)據(jù)平衡檢查、稽核數(shù)據(jù)有效性，報(bào)告數(shù)據(jù)質(zhì)量問題。ETL2：屬于ETL清洗。對數(shù)據(jù)緩沖區(qū)數(shù)據(jù)標(biāo)準(zhǔn)化，統(tǒng)一數(shù)據(jù)表達(dá)格式，排序數(shù)據(jù)，篩選重復(fù)數(shù)據(jù)，合并或分割數(shù)據(jù)項(xiàng)，裝載入數(shù)據(jù)存儲區(qū)的基礎(chǔ)數(shù)據(jù)層。報(bào)告數(shù)據(jù)轉(zhuǎn)換清

60、洗異常。ETL3：屬于ETL轉(zhuǎn)換。對操作型存儲區(qū)的貼源標(biāo)準(zhǔn)化數(shù)據(jù)，按照業(yè)務(wù)轉(zhuǎn)換規(guī)那么、通用數(shù)據(jù)清洗規(guī)那么，加工數(shù)據(jù)，裝載入數(shù)據(jù)倉庫區(qū)的FDM基礎(chǔ)層。ETL3處理是耗時最長，邏輯處理最復(fù)雜的階段，需要非常重視。ETL4：屬于ETL轉(zhuǎn)換。從數(shù)據(jù)倉庫FDM層進(jìn)展適量的維度、指標(biāo)建模。一些低粒度數(shù)據(jù)逐步向高粒度數(shù)據(jù)歸并和匯總。ETL5：屬于ETL目標(biāo)數(shù)據(jù)裝載。提供數(shù)據(jù)存儲區(qū)的FDM層數(shù)據(jù)、ADM層數(shù)據(jù)。本模式提供EDW允許的相應(yīng)時間段的歷史數(shù)據(jù)支持。ETL6：屬于ETL目標(biāo)數(shù)據(jù)裝載。提供數(shù)據(jù)存儲區(qū)的FDM層數(shù)據(jù)、ADM層數(shù)據(jù)。本模式提供EDW允許的相應(yīng)時間段的歷史數(shù)據(jù)支持。ETL設(shè)計(jì)方案ETL關(guān)鍵設(shè)計(jì)