EDW數(shù)據(jù)倉庫項(xiàng)目方案

1、 / 46XXXX 銀行銀行EDW/EDW/數(shù)據(jù)倉庫項(xiàng)目方案數(shù)據(jù)倉庫項(xiàng)目方案目錄目錄第一章第一章 系統(tǒng)總體架構(gòu)系統(tǒng)總體架構(gòu)1.1 總體架構(gòu)設(shè)計(jì)概述.1 總體架構(gòu)的設(shè)計(jì)框架.2 總體架構(gòu)的設(shè)計(jì)原則.3 總體架構(gòu)的設(shè)計(jì)特點(diǎn)1.2 EDW 執(zhí)行架構(gòu).1 執(zhí)行架構(gòu)概述.2 執(zhí)行架構(gòu)設(shè)計(jì)原則.3 執(zhí)行架構(gòu)框架1.3 EDW 邏輯架構(gòu).1 邏輯架構(gòu)框架.2 數(shù)據(jù)處理流程1.4 EDW 運(yùn)維架構(gòu) / 4.1 運(yùn)維架構(gòu)概述.2 運(yùn)維架構(gòu)的邏輯框架1.

2、5 EDW 數(shù)據(jù)架構(gòu).1 數(shù)據(jù)架構(gòu)設(shè)計(jì)原則.2 數(shù)據(jù)架構(gòu)分層設(shè)計(jì)1.6 EDW 應(yīng)用架構(gòu).1 應(yīng)用架構(gòu)設(shè)計(jì)原則.2 數(shù)據(jù)服務(wù).3 應(yīng)用服務(wù)第二章第二章 ETLETL 體系建設(shè)體系建設(shè)2.1 ETL 架構(gòu)概述2.2 ETL 設(shè)計(jì)方案2.3 ETL 關(guān)鍵設(shè)計(jì)環(huán)節(jié).1 接口層設(shè)計(jì)策略.2 Staging Area 設(shè)計(jì)策略.3 數(shù)據(jù)加載策略.4 增量 ETL 設(shè)計(jì)策略.5 異常處理.6 作業(yè)調(diào)度和監(jiān)控.7 元數(shù)

3、據(jù)管理.8 ETL 模塊設(shè)計(jì).9 ETL 流程設(shè)計(jì).10 動(dòng)態(tài)資源分配.11 數(shù)據(jù)接口設(shè)計(jì) / 46第一章 系統(tǒng)總體架構(gòu)1.1 總體架構(gòu)設(shè)計(jì)概述1.1.1 總體架構(gòu)的設(shè)計(jì)框架XX 銀行 EDW 項(xiàng)目的總體架構(gòu)分為基礎(chǔ)技術(shù)架構(gòu)、應(yīng)用架構(gòu)和數(shù)據(jù)架構(gòu)三個(gè)核心部分。這三個(gè)部分共同組成了 XX 銀行 EDW 系統(tǒng)。在基礎(chǔ)技術(shù)架構(gòu)中，包括執(zhí)行架構(gòu)、邏輯架構(gòu)、功能組件架構(gòu)和運(yùn)維架構(gòu)四個(gè)部分。執(zhí)行架構(gòu)描述系統(tǒng)大的框架和模塊區(qū)域，以與之間的邏輯關(guān)系；是確定生產(chǎn)環(huán)境的建設(shè)要求與指導(dǎo)原則。邏輯架構(gòu)描述 EDW 各個(gè)模塊之間的數(shù)據(jù)的接口、數(shù)據(jù)流向、工

4、具使用和采用具體的技術(shù)實(shí)現(xiàn)手段或方式情況，用于規(guī)本項(xiàng)目最終生產(chǎn)環(huán)境的建立。邏輯架構(gòu)是建立應(yīng)用架構(gòu)、執(zhí)行架構(gòu)、運(yùn)維架構(gòu)的基礎(chǔ)，也是建立執(zhí)行架構(gòu)、應(yīng)用架構(gòu)以與運(yùn)維架構(gòu)的原型系統(tǒng)。功能組件架構(gòu)描述確定系統(tǒng)各個(gè)大的組件組件區(qū)域的功能模塊框架，以與提供的某種服務(wù)類型。運(yùn)維架構(gòu)是描述 EDW 項(xiàng)目的運(yùn)維架構(gòu)標(biāo)準(zhǔn)，包括運(yùn)維架構(gòu)設(shè)計(jì)的容、設(shè)計(jì)原則、各構(gòu)成組件的設(shè)計(jì)考慮因素、約束、要求等。運(yùn)維架構(gòu)通過相應(yīng)的流程和工具實(shí)現(xiàn)對(duì)邏輯架構(gòu)、功能組件架構(gòu)、執(zhí)行架構(gòu)、數(shù)據(jù)架構(gòu)以與應(yīng)用架構(gòu)的運(yùn)維和管理。而數(shù)據(jù)架構(gòu)和應(yīng)用架構(gòu)的主要描述：應(yīng)用架構(gòu)是 EDW 為滿足業(yè)務(wù)需求所提供的系統(tǒng)應(yīng)用功能與其藍(lán)圖設(shè)計(jì)，其中業(yè)務(wù)需應(yīng)用架構(gòu)設(shè)計(jì)的

5、基礎(chǔ)，最終的應(yīng)用架構(gòu)將以應(yīng)用系統(tǒng)的形式體現(xiàn)在執(zhí)行架構(gòu)中，主要包括：應(yīng)用服務(wù)和數(shù)據(jù)服務(wù)。數(shù)據(jù)架構(gòu)描述于 EDW 系統(tǒng)相關(guān)的數(shù)據(jù)流動(dòng)策略，即數(shù)據(jù)在 EDW 系統(tǒng)的執(zhí)行架構(gòu)下的抽取、轉(zhuǎn)換、儲(chǔ)存策略以與應(yīng)采用的流程，包括數(shù)據(jù)層次和總分行之間的數(shù)據(jù)分部情況等。數(shù)據(jù)架構(gòu)是建立執(zhí)行架構(gòu)標(biāo)準(zhǔn)的 / 46需求定義。下圖是 EDW 項(xiàng)目總體架構(gòu)的框架：1.1.2 總體架構(gòu)的設(shè)計(jì)原則總體架構(gòu)在著重考慮實(shí)施要求的同時(shí)，需要為后續(xù)階段進(jìn)行規(guī)劃，以保證項(xiàng)目最終能夠達(dá)到目標(biāo)架構(gòu)的設(shè)計(jì)；總體架構(gòu)的設(shè)計(jì)要基于包括 XX 銀行數(shù)據(jù)現(xiàn)狀分析、實(shí)施階段數(shù)據(jù)源情況分析、第一階段實(shí)施 EDW 設(shè)計(jì)建議做為參考；總體架構(gòu)設(shè)計(jì)架構(gòu)時(shí)充分考慮

6、與現(xiàn)有系統(tǒng)兼容，充分利用已有成果，避免重復(fù)開發(fā)和建設(shè)?？傮w架構(gòu)設(shè)計(jì)過程中應(yīng)遵守 XX 銀行的 IT 管理規(guī)程，保證最終的系統(tǒng)可以順利的部署并移交給 XX 銀行的運(yùn)行維護(hù)部門。1.1.3 總體架構(gòu)的設(shè)計(jì)特點(diǎn)權(quán)衡功能、性能、可擴(kuò)展性、易用性、可管理性和性價(jià)比。 根據(jù) XX 銀行的數(shù)據(jù)情況和分析需求，采用多層次的企業(yè) EDW 系統(tǒng)架構(gòu)來保證在存在復(fù)雜的數(shù)據(jù)種類和關(guān)系的海量數(shù)據(jù)上進(jìn)行業(yè)務(wù)分析和查 / 46詢?cè)跇I(yè)務(wù)支持能力和性能等方面的要求。 多級(jí)自動(dòng)的增量 ETL 加載機(jī)制，有效提高 ETL 并發(fā)度、加載效率，降低錯(cuò)誤處理的復(fù)雜性。 通過用戶入口支持用戶采用 Web 瀏覽器使用查詢和分析工具，統(tǒng)一的信

7、息服務(wù)界面，提高系統(tǒng)易用性，減少技術(shù)支持工作量。 利用企業(yè)信息集成和 Web 數(shù)據(jù)服務(wù)，提高系統(tǒng)的數(shù)據(jù)支持能力和接口的一致性。統(tǒng)一的數(shù)據(jù)增強(qiáng)平臺(tái)也減少數(shù)據(jù)增強(qiáng)的復(fù)雜度。1.2 EDW 執(zhí)行架構(gòu)執(zhí)行架構(gòu)的主要容是描述 EDW 項(xiàng)目執(zhí)行架構(gòu)的建設(shè)要求與指導(dǎo)原則，用于規(guī)本項(xiàng)目最終生產(chǎn)環(huán)境的建設(shè)。EDW 項(xiàng)目的生產(chǎn)環(huán)境的建立需要參考并遵循執(zhí)行架構(gòu)部分提出的要求。1.2.1 執(zhí)行架構(gòu)概述執(zhí)行架構(gòu)是 EDW 的概念環(huán)境，主要包含：源數(shù)據(jù)、數(shù)據(jù)落地區(qū)、ETL、數(shù)據(jù)準(zhǔn)備區(qū)、數(shù)據(jù)存儲(chǔ)區(qū) EDW、業(yè)務(wù)應(yīng)用、用戶環(huán)境、數(shù)據(jù)管控、系統(tǒng)安全性以與EDW 基礎(chǔ)設(shè)施平臺(tái)（包括：服務(wù)器、存儲(chǔ)、網(wǎng)絡(luò)）等功能組件。從技術(shù)層面上來

8、說，EDW 系統(tǒng)的執(zhí)行架構(gòu)應(yīng)實(shí)現(xiàn)多種技術(shù)平臺(tái)與應(yīng)用之間的無縫集成。1.2.2 執(zhí)行架構(gòu)設(shè)計(jì)原則在 EDW 項(xiàng)目實(shí)施的過程中，系統(tǒng)執(zhí)行架構(gòu)的建設(shè)應(yīng)遵循以下技術(shù)原則：開放性原則開放性原則：EDW 項(xiàng)目的生產(chǎn)環(huán)境的建設(shè)應(yīng)基于業(yè)界開放標(biāo)準(zhǔn)，對(duì)系統(tǒng)中使用的網(wǎng)絡(luò)協(xié)議、硬件接口、數(shù)據(jù)接口等應(yīng)進(jìn)行統(tǒng)一規(guī)劃，EDW 系統(tǒng)應(yīng)支持主流的應(yīng)用軟件包與其部署的各種硬件平臺(tái)。靈活性與可擴(kuò)展性靈活性與可擴(kuò)展性：EDW 系統(tǒng)的基礎(chǔ)設(shè)施平臺(tái)應(yīng)能夠根據(jù)未來系統(tǒng)的發(fā)展需要以與應(yīng)用需求，方便的擴(kuò)展設(shè)備容量和提升設(shè)備性能；具備支持多種組件模塊、多種物理接口的能力；具備技術(shù)升級(jí)、設(shè)備更新的靈活性；具備支持業(yè)務(wù)功能的擴(kuò)展與重構(gòu)的靈活性。如

9、：系統(tǒng)容量可以隨著 ETL 系統(tǒng)數(shù)據(jù)量的擴(kuò)展以與應(yīng)用系統(tǒng)的不斷擴(kuò)展、用戶量不斷 / 46擴(kuò)展而進(jìn)行平滑的擴(kuò)展。高性能原則高性能原則：系統(tǒng)應(yīng)達(dá)到數(shù)據(jù)處理時(shí)間窗口的要求，用戶定義的查詢效率、響應(yīng)時(shí)間的要求，滿足業(yè)務(wù)系統(tǒng)的要求；對(duì)現(xiàn)有業(yè)務(wù)系統(tǒng)影響小。自動(dòng)化原則自動(dòng)化原則：EDW 項(xiàng)目建設(shè)的核心任務(wù)之一是數(shù)據(jù)抽取、轉(zhuǎn)換、清洗和加載（ETL） ，在這個(gè)過程中應(yīng)采用自動(dòng)化的設(shè)計(jì)原則，避免手工操作。同時(shí)對(duì)于元數(shù)據(jù)管理過程應(yīng)采用元數(shù)據(jù)管理平臺(tái)來實(shí)現(xiàn)對(duì)元數(shù)據(jù)集中、自動(dòng)化的管理。安全性原則安全性原則：EDW 項(xiàng)目建設(shè)中的數(shù)據(jù)遷移過程都必須保證數(shù)據(jù)的安全性，例如：在系統(tǒng)建設(shè)過程中應(yīng)對(duì)數(shù)據(jù)中敏感字段進(jìn)行安全處理、同時(shí)

10、整個(gè)系統(tǒng)還應(yīng)采用網(wǎng)絡(luò)隔離、用戶身份認(rèn)證與訪問控制、數(shù)據(jù)庫安全、操作系統(tǒng)安全以與完善的安全審計(jì)機(jī)制。1.2.3 執(zhí)行架構(gòu)框架業(yè)業(yè)務(wù)務(wù)數(shù)數(shù)據(jù)據(jù)源源ETL數(shù)數(shù)據(jù)據(jù)抽抽取取轉(zhuǎn)轉(zhuǎn)換換加加載載數(shù)數(shù)據(jù)據(jù)準(zhǔn)準(zhǔn)備備區(qū)區(qū)操操作作型型存存儲(chǔ)儲(chǔ)業(yè)業(yè)務(wù)務(wù)應(yīng)應(yīng)用用ETL數(shù)數(shù)據(jù)據(jù)抽抽取取轉(zhuǎn)轉(zhuǎn)換換加加載載元元數(shù)數(shù)據(jù)據(jù)管管理理系系統(tǒng)統(tǒng)安安全全基基礎(chǔ)礎(chǔ)設(shè)設(shè)施施平平臺(tái)臺(tái)（服服務(wù)務(wù)器器、網(wǎng)網(wǎng)絡(luò)絡(luò)、存存儲(chǔ)儲(chǔ)）數(shù)數(shù)據(jù)據(jù)落落地地區(qū)區(qū)數(shù)數(shù)據(jù)據(jù)落落地地區(qū)區(qū)渠渠道道系系統(tǒng)統(tǒng)核核心心系系統(tǒng)統(tǒng)其其他他系系統(tǒng)統(tǒng)分分析析環(huán)環(huán)境境報(bào)報(bào)表表環(huán)環(huán)境境應(yīng)應(yīng)用用環(huán)環(huán)境境操操作作型型數(shù)數(shù)據(jù)據(jù)/標(biāo)標(biāo)準(zhǔn)準(zhǔn)化化數(shù)數(shù)據(jù)據(jù)用用戶戶環(huán)環(huán)境境ETL數(shù)數(shù)據(jù)據(jù)抽抽取取轉(zhuǎn)轉(zhuǎn)換換加加載

11、載報(bào)報(bào)表表/KPI靈靈活活查查詢?cè)兤淦渌惺袛?shù)數(shù)據(jù)據(jù)準(zhǔn)準(zhǔn)備備區(qū)區(qū)對(duì)對(duì)公公信信貸貸個(gè)個(gè)貸貸系系統(tǒng)統(tǒng)國國結(jié)結(jié)系系統(tǒng)統(tǒng)人人力力系系統(tǒng)統(tǒng)EDW數(shù)數(shù)據(jù)據(jù)倉倉庫庫（EDW）企企業(yè)業(yè)級(jí)級(jí)數(shù)數(shù)據(jù)據(jù)模模型型財(cái)財(cái)務(wù)務(wù)系系統(tǒng)統(tǒng)數(shù)數(shù)據(jù)據(jù)分分發(fā)發(fā)環(huán)環(huán)境境報(bào)報(bào)表表分分發(fā)發(fā)環(huán)環(huán)境境通通用用展展現(xiàn)現(xiàn)平平臺(tái)臺(tái)上圖是 EDW 系統(tǒng)執(zhí)行架構(gòu)，其中包含 EDW 系統(tǒng)中涵蓋的功能框架以與框架之間的邏輯關(guān)系。在以下的容中將對(duì)執(zhí)行架構(gòu)中的功能框架以與框架之間的關(guān)系進(jìn)行詳細(xì)描述，具體容包括： / 46數(shù)據(jù)源：數(shù)據(jù)源：包括 XX 銀行的多個(gè)業(yè)務(wù)系統(tǒng)，主要有核心系統(tǒng)、個(gè)貸系統(tǒng)、信貸系統(tǒng)、國際業(yè)務(wù)系統(tǒng)、財(cái)務(wù)系統(tǒng)和各類渠道系統(tǒng)等。數(shù)據(jù)落地區(qū)數(shù)

12、據(jù)落地區(qū)：此部分容說明數(shù)據(jù)落地的用途，同時(shí)對(duì)數(shù)據(jù)落地區(qū)應(yīng)具備的功能進(jìn)行了標(biāo)準(zhǔn)定義以與數(shù)據(jù)落地區(qū)與其他功能組件之間的關(guān)聯(lián)關(guān)系；ETLETL：此部分容描述 ETL 系統(tǒng)中數(shù)據(jù)抽取、轉(zhuǎn)換、加載等功能的需求，同時(shí)定義了 ETL 系統(tǒng)建設(shè)的標(biāo)準(zhǔn)以與 ETL 與系統(tǒng)中其他功能組件之間的關(guān)系；數(shù)據(jù)準(zhǔn)備區(qū)數(shù)據(jù)準(zhǔn)備區(qū)：此部分描述數(shù)據(jù)準(zhǔn)備區(qū)應(yīng)具備的功能，以與數(shù)據(jù)準(zhǔn)備區(qū)在建設(shè)過程中的標(biāo)準(zhǔn)需求。操作型存儲(chǔ)區(qū)操作型存儲(chǔ)區(qū)：此部分容描述 EDW 系統(tǒng)在建設(shè)的過程中操作型存儲(chǔ)區(qū)應(yīng)遵循的標(biāo)準(zhǔn)以與系統(tǒng)建設(shè)過程中應(yīng)滿足的需求；數(shù)據(jù)倉庫存儲(chǔ)區(qū)數(shù)據(jù)倉庫存儲(chǔ)區(qū)：此部分容描述 EDW 系統(tǒng)的數(shù)據(jù)倉庫存儲(chǔ)區(qū)應(yīng)遵循的標(biāo)準(zhǔn)以與系統(tǒng)建設(shè)過程中應(yīng)

13、滿足的需求；業(yè)務(wù)應(yīng)用業(yè)務(wù)應(yīng)用：此部分容描述 BI 應(yīng)用系統(tǒng)建設(shè)的系統(tǒng)需求，包含對(duì)應(yīng)用環(huán)境、分析環(huán)境、靜態(tài)報(bào)表環(huán)境；用戶環(huán)境用戶環(huán)境：此部分的容描述用戶在 EDW 系統(tǒng)中應(yīng)具備運(yùn)用的能力，包括：利用通用展現(xiàn)平臺(tái)進(jìn)行信息展現(xiàn)、駕駛艙應(yīng)用、報(bào)表應(yīng)用等；時(shí)間窗口和性能的定義時(shí)間窗口和性能的定義：此部分描述整個(gè) EDW 項(xiàng)目中關(guān)于時(shí)間窗口的定義以與相關(guān)系統(tǒng)的性能指標(biāo)要求；元數(shù)據(jù)管理元數(shù)據(jù)管理：此部分描述在系統(tǒng)執(zhí)行架構(gòu)中元數(shù)據(jù)管理的容以與元數(shù)據(jù)管理系統(tǒng)的建設(shè)的標(biāo)準(zhǔn)定義；系統(tǒng)安全性系統(tǒng)安全性：此部分容主要描述 EDW 系統(tǒng)中的安全性管理容，包括應(yīng)用安全、網(wǎng)絡(luò)安全、數(shù)據(jù)安全、系統(tǒng)安全等，同時(shí)描述系統(tǒng)安全在建立

14、過程中遵循的原則；基礎(chǔ)設(shè)施平臺(tái)基礎(chǔ)設(shè)施平臺(tái)（服務(wù)器 、網(wǎng)絡(luò)、存儲(chǔ)）：此部分容主要描述生產(chǎn)系統(tǒng)中的硬件資源，包括：服務(wù)器，網(wǎng)絡(luò)以與存儲(chǔ)的資源需求，容量規(guī)劃應(yīng)滿足的系統(tǒng)指標(biāo)等容； / 4 數(shù)據(jù)源源數(shù)據(jù)系統(tǒng)是報(bào)表、關(guān)鍵指標(biāo)、靈活查詢、主題分析等應(yīng)用系統(tǒng)的基礎(chǔ)數(shù)據(jù)來源。在系統(tǒng)建設(shè)初期，源數(shù)據(jù)系統(tǒng)應(yīng)提供能滿足初始業(yè)務(wù)需要的數(shù)據(jù)以與業(yè)務(wù)系統(tǒng)需要提供完整數(shù)據(jù)的時(shí)間窗口，在 EDW 系統(tǒng)擴(kuò)展的過程中，各個(gè)源數(shù)據(jù)系統(tǒng)中的數(shù)據(jù)將逐漸的加載到 EDW 系統(tǒng)當(dāng)中。源數(shù)據(jù)無法滿足應(yīng)用需求時(shí)，系統(tǒng)應(yīng)提供手工方式通過手工數(shù)據(jù)補(bǔ)入平臺(tái)將需要的數(shù)據(jù)補(bǔ)入到 EDW 系統(tǒng)中。目前數(shù)據(jù)源包括 XX 銀行的多個(gè)業(yè)務(wù)系統(tǒng)

15、，主要有核心系統(tǒng)、個(gè)貸系統(tǒng)、對(duì)公信貸系統(tǒng)、國際業(yè)務(wù)系統(tǒng)、財(cái)務(wù)系統(tǒng)和各類渠道系統(tǒng)等。 數(shù)據(jù)落地區(qū)數(shù)據(jù)落地區(qū)是為了保證多系統(tǒng)對(duì)源系統(tǒng)數(shù)據(jù)抽取的需求，在數(shù)據(jù)從源數(shù)據(jù)系統(tǒng)抽取后在統(tǒng)一的數(shù)據(jù)集成環(huán)境中整合。數(shù)據(jù)落地區(qū)應(yīng)建立與各相關(guān)源數(shù)據(jù)系統(tǒng)的接口，將這些系統(tǒng)定期卸載的數(shù)據(jù)以固定的格式接收、存放到落地區(qū)，考慮數(shù)據(jù)傳輸和加載的速度，源數(shù)據(jù)系統(tǒng)應(yīng)以文本文件格式將數(shù)據(jù)定期傳輸給數(shù)據(jù)落地區(qū)進(jìn)行處理。數(shù)據(jù)落地區(qū)的數(shù)據(jù)存儲(chǔ)格式原則上是與數(shù)據(jù)源的存儲(chǔ)格式保持一致 數(shù)據(jù) ETL 架構(gòu)ETL 是數(shù)據(jù)的抽取、轉(zhuǎn)換、加載的全部過程，它是數(shù)據(jù)從數(shù)據(jù)落地區(qū)到 ETL服務(wù)器以與從 ETL 服務(wù)器到 EDW

16、 的數(shù)據(jù)遷移過程以與數(shù)據(jù)從 EDW 向數(shù)據(jù)集市的數(shù)據(jù)遷移過程中必須使用的過程和方法， ETL 系統(tǒng)應(yīng)包括以下三個(gè)主要功能：數(shù)據(jù)抽取數(shù)據(jù)抽?。簭臄?shù)據(jù)落地區(qū)系統(tǒng)抽取 EDW 中需要的數(shù)據(jù)；數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)轉(zhuǎn)換：將從源數(shù)據(jù)系統(tǒng)獲取的數(shù)據(jù)轉(zhuǎn)換成 EDW 要求的形式，同時(shí)按照業(yè)務(wù)需求對(duì)數(shù)據(jù)進(jìn)行轉(zhuǎn)換；數(shù)據(jù)加載數(shù)據(jù)加載：將助轉(zhuǎn)換后的數(shù)據(jù)裝載到 EDW 的物理模型中； 數(shù)據(jù)準(zhǔn)備區(qū)數(shù)據(jù)準(zhǔn)備區(qū)是數(shù)據(jù)存儲(chǔ)的臨時(shí)存儲(chǔ)區(qū)域，數(shù)據(jù)在其中只作暫時(shí)性保存，數(shù)據(jù)經(jīng)轉(zhuǎn)換后導(dǎo)入到 EDW 的物理模型中。數(shù)據(jù)準(zhǔn)備區(qū)的功能包括：格式轉(zhuǎn)換、排序去重/篩選、通用基礎(chǔ)清洗、連接 / 46/合并/分割、業(yè)務(wù)轉(zhuǎn)換等 操作

17、型存儲(chǔ)區(qū)操作型存儲(chǔ)區(qū)是數(shù)據(jù)倉庫系統(tǒng)一個(gè)重要的環(huán)節(jié)。該區(qū)有著承上啟下的作用，從數(shù)據(jù)形態(tài)來看，該區(qū)的數(shù)據(jù)定義貼近業(yè)務(wù)源系統(tǒng);從數(shù)據(jù)標(biāo)準(zhǔn)來看，該區(qū)的數(shù)據(jù)標(biāo)準(zhǔn)是遵循數(shù)據(jù)倉庫系統(tǒng)的標(biāo)準(zhǔn)。所以該區(qū)一般分為兩個(gè)層次，第一個(gè)層次稱之為良好質(zhì)量的、統(tǒng)一格式的數(shù)據(jù)貼源層，第二個(gè)層次為統(tǒng)一的、規(guī)的、遵循數(shù)據(jù)倉庫系統(tǒng)標(biāo)準(zhǔn)的數(shù)據(jù)標(biāo)準(zhǔn)層。 數(shù)據(jù)貼源層可以繼續(xù)為行現(xiàn)有的一些報(bào)表系統(tǒng)或者分析系統(tǒng)提供數(shù)據(jù)，而數(shù)據(jù)標(biāo)準(zhǔn)層為數(shù)據(jù)倉庫中的企業(yè)數(shù)據(jù)模型的落地掃清了道路。所以該存儲(chǔ)區(qū)在整個(gè) EDW 系統(tǒng)起到了一個(gè)承上啟下的關(guān)鍵作用。 EDW 存儲(chǔ)區(qū)EDW 存儲(chǔ)區(qū)是面向主題的、集成的、面向企業(yè)的、最明細(xì)的數(shù)據(jù)存儲(chǔ)，其容是依據(jù)

18、最終用戶應(yīng)用和分析需求來進(jìn)行組織。數(shù)據(jù)存儲(chǔ)區(qū)中的數(shù)據(jù)模型對(duì)標(biāo)準(zhǔn)層數(shù)據(jù)、基礎(chǔ)整合數(shù)據(jù)、匯總數(shù)據(jù)和面向應(yīng)用的集市數(shù)據(jù)按數(shù)據(jù)層次進(jìn)行管理，每個(gè)數(shù)據(jù)層有自己的數(shù)據(jù)管理重點(diǎn)。對(duì)于每個(gè)數(shù)據(jù)層次，再按主題進(jìn)行分類組織。這樣就可以有效的將銀行企業(yè)的操作型數(shù)據(jù)、匯總型數(shù)據(jù)和分析型數(shù)據(jù)以清晰的架構(gòu)組織、管理起來，并相輔相成。數(shù)據(jù)層的容相互促進(jìn)發(fā)展，組成銀行完善的數(shù)據(jù)集合，為各種主題管理應(yīng)用的構(gòu)建提供良好的數(shù)據(jù)架構(gòu)基礎(chǔ)。 業(yè)務(wù)應(yīng)用業(yè)務(wù)應(yīng)用是 EDW 系統(tǒng)向業(yè)務(wù)用戶提供應(yīng)用功能支持，根據(jù)應(yīng)用服務(wù)提供的形式和所采用的應(yīng)用系統(tǒng)的不同，業(yè)務(wù)應(yīng)用主要定義在以下幾個(gè)技術(shù)環(huán)境。數(shù)據(jù)集市數(shù)據(jù)集市：在業(yè)務(wù)應(yīng)用層中包含了

19、應(yīng)用系統(tǒng)中需要的應(yīng)用集市、OLAP、靜態(tài)報(bào)表等數(shù)據(jù)集市。數(shù)據(jù)集市是一組特定的、針對(duì)某個(gè)主題域、部門或用戶分類的數(shù)據(jù)集合。這些數(shù)據(jù)需要針對(duì)用戶的快速訪問和數(shù)據(jù)輸出進(jìn)行優(yōu)化，優(yōu)化的方式可以通過對(duì)數(shù)據(jù)結(jié)構(gòu)進(jìn)行匯總和索引。通過數(shù)據(jù)集市可以保障 EDW 的高可用性、可擴(kuò)展性和高性能。應(yīng)用環(huán)境應(yīng)用環(huán)境：應(yīng)用環(huán)境是為滿足業(yè)務(wù)需要在數(shù)據(jù) EDW 環(huán)境中配置的應(yīng)用軟件包。 / 46分析環(huán)境分析環(huán)境：數(shù)據(jù)分析環(huán)境為 EDW 的高端用戶提供即時(shí)的數(shù)據(jù)分析功能等。報(bào)表環(huán)境報(bào)表環(huán)境：報(bào)表環(huán)境是于來產(chǎn)生和發(fā)布靜態(tài)報(bào)表的環(huán)境，包括：產(chǎn)生的靜態(tài)報(bào)表、OLAP 產(chǎn)生的報(bào)表、KPI 指標(biāo)展現(xiàn)以與其他系統(tǒng)產(chǎn)生的報(bào)表。

20、 用戶環(huán)境用戶環(huán)境是 EDW 系統(tǒng)最終向用戶提供的某種應(yīng)用服務(wù)的集合，主要有三種應(yīng)用服務(wù)的表現(xiàn)形式：通用展現(xiàn)平臺(tái)：通用展現(xiàn)平臺(tái)：通過此平臺(tái)將報(bào)表、KPI 展現(xiàn)、靈活查詢、分析等多個(gè)應(yīng)用集成到一個(gè)平臺(tái)中，進(jìn)行統(tǒng)一的展現(xiàn)和信息的管理，包括如：報(bào)表生命周期的管理等。數(shù)據(jù)分發(fā)環(huán)境數(shù)據(jù)分發(fā)環(huán)境：在數(shù)據(jù)分發(fā)的過程中應(yīng)提供大容量數(shù)據(jù)批量分發(fā)的能力。給其他需要某個(gè)系統(tǒng)的數(shù)據(jù)提供數(shù)據(jù)交換功能。報(bào)表分發(fā)環(huán)境：報(bào)表分發(fā)環(huán)境：報(bào)表的分發(fā)應(yīng)可以滿足系統(tǒng)定義的安全性，如按照不同的用戶類型、不同的組織進(jìn)行分發(fā)，不同的用戶和組織只能看到屬于自己的報(bào)表的數(shù)據(jù)，數(shù)據(jù)的分發(fā)將通過數(shù)據(jù)傳輸平臺(tái)進(jìn)行。 元數(shù)據(jù)管理元數(shù)據(jù)管

21、理是對(duì)數(shù)據(jù)信息的收集和發(fā)布的集成管理，數(shù)據(jù)信息包括：數(shù)據(jù)的業(yè)務(wù)含義和技術(shù)特性。數(shù)據(jù)倉庫系統(tǒng)架構(gòu)中的各個(gè)部分中都含有元數(shù)據(jù)信息，應(yīng)對(duì)其進(jìn)行主動(dòng)式管理，以保證它正確的定義、收集和使用。元數(shù)據(jù)是“關(guān)于數(shù)據(jù)的數(shù)據(jù)” 。應(yīng)包括文件結(jié)構(gòu)定義，數(shù)據(jù)庫字段名稱，數(shù)據(jù)模型中的長度和標(biāo)準(zhǔn)，以與在域-域或域-報(bào)表對(duì)應(yīng)關(guān)系中的計(jì)算和公式等容。元數(shù)據(jù)管理的架構(gòu)如下圖所示，系統(tǒng)的最終架構(gòu)應(yīng)實(shí)現(xiàn)對(duì)元數(shù)據(jù)的集中的管理方式： / 40 系統(tǒng)安全性EDW 系統(tǒng)中的數(shù)據(jù)和報(bào)表信息均為敏感信息。因此必須采用適當(dāng)?shù)陌踩呗砸员ＷC其系統(tǒng)和數(shù)據(jù)的安全性。數(shù)據(jù)倉庫系統(tǒng)的安全性應(yīng)涵蓋如下四個(gè)方面：驗(yàn)證驗(yàn)證：系統(tǒng)應(yīng)對(duì)用戶進(jìn)行訪問

22、控制，保證只有合法的用戶才能進(jìn)入到系統(tǒng)中；授權(quán)授權(quán)：系統(tǒng)應(yīng)根據(jù)用戶角色對(duì)其進(jìn)行授權(quán)，包括對(duì)數(shù)據(jù)的訪問權(quán)限，對(duì)功能的使用權(quán)限等。性性：所有的敏感數(shù)據(jù)必須被嚴(yán)格控制，禁止未授權(quán)訪問，并保障其安全性。一致性一致性：數(shù)據(jù)和程序只能在授權(quán)模式下進(jìn)行修改。針對(duì)上述 6 個(gè)方面，數(shù)據(jù)倉庫分系統(tǒng)應(yīng)按照以下的 6 個(gè)方面的標(biāo)準(zhǔn)進(jìn)行建設(shè)：應(yīng)用層應(yīng)用層EDW 應(yīng)用系統(tǒng)是建立在 OLAP 軟件平臺(tái)的基礎(chǔ)上，應(yīng)用層應(yīng)實(shí)現(xiàn)用戶訪問控制的功能，針對(duì)不同的用戶訪問不同的系統(tǒng)資源來保證整個(gè)應(yīng)用系統(tǒng)的安全性控制。對(duì)于未來的數(shù)據(jù)倉庫系統(tǒng)來說，應(yīng)與統(tǒng)一門戶平臺(tái)整合，實(shí)現(xiàn)整體安全性管理的策略； / 46數(shù)據(jù)庫層數(shù)據(jù)庫層只有被授權(quán)用戶才

23、能訪問和修改數(shù)據(jù)庫中的信息并且數(shù)據(jù)在傳輸過程中應(yīng)對(duì)敏感信息進(jìn)行加密處理來保證數(shù)據(jù)的安全。數(shù)據(jù)庫管理員應(yīng)按照角色對(duì)數(shù)據(jù)庫用戶進(jìn)行劃分，并且通過賦予角色權(quán)限的方式實(shí)現(xiàn)對(duì)用戶安全性訪問控制的管理，如：針對(duì)用戶組或耽擱用戶分配特定數(shù)據(jù)表訪問權(quán)限。系統(tǒng)層系統(tǒng)層系統(tǒng)應(yīng)防止未授權(quán)訪問和系統(tǒng)調(diào)用，與時(shí)進(jìn)行系統(tǒng)安全補(bǔ)丁的更新。對(duì)于系統(tǒng)主機(jī)應(yīng)采用服務(wù)器加固的方法，來保證整個(gè)系統(tǒng)的安全性。網(wǎng)絡(luò)層網(wǎng)絡(luò)層網(wǎng)絡(luò)層安全是保證網(wǎng)絡(luò)節(jié)點(diǎn)之間數(shù)據(jù)傳遞的安全性，以與網(wǎng)絡(luò)環(huán)境不受惡意攻擊。XX 銀行數(shù)據(jù)倉庫環(huán)境建立在企業(yè)部網(wǎng)絡(luò)中，不同功能的服務(wù)器應(yīng)部署在不同網(wǎng)段中，網(wǎng)段之間相互隔離，對(duì)網(wǎng)段之間的訪問應(yīng)通過防火墻并定義嚴(yán)格的訪問控制策

24、略。整個(gè)系統(tǒng)的網(wǎng)絡(luò)環(huán)境應(yīng)得到實(shí)時(shí)監(jiān)控，對(duì)入侵進(jìn)行檢測(cè)和處理，并在發(fā)生入侵時(shí)通知系統(tǒng)管理員。物理層物理層物理層安全保障物理設(shè)備（主機(jī)、路由器等）不受非法用戶攻擊。目前物理設(shè)備的安全性由運(yùn)行中心負(fù)責(zé)。管理管理管理部分與上述的所有安全問題相關(guān)，對(duì)安全問題的管理必須由多個(gè)部門共同協(xié)作完成。管理層面包括：安全資源安全資源：實(shí)現(xiàn)各種安全使用的資源，如：防火墻，入侵檢測(cè)和處理設(shè)備，反病毒軟件等；安全策略和規(guī)劃安全策略和規(guī)劃：各種安全規(guī)則，組織和責(zé)任人；突發(fā)事件處理突發(fā)事件處理：在發(fā)生安全威脅時(shí)的應(yīng)急處理流程，包括：事件記錄、時(shí)間報(bào)告制度等流程；安全審計(jì)安全審計(jì)：對(duì)安全策略的審核和檢查；災(zāi)難恢復(fù)計(jì)劃災(zāi)難恢復(fù)計(jì)

25、劃：發(fā)生問題后的系統(tǒng)和數(shù)據(jù)恢復(fù)； / 461.3 EDW 邏輯架構(gòu)1.3.1 邏輯架構(gòu)框架倉倉庫庫存存儲(chǔ)儲(chǔ)區(qū)區(qū)固固定定報(bào)報(bào)表表靈靈活活查查詢?cè)償?shù)數(shù)據(jù)據(jù)訪訪問問B/S管理決策人員高級(jí)分析人員業(yè)務(wù)分析人員多多維維分分析析KPIWeb 服服務(wù)務(wù)器器用用戶戶層層訪訪問問控控制制層層系系統(tǒng)統(tǒng)管管理理財(cái)財(cái)務(wù)務(wù)系系統(tǒng)統(tǒng)數(shù)據(jù)落地區(qū)ETL開開發(fā)發(fā)ETLloadexport集集市市應(yīng)應(yīng)用用Export國國結(jié)結(jié)系系統(tǒng)統(tǒng)其其他他系系統(tǒng)統(tǒng)渠渠道道系系統(tǒng)統(tǒng)人人力力系系統(tǒng)統(tǒng)系統(tǒng)管理維護(hù)人員數(shù)數(shù)據(jù)據(jù)平平臺(tái)臺(tái)層層匯匯總總模模型型層層FileETL開開發(fā)發(fā)多多維維模模型型層層操操作作型型功功能能一線業(yè)務(wù)使用人員ETLJDBCED

26、W靈靈活活查查詢?cè)?KPI駕駕駛駛艙艙系系統(tǒng)統(tǒng)個(gè)個(gè)貸貸系系統(tǒng)統(tǒng)核核心心系系統(tǒng)統(tǒng)對(duì)對(duì)公公信信貸貸手手工工數(shù)數(shù)據(jù)據(jù)PageBeanSessionBeanApp;ocationBeanRequestBeanJSPPageBeanJSPPageBeanJSPRequestBeanAJAXAJAXAJAXAJAXAJAXFileBeanBean通通用用展展現(xiàn)現(xiàn)平平臺(tái)臺(tái)報(bào)報(bào)表表/復(fù)復(fù)雜雜報(bào)報(bào)表表靈靈活活查查詢?cè)兿迪到y(tǒng)統(tǒng)管管理理儀儀表表盤盤數(shù)數(shù)據(jù)據(jù)集集市市層層DAODAODAOConnectionPool框架引擎BOBOBO數(shù)數(shù)據(jù)據(jù)分分發(fā)發(fā)權(quán)權(quán)限限統(tǒng)統(tǒng)一一管管理理統(tǒng)統(tǒng)一一用用戶戶門門戶戶（支支持持多多種種中

27、中間間件件） 儀儀表表盤盤基基礎(chǔ)礎(chǔ)模模型型層層操操作作型型存存儲(chǔ)儲(chǔ)其其他他集集市市應(yīng)應(yīng)用用供數(shù)服務(wù)應(yīng)應(yīng)用用服服務(wù)務(wù)層層目的系統(tǒng)JDBC數(shù)數(shù)據(jù)據(jù)源源層層技技術(shù)術(shù)元元數(shù)數(shù)據(jù)據(jù)操操作作元元數(shù)數(shù)據(jù)據(jù)業(yè)業(yè)務(wù)務(wù)元元數(shù)數(shù)據(jù)據(jù)安安全全管管理理體體系系應(yīng)應(yīng)用用安安全全數(shù)數(shù)據(jù)據(jù)安安全全操操作作系系統(tǒng)統(tǒng)安安全全網(wǎng)網(wǎng)絡(luò)絡(luò)安安全全數(shù)數(shù)據(jù)據(jù)消消費(fèi)費(fèi)傳傳輸輸通通道道exportFile任務(wù)執(zhí)行代理日志管理引擎任務(wù)調(diào)度引擎任務(wù)執(zhí)行代理任務(wù)執(zhí)行代理任務(wù)執(zhí)行代理任務(wù)執(zhí)行代理偵測(cè)器ETL 調(diào)調(diào)度度管管理理和和監(jiān)監(jiān)控控器器依賴和觸發(fā)規(guī)則庫數(shù)據(jù)質(zhì)量規(guī)則庫ETL流流程程調(diào)調(diào)度度ETL Automation 資資料料庫庫任任務(wù)務(wù)日日志志單

28、單元元1 1單單元元2 2單單元元n n單單元元1 1單單元元2 2單單元元n n導(dǎo)導(dǎo)出出數(shù)數(shù)據(jù)據(jù)文文件件貼貼源源層層標(biāo)標(biāo)準(zhǔn)準(zhǔn)化化層層如上圖所示的 XX 銀行 EDW 的邏輯體系架構(gòu)，這一架構(gòu)是在聯(lián)科可擴(kuò)展的EDW 系統(tǒng)框架的基礎(chǔ)上，結(jié)合 XX 銀行信息系統(tǒng)建設(shè)的實(shí)際情況而設(shè)計(jì)出來的多層、可擴(kuò)展框架結(jié)構(gòu)。架構(gòu)的核心上包括源數(shù)據(jù)層、ETL 流程調(diào)度、數(shù)據(jù)平臺(tái)層、數(shù)據(jù)集市層、應(yīng)用服務(wù)層、訪問控制層、用戶層和數(shù)據(jù)消費(fèi)傳輸通道七個(gè)大部分，另外，元數(shù)據(jù)管理和安全管理也是系統(tǒng)必不可少的部分，這 2 部分會(huì)涉與到所有核心層次。在明確定義各層之間的接口后，多層框架結(jié)構(gòu)具有高度的擴(kuò)展能力和方便的系統(tǒng)開發(fā)和維護(hù)性

29、能，符合目前流行的多層應(yīng)用結(jié)構(gòu)，適合 EDW 系統(tǒng)多階段、多層次的應(yīng)用特點(diǎn)。 源數(shù)據(jù)層功能與作用總行的各個(gè)業(yè)務(wù)系統(tǒng)為整個(gè) EDW 系統(tǒng)提供原始數(shù)據(jù)支持，首先作為 ETL 層的數(shù)據(jù)抽取源。組成部分 / 46目前總行的數(shù)據(jù)源包括 XX 銀行的多個(gè)業(yè)務(wù)系統(tǒng)，主要有核心系統(tǒng)、個(gè)貸系統(tǒng)、對(duì)公信貸系統(tǒng)、國際業(yè)務(wù)系統(tǒng)、財(cái)務(wù)系統(tǒng)和各類渠道系統(tǒng)等。 ETL 流程調(diào)度層功能與作用該層為 EDW 數(shù)據(jù)流向的主要環(huán)節(jié)，EDW 系統(tǒng)數(shù)據(jù)流動(dòng)的流程調(diào)度核心層，流程調(diào)度主要針對(duì)下面幾個(gè)方面：EDW 系統(tǒng)將數(shù)據(jù)源的數(shù)據(jù)抽取到數(shù)據(jù)落地區(qū)EDW 系統(tǒng)對(duì)數(shù)據(jù)執(zhí)行格式轉(zhuǎn)換、排序去重、通用數(shù)據(jù)清洗、業(yè)務(wù)轉(zhuǎn)換

30、后等操作，最終完成數(shù)據(jù)準(zhǔn)備區(qū)加載。EDW 系統(tǒng)再將數(shù)據(jù)準(zhǔn)備區(qū)的數(shù)據(jù)按照 EDW 數(shù)據(jù)模型的方式加載到數(shù)據(jù)存儲(chǔ)區(qū)中。在數(shù)據(jù)存儲(chǔ)區(qū)中進(jìn)行基礎(chǔ)數(shù)據(jù)層、加工匯總層和應(yīng)用集市層的數(shù)據(jù)加載。EDW 中的數(shù)據(jù)準(zhǔn)備區(qū)和數(shù)據(jù)存儲(chǔ)區(qū)可以為為其它系統(tǒng)提供數(shù)據(jù)服務(wù)?？傂?EDW 可以為分行 EDW 提供數(shù)據(jù)服務(wù)。組成部分上面的邏輯架構(gòu)圖淡綠色色矩形部分為 ETL 調(diào)度管理技術(shù)架構(gòu)圖，其作用是讓許多的任務(wù)在作業(yè)的執(zhí)行條件滿足時(shí)自動(dòng)地執(zhí)行。ETL 調(diào)度管里最基本的可執(zhí)行元素是單元，每個(gè)單元是完成某一特定功能的程序，相關(guān)單元組合在一起構(gòu)成了可以調(diào)度的最小組件任務(wù)。由上面的技術(shù)架構(gòu)圖可知，ETL 調(diào)度管里包含下列組件： 知識(shí)

31、庫建立在 DB 中的一個(gè)數(shù)據(jù)庫，包含了與流程調(diào)度相關(guān)的一組表，保存 ETL 流程調(diào)度服務(wù)器、任務(wù)、任務(wù)之間的依賴觸發(fā)關(guān)系、任務(wù)組、調(diào)度計(jì)劃等多種類型的信息。偵測(cè)器駐留在后臺(tái)的服務(wù)，基于定義的觸發(fā)規(guī)則和調(diào)度計(jì)劃監(jiān)測(cè)是否觸發(fā)任務(wù)的執(zhí)行。任務(wù)調(diào)度引擎 / 46接受偵測(cè)器的信息調(diào)度任務(wù)執(zhí)行（可以使本服務(wù)器任務(wù)也可以是其它服務(wù)器的任務(wù)） 。任務(wù)執(zhí)行代理調(diào)用任務(wù)包含的每個(gè)單元執(zhí)行的服務(wù)，同一服務(wù)器上可以有多個(gè)任務(wù)執(zhí)行代理同時(shí)運(yùn)行。任務(wù)封裝在 Perl 程序中，執(zhí)行數(shù)據(jù)加載、整合、立方體生成等工作的一組程序。日志管理引擎記錄 ETL 調(diào)度管理各個(gè)服務(wù)器組件以與每個(gè)任務(wù)的執(zhí)行日志，日志按天保存，可以定期清理。

32、管理監(jiān)控器Java 應(yīng)用程序，用于定義任務(wù)、任務(wù)組合觸發(fā)關(guān)系等信息，同時(shí)可以實(shí)時(shí)監(jiān)控任務(wù)執(zhí)行情況查看日志。作為專門為數(shù)據(jù)倉庫系統(tǒng)設(shè)計(jì)的流程調(diào)度管理具有如下特點(diǎn)：任務(wù)執(zhí)行代理可分布在多臺(tái)服務(wù)器上。結(jié)構(gòu)簡單、伸縮性強(qiáng)。支持多種執(zhí)行任務(wù)。1) 加載數(shù)據(jù)2) 整合數(shù)據(jù)3) 數(shù)據(jù)質(zhì)量檢查和清洗4) 數(shù)據(jù)轉(zhuǎn)換5) OLAP 數(shù)據(jù)生成6) 數(shù)據(jù)挖掘模型的執(zhí)行7) 定制報(bào)表的產(chǎn)生8) 定制頁面的產(chǎn)生9) 數(shù)據(jù)庫備份、告警等系統(tǒng)作業(yè)10) 調(diào)用其他 ETL/ELT 工具產(chǎn)生的任務(wù)11) 數(shù)據(jù)導(dǎo)出到指定的渠道系統(tǒng) / 46執(zhí)行的任務(wù)可以是另一個(gè)任務(wù)調(diào)度引擎觸發(fā)（如：EDW） ?？梢詥?dòng)其它的 ETL 引擎的任務(wù)。

33、 數(shù)據(jù)平臺(tái)層功能與作用作為本系統(tǒng)的數(shù)據(jù)核心部分，它負(fù)責(zé)存儲(chǔ)和管理來自各種源數(shù)據(jù)系統(tǒng)的數(shù)據(jù)，并為訪問用戶提供數(shù)據(jù)服務(wù)。這些數(shù)據(jù)是按照在邏輯數(shù)據(jù)模型分主題存放的。組成部分本層由操作型存儲(chǔ)區(qū)、倉庫存儲(chǔ)區(qū)和集市應(yīng)用層四個(gè)部分組成。詳細(xì)容參見“EDW 數(shù)據(jù)架構(gòu)” 數(shù)據(jù)集市層功能與作用數(shù)據(jù)集市是一組特定的、針對(duì)某個(gè)主題域、部門或用戶分類的數(shù)據(jù)集合。這些數(shù)據(jù)需要針對(duì)用戶的快速訪問和數(shù)據(jù)輸出進(jìn)行優(yōu)化，優(yōu)化的方式可以通過對(duì)數(shù)據(jù)結(jié)構(gòu)進(jìn)行匯總和索引。通過數(shù)據(jù)集市可以保障 EDW 的高可用性、可擴(kuò)展性和高性能。組成部分包括：駕駛艙報(bào)表系統(tǒng)和靈活查詢以與其他應(yīng)用集市系統(tǒng)。 應(yīng)用

34、服務(wù)層功能與作用通過對(duì)數(shù)據(jù)平臺(tái)層中的數(shù)據(jù)進(jìn)行適當(dāng)?shù)奶釤?、匯總，利用通用展現(xiàn)平臺(tái)向用戶提供包括報(bào)表服務(wù)、查詢服務(wù)、決策儀表盤等相關(guān)服務(wù)。該層為用戶對(duì)中央數(shù)據(jù)的訪問提供各種方式的服務(wù)（C/S、B/S） ，從而實(shí)現(xiàn)訪問方式的多樣化和信息存取的透明化。組成部分通用展現(xiàn)平臺(tái)主要包括的功能模塊有： / 46第一個(gè)層次是核心模塊包括：框架、引擎，核心模塊作為報(bào)表集成開發(fā)環(huán)境的基礎(chǔ)、核心和框架存在。報(bào)表集成開發(fā)環(huán)境核心功能和模塊組裝由核心模塊統(tǒng)一提供，只暴露給開發(fā)人員；第二個(gè)層次是管理模塊包括：報(bào)表信息、基本管理、代理、信息推送、連接信息，管理模塊為報(bào)表集成開發(fā)環(huán)境提供管理服務(wù)，它提供報(bào)表集成開發(fā)環(huán)境的用戶、

35、權(quán)限等的統(tǒng)一管理，管理模塊也是報(bào)表集成開發(fā)環(huán)境必選模塊，它的很多功能調(diào)用由核心模塊提供，管理模塊包括 5 個(gè)子模塊；第三個(gè)層次是應(yīng)用模塊包括：儀表盤、靈活查詢、數(shù)據(jù)錄入、報(bào)表、復(fù)雜報(bào)表，應(yīng)用模塊提供報(bào)表集成開發(fā)環(huán)境最終用戶（非管理人員）的用戶體驗(yàn)，可以和管理模塊相結(jié)合有選擇地靈活部署。 訪問控制層功能與作用訪問控制層主要包括 WEB、認(rèn)證、安全、門戶四方面的服務(wù)。該層位于用戶層和中間服務(wù)層之間，為用戶層成提供 服務(wù)、門戶的單點(diǎn)登錄、用戶統(tǒng)一認(rèn)證、提交用戶層請(qǐng)求到中間服務(wù)層，對(duì)用戶實(shí)施安全策略，為用戶管理報(bào)表、查詢文檔，提供個(gè)性化定制等。 用戶層由上面的邏輯架構(gòu)圖可知

36、用戶層包括各種最終用戶。按照用戶使用 EDW 系統(tǒng)的方式和特點(diǎn)，可以劃分為業(yè)務(wù)分析人員、高級(jí)分析人員和管理決策人員。所有用戶統(tǒng)一通過用戶門戶訪問 EDW 系統(tǒng)各類應(yīng)用，從而實(shí)現(xiàn)了 EDW 系統(tǒng)的應(yīng)用界面、安全管理統(tǒng)一，同時(shí)用戶可以對(duì)門戶進(jìn)行個(gè)性化定制以方便自己使用。實(shí)際上，EDW 系統(tǒng)還包括進(jìn)行系統(tǒng)建設(shè)的開發(fā)人員、系統(tǒng)運(yùn)行人員和系統(tǒng)管理人員，這里所指的用戶層主要針對(duì)業(yè)務(wù)用戶進(jìn)行描述。業(yè)務(wù)分析人員主要指總行各業(yè)務(wù)部門、各分行的業(yè)務(wù)用戶，如：客戶經(jīng)理。該類人員直接使用模塊化的應(yīng)用界面訪問 EDW 系統(tǒng)，生成或預(yù)覽預(yù)定義報(bào)表，進(jìn)行相對(duì)固定的查詢以與多維分析。這類用戶會(huì)使用 B/S 和 C/S 兩種客

37、戶端訪問 EDW 系統(tǒng)。高級(jí)分析人員 / 46是指總行各業(yè)務(wù)部門、各分行的較為高級(jí)的用戶。除能夠執(zhí)行一般業(yè)務(wù)分析人員進(jìn)行的操作外，可以對(duì)指定的主題、指標(biāo)進(jìn)行自定義的靈活分析和比較。分析的方式包括自定義查詢、自定義報(bào)表、多維旋轉(zhuǎn)和穿透鉆取等等。這類用戶會(huì)使用 B/S 和 C/S 兩種客戶端訪問 EDW 系統(tǒng)。管理決策人員主要包括各部門的領(lǐng)導(dǎo)、分行領(lǐng)導(dǎo)和總行領(lǐng)導(dǎo)。EDW 系統(tǒng)為管理決策人員分配專門的系統(tǒng)資源，建立最為直觀和方便的存取界面，為決策人員賦予最大的信息訪問權(quán)限，實(shí)現(xiàn)決策人員對(duì)信息的自由訪問。同時(shí)，EDW 系統(tǒng)將決策人員最為關(guān)心的信息主動(dòng)發(fā)布到?jīng)Q策人員的訪問界面上，簡化信息訪問的方式，使得

38、決策人員在第一時(shí)間獲得經(jīng)營管理的各種重要信息和指標(biāo)。這類用戶只會(huì)使用 B/S 客戶端訪問 EDW 系統(tǒng)。 消費(fèi)數(shù)據(jù)傳輸通道在數(shù)據(jù)倉庫系統(tǒng)建立以后，會(huì)有很長一段時(shí)間舊有的報(bào)表系統(tǒng)和分析系統(tǒng)需要逐步遷移，在此期間，需要有一個(gè)消費(fèi)數(shù)據(jù)傳輸通道來支持舊有系統(tǒng)的良好運(yùn)轉(zhuǎn)。 安全管理體系安全管理體系主要包括以下四個(gè)方面： 網(wǎng)絡(luò)安全主要包括在不同網(wǎng)絡(luò)層次設(shè)置不同級(jí)別的防火墻與 IDS 系統(tǒng)，同時(shí)在每一個(gè)安全層次下通過部署不同的安全原則，這完全符合 XX 銀行的安全級(jí)別規(guī)定。 操作系統(tǒng)安全系統(tǒng)所有應(yīng)用或數(shù)據(jù)庫服務(wù)器均采用 Unix 操作系統(tǒng)，操作系統(tǒng)本身有著嚴(yán)密的系統(tǒng)安全認(rèn)證與用戶

39、權(quán)限管理體系，并具備登錄、審核以與資源訪問的審計(jì)與跟蹤。 數(shù)據(jù)安全提供各種基于數(shù)據(jù)庫的安全保護(hù)機(jī)制。 應(yīng)用安全應(yīng)用是直接面對(duì)用戶的，雖然應(yīng)用系統(tǒng)能夠持續(xù)提供服務(wù)是涉與到系統(tǒng) / 46安全的問題，但是因?yàn)檫@些問題更多的是由系統(tǒng)的安全問題來保證的。所以就應(yīng)用級(jí)的安全策略更多的是保證對(duì)數(shù)據(jù)訪問的合法性。0 元數(shù)據(jù)管理體系在機(jī)構(gòu)關(guān)于數(shù)據(jù)的信息稱為“元數(shù)據(jù)(Metadata)” 。清楚地區(qū)分?jǐn)?shù)據(jù)庫中的數(shù)據(jù)和元數(shù)據(jù)是很重要的，所謂元數(shù)據(jù)，是指關(guān)于數(shù)據(jù)的數(shù)據(jù)，即用來描述數(shù)據(jù)的類型、來源、定義、存儲(chǔ)位置，使得可以正確地使用數(shù)據(jù)倉庫。元數(shù)據(jù)倉庫(Meta Data Repository)對(duì)業(yè)務(wù)人員

40、來說是很重要的，是業(yè)務(wù)人員與數(shù)據(jù)倉庫的數(shù)據(jù)交流的傳達(dá)手段。IT 人員可能已經(jīng)擁有許多有效的工具進(jìn)行數(shù)據(jù)存取。但對(duì)業(yè)務(wù)人員，他們需要一種手段和工具來理解他們存取的數(shù)據(jù)。在本期 EDW 系統(tǒng)的建設(shè)中，包括技術(shù)元數(shù)據(jù)和業(yè)務(wù)元數(shù)據(jù)兩類，其數(shù)據(jù)源涵蓋了 EDW 系統(tǒng)的各個(gè)環(huán)節(jié)，包括：數(shù)據(jù)源系統(tǒng)、EDW 數(shù)據(jù)庫、EDW 邏輯數(shù)據(jù)模型、ETL 系統(tǒng)、業(yè)務(wù)應(yīng)用系統(tǒng)等，同時(shí)，還將涉與數(shù)據(jù)的業(yè)務(wù)含義和業(yè)務(wù)規(guī)則等相關(guān)業(yè)務(wù)文檔。在架構(gòu)上，元數(shù)據(jù)系統(tǒng)包括：元數(shù)據(jù)應(yīng)用、元數(shù)據(jù)報(bào)表、元數(shù)據(jù)分析、元數(shù)據(jù)集成系統(tǒng)、元數(shù)據(jù)展現(xiàn)系統(tǒng)、元數(shù)據(jù)管理系統(tǒng)、元數(shù)據(jù)維護(hù)系統(tǒng)。1.3.2 數(shù)據(jù)處理流程各業(yè)務(wù)數(shù)據(jù)源系統(tǒng)通過多種方式(如：ETL

41、工具直接從源系統(tǒng)獲取、源系統(tǒng)數(shù)據(jù)批量導(dǎo)出)將數(shù)據(jù)獲取過來,由數(shù)據(jù)落地區(qū)區(qū)進(jìn)行集中管理。后續(xù)的數(shù)據(jù)加工、轉(zhuǎn)換通過 ETL Server 來完成,中間采取不落地的方式,將加工完畢后的數(shù)據(jù)放在數(shù)據(jù)準(zhǔn)備區(qū)域。ETL Server 可通過 ds job,FTP,NFS 等方式從數(shù)據(jù)落地區(qū)獲取數(shù)據(jù)，將處理后的結(jié)果放在數(shù)據(jù)準(zhǔn)備區(qū)域。再將數(shù)據(jù)準(zhǔn)備區(qū)的數(shù)據(jù)加載到數(shù)據(jù)存儲(chǔ)區(qū)中。根據(jù)目標(biāo)系統(tǒng)的不同,采用靈活的方式向外提供數(shù)據(jù),可使用 ETL 工具直接向目標(biāo)系統(tǒng)加載或者通過 FTP 方式向其他目標(biāo)傳輸。為支持其他的業(yè)務(wù)需求,將近期(30-60 天)的明細(xì)數(shù)據(jù)、流水?dāng)?shù)據(jù)集中存放在數(shù)據(jù)庫系統(tǒng)中,日常增量數(shù)據(jù)刷新數(shù)據(jù)庫系統(tǒng)

42、。整個(gè)過程通過調(diào)度工具進(jìn)行統(tǒng)一調(diào)度,集中管理,確保各項(xiàng)任務(wù)有序完成。 / 461.4 EDW 運(yùn)維架構(gòu)1.4.1 運(yùn)維架構(gòu)概述下圖中給出了 EDW 的運(yùn)維架構(gòu)，是在 EDW 系統(tǒng)上線后，為了保持系統(tǒng)良好的穩(wěn)定性而定義的相關(guān)的管理需求。運(yùn)維架構(gòu)主要是針對(duì)執(zhí)行架構(gòu)的數(shù)據(jù)導(dǎo)入層、數(shù)據(jù)服務(wù)層、中間服務(wù)層和訪問控制層服務(wù)器進(jìn)行管理，面向的最終用戶是 IT 人員。圖 1 運(yùn)維邏輯體系架構(gòu)運(yùn)維架構(gòu)中包含了如下組件：系統(tǒng)監(jiān)控管理組件、系統(tǒng)維護(hù)管理組件、備份恢復(fù)管理組件、故障切換管理組件、性能容量規(guī)劃組件和運(yùn)維安全管理組件。各個(gè)組件的主要功能如下：系統(tǒng)監(jiān)控管理組件：系統(tǒng)監(jiān)控管理組件：監(jiān)控網(wǎng)絡(luò)/系統(tǒng)性能、運(yùn)行，以

43、與診斷和報(bào)告故障。管理的硬件和軟件包括所有開發(fā)、測(cè)試和生產(chǎn)環(huán)境中的硬件和軟件。系統(tǒng)維護(hù)管理組件：系統(tǒng)維護(hù)管理組件：系統(tǒng)維護(hù)是指系統(tǒng)在運(yùn)行過程中，為了系統(tǒng)的正常服務(wù)而進(jìn)行的配置、參數(shù)管理，以與啟/停機(jī)、清理過期數(shù)據(jù)等日常操作，以與數(shù)據(jù)、系統(tǒng)發(fā)生變更的維護(hù)等。備份恢復(fù)管理組件：備份恢復(fù)管理組件：備份/恢復(fù)管理組件處理系統(tǒng)中所有必須的備份和恢復(fù)操作。這個(gè)組件根據(jù)備份策略，通過對(duì)數(shù)據(jù)的冗余存儲(chǔ)來保證系統(tǒng)可以從各種服務(wù)中斷中恢復(fù)。 / 46故障切換管理組件：故障切換管理組件：故障切換管理提供了管理和控制應(yīng)用切換的機(jī)制。故障切換組件使用冗余系統(tǒng)和數(shù)據(jù)來保證關(guān)鍵任務(wù)數(shù)據(jù)流不間斷。當(dāng)發(fā)生故障或失敗時(shí)，該切換發(fā)

44、生在主系統(tǒng)和備份系統(tǒng)之間。性能容量規(guī)劃組件：性能容量規(guī)劃組件：性能與容量規(guī)劃從環(huán)境中的不同元素收集利用數(shù)據(jù)，并規(guī)劃硬件和軟件能力需求。運(yùn)維安全管理組件：運(yùn)維安全管理組件：運(yùn)維安全管理組件通過制定和管理運(yùn)維安全策略，并利用安全工具，維護(hù)信息系統(tǒng)資產(chǎn)（包括硬件、軟件、用戶數(shù)據(jù)、信息/數(shù)據(jù)）的性、一致性和可用性。運(yùn)維環(huán)境管理組件：運(yùn)維環(huán)境管理組件：運(yùn)維環(huán)境管理用于確保物理環(huán)境和系統(tǒng)環(huán)境的妥善管理和保護(hù)，不受故障和災(zāi)難的侵害，以與不受人為因素的干擾和破壞。整個(gè)運(yùn)維架構(gòu)通過一些標(biāo)準(zhǔn)的流程實(shí)現(xiàn)生產(chǎn)環(huán)境運(yùn)行管理，包括的流程主要是日常操作流程和特殊操作流程。日常操作流程是指 IT 用戶在日常為維護(hù)生產(chǎn)環(huán)境正常

45、運(yùn)轉(zhuǎn)需要做的工作，如：數(shù)據(jù)倉庫管理、系統(tǒng)監(jiān)控、備份恢復(fù)、容量規(guī)劃。特殊操作流程不會(huì)每天發(fā)生，這一流程的啟動(dòng)通常是由于系統(tǒng)軟硬件升級(jí)、數(shù)據(jù)變更、新增應(yīng)用等需求引起的。1.4.2 運(yùn)維架構(gòu)的邏輯框架 系統(tǒng)監(jiān)控管理在 EDW 系統(tǒng)中，需要監(jiān)控管理的系統(tǒng)元素可以分為如下五類：網(wǎng)絡(luò)/主機(jī)管理：用于監(jiān)控、控制和報(bào)告網(wǎng)絡(luò)與主機(jī)狀態(tài)。數(shù)據(jù)庫/數(shù)據(jù)倉庫管理：提供相關(guān)監(jiān)控信息源,控制各個(gè)獨(dú)立的服務(wù)器或數(shù)據(jù)庫/數(shù)據(jù)倉庫。應(yīng)監(jiān)控所有的關(guān)鍵數(shù)據(jù)庫/數(shù)據(jù)倉庫性能比例，以保證高可用性和性能。應(yīng)用管理：處理客戶應(yīng)用中發(fā)生的事件。應(yīng)用本身包括了衡量部應(yīng)用響應(yīng)時(shí)間和性能的工具，應(yīng)搜集這些工具產(chǎn)生的信息（如日志、運(yùn)行

46、報(bào)告等）用于監(jiān)控。 / 46生產(chǎn)調(diào)度：生產(chǎn)調(diào)度組件包括了一套應(yīng)用，用于調(diào)度和自動(dòng)化網(wǎng)絡(luò)、系統(tǒng)和應(yīng)用管理（如 ETL）特有的任務(wù)。安全管理：運(yùn)維架構(gòu)中涉與的安全管理容主要包括身份管理、系統(tǒng)級(jí)密鑰和證書管理、安全策略管理。系統(tǒng)監(jiān)控管理的主要任務(wù)與工具支持如下圖所示： 系統(tǒng)維護(hù)管理系統(tǒng)維護(hù)是指系統(tǒng)在運(yùn)行過程中，為了系統(tǒng)的正常服務(wù)而進(jìn)行的配置、參數(shù)管理，以與啟/停機(jī)、清理過期數(shù)據(jù)等日常操作，以與數(shù)據(jù)、系統(tǒng)發(fā)生變更的維護(hù)等。系統(tǒng)維護(hù)管理包括兩方面的管理容：系統(tǒng)維護(hù)和變更管理。系統(tǒng)維護(hù)是指系統(tǒng)在運(yùn)行過程中，為了系統(tǒng)的正常服務(wù)而進(jìn)行的配置、參數(shù)管理，以與啟/停機(jī)、清理過期數(shù)據(jù)等日常操作。 /

47、46變更管理允許對(duì)技術(shù)架構(gòu)組件進(jìn)行變更的控制管理。在 EDW 系統(tǒng)運(yùn)行過程中，有兩種典型的變更需要進(jìn)行管理：數(shù)據(jù)變更和系統(tǒng)升級(jí)。變更控制組件可以協(xié)助運(yùn)維團(tuán)隊(duì)、開發(fā)團(tuán)隊(duì)和業(yè)務(wù)部門之間的溝通，保障系統(tǒng)的變更平滑進(jìn)行。系統(tǒng)維護(hù)管理的主要任務(wù)與工具支持如下圖所示： 備份恢復(fù)管理備份與恢復(fù)的目標(biāo)在于：保證在任何時(shí)點(diǎn)對(duì)數(shù)據(jù)的完全恢復(fù)。最低程度地降低數(shù)據(jù)丟失。盡量提高數(shù)據(jù)備份過程的效率。備份恢復(fù)管理的主要任務(wù)與工具支持如下圖所示： / 4 故障切換管理故障切換管理組件提供了管理和控制應(yīng)用切換的機(jī)制，提供系統(tǒng)的高可用性。故障切換組件使用冗余系統(tǒng)和數(shù)據(jù)來保證關(guān)鍵任務(wù)數(shù)據(jù)流不間斷。當(dāng)

48、發(fā)生故障或失敗時(shí)，該切換發(fā)生在主系統(tǒng)和備份系統(tǒng)之間。在故障或失敗事件中，故障切換管理組件將系統(tǒng)資源重路由到穩(wěn)定配置的備份系統(tǒng)中，直到主系統(tǒng)被恢復(fù)或替代。 / 4 性能和容量規(guī)劃性能和容量規(guī)劃組件代表了從環(huán)境中的不同系統(tǒng)元素收集利用數(shù)據(jù)，并規(guī)劃硬件和軟件能力需求的工具。數(shù)據(jù)通過放置在環(huán)境中系統(tǒng)元素一端的代理進(jìn)行的收集，并由容量規(guī)劃組件進(jìn)行分析，包括磁盤容量、存使用、處理器使用、數(shù)據(jù)庫、和網(wǎng)絡(luò)等。性能容量規(guī)劃包括如下組件：信息收集：收集性能容量相關(guān)的重要分析數(shù)據(jù)；性能管理：對(duì)系統(tǒng)系統(tǒng)性能進(jìn)行監(jiān)控、管理、分析和調(diào)優(yōu)；性能容量規(guī)劃：基于歷史趨勢(shì)和未來性能容量需求進(jìn)行規(guī)劃；性能容量規(guī)劃的

49、主要任務(wù)與工具支持如下圖所示： 運(yùn)維安全管理安全管理組件通過制定和管理安全策略，并利用安全工具，維護(hù)信息系統(tǒng)資產(chǎn)（包括硬件、軟件、固件、用戶數(shù)據(jù)、信息/數(shù)據(jù)）的性、一致性和可用性。 / 46安全管理是貫穿 EDW 總體架構(gòu)的。例如，在運(yùn)維架構(gòu)中可能需要使用安全控制工具對(duì)系統(tǒng)管理工具的訪問進(jìn)行管理，在開發(fā)架構(gòu)中則可能使用安全控制工具對(duì)代碼存儲(chǔ)的訪問進(jìn)行管理。為防止安全容的重復(fù)，所有安全組件都應(yīng)統(tǒng)一被考慮，它是跨開發(fā)、執(zhí)行、運(yùn)維架構(gòu)的。1.5 EDW 數(shù)據(jù)架構(gòu)1.5.1 數(shù)據(jù)架構(gòu)設(shè)計(jì)原則統(tǒng)一規(guī)統(tǒng)一規(guī)對(duì)各源系統(tǒng)數(shù)據(jù)按主題進(jìn)行統(tǒng)一整合；分行特色也按統(tǒng)一規(guī)進(jìn)行補(bǔ)充建設(shè)。靈活性原則靈活性原則

50、數(shù)據(jù)模型要為數(shù)據(jù)應(yīng)用提供有效的信息支持，這些信息需求會(huì)隨著銀行需求的變化而不斷增加，進(jìn)而會(huì)引起需求的不可預(yù)料性。特別是加工匯總層的數(shù)據(jù)架構(gòu)必須符合“匯總指標(biāo)可靈活增加”的技術(shù)要求，不會(huì)隨著指標(biāo)的增加而變更數(shù)據(jù)模型?？蓴U(kuò)展性原則可擴(kuò)展性原則隨著源系統(tǒng)和數(shù)據(jù)集市應(yīng)用系統(tǒng)的不斷增加，數(shù)據(jù)模型應(yīng)提供一個(gè)規(guī)化的設(shè)計(jì)思路，以便業(yè)務(wù)系統(tǒng)的擴(kuò)展。 / 46高效原則高效原則數(shù)據(jù)模型面臨海量數(shù)據(jù)的加工和存儲(chǔ)，隨著時(shí)間的推移，數(shù)據(jù)將不斷累積，因此效率問題是直接影響系統(tǒng)可用性的關(guān)鍵因素。數(shù)據(jù)模型的效率包括 ETL 的加工效率和數(shù)據(jù)展現(xiàn)的查詢效率，因此數(shù)據(jù)模型的數(shù)據(jù)組織和存儲(chǔ)，必須是高效可用的。實(shí)用性原則實(shí)用性原則處理

51、大量的源系統(tǒng)數(shù)據(jù)，將會(huì)占用大量的系統(tǒng)資源，因此必須仔細(xì)分析數(shù)據(jù)的實(shí)用性、指標(biāo)的使用頻率，以業(yè)務(wù)需求驅(qū)動(dòng)為原則，對(duì)業(yè)務(wù)提出的基礎(chǔ)數(shù)據(jù)和指標(biāo)需求進(jìn)行優(yōu)先級(jí)劃分，正確制定指標(biāo)的匯總粒度。加工匯總層要重點(diǎn)解決共性指標(biāo)的加工。存儲(chǔ)空間合理性原則存儲(chǔ)空間合理性原則數(shù)據(jù)模型需要處理海量數(shù)據(jù)。隨時(shí)間的增加，存儲(chǔ)數(shù)據(jù)越來越多。因此在設(shè)計(jì)時(shí)必須考慮如何合理組織數(shù)據(jù)，以減小數(shù)據(jù)冗余。 / 461.5.2 數(shù)據(jù)架構(gòu)分層設(shè)計(jì)數(shù)據(jù)庫統(tǒng)一存儲(chǔ)管理所轄數(shù)據(jù)，由于數(shù)據(jù)類型比較多，數(shù)據(jù)庫表也比較多，如何有效的組織管理好全行多種業(yè)務(wù)的數(shù)據(jù)和信息，對(duì)下一步清晰的信息應(yīng)用、方便地使用數(shù)據(jù)是很關(guān)鍵的。因此數(shù)據(jù)和信息不能隨意堆積存放到數(shù)據(jù)

52、庫中，需要對(duì)全行的數(shù)據(jù)和信息進(jìn)行分層、分類存放，并制定相應(yīng)的數(shù)據(jù)分層、分類的規(guī)，EDW 系統(tǒng)上所有數(shù)據(jù)和應(yīng)用的建設(shè)都應(yīng)遵從統(tǒng)一的數(shù)據(jù)管理規(guī)。存放到 EDW 數(shù)據(jù)庫中的數(shù)據(jù)有以下幾類：1、從原業(yè)務(wù)系統(tǒng)直接采集過來的經(jīng)標(biāo)準(zhǔn)化處理的標(biāo)準(zhǔn)數(shù)據(jù)，由標(biāo)準(zhǔn)數(shù)據(jù)按主題整合形成的基礎(chǔ)業(yè)務(wù)數(shù)據(jù)；2、經(jīng)過中間加工匯總形成的匯總數(shù)據(jù)；3、管理應(yīng)用所專用的操作型數(shù)據(jù)；4、為滿足應(yīng)用分析需要而加工形成的多維分析數(shù)據(jù)。為了更好的管理這些數(shù)據(jù)，EDW 數(shù)據(jù)按層次進(jìn)行劃分存放與管理，從邏輯模型上劃分為以下幾個(gè)數(shù)據(jù)層次： / 46源數(shù)據(jù)緩沖層：數(shù)據(jù)層與業(yè)務(wù)源的數(shù)據(jù)結(jié)構(gòu)一一對(duì)應(yīng)，是數(shù)據(jù)存儲(chǔ)的臨時(shí)存儲(chǔ)區(qū)域，數(shù)據(jù)在其中只作暫時(shí)性保存，

53、當(dāng)新的數(shù)據(jù)到達(dá)緩儲(chǔ)區(qū)時(shí)，現(xiàn)有數(shù)據(jù)被刪除或覆蓋。標(biāo)準(zhǔn)化數(shù)據(jù)層：對(duì)數(shù)據(jù)做標(biāo)準(zhǔn)化處理，主要有公共代碼標(biāo)準(zhǔn)化、數(shù)據(jù)類型標(biāo)準(zhǔn)化和數(shù)據(jù)格式標(biāo)準(zhǔn)化，未來可以做客戶信息標(biāo)準(zhǔn)化。標(biāo)準(zhǔn)化全量層基礎(chǔ)數(shù)據(jù)層數(shù)據(jù)模型基礎(chǔ)數(shù)據(jù)模型用于整合、存儲(chǔ)全行各業(yè)務(wù)系統(tǒng)的基礎(chǔ)業(yè)務(wù)數(shù)據(jù)。原則上該區(qū)域的數(shù)據(jù)不作復(fù)雜加工，直接存儲(chǔ)業(yè)務(wù)系統(tǒng)中原始數(shù)據(jù)記錄的關(guān)鍵數(shù)據(jù)（主數(shù)據(jù)） ，盡量保持貼近源系統(tǒng)的數(shù)據(jù)結(jié)構(gòu)。為應(yīng)用方便、查詢高效考慮，可以對(duì)源系統(tǒng)進(jìn)行適當(dāng)?shù)恼?、拆分，也可以裁減掉源系統(tǒng)中沒有必要整合的數(shù)據(jù)。同時(shí)需要對(duì)各系統(tǒng)冗余與標(biāo)準(zhǔn)不一致的數(shù)據(jù)進(jìn)行規(guī)和整合。在基礎(chǔ)據(jù)模型中按照八大主題對(duì)銀行全行數(shù)據(jù)進(jìn)行整合、分類組織和存儲(chǔ)，這八大主題包括總帳(

54、GL)、客戶(CI)、存款(DEP)、貸款(LN)、銀行卡(CRD)、中間業(yè)務(wù)(NIN)、渠道(CHN)、公用(CM)；每個(gè)主題下設(shè)計(jì)相應(yīng)的數(shù)據(jù)模型，最后構(gòu)成全行統(tǒng)一的基礎(chǔ)數(shù)據(jù)模型。EDW 對(duì)各源系統(tǒng)機(jī)構(gòu)編碼進(jìn)行統(tǒng)一，提供統(tǒng)一的基線機(jī)構(gòu)。EDW 對(duì)源系統(tǒng)客戶號(hào)進(jìn)行統(tǒng)一，提供統(tǒng)一的客戶號(hào)（ECIF 客戶編號(hào)） 。加工匯總數(shù)據(jù)層數(shù)據(jù)模型；加工匯總數(shù)據(jù)層的主題劃分為八大主題：總帳(GL)、客戶(CI)、存款(DEP)、貸款(LN)、銀行卡(CRD)、中間業(yè)務(wù)(NIN)、渠道(CHN)、公用(CM)。加工匯總數(shù)據(jù)層下的匯總需求由“應(yīng)用需要”來確定。多個(gè)應(yīng)用一樣的匯總要求，或者多個(gè)應(yīng)用在匯總計(jì)算的基礎(chǔ)部

55、分有重復(fù)匯總的部分可以納入該區(qū)域進(jìn)行匯總，形成應(yīng)用共享的中間匯總結(jié)果，如按客戶、機(jī)構(gòu)、產(chǎn)品、渠道等主題的一些公共匯總數(shù)據(jù)（包括每天或每個(gè)階段的業(yè)務(wù)量、業(yè)務(wù)額、平均額等數(shù)據(jù)的匯總） 。加工匯總數(shù)據(jù)層的數(shù)據(jù)模型設(shè)計(jì)在有相應(yīng)的匯總需求情況下才針對(duì)匯總需求進(jìn)行數(shù)據(jù)表和數(shù)據(jù)匯總?cè)蝿?wù)的擴(kuò)展設(shè)計(jì)，逐步積累公共匯總指標(biāo)，最后形成全行可共享的面向各個(gè)主題的中間匯 / 46總指標(biāo)。加工匯總數(shù)據(jù)層分為兩種不同數(shù)據(jù)形態(tài)：1）匯總指標(biāo)如平均余額等2）根據(jù)業(yè)務(wù)要求形成的分析加工數(shù)據(jù)如理財(cái)卡帳務(wù)數(shù)據(jù)、客戶大額存取款等集市數(shù)據(jù)層數(shù)據(jù)模型集市數(shù)據(jù)層用于建立面向各個(gè)應(yīng)用主題的數(shù)據(jù)集市，不同的主題應(yīng)用在集市數(shù)據(jù)區(qū)下建立不同的數(shù)據(jù)集

56、市，數(shù)據(jù)集市的數(shù)據(jù)模型根據(jù)應(yīng)用模型的需要進(jìn)行設(shè)計(jì)。數(shù)據(jù)集市中可存在操作型數(shù)據(jù)、匯總型數(shù)據(jù)和多維分析數(shù)據(jù)，根據(jù)應(yīng)用的需要分別進(jìn)行建立。1.6 EDW 應(yīng)用架構(gòu)1.6.1 應(yīng)用架構(gòu)設(shè)計(jì)原則EDW 系統(tǒng)的應(yīng)用架構(gòu)應(yīng)考慮開放性、完整性、合理性。開放性：開放性：EDW 系統(tǒng)的應(yīng)用架構(gòu)設(shè)計(jì)必須考慮平臺(tái)、系統(tǒng)、功能的開放性，與XX 銀行的科技規(guī)劃相適應(yīng)，能夠與周邊各系統(tǒng)進(jìn)行良好的信息傳遞。 / 46完整性：完整性：EDW 系統(tǒng)的應(yīng)用架構(gòu)設(shè)計(jì)應(yīng)具備完整性，涵蓋目前的應(yīng)用需求，并以框架形式界定 EDW 項(xiàng)目的應(yīng)用需求圍。EDW 系統(tǒng)的應(yīng)用架構(gòu)應(yīng)該能夠作為需求檢查列表，檢驗(yàn)當(dāng)前用戶需否被涵蓋，而不會(huì)發(fā)生遺漏。合理

57、性：合理性：應(yīng)用架構(gòu)的設(shè)計(jì)應(yīng)是對(duì)用戶需求的全面反映。應(yīng)用架構(gòu)應(yīng)采用先進(jìn)的理念和技術(shù)，并結(jié)合 XX 銀行科技規(guī)劃與現(xiàn)有的技術(shù)平臺(tái)。1.6.2 數(shù)據(jù)服務(wù)EDW 將提供全行各個(gè)系統(tǒng)的批量數(shù)據(jù)服務(wù)，如應(yīng)用架構(gòu)圖所示 EDW 即可以為核心系統(tǒng)、財(cái)務(wù)系統(tǒng)、個(gè)貸系統(tǒng)、信貸系統(tǒng)等業(yè)務(wù)系統(tǒng)提供數(shù)據(jù)，也可以為資產(chǎn)負(fù)債系統(tǒng)、部評(píng)級(jí)系統(tǒng)、戰(zhàn)略客戶管理信息系統(tǒng)等管理的系統(tǒng)提供數(shù)據(jù)服務(wù)；同時(shí)也可以為未來實(shí)現(xiàn)的 EDW 系統(tǒng)提供數(shù)據(jù)，從而實(shí)現(xiàn)全行圍系統(tǒng)間的批量數(shù)據(jù)采集、加工和發(fā)布，原則上各系統(tǒng)不能再建設(shè)其他渠道實(shí)現(xiàn)批量數(shù)據(jù)采集、加工、發(fā)布。EDW 數(shù)據(jù)采集、加工、發(fā)布的圍包括：總行各應(yīng)用系統(tǒng)之間總行與分行應(yīng)用系統(tǒng)之間同一分

58、行應(yīng)用系統(tǒng)間不同分行應(yīng)用系統(tǒng)間分布部署的同一應(yīng)用系統(tǒng)間EDW 數(shù)據(jù)服務(wù)具備的能力有：EDW 快速提供批量數(shù)據(jù)，可以滿足應(yīng)用系統(tǒng)準(zhǔn)實(shí)時(shí)的數(shù)據(jù)要求。EDW 能夠提供的數(shù)據(jù)會(huì)覆蓋全行所有系統(tǒng)，可以滿足全行所有的數(shù)據(jù)加工對(duì)數(shù)據(jù)的需求。EDW 模型化各系統(tǒng)數(shù)據(jù)，可以滿足各應(yīng)用系統(tǒng)對(duì)全量數(shù)據(jù)、增量數(shù)據(jù)的需求，減少對(duì)重要交易系統(tǒng)的干擾。EDW 能夠根據(jù)應(yīng)用系統(tǒng)的需要，對(duì)源系統(tǒng)數(shù)據(jù)進(jìn)行必要的加工處理，按照全行數(shù)據(jù)架構(gòu)原則，合理地在數(shù)據(jù)線上分配數(shù)據(jù)加工功能，保證數(shù)據(jù)處理的高效、準(zhǔn)確。 / 461.6.3 應(yīng)用服務(wù)基于數(shù)據(jù)分析功能和交易功能分離原則，為保證交易系統(tǒng)運(yùn)行效率和數(shù)據(jù)分析功能日益增加的需求，新系統(tǒng)設(shè)計(jì)時(shí)

59、，應(yīng)該將數(shù)據(jù)分析功能和交易功能分離到不同系統(tǒng)中，或者至少為將來分離做好技術(shù)準(zhǔn)備。在這個(gè)原則下，EDW 可以對(duì)外提供應(yīng)用服務(wù)，如：駕駛艙報(bào)表系統(tǒng)中的報(bào)表功能；某些時(shí)效性要求較高的即時(shí) OLAP 分析；經(jīng)營關(guān)鍵指標(biāo) KPI 展示等。 / 46第二章 ETL 體系建設(shè)2.1 ETL 架構(gòu)概述在商業(yè)銀行的 EDW 系統(tǒng)中，數(shù)據(jù)由數(shù)據(jù)源系統(tǒng)加載到 EDW 的各個(gè)數(shù)據(jù)層中，并通過供數(shù)接口提供給相關(guān)使用者系統(tǒng)。其實(shí)現(xiàn)的困難在于 ETL 系統(tǒng)將面臨復(fù)雜的數(shù)據(jù)環(huán)境，包括巨大的加載數(shù)據(jù)量、錯(cuò)綜復(fù)雜的數(shù)據(jù)關(guān)系和參差不齊的數(shù)據(jù)質(zhì)量，這些都使 ETL 的架構(gòu)和應(yīng)用設(shè)計(jì)面臨相當(dāng)?shù)奶魬?zhàn)。通過高效的 ETL 系統(tǒng)結(jié)構(gòu)、層次化

60、的應(yīng)用功能劃分和標(biāo)準(zhǔn)的程序模板，EDW 系統(tǒng)能夠達(dá)到以下目標(biāo)：支持在此框架下實(shí)現(xiàn)EDW項(xiàng)目所需要的ETL功能；支持在規(guī)定的批處理時(shí)間窗口（Batch Window）能夠完成數(shù)據(jù)加載工作，即需要滿足日常數(shù)據(jù)加載的性能需求；能夠支持有效的應(yīng)用程序開發(fā)模式，提高開發(fā)效率，盡量減少應(yīng)用開發(fā)成本；減少系統(tǒng)維護(hù)的復(fù)雜性，支持后續(xù)增加新數(shù)據(jù)或功能的開發(fā)工作。和上下游系統(tǒng)接口的松耦合設(shè)計(jì)，避免上下游系統(tǒng)的變更導(dǎo)致ETL程序本身頻繁變更。XX 銀行總行的 EDW 系統(tǒng)數(shù)據(jù)源環(huán)境復(fù)雜，應(yīng)用系統(tǒng)數(shù)據(jù)需求旺盛，數(shù)據(jù)質(zhì)量參差不齊，結(jié)合以上系統(tǒng)目標(biāo)與設(shè)計(jì)原則，建議采用如下體系架構(gòu)建設(shè)： / 46ETL 邏輯結(jié)構(gòu)按照處理過