商業(yè)銀行數(shù)據(jù)倉庫淺析

1、 商業(yè)銀行數(shù)據(jù)倉庫淺析營口銀行內(nèi)部資料BYK商業(yè)銀行數(shù)據(jù)倉庫淺析商業(yè)銀行數(shù)據(jù)倉庫淺析第一版孟凡濤2012年12月目錄引言51基本概念61.1操作型系統(tǒng)61.2OLTP和OLAP61.3數(shù)據(jù)源系統(tǒng)71.4數(shù)據(jù)倉庫71.4.1面向主題71.4.2集成81.4.3非易失性91.4.4隨時(shí)間變化101.5決策支持系統(tǒng)111.6維度和度量112數(shù)據(jù)倉庫的好處123數(shù)據(jù)倉庫核心內(nèi)容143.1典型數(shù)據(jù)倉庫架構(gòu)圖143.2數(shù)據(jù)模型143.2.1模型設(shè)計(jì)思路153.2.2模型設(shè)計(jì)原則163.2.3模型主題劃分163.2.4拉鏈表193.2.5快照表203.2.6流水表203.3ODS層203.3.1ODS定義2

2、03.3.2ODS作用213.4FDS層223.5IDS層223.6數(shù)據(jù)集市223.7ETL過程233.8調(diào)度管理233.9元數(shù)據(jù)管理243.9.1基本定義243.9.2元數(shù)據(jù)管理的作用253.10數(shù)據(jù)質(zhì)量管理264數(shù)據(jù)倉庫規(guī)范274.1數(shù)據(jù)層規(guī)范274.2主題域命名274.2.1基礎(chǔ)數(shù)據(jù)層（FDS）主題命名284.2.2集成數(shù)據(jù)層（IDS）主題命名294.2.3實(shí)體/表命名294.2.4屬性/列命名325歷史數(shù)據(jù)346常見問題346.1數(shù)據(jù)量356.2拉鏈表356.3索引3637引言近年來，由于計(jì)算機(jī)技術(shù)的飛速發(fā)展和科技的不斷進(jìn)步，數(shù)據(jù)庫技術(shù)的應(yīng)用在各個(gè)領(lǐng)域也不斷的深入。在金融領(lǐng)域，數(shù)據(jù)庫技

3、術(shù)的發(fā)展和應(yīng)用為商業(yè)銀行積累了大量的日常業(yè)務(wù)數(shù)據(jù)，這些數(shù)據(jù)對(duì)于商業(yè)銀行來說無異于一個(gè)巨大的寶庫，蘊(yùn)藏著大量的對(duì)銀行管理和決策有用的信息。但如何使這些數(shù)據(jù)轉(zhuǎn)換成有用的信息，為商業(yè)銀行各種業(yè)務(wù)的發(fā)展提供正確的決策，傳統(tǒng)的數(shù)據(jù)庫系統(tǒng)已經(jīng)無法滿足需求。于是人們不斷嘗試對(duì)數(shù)據(jù)庫中的數(shù)據(jù)進(jìn)行再加工，形成一個(gè)綜合的、面向分析的環(huán)境，以更好的支持銀行決策者進(jìn)行決策分析。在這種情況下，就產(chǎn)生了一種新的信息處理技術(shù)數(shù)據(jù)倉庫技術(shù)（Data Warehouse）。數(shù)據(jù)倉庫技術(shù)在商業(yè)銀行領(lǐng)域的應(yīng)用越來越多，那么究竟什么是數(shù)據(jù)倉庫，如何構(gòu)建數(shù)據(jù)倉庫就是本文所要探討的內(nèi)容。目前國內(nèi)的很多商業(yè)銀行都在建設(shè)自己的數(shù)據(jù)倉庫，然而

4、不同的廠商、不同的銀行對(duì)于數(shù)據(jù)倉庫的理解也各不相同，建設(shè)的成果五花八門，有很成功的案例、也有很多失敗的案例。無論是哪種情況、也無論是采取哪種思路建設(shè)數(shù)據(jù)倉庫，如果所建設(shè)的成果能夠真正為銀行所用、能夠?qū)τ阢y行的統(tǒng)計(jì)分析、決策支持起到一定的作用，并且對(duì)于后續(xù)的維護(hù)工作、升級(jí)工作能夠很順暢的進(jìn)行下去，我們就可以說，這樣的數(shù)據(jù)倉庫對(duì)于銀行來說是成功的。本人從事金融行業(yè)的軟件系統(tǒng)建設(shè)工作已經(jīng)近七年的時(shí)間，也參與過一些商業(yè)銀行數(shù)據(jù)倉庫的規(guī)劃、建設(shè)過程。對(duì)于商業(yè)銀行數(shù)據(jù)倉庫有一些基本的理解與認(rèn)識(shí)，為了使自己的經(jīng)驗(yàn)以及所學(xué)、所想不至于隨著時(shí)間的推移而遺忘和丟失，特整理了本文關(guān)于商業(yè)銀行數(shù)據(jù)倉庫方面的知識(shí)。本文

5、是基于相關(guān)數(shù)據(jù)倉庫項(xiàng)目的經(jīng)驗(yàn)、結(jié)合數(shù)據(jù)倉庫一些書籍、文檔以及本人對(duì)數(shù)據(jù)倉庫的理解和在數(shù)據(jù)倉庫項(xiàng)目中遇到的一些問題總結(jié)的一份適合銀行內(nèi)部科技人員在數(shù)據(jù)倉庫方面學(xué)習(xí)的文檔。數(shù)據(jù)倉庫技術(shù)本身包含的內(nèi)容較多，文中還有很多章節(jié)還可以進(jìn)一步的精斟細(xì)酌，我會(huì)在后續(xù)的工作和學(xué)習(xí)中不斷的對(duì)其進(jìn)行完善。每個(gè)人對(duì)數(shù)據(jù)倉庫的理解程度也各不相同，針對(duì)本文如果有欠缺之處，希望在數(shù)據(jù)倉庫領(lǐng)域的資深前輩加以斧正。1 基本概念1.1 操作型系統(tǒng)操作型系統(tǒng)也稱為面向交易的處理系統(tǒng)，聯(lián)機(jī)事務(wù)處理（OLTP）系統(tǒng)。其基本特征顧客的原始數(shù)據(jù)可以立即傳送到計(jì)算機(jī)中心進(jìn)行處理，并在很短的時(shí)間內(nèi)給出處理結(jié)果。其最大優(yōu)點(diǎn)是可以即時(shí)地處理輸入的

6、數(shù)據(jù)，及時(shí)地得到響應(yīng)。也稱為實(shí)時(shí)系統(tǒng)，它的一個(gè)重要性能指標(biāo)是響應(yīng)時(shí)間。OLTP是由數(shù)據(jù)庫引擎負(fù)責(zé)完成的。OLTP數(shù)據(jù)庫旨在使事務(wù)應(yīng)用程序僅寫入所需的數(shù)據(jù)，以便盡快處理單個(gè)事務(wù)。OLTP數(shù)據(jù)庫能夠支持大量并發(fā)用戶定期添加和修改數(shù)據(jù)，對(duì)個(gè)別事務(wù)能夠很快地處理完成，并且只需訪問相對(duì)較少的數(shù)據(jù)。OLTP旨在處理同時(shí)輸入的成百上千的事務(wù)。對(duì)于商業(yè)銀行來說，核心業(yè)務(wù)系統(tǒng)、國際結(jié)算系統(tǒng)是典型的操作型系統(tǒng)。1.2 OLTP和OLAP當(dāng)今的數(shù)據(jù)處理主要分成兩大類：聯(lián)機(jī)事務(wù)處理OLTP（on-line transaction processing）、聯(lián)機(jī)分析處理OLAP（On-Line Analytical Pr

7、ocessing）。OLTP是傳統(tǒng)的關(guān)系型數(shù)據(jù)庫的主要應(yīng)用，主要是基本的、日常的事務(wù)處理，例如銀行交易。OLAP是數(shù)據(jù)倉庫系統(tǒng)的主要應(yīng)用，支持復(fù)雜的分析操作，側(cè)重決策支持，并且提供直觀易懂的查詢結(jié)果。下表列出了OLTP與OLAP之間的比較。原始數(shù)據(jù)/操作型數(shù)據(jù)導(dǎo)出數(shù)據(jù)/DSS數(shù)據(jù)面向應(yīng)用的面向主題的詳細(xì)的綜合的或提煉的在存取瞬間是準(zhǔn)確的代表過去的數(shù)據(jù)為日常工作服務(wù)為管理者服務(wù)可更新不更新重復(fù)運(yùn)行啟發(fā)式運(yùn)行處理需求事先可知處理需求事先不知道生命周期符合SDLC（傳統(tǒng)的系統(tǒng)開發(fā)生命周期）完全不同的生命周期對(duì)性能要求高對(duì)性能要求寬松一個(gè)時(shí)刻存取一個(gè)單元一個(gè)時(shí)刻存取一個(gè)集合事務(wù)處理驅(qū)動(dòng)分析處理驅(qū)動(dòng)更新

8、控制主要涉及所有權(quán)無更新控制問題高可用性松弛的可用性整體管理以子集管理非常冗余時(shí)常有冗余靜態(tài)結(jié)構(gòu)、可變的內(nèi)容結(jié)構(gòu)靈活一次處理數(shù)據(jù)量小一次處理數(shù)據(jù)量大支持日常操作支持管理需求訪問的高可能性訪問的低可能性或適度可能性1.3 數(shù)據(jù)源系統(tǒng)數(shù)據(jù)倉庫中的數(shù)據(jù)通常都是來自于操作型環(huán)境中的數(shù)據(jù)，在商業(yè)銀行中操作型的系統(tǒng)主要包括核心業(yè)務(wù)系統(tǒng)、國際結(jié)算系統(tǒng)、信貸管理系統(tǒng)、財(cái)務(wù)系統(tǒng)、ECIF等等。這些系統(tǒng)每天都會(huì)產(chǎn)生大量的業(yè)務(wù)數(shù)據(jù)和交易數(shù)據(jù)，數(shù)據(jù)倉庫可以每天從這些系統(tǒng)中獲取有用的數(shù)據(jù)加載到數(shù)據(jù)倉庫中供決策分析使用。隨著銀行業(yè)務(wù)的發(fā)展壯大，銀行產(chǎn)品的不斷增多，數(shù)據(jù)源系統(tǒng)也會(huì)不斷的擴(kuò)充，如銀行卡系統(tǒng)、網(wǎng)上銀行系統(tǒng)、資金

9、系統(tǒng)等等。也正是由于數(shù)據(jù)源系統(tǒng)是會(huì)不斷擴(kuò)充的，所以說數(shù)據(jù)倉庫建設(shè)對(duì)于銀行來說不是一個(gè)項(xiàng)目而是一個(gè)過程。即隨著銀行操作型系統(tǒng)的不斷增多、數(shù)據(jù)倉庫的構(gòu)建也需要一直持續(xù)下去。1.4 數(shù)據(jù)倉庫數(shù)據(jù)倉庫是一個(gè)面向主題的、集成的、非易失的且隨時(shí)間變化的數(shù)據(jù)集合，用來支持管理人員的決策。數(shù)據(jù)倉庫是一個(gè)環(huán)境，而不是一個(gè)產(chǎn)品，提供用戶用于決策支持的當(dāng)前和歷史數(shù)據(jù)，這些數(shù)據(jù)在傳統(tǒng)的操作型數(shù)據(jù)庫中很難或不能得到。數(shù)據(jù)倉庫技術(shù)是為了有效的把操作型數(shù)據(jù)集成到統(tǒng)一的環(huán)境中以提供決策型數(shù)據(jù)訪問的各種技術(shù)和模塊的總稱。所做的一切都是為了讓用戶更快更方便查詢所需要的信息，提供決策支持。1.4.1 面向主題對(duì)于商業(yè)銀行來說，傳統(tǒng)

10、的操作型系統(tǒng)是圍繞銀行的業(yè)務(wù)應(yīng)用進(jìn)行組織的。對(duì)于一個(gè)銀行來說，應(yīng)用問題可能是儲(chǔ)蓄存款、對(duì)公存款、住房貸款、銀行承兌匯票。那么對(duì)于數(shù)據(jù)倉庫來說銀行的主要主題范圍可能是客戶、存款、貸款、中間業(yè)務(wù)。如下圖所示：1.4.2 集成集成的是數(shù)據(jù)倉庫的重要特點(diǎn)之一，數(shù)據(jù)倉庫中存儲(chǔ)的數(shù)據(jù)都是經(jīng)過集成之后的數(shù)據(jù)。傳統(tǒng)的數(shù)據(jù)是在操作型環(huán)境中存儲(chǔ)的，當(dāng)把數(shù)據(jù)從操作型環(huán)境轉(zhuǎn)入到數(shù)據(jù)倉庫時(shí)，如果不進(jìn)行集成就沒有意義，如果數(shù)據(jù)以一種非集成狀態(tài)存放到數(shù)據(jù)倉庫，它就不能很好的支持決策分析。下圖為一個(gè)客戶信息集成的簡(jiǎn)單的例子。1.4.3 非易失性數(shù)據(jù)倉庫的數(shù)據(jù)非易失性是數(shù)據(jù)倉庫的另一個(gè)重要特征。如下圖所示，操作型環(huán)境中的數(shù)據(jù)通

11、常是一次訪問和處理一個(gè)記錄，并且操作型環(huán)境中的數(shù)據(jù)是可以被更新的。但是在數(shù)據(jù)倉庫中的數(shù)據(jù)通常是一次載入與訪問的，并且數(shù)據(jù)倉庫中的數(shù)據(jù)并不進(jìn)行一般意義上的數(shù)據(jù)更新。1.4.4 隨時(shí)間變化數(shù)據(jù)倉庫的另一個(gè)顯著特征是隨時(shí)間變化的。如下圖所示，數(shù)據(jù)倉庫隨時(shí)間變化的顯著特征主要體現(xiàn)在以下幾點(diǎn)：數(shù)據(jù)倉庫中的數(shù)據(jù)時(shí)間期限要遠(yuǎn)遠(yuǎn)長于操作型系統(tǒng)中數(shù)據(jù)的時(shí)間期限。操作型系統(tǒng)的時(shí)間期限一般是6 09 0天，而數(shù)據(jù)倉庫中數(shù)據(jù)的時(shí)間期限通常是51 0年。 操作型數(shù)據(jù)庫含有“當(dāng)前值”的數(shù)據(jù)，這些數(shù)據(jù)的準(zhǔn)確性在訪問時(shí)是有效的，同樣當(dāng)前值的數(shù)據(jù)能被更新。而數(shù)據(jù)倉庫中的數(shù)據(jù)僅僅是一系列某一時(shí)刻生成的復(fù)雜的快照。 操作型數(shù)據(jù)的鍵

12、碼結(jié)構(gòu)可能包含也可能不包含時(shí)間元素，如年、月、日等。而數(shù)據(jù)倉庫的鍵碼結(jié)構(gòu)總是包含某時(shí)間元素。1.5 決策支持系統(tǒng)在商業(yè)銀行內(nèi)部，決策支持系統(tǒng)（DSS）與傳統(tǒng)的操作型系統(tǒng)有著明顯的區(qū)別。它不是面向交易的系統(tǒng)，它屬于銀行內(nèi)部的管理類系統(tǒng)，可以用于指導(dǎo)營銷、分析銀行的業(yè)務(wù)經(jīng)營情況、預(yù)測(cè)銀行的各種業(yè)務(wù)風(fēng)險(xiǎn)、指導(dǎo)經(jīng)營決策，它的數(shù)據(jù)來源為銀行內(nèi)部的各種交易型系統(tǒng)（如核心業(yè)務(wù)系統(tǒng)、信貸管理系統(tǒng)、國際結(jié)算系統(tǒng)、銀行卡系統(tǒng)、資金業(yè)務(wù)系統(tǒng)等）。通常是面向行內(nèi)管理層、決策層和營銷層的系統(tǒng)。典型的決策支持系統(tǒng)有商業(yè)銀行管理駕駛艙系統(tǒng)、商業(yè)銀行CRM系統(tǒng)、商業(yè)銀行績(jī)效管理系統(tǒng)、商業(yè)銀行全面風(fēng)險(xiǎn)管理系統(tǒng)、商業(yè)銀行全行報(bào)表

13、系統(tǒng)等等。決策支持類系統(tǒng)的特點(diǎn)是利用銀行各個(gè)交易系統(tǒng)的數(shù)據(jù)進(jìn)行統(tǒng)計(jì)、分析、預(yù)警以達(dá)到管理和決策的需要，通常需要大量的歷史數(shù)據(jù)和全方位的業(yè)務(wù)數(shù)據(jù)的支持。因此，銀行建立了數(shù)據(jù)倉庫的基礎(chǔ)上建設(shè)決策支持類系統(tǒng)更加滿足系統(tǒng)建設(shè)和規(guī)劃的要求。1.6 維度和度量維度是指一種視角，而不是一個(gè)固定的數(shù)字；是一個(gè)判斷、說明、評(píng)價(jià)和確定一個(gè)事物的多方位、多角度、多層次的條件和概念。在數(shù)據(jù)倉庫的理論中，維度是一個(gè)與業(yè)務(wù)相關(guān)的觀察角度，是依賴于數(shù)據(jù)的有效性和表達(dá)業(yè)務(wù)成效的關(guān)鍵性能指標(biāo)。度量是業(yè)務(wù)量化的表示、用于評(píng)價(jià)業(yè)務(wù)狀態(tài)的數(shù)值型數(shù)據(jù)、用于檢測(cè)業(yè)務(wù)的成效，不同度量反映不同的業(yè)務(wù)性質(zhì)，度量之間的相互獨(dú)立的。如下圖所示，以

14、貸款基本信息表為例分別列出了維度信息和度量信息。2 數(shù)據(jù)倉庫的好處眾所周知，數(shù)據(jù)倉庫的建設(shè)對(duì)一個(gè)銀行甚至一個(gè)企業(yè)都是有著非常多的好處的。那么，為了能夠更清晰的理解數(shù)據(jù)倉庫的好處?？梢詫?shù)據(jù)倉庫與傳統(tǒng)的操作型系統(tǒng)對(duì)比來看。下表從各個(gè)層面列出了數(shù)據(jù)倉庫的好處：數(shù)據(jù)倉庫的好處比較方面?zhèn)鹘y(tǒng)的操作型系統(tǒng)數(shù)據(jù)倉庫1系統(tǒng)用途面向交易的聯(lián)機(jī)事務(wù)處理系統(tǒng)，注重的是事務(wù)處理的響應(yīng)結(jié)果和響應(yīng)效率?？梢酝瑫r(shí)處理成百上千的交易，并且能夠很快的返回結(jié)果。操作型系統(tǒng)主要是面向日常工作服務(wù)。面向復(fù)雜的分析操作，側(cè)重決策支持，能夠支持靈活的數(shù)據(jù)查詢需求，并且提供直觀易懂的查詢結(jié)果。數(shù)據(jù)倉庫主要面向管理者服務(wù)。2數(shù)據(jù)方面【A】數(shù)

15、據(jù)屬于分散存儲(chǔ)狀態(tài)，均獨(dú)立于各個(gè)操作型系統(tǒng)本身。便于高效的進(jìn)行聯(lián)機(jī)事務(wù)處理。不利于對(duì)數(shù)據(jù)的統(tǒng)一管理和維護(hù)?！続】形成了統(tǒng)一的數(shù)據(jù)平臺(tái)，對(duì)各個(gè)操作型系統(tǒng)的數(shù)據(jù)進(jìn)行了整合。便于對(duì)數(shù)據(jù)的統(tǒng)一管理和維護(hù)。【】數(shù)據(jù)沒有按照業(yè)務(wù)主題進(jìn)行劃分，沒有進(jìn)行集成和整合?！尽繉碓从诓煌牟僮餍拖到y(tǒng)的業(yè)務(wù)數(shù)據(jù)按照主題進(jìn)行了劃分并且對(duì)數(shù)據(jù)進(jìn)行了集成和整合。便于分析人員使用數(shù)據(jù)，便于對(duì)數(shù)據(jù)的靈活查詢和分析?！綜】數(shù)據(jù)屬于面向交易的數(shù)據(jù)，數(shù)據(jù)可以被更新，隨著交易的發(fā)生，數(shù)據(jù)是在實(shí)時(shí)發(fā)生變化的。沒有記錄某一時(shí)點(diǎn)的數(shù)據(jù)狀態(tài)，不能反映數(shù)據(jù)的歷史變化情況。【C】數(shù)據(jù)是代表過去的某一時(shí)點(diǎn)的數(shù)據(jù)，數(shù)據(jù)不會(huì)被更新，不會(huì)發(fā)生變化。記錄著

16、某一時(shí)點(diǎn)的數(shù)據(jù)狀態(tài)。能夠反映數(shù)據(jù)的歷史變化情況?！綝】數(shù)據(jù)存儲(chǔ)時(shí)間較短，有些數(shù)據(jù)實(shí)時(shí)發(fā)生變化的，不存儲(chǔ)歷史數(shù)據(jù)。無法對(duì)數(shù)據(jù)進(jìn)行持續(xù)的分析。【D】數(shù)據(jù)存儲(chǔ)時(shí)間較長，通常為5到10年，便于對(duì)數(shù)據(jù)的長期持續(xù)性分析。便于從數(shù)據(jù)中提取出指導(dǎo)決策和營銷的有價(jià)值的信息?！綞】數(shù)據(jù)質(zhì)量受系統(tǒng)功能及使用者的習(xí)慣決定。無法保證有較好的數(shù)據(jù)質(zhì)量?！綞】數(shù)據(jù)倉庫的建設(shè)過程涉及到數(shù)據(jù)的集成和整合的操作，在此階段可以通過補(bǔ)錄的方式完善數(shù)據(jù)質(zhì)量。是數(shù)據(jù)的可用性更強(qiáng)。33 數(shù)據(jù)倉庫核心內(nèi)容3.1 典型數(shù)據(jù)倉庫架構(gòu)圖3.2 數(shù)據(jù)模型模型是現(xiàn)實(shí)世界的抽象，數(shù)據(jù)模型（Data Model）是數(shù)據(jù)特征的抽象，是數(shù)據(jù)庫系統(tǒng)中用以提供信

17、息表示和操作手段的形式構(gòu)架。數(shù)據(jù)模型包括數(shù)據(jù)庫數(shù)據(jù)的結(jié)構(gòu)部分、數(shù)據(jù)庫數(shù)據(jù)的操作部分和數(shù)據(jù)庫數(shù)據(jù)的約束條件。其中，數(shù)據(jù)結(jié)構(gòu)主要描述數(shù)據(jù)的類型、內(nèi)容、性質(zhì)及數(shù)據(jù)間的關(guān)系；數(shù)據(jù)操作主要描述在相應(yīng)的數(shù)據(jù)結(jié)構(gòu)上的操作類型和操作方式；數(shù)據(jù)約束主要描述數(shù)據(jù)結(jié)構(gòu)內(nèi)數(shù)據(jù)間的語法、詞義聯(lián)系、他們之間的制約和依存關(guān)系以及數(shù)據(jù)動(dòng)態(tài)變化的規(guī)則，以保證數(shù)據(jù)正確、有效和相容。數(shù)據(jù)模型是數(shù)據(jù)倉庫的靈魂，一套設(shè)計(jì)合理的數(shù)據(jù)模型是數(shù)據(jù)倉庫建設(shè)成功并能夠持續(xù)良好運(yùn)行的關(guān)鍵。3.2.1 模型設(shè)計(jì)思路數(shù)據(jù)模型的設(shè)計(jì)是一個(gè)比較復(fù)雜的過程，需要經(jīng)過多次迭代過程，經(jīng)過反復(fù)檢驗(yàn)和修正，才可能逐漸接近能夠反映業(yè)務(wù)的真實(shí)現(xiàn)狀。數(shù)據(jù)模型設(shè)計(jì)的思路如

18、下：Ø 數(shù)據(jù)源驅(qū)動(dòng)：確定ODS層。對(duì)現(xiàn)有的數(shù)據(jù)源系統(tǒng)（核心系統(tǒng)、信貸系統(tǒng)、國結(jié)結(jié)算系統(tǒng)等）進(jìn)行分析，按照模型貼近源系統(tǒng)的基本原則，可以確定ODS層的數(shù)據(jù)模型。Ø 統(tǒng)一規(guī)范和管理驅(qū)動(dòng)：確定FDS層。需要在對(duì)源系統(tǒng)分析的基礎(chǔ)上，對(duì)基礎(chǔ)層模型各系統(tǒng)之間的同類數(shù)據(jù)進(jìn)行輕度整合，并結(jié)合本行的業(yè)務(wù)特點(diǎn)和目前的應(yīng)用需求，按一定的業(yè)務(wù)主題重新組織數(shù)據(jù)模型，形成基礎(chǔ)層邏輯模型。Ø 拿來主義：選擇共性加工層的參考模型，完善基礎(chǔ)層。選擇同業(yè)成功案例的數(shù)據(jù)模型作為參考模型，結(jié)合法人行的業(yè)務(wù)特點(diǎn)，對(duì)參考模型加以修改完善，形成本行的數(shù)據(jù)模型。這種方法效率高，但得到的數(shù)據(jù)模型需要不斷地進(jìn)行修正

19、。由此，借助他行的模型經(jīng)驗(yàn)，可以確定本項(xiàng)目共性加工層參考模型。Ø 目標(biāo)驅(qū)動(dòng)：確定應(yīng)用集市層，完善共性加工層。根據(jù)本期項(xiàng)目的目標(biāo)和應(yīng)用系統(tǒng)的需求，需要產(chǎn)生輕度的數(shù)據(jù)應(yīng)用層模型。并在此基礎(chǔ)上，對(duì)各種應(yīng)用需求進(jìn)一步分析，整理出一些共性的數(shù)據(jù)加工需求；必要的話，可以對(duì)共性加工層數(shù)據(jù)模型進(jìn)行完善，以滿足多個(gè)目標(biāo)應(yīng)用的公共加工匯總要求。3.2.2 模型設(shè)計(jì)原則Ø 根據(jù)關(guān)鍵業(yè)務(wù)要素，或業(yè)務(wù)關(guān)注視角，及關(guān)鍵業(yè)務(wù)要素（業(yè)務(wù)關(guān)注視角）之間的關(guān)系，對(duì)數(shù)據(jù)模型進(jìn)行主題劃分；Ø 基礎(chǔ)數(shù)據(jù)層的主題劃分是通過抽象銀行業(yè)經(jīng)營活動(dòng)中的要素及要素之間關(guān)系的形式，來表達(dá)商業(yè)銀行的實(shí)際業(yè)務(wù)和具體的業(yè)務(wù)聯(lián)

20、系。它是獨(dú)立于業(yè)務(wù)應(yīng)用需求的，具有高度的穩(wěn)定性和可擴(kuò)展性；Ø 共性加工數(shù)據(jù)層的主題劃分則是基于業(yè)務(wù)關(guān)注的視角，也就是和業(yè)務(wù)應(yīng)用需求緊密相關(guān)，會(huì)根據(jù)應(yīng)用系統(tǒng)的共性需求變化而變化；Ø 不同的數(shù)據(jù)層次，由于其業(yè)務(wù)關(guān)注視角不同，其主題劃分的結(jié)果可以不同；Ø 各模型層次的主題可根據(jù)實(shí)際情況劃分二級(jí)主題，便于用戶定位所需數(shù)據(jù)；3.2.3 模型主題劃分Ø 八大業(yè)務(wù)主題客戶：主要組織和存放與銀行客戶有關(guān)的信息。包括基本信息、地址信息、信用信息、黑名單信息、財(cái)務(wù)信息等。在客戶主題域中以客戶號(hào)為唯一識(shí)別，通過客戶號(hào)與存款、貸款、銀行卡、中間業(yè)務(wù)、渠道、公用主題進(jìn)行關(guān)聯(lián)。存款

21、；組織和存儲(chǔ)企業(yè)和個(gè)人客戶的在銀行的存款業(yè)務(wù)相關(guān)信息，主要包括賬戶信息、事件信息及事故信息。主要分為按個(gè)人活期、個(gè)人定期、企業(yè)活期、企業(yè)定期四個(gè)子主題。在存款主題域中以賬號(hào)為唯一識(shí)別，通過賬號(hào)與客戶，中間業(yè)務(wù)、渠道、銀行卡、公用主題進(jìn)行關(guān)聯(lián)。貸款：組織和存儲(chǔ)客戶的所有貸款業(yè)務(wù)數(shù)據(jù)。根據(jù)客戶的性質(zhì)，將貸款客戶劃分為企業(yè)貸款和個(gè)人貸款兩類。在貸款主題域中以賬號(hào)為唯一識(shí)別，通過賬號(hào)與客戶、公用主題進(jìn)行關(guān)聯(lián)。銀行卡:組織和存儲(chǔ)客戶銀行卡的基本信息和交易信息。在銀行卡主題域中以卡號(hào)為唯一識(shí)別,通過卡號(hào)與存款、客戶、渠道、公用。中間業(yè)務(wù)：主要整合銀行除存、貸款業(yè)務(wù)以外的業(yè)務(wù)，即非利息收入以外的所有業(yè)務(wù)。中

22、間業(yè)務(wù)主題邏輯劃分按中間業(yè)務(wù)種類進(jìn)行劃分，如國內(nèi)結(jié)算業(yè)務(wù)、銀保通、證券基金、外匯買賣等業(yè)務(wù)相關(guān)信息。在中間業(yè)務(wù)主題域中以客戶號(hào)、賬號(hào)、產(chǎn)品、機(jī)構(gòu)、渠道為唯一識(shí)別,分別通過客戶號(hào)、賬號(hào)、產(chǎn)品、機(jī)構(gòu)、渠道與客戶、存款、公用主題進(jìn)行關(guān)聯(lián)。渠道：主要存儲(chǔ)渠道信息、簽約賬戶信息、渠道賬戶信息以及交易流水信息。根據(jù)客戶性質(zhì)可將渠道數(shù)據(jù)分為企業(yè)客戶和個(gè)人客戶。在渠道主題域中以客戶號(hào)、賬號(hào)、產(chǎn)品、機(jī)構(gòu)、渠道為唯一識(shí)別, 分別通過客戶號(hào)、賬號(hào)、產(chǎn)品、機(jī)構(gòu)、渠道與客戶、存款、銀行卡、公用主題進(jìn)行關(guān)聯(lián)?？傎~：組織和存儲(chǔ)銀行當(dāng)前會(huì)計(jì)核算總賬以及內(nèi)部帳有關(guān)的信息。在總賬主題域中以產(chǎn)品、機(jī)構(gòu)為唯一識(shí)別,分別通過產(chǎn)品、機(jī)構(gòu)

23、與公用主題進(jìn)行關(guān)聯(lián)。公用：用于存儲(chǔ)各種業(yè)務(wù)主題公用的一些信息。主要整合內(nèi)部機(jī)構(gòu)、人員、公共代碼等相關(guān)信息。包括統(tǒng)一標(biāo)準(zhǔn)代碼，以及標(biāo)準(zhǔn)代碼與各個(gè)源系統(tǒng)代碼的映射及人工補(bǔ)充代碼。Ø 各個(gè)主題間關(guān)系：業(yè)務(wù)主題優(yōu)點(diǎn)：以貼源的原則進(jìn)行設(shè)計(jì)，設(shè)計(jì)基礎(chǔ)層的時(shí)候以具體業(yè)務(wù)作為主導(dǎo)，體現(xiàn)在銀行方面就會(huì)劃分出類似貸款，存款這樣的常用主題。數(shù)據(jù)能保證完全和真實(shí)，因?yàn)榛A(chǔ)模型和數(shù)據(jù)源相似率很高。3.2.4 拉鏈表拉鏈表是數(shù)據(jù)倉庫在存儲(chǔ)數(shù)據(jù)時(shí)最常用的一種方式。拉鏈表的優(yōu)點(diǎn)是數(shù)據(jù)不會(huì)產(chǎn)生冗余，節(jié)省存儲(chǔ)空間；缺點(diǎn)是容易出現(xiàn)斷鏈的情況，數(shù)據(jù)質(zhì)量會(huì)受到影響。 拉鏈表的具體形態(tài)如下表（存款賬戶信息表）所示，該表中體現(xiàn)接

24、鏈表的一個(gè)顯著特征是通過字段開始日期（SDATE）和結(jié)束日期（EDATE）來標(biāo)識(shí)，表示某一條記錄在開始日期和結(jié)束日期之間是有效的數(shù)據(jù)。當(dāng)前日期的有效數(shù)據(jù)是以99999999為結(jié)束日期；當(dāng)數(shù)據(jù)發(fā)生變化時(shí)，會(huì)將99999999更新為變化的前一天，并插一條變化后的數(shù)據(jù)作為當(dāng)前數(shù)據(jù)，以變化當(dāng)天的日期為開始日期，以99999999為結(jié)束日期。這就是整個(gè)接鏈表的變化過程。SDATEEDATEACCT_NOCLIENT_NOACCT_NAMEACCT_BALLAST_D_BAL20120924201209286224150008514747001010032809397張穎9077.0710077.0720

25、120929201209306224150008514747001010032809397張穎6077.079077.0720121001201210106224150008514747001010032809397張穎4077.076077.0720121011999999996224150008514747001010032809397張穎3577.074077.07在數(shù)據(jù)倉庫設(shè)計(jì)時(shí)選擇使用接鏈表存儲(chǔ)數(shù)據(jù)應(yīng)該考慮以下幾點(diǎn)：大數(shù)據(jù)量的數(shù)據(jù)表，可以考慮使用拉鏈表。因?yàn)閿?shù)據(jù)倉庫中的數(shù)據(jù)是長期存儲(chǔ)并且數(shù)據(jù)量是不斷增長的。使用拉鏈表的好處是當(dāng)數(shù)據(jù)發(fā)生變化才插入新的記錄，使用拉鏈表不會(huì)重復(fù)存儲(chǔ)數(shù)據(jù)，這

26、樣對(duì)于大數(shù)據(jù)量的數(shù)據(jù)表的數(shù)據(jù)增長速度就不會(huì)成倍的增長?？梢杂行У墓?jié)約存儲(chǔ)空間，并且能夠提高對(duì)該數(shù)據(jù)表數(shù)據(jù)的存取效率。字段較少的數(shù)據(jù)表，可以考慮使用拉鏈表。因?yàn)槔湵淼臄?shù)據(jù)是在發(fā)生變化是插入新記錄，在插入新記錄時(shí)需要將新記錄與原有記錄做比較，比較的時(shí)候需要逐個(gè)字段進(jìn)行比較。如果字段較多會(huì)影響數(shù)據(jù)的比較效率，直接影響數(shù)據(jù)倉庫的跑批效率。數(shù)據(jù)表的邏輯主鍵明確，需要清晰反映數(shù)據(jù)業(yè)務(wù)變化過程的時(shí)候，可以考慮使用拉鏈表。眾所周知，數(shù)據(jù)表中一條數(shù)據(jù)的主鍵是不會(huì)發(fā)生變化的，變化的只是主鍵之外的其它信息。拉鏈表的數(shù)據(jù)在發(fā)生變化進(jìn)行關(guān)鏈和開鏈的時(shí)候需要通過增量數(shù)據(jù)的主鍵與原有數(shù)據(jù)進(jìn)行比對(duì)。如果主鍵不明確或定義錯(cuò)誤

27、，在兩條數(shù)據(jù)比對(duì)時(shí)如果數(shù)據(jù)變化體現(xiàn)在我們所錯(cuò)誤定義的主鍵上面，那么就不會(huì)將原有的應(yīng)該關(guān)鏈的數(shù)據(jù)進(jìn)行及時(shí)的關(guān)鏈，造成拉鏈表數(shù)據(jù)錯(cuò)誤。另外，拉鏈表的數(shù)據(jù)能夠連續(xù)的反映某條數(shù)據(jù)記錄變化的過程，通過整條數(shù)據(jù)鏈就能清晰的看到該條記錄的整個(gè)變化情況。3.2.5 快照表快照表是每天保存全量數(shù)據(jù)，通過時(shí)間戳來表示整張數(shù)據(jù)表的每一個(gè)時(shí)間點(diǎn)的快照?？煺毡淼膬?yōu)點(diǎn)是數(shù)據(jù)處理邏輯簡(jiǎn)單、方便，數(shù)據(jù)質(zhì)量較高不會(huì)出現(xiàn)錯(cuò)誤；缺點(diǎn)是數(shù)據(jù)存在冗余，存取效率低?？煺毡淼木唧w形態(tài)如下表（貸款借據(jù)表）所示。FDATEDUEBILLNODUEBILLSUMDBRESTSUMDUEBILLDATEDBMATUREDATEYSYJLX2012

28、0706XDYC0000949580000.0050950.052011071920140718373.6320120707XDYC0000949580000.0050950.052011071920140718396.9820120708XDYC0000949580000.0050950.052011071920140718420.3320120709XDYC0000949580000.0050950.052011071920140718443.69在數(shù)據(jù)倉庫設(shè)計(jì)時(shí)選擇使用接鏈表存儲(chǔ)數(shù)據(jù)應(yīng)該考慮以下幾點(diǎn)：數(shù)據(jù)量較小的數(shù)據(jù)表，可以考慮使用快照表。因?yàn)榭煺毡硎敲刻煲粋€(gè)快照，數(shù)據(jù)量重復(fù)存儲(chǔ)。如果數(shù)

29、據(jù)量較大不宜使用快照表，會(huì)占用大量的存儲(chǔ)空間，并且隨著時(shí)間的推移，訪問效率會(huì)越來越低。字段較多的數(shù)據(jù)表，可以考慮用快照表。因?yàn)椋侄屋^多，如果不采用快照表而采用拉鏈表會(huì)影響數(shù)據(jù)倉庫數(shù)據(jù)的跑批效率。3.2.6 流水表流水表即按照每天的交易日期增量存儲(chǔ)數(shù)據(jù)。通常在數(shù)據(jù)倉庫中，對(duì)于交易流水?dāng)?shù)據(jù)采用流水表進(jìn)行存儲(chǔ)。如存款余額變動(dòng)明細(xì)表、總賬流水表等數(shù)據(jù)均需要采用流水表的方式存儲(chǔ)。流水表的特點(diǎn)是，數(shù)據(jù)真實(shí)性高、與原系統(tǒng)流水表信息一致。3.3 ODS層3.3.1 ODS定義ODS（Operational Data Store）操作型數(shù)據(jù)存儲(chǔ)，是數(shù)據(jù)倉庫體系中的一個(gè)可選部分，ODS具備數(shù)據(jù)倉庫的部分特征和O

30、LTP系統(tǒng)的部分特征，它是“面向主題的、集成的、當(dāng)前或接近當(dāng)前的、不斷變化的”數(shù)據(jù)。ODS層的數(shù)據(jù)是對(duì)數(shù)據(jù)源的緩沖，通常不保留歷史數(shù)據(jù)，根據(jù)數(shù)據(jù)量的大小數(shù)據(jù)通常存儲(chǔ)七天到一個(gè)月的數(shù)據(jù)。3.3.2 ODS作用 ODS的設(shè)計(jì)主要體現(xiàn)在以下幾個(gè)作用：在業(yè)務(wù)系統(tǒng)和數(shù)據(jù)倉庫之間形成一個(gè)隔離層。數(shù)據(jù)倉庫通常都有非常復(fù)雜的數(shù)據(jù)來源，這些數(shù)據(jù)存放在不同的地理位置、不同的數(shù)據(jù)庫、不同的應(yīng)用之中，從這些業(yè)務(wù)系統(tǒng)對(duì)數(shù)據(jù)抽取不是一件容易的事情。因此，ODS用于存放從業(yè)務(wù)系統(tǒng)直接抽取出來的數(shù)據(jù)，這些數(shù)據(jù)從數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)之間的邏輯關(guān)系上與業(yè)務(wù)系統(tǒng)基本保持一致，因此在抽取過程中極大降低了數(shù)據(jù)轉(zhuǎn)化的復(fù)雜性，而主要關(guān)注數(shù)據(jù)抽取

31、的接口、數(shù)據(jù)量大小、抽取方式等方面的問題。轉(zhuǎn)移一部分業(yè)務(wù)系統(tǒng)細(xì)節(jié)查詢的功能 在數(shù)據(jù)倉庫建立之前，大量的報(bào)表、分析是由業(yè)務(wù)系統(tǒng)直接支持的，在一些比較復(fù)雜的報(bào)表生成過程中，對(duì)業(yè)務(wù)系統(tǒng)的運(yùn)行產(chǎn)生相當(dāng)大的壓力。ODS的數(shù)據(jù)從粒度、組織方式等各個(gè)方面都保持了與業(yè)務(wù)系統(tǒng)的一致性，那么原來由業(yè)務(wù)系統(tǒng)產(chǎn)生的報(bào)表、細(xì)節(jié)數(shù)據(jù)的查詢自然能夠從ODS中進(jìn)行，從而降低業(yè)務(wù)系統(tǒng)的查詢壓力。完成數(shù)據(jù)倉庫中不能完成的一些功能通常，帶有ODS的數(shù)據(jù)倉庫的體系結(jié)構(gòu)中，數(shù)據(jù)倉庫層所存儲(chǔ)的數(shù)據(jù)都是進(jìn)行匯總過的數(shù)據(jù)，并不存儲(chǔ)每筆交易產(chǎn)生的細(xì)節(jié)數(shù)據(jù)，但是在某些特殊的應(yīng)用中，可能需要對(duì)交易細(xì)節(jié)數(shù)據(jù)進(jìn)行查詢，這時(shí)就需要把細(xì)節(jié)數(shù)據(jù)查詢的功能轉(zhuǎn)

32、移到ODS來完成，而且ODS的數(shù)據(jù)模型按照面向主題的方式進(jìn)行存儲(chǔ)，可以方便地支持多維分析等查詢功能。在一個(gè)沒有ODS的數(shù)據(jù)倉庫應(yīng)用系統(tǒng)體系結(jié)構(gòu)中，數(shù)據(jù)倉庫中存儲(chǔ)的數(shù)據(jù)粒度是根據(jù)需要而確定的，但一般來說，最為細(xì)節(jié)的業(yè)務(wù)數(shù)據(jù)也是需要保留的，實(shí)際上也就相當(dāng)于ODS，但與ODS所不同的是，這時(shí)的細(xì)節(jié)數(shù)據(jù)不是“當(dāng)前、不斷變化的”數(shù)據(jù)。而是“歷史的、不再變化的”數(shù)據(jù)。3.4 FDS層FDS（Fundational Data Strore）基礎(chǔ)數(shù)據(jù)存儲(chǔ)。所謂基礎(chǔ)數(shù)據(jù)，即數(shù)據(jù)不進(jìn)行更新、與源系統(tǒng)的數(shù)據(jù)保持一致。FDS層在整個(gè)數(shù)據(jù)倉庫中位于ODS層之上，是數(shù)據(jù)倉庫的核心層。FDS層的數(shù)據(jù)特點(diǎn)是“面向主題的、集成

33、的、非易失的和隨時(shí)間變化”的。對(duì)于商業(yè)銀行來說，F(xiàn)DS層的主題通常分為客戶、公共、渠道、貸款、銀行卡、存款、貸款、中間業(yè)務(wù)和總賬共八類主題。各個(gè)主題下的數(shù)據(jù)是由來源于ODS層的各個(gè)業(yè)務(wù)系統(tǒng)的數(shù)據(jù)進(jìn)行了集成后的數(shù)據(jù)。數(shù)據(jù)在集成的過程中不進(jìn)行更新，只加時(shí)間標(biāo)識(shí)，數(shù)據(jù)的存儲(chǔ)方式主要分為拉鏈表、快照表和流水表的方式進(jìn)行存儲(chǔ)。FDS層的數(shù)據(jù)每天通過增量和全量的方式進(jìn)行加載，數(shù)據(jù)不進(jìn)行刪除，持續(xù)保存歷史數(shù)據(jù)。3.5 IDS層IDS（Integrated Data Store）集成數(shù)據(jù)存儲(chǔ)。IDS是位于FDS之上的一層數(shù)據(jù)，數(shù)據(jù)的特點(diǎn)是對(duì)FDS層的數(shù)據(jù)進(jìn)行了高度的整合和匯總。數(shù)據(jù)匯總方式主要將存款、貸款、總

34、賬、中間業(yè)務(wù)、客戶等各個(gè)主題下的數(shù)據(jù)按照時(shí)間維、機(jī)構(gòu)維和幣種等維度進(jìn)行匯總。這樣處理的目的是便于下游各個(gè)應(yīng)用系統(tǒng)之間是有數(shù)據(jù)倉庫中的數(shù)據(jù)。IDS層在數(shù)據(jù)倉庫中所做的匯總通常是針對(duì)共性的信息進(jìn)行處理。而對(duì)于更進(jìn)一步的匯總和加工處理通常由各個(gè)應(yīng)用系統(tǒng)根據(jù)自身對(duì)數(shù)據(jù)的需求進(jìn)行加工處理。3.6 數(shù)據(jù)集市數(shù)據(jù)集市在整個(gè)BI領(lǐng)域是經(jīng)常提及到的概念。在很多銀行已經(jīng)建設(shè)了針對(duì)不同業(yè)務(wù)應(yīng)用需要的數(shù)據(jù)集市，如監(jiān)管數(shù)據(jù)集市、風(fēng)險(xiǎn)數(shù)據(jù)集市、信貸報(bào)表數(shù)據(jù)集市等。在銀行沒有建設(shè)數(shù)據(jù)倉庫的情況下，數(shù)據(jù)集市是介于銀行各類業(yè)務(wù)系統(tǒng)與應(yīng)用系統(tǒng)之間的一層數(shù)據(jù)的集合，作為源系統(tǒng)數(shù)據(jù)的緩沖和應(yīng)用系統(tǒng)的數(shù)據(jù)源。例如，在2003年銀監(jiān)會(huì)成

35、了之后提出了1104工程，在2006年初便要求全國所有的商業(yè)銀行報(bào)送1104報(bào)表。當(dāng)時(shí)，大多數(shù)銀行在建立1104報(bào)表系統(tǒng)時(shí)在沒有數(shù)據(jù)倉庫的情況下只能從銀行的各個(gè)源業(yè)務(wù)系統(tǒng)抽取數(shù)據(jù)，在這種情況下，為了更好的實(shí)現(xiàn)1104報(bào)表，提高報(bào)表的取數(shù)率，大多會(huì)為銀行建設(shè)監(jiān)管數(shù)據(jù)集市，即從各個(gè)源業(yè)務(wù)系統(tǒng)中抽取出所需要的數(shù)，對(duì)數(shù)據(jù)進(jìn)行一定的整合、集成，視報(bào)表情況進(jìn)行一定時(shí)期內(nèi)的報(bào)表歷史數(shù)據(jù)的存儲(chǔ)，以便于1104報(bào)表能夠方便的從數(shù)據(jù)集市中取數(shù)。這種實(shí)現(xiàn)方式既不影響源業(yè)務(wù)系統(tǒng)又實(shí)現(xiàn)了監(jiān)管數(shù)據(jù)的統(tǒng)一存儲(chǔ)、統(tǒng)一規(guī)劃、又為日后的監(jiān)管機(jī)構(gòu)的現(xiàn)場(chǎng)檢查提供的依據(jù)。在銀行建設(shè)了數(shù)據(jù)倉庫的情況下，數(shù)據(jù)集市通常建設(shè)在整個(gè)數(shù)據(jù)倉庫的基

36、層數(shù)據(jù)模型的最上層，應(yīng)用系統(tǒng)之下。并且，數(shù)據(jù)倉庫的建設(shè)是根據(jù)各個(gè)應(yīng)用系統(tǒng)的需要進(jìn)行靈活設(shè)計(jì)，這種做法的好處是保證數(shù)據(jù)倉庫不會(huì)因?yàn)橥鈬鷳?yīng)用系統(tǒng)的增加而受到影響，也不會(huì)對(duì)數(shù)據(jù)倉庫造成任何性能上的壓力。3.7 ETL過程ETL即數(shù)據(jù)抽?。‥xtract）、轉(zhuǎn)換（Transfer）、加載（Load）的意思。是構(gòu)建數(shù)據(jù)倉庫的重要環(huán)節(jié)。ETL的過程即從數(shù)據(jù)源抽取出所需的數(shù)據(jù)，經(jīng)過數(shù)據(jù)清洗轉(zhuǎn)換，最終按照預(yù)先定義好的數(shù)據(jù)倉庫模型，將數(shù)據(jù)加載到數(shù)據(jù)倉庫中去。數(shù)據(jù)抽?。簲?shù)據(jù)抽取程序能將數(shù)據(jù)從高性能聯(lián)機(jī)事務(wù)處理方式中（如銀行的核心系統(tǒng)、信貸系統(tǒng)、國結(jié)系統(tǒng)等）轉(zhuǎn)移出來，所以在對(duì)數(shù)據(jù)進(jìn)行總體分析和使用時(shí)就不會(huì)影響聯(lián)機(jī)事

37、務(wù)處理的性能。當(dāng)數(shù)據(jù)抽取程序?qū)?shù)據(jù)從操作型事務(wù)處理范圍內(nèi)移出時(shí)，數(shù)據(jù)的控制方式就發(fā)生了轉(zhuǎn)變。最終用戶一旦開始控制數(shù)據(jù)，就最終“擁有”了這些數(shù)據(jù)。就可以直接對(duì)數(shù)據(jù)進(jìn)行進(jìn)一步的加工使用。ETL將數(shù)據(jù)加載到數(shù)據(jù)倉庫的過程最終實(shí)現(xiàn)了從操作型業(yè)務(wù)系統(tǒng)到最終數(shù)據(jù)應(yīng)用分析系統(tǒng)的徹底分離。3.8 調(diào)度管理調(diào)度是數(shù)據(jù)倉庫運(yùn)轉(zhuǎn)的總協(xié)調(diào)員，任何一個(gè)數(shù)據(jù)倉庫平臺(tái)都離不開調(diào)度管理。一個(gè)好的調(diào)度管理是一個(gè)數(shù)據(jù)倉庫平臺(tái)平穩(wěn)、高效運(yùn)行的關(guān)鍵。一個(gè)好的調(diào)度管理平臺(tái)通常應(yīng)包含以下內(nèi)容：任務(wù)作業(yè)的編排和配置；任務(wù)調(diào)度過程的監(jiān)控和查看；調(diào)度日志。任務(wù)作業(yè)的編排和配置是在調(diào)度平臺(tái)上線正式運(yùn)行之前進(jìn)行配置的內(nèi)容，通常將整個(gè)數(shù)據(jù)倉庫的所有

38、的跑批任務(wù)進(jìn)行統(tǒng)一的編號(hào)，設(shè)置前、后置的任務(wù)依賴關(guān)系，然后將具體的任務(wù)關(guān)系配置到調(diào)度平臺(tái)中，之后調(diào)度管理平臺(tái)就可以按照我們希望的先后順序及并行和串行的關(guān)系進(jìn)行調(diào)度。任務(wù)調(diào)度過程的監(jiān)控和查看通常是提供可視化的界面供數(shù)據(jù)倉庫的維護(hù)和管理人員使用，維護(hù)人員可以通過在界面上操作，方便靈活的查看到每一個(gè)任務(wù)節(jié)點(diǎn)的運(yùn)行情況。包括查看任務(wù)節(jié)點(diǎn)中包含哪些子任務(wù)、每個(gè)子任務(wù)的運(yùn)行狀態(tài)、運(yùn)行的開始時(shí)間、結(jié)束時(shí)間、正在運(yùn)行的任務(wù)個(gè)數(shù)、等待運(yùn)行的任務(wù)個(gè)數(shù)、成功運(yùn)行的任務(wù)個(gè)數(shù)、失敗運(yùn)行的任務(wù)個(gè)數(shù)、任務(wù)運(yùn)行的時(shí)長等。調(diào)度日志主要體現(xiàn)在整個(gè)調(diào)度管理平臺(tái)能夠接收各種ETL工具及腳本返回的日志，如可以集成Datastage、K

39、ettle、Infomatica、存儲(chǔ)過程、Shell、Java Class等，即具有較好的兼容性。3.9 元數(shù)據(jù)管理3.9.1 基本定義元數(shù)據(jù)是數(shù)據(jù)倉庫環(huán)境中一個(gè)重要方面。元數(shù)據(jù)是關(guān)于數(shù)據(jù)的數(shù)據(jù)。在數(shù)據(jù)倉庫中，元數(shù)據(jù)扮演一個(gè)新的重要角色，通過元數(shù)據(jù)，可以最有效地利用數(shù)據(jù)倉庫。元數(shù)據(jù)使得最終用戶、決策分析人員能夠探索各種可能性。元數(shù)據(jù)在數(shù)據(jù)倉庫的上層，并且記錄數(shù)據(jù)倉庫中對(duì)象的位置。典型的元數(shù)據(jù)記錄： 數(shù)據(jù)倉庫表的結(jié)構(gòu)。 數(shù)據(jù)倉庫表的屬性。 數(shù)據(jù)倉庫的源數(shù)據(jù)（銀行的各種操作型系統(tǒng))。 從各種操作型系統(tǒng)到數(shù)據(jù)倉庫的映射。 數(shù)據(jù)模型的規(guī)格說明。 抽取數(shù)據(jù)的歷史記錄。 訪問數(shù)據(jù)的公用例行程序。 數(shù)據(jù)模

40、型和數(shù)據(jù)倉庫的關(guān)系。元數(shù)據(jù)為訪問數(shù)據(jù)倉庫提供了一個(gè)信息目錄（information directory），這個(gè)目錄全面描述了數(shù)據(jù)倉庫中都有什么數(shù)據(jù)、這些數(shù)據(jù)怎么得到的、怎么訪問這些數(shù)據(jù)。是數(shù)據(jù)倉庫運(yùn)行和維護(hù)的中心，數(shù)據(jù)倉庫服務(wù)器利用他來存貯和更新數(shù)據(jù)，用戶通過他來了解和訪問數(shù)據(jù)。元數(shù)據(jù)分為技術(shù)元數(shù)據(jù)和業(yè)務(wù)元數(shù)據(jù)。技術(shù)元數(shù)據(jù)是存儲(chǔ)關(guān)于數(shù)據(jù)倉庫系統(tǒng)技術(shù)細(xì)節(jié)的數(shù)據(jù)，常見的有庫表結(jié)構(gòu)、數(shù)據(jù)映射、匯總算法等。業(yè)務(wù)元數(shù)據(jù)從業(yè)務(wù)角度描述了數(shù)據(jù)倉庫中的數(shù)據(jù)，使得不懂計(jì)算機(jī)技術(shù)的業(yè)務(wù)人員也能“讀懂”數(shù)據(jù)倉庫中的數(shù)據(jù)。業(yè)務(wù)元數(shù)據(jù)具體包括以下信息：企業(yè)概念模型、指標(biāo)定義、代碼標(biāo)準(zhǔn)化、用戶訪問報(bào)表的規(guī)則、權(quán)限等。如下

41、圖所示，說明了元數(shù)據(jù)與數(shù)據(jù)的區(qū)別。3.9.2 元數(shù)據(jù)管理的作用在數(shù)據(jù)倉庫中，元數(shù)據(jù)管理具有多方面的作用。主要包括：知識(shí)共享與標(biāo)準(zhǔn)化、影響分析、血統(tǒng)分析、數(shù)據(jù)質(zhì)量改進(jìn)、版本管理、改善業(yè)務(wù)人員數(shù)據(jù)訪問界面。知識(shí)共享與標(biāo)準(zhǔn)化降低學(xué)習(xí)與溝通成本；減少缺乏共享與標(biāo)準(zhǔn)帶來的數(shù)據(jù)問題；減少員工流動(dòng)帶來的影響；影響分析減少元數(shù)據(jù)變更出錯(cuò)率；提高開發(fā)效率；血統(tǒng)分析支持?jǐn)?shù)據(jù)分析與審計(jì)；減少數(shù)據(jù)冗余處理；數(shù)據(jù)質(zhì)理改進(jìn)跟蹤數(shù)據(jù)加工環(huán)節(jié)，提供數(shù)據(jù)質(zhì)量預(yù)警；為數(shù)據(jù)質(zhì)量管理提供標(biāo)準(zhǔn)和依據(jù)；版本管理保證版本的實(shí)時(shí)性和一致性；改善業(yè)務(wù)人員數(shù)據(jù)訪問界面標(biāo)準(zhǔn)業(yè)務(wù)術(shù)語支持； 業(yè)務(wù)數(shù)據(jù)快速檢索；3.10 數(shù)據(jù)質(zhì)量管理數(shù)據(jù)倉庫是數(shù)據(jù)的載

42、體，數(shù)據(jù)是數(shù)據(jù)倉庫存儲(chǔ)的對(duì)象。數(shù)據(jù)質(zhì)量的好壞直接影響下游系統(tǒng)能否從數(shù)據(jù)倉庫中獲取有效的、可供分析使用的數(shù)據(jù)；直接決定數(shù)據(jù)倉庫的成敗。因此數(shù)據(jù)質(zhì)量問題是整個(gè)數(shù)據(jù)倉庫建設(shè)必須重視的問題之一。數(shù)據(jù)質(zhì)量指的是否能有效地支持所需要的管理應(yīng)用，數(shù)據(jù)質(zhì)量不能用絕對(duì)的好與壞來衡量，應(yīng)該用多種數(shù)據(jù)質(zhì)量度量來衡量，通常的數(shù)據(jù)質(zhì)量度量包括完成性、及時(shí)性、合法性、唯一性、一致性及準(zhǔn)確性。數(shù)據(jù)質(zhì)量的管理是一項(xiàng)長期的工作，并不是可以一次做完，有些可以通過程序檢查、有些需手工進(jìn)行。并且需要客戶方與數(shù)據(jù)倉庫建設(shè)廠商共同來完成。通常數(shù)據(jù)質(zhì)量控制可以按下列方式進(jìn)行：質(zhì)量標(biāo)準(zhǔn)度量標(biāo)準(zhǔn)定義控制規(guī)劃完整性主要是記錄缺失和字段值缺失等方

43、面 主要對(duì)ODS層的基本數(shù)據(jù)進(jìn)行分析，收集基本的統(tǒng)計(jì)數(shù)據(jù)?；镜慕y(tǒng)計(jì)信息包括屬性類別的分布、重要數(shù)字度量的最大值和最小值，空白字段。及時(shí)性指數(shù)據(jù)抽取、傳送、處理、裝載、展現(xiàn)的及時(shí)和快速性 這部分內(nèi)容通常需要由調(diào)度平臺(tái)來完成。唯一性指主鍵唯一和候選鍵唯一兩個(gè)方面 需要再ODS層來完成。系統(tǒng)間一致性指不同系統(tǒng)之間的數(shù)據(jù)差異和相互矛盾的一致性 數(shù)據(jù)倉庫通常是多個(gè)源系統(tǒng)數(shù)據(jù)的整合，需要在ODS層向FDS層轉(zhuǎn)化是進(jìn)行處理。元數(shù)據(jù)一致性元數(shù)據(jù)管理應(yīng)一致 主要檢查各個(gè)源系統(tǒng)的數(shù)據(jù)字典與ODS層之間的一致性。4 數(shù)據(jù)倉庫規(guī)范俗話說，沒有規(guī)矩不成方圓，那么一個(gè)好的數(shù)據(jù)倉庫的建設(shè)在很多方面要遵循一定的規(guī)范。在這種

44、規(guī)范下建立的數(shù)據(jù)倉庫無論是對(duì)于后續(xù)數(shù)據(jù)的使用還是對(duì)數(shù)據(jù)倉庫的維護(hù)都會(huì)非常方便。4.1 數(shù)據(jù)層規(guī)范在數(shù)據(jù)倉庫中，統(tǒng)一存儲(chǔ)和管理全行的數(shù)據(jù)，數(shù)據(jù)類型比較多，數(shù)據(jù)庫表也比較多，有從源業(yè)務(wù)系統(tǒng)直接采集按主題整合而成的基礎(chǔ)業(yè)務(wù)數(shù)據(jù)，有經(jīng)過中間加工匯總的匯總數(shù)據(jù)，有管理應(yīng)用專用的操作型數(shù)據(jù)和應(yīng)用分析需要而加工出的多維分析數(shù)據(jù)。因此在平臺(tái)數(shù)據(jù)庫中，各數(shù)據(jù)層的數(shù)據(jù)表統(tǒng)一存放到一個(gè)數(shù)據(jù)庫中，不同數(shù)據(jù)層采用不同的數(shù)據(jù)表命名規(guī)范，采用不同的表名前綴區(qū)分不同的數(shù)據(jù)層。下表對(duì)數(shù)據(jù)層的規(guī)范進(jìn)行說明：數(shù)據(jù)區(qū)域中文名數(shù)據(jù)區(qū)域英文名數(shù)據(jù)區(qū)域前綴表命名規(guī)范備注操作型數(shù)據(jù)存儲(chǔ)（ODS）OPERATIONAL DATA STORE

45、ODSODS_源系統(tǒng)標(biāo)識(shí)_源物理表名 基礎(chǔ)數(shù)據(jù)存儲(chǔ)層（FDS）FOUNDATIONAL DATA STORE FF_主題標(biāo)識(shí)_表標(biāo)識(shí)_存儲(chǔ)標(biāo)識(shí) 主題標(biāo)識(shí)包含一級(jí)、二級(jí)、三級(jí)主題域；存儲(chǔ)標(biāo)識(shí)為保存當(dāng)前（Snap）或歷史His，帶H結(jié)尾即為歷史表 集成數(shù)據(jù)存儲(chǔ)層（IDS）INTEGRATED DATA STOREII_主題標(biāo)識(shí)_匯總標(biāo)識(shí) 4.2 主題域命名“主題域”是數(shù)據(jù)模型類面向業(yè)務(wù)功能應(yīng)用的概念區(qū)分，每個(gè)“主題域”由一組面向某類應(yīng)用的核心“實(shí)體/表”及一組輔助“實(shí)體/表”構(gòu)成。 原則上，主題域及主題域細(xì)分的命名應(yīng)遵循下述規(guī)則：4.2.1 基礎(chǔ)數(shù)據(jù)層（FDS）主題命名序號(hào)一級(jí)主題域中文命名一級(jí)主

46、題域英文命名二級(jí)主題域中文命名二級(jí)主題域英文命名細(xì)分細(xì)分英文名業(yè)務(wù)主題域物理表明前綴1客戶CI客戶公用PUBF_CI_PUB_對(duì)公客戶CIEF_CI_CIE_個(gè)人客戶CIPF_CI_CIP_2存款DP活期存款SA賬戶ACCF_DP_SA_ACC結(jié)構(gòu)存款SD賬戶ACCF_DP_SD_ACC協(xié)議AGRF_DP_SD_AGR定期存款TD賬戶ACCF_DP_TD_ACC協(xié)議AGRF_DP_TD_AGR3貸款LN企業(yè)貸款LNE賬戶ACCF_LN_LNE_ACC協(xié)議AGRF_LN_LNE_AGR個(gè)人貸款LNP賬戶ACCF_LN_LNE_ACC協(xié)議AGRF_LN_LNE_AGR4銀行卡CR卡公共PUBF_C

47、R_PUB_ 貸記卡CRTF_CR_CRT_ 儲(chǔ)蓄卡/準(zhǔn)貸記卡DBTF_CR_DBT_ 理財(cái)卡FINF_CR_FIN_ 5中間業(yè)務(wù)AG外匯買賣XTF_AG_XT_證券STF_AG_ST_票據(jù)BLF_AG_BL_本幣結(jié)算STLDF_AG_STLD_國際結(jié)算STLIF_AG_STLI_6總賬GL總賬GLF_GL_GL_內(nèi)部賬INNF_GL_INN_7渠道CH公共信息CHCF_CH_CHC_企業(yè)客戶CHEF_CH_CHE_個(gè)人客戶CHPF_CH_CHP_8公共CM內(nèi)部組織IORGF_CM_ORG_業(yè)務(wù)參數(shù)BPF_CM_BP_公共事件PEF_CM_PE_4.2.2 集成數(shù)據(jù)層（IDS）主題命名序號(hào)一級(jí)

48、主題域中文命名一級(jí)主題域英文命名主題標(biāo)識(shí)+匯總1客戶CII_CI_2存款DPI_DP_3貸款LNI_LN_4銀行卡CRI_CR_5中間業(yè)務(wù)AGI_AG_6總賬GLI_GL_7渠道CHI_CH_8公共CMI_CM_4.2.3 實(shí)體/表命名原則上，實(shí)體/表名稱應(yīng)使用易于理解、能準(zhǔn)確描述該實(shí)體、表意義的業(yè)務(wù)術(shù)語，同時(shí)命名應(yīng)遵循下述規(guī)則：1 物理模型表名以英文命名，中文名與英文名含義應(yīng)嚴(yán)格一致；2 實(shí)體/表名不要使用不易理解的方言或有地域性/部門局限的業(yè)務(wù)術(shù)語，應(yīng)使用統(tǒng)一的、正式的、全局范圍內(nèi)通用的官方業(yè)務(wù)術(shù)語； 3 表名盡量參照原有的通用數(shù)據(jù)標(biāo)準(zhǔn)的中文名； 4 關(guān)于物理模型實(shí)體/表中<實(shí)體標(biāo)識(shí)

49、>的命名，如果實(shí)體表所屬業(yè)務(wù)在行內(nèi)有比較權(quán)威的源系統(tǒng)，且該系統(tǒng)的命名已經(jīng)規(guī)范化，則盡量貼近權(quán)威源系統(tǒng)的命名，如：核心業(yè)務(wù)貼近FIS系統(tǒng)，盡量參照數(shù)據(jù)字典中表命名；5 物理模型實(shí)體/表英文名全部使用字母大寫。如果實(shí)體/表英文名由多個(gè)單詞組成，單詞之間用下劃線分開；6 物理模型實(shí)體/表命名不超過30個(gè)字符，應(yīng)盡量使用簡(jiǎn)練的英文拼寫。個(gè)別超長的需要提出來，模型組統(tǒng)一綜合考慮（主要考慮一些數(shù)據(jù)庫（如TERADATA、ORACLE）定義的表名不能超過30個(gè)字符）。7 歷史實(shí)體中文名一般用“<當(dāng)前實(shí)體中文名>”命名；英文名用“<當(dāng)前實(shí)體名>”。4.2.3.1 操作數(shù)據(jù)層（OD

50、S）命名1 格式為： O_源系統(tǒng)標(biāo)識(shí)_源表名稱示例：核心系統(tǒng)客戶信息表O_FIS_CUSTMERS (注：ODS存儲(chǔ)層_FIS核心系統(tǒng)標(biāo)示_客戶信息表)2 物理表統(tǒng)一增加字段： DATA_DATE VARCHAR2（8）-數(shù)據(jù)日期YYYYMMDDLOAD_DATE DATE -加載日期PROD_ID VARCHAR2(5) -數(shù)據(jù)源系統(tǒng)標(biāo)識(shí)SOURCE_DATA_TYPE VARCHAR2(1) 源數(shù)據(jù)類型LOAD_TYPE VARCHAR2(1) -加載方式（全量或增量）4.2.3.2 基礎(chǔ)數(shù)據(jù)層（FDS）命名1 格式為：F_主題標(biāo)識(shí)_表標(biāo)識(shí)_存儲(chǔ)標(biāo)識(shí)。 示例：企業(yè)貸款賬戶信息表 F_LN_

51、LNE_ACC 示例：企業(yè)貸款賬戶信息歷史表 F_LN_LNE_ACC_H2 物理表統(tǒng)一增加字段：FDATE VARCHAR2(8) -數(shù)據(jù)日期/交易日期 SDATE VARCHAR2(8) -拉鏈表的開始日期EDATE VARCHAR2(8) -拉鏈表的結(jié)束日期3 FDS物理表設(shè)計(jì)考慮如下字段信息：機(jī)構(gòu)信息 機(jī)構(gòu)編碼（開戶機(jī)構(gòu) 營業(yè)機(jī)構(gòu) 賬務(wù)機(jī)構(gòu)均考慮下）客戶信息 客戶號(hào) （涉及到 關(guān)系檔 主檔 交易流水等）卡信息： 卡號(hào) （涉及到 交易流水信息）4.2.3.3 集成數(shù)據(jù)層（IDS）命名格式為：I_主題標(biāo)識(shí)_匯總標(biāo)識(shí) 其中匯總標(biāo)識(shí)可以為： <指標(biāo)的主詞>_<指標(biāo)的類詞>

52、;_<匯總維度>_<時(shí)間維度>。示例：個(gè)人存款余額按賬戶月匯總表 I_DP_PER_AMT_ACCT_MONTH取值說明：類別說明取值說明備注分區(qū)代碼匯總區(qū)分區(qū)代碼全部取為：IIDS層主題標(biāo)識(shí)分析匯總區(qū)的業(yè)務(wù)主題分區(qū)存款：DP； 貸款：LN；銀行卡：CR； 中間業(yè)務(wù)：AG渠道：CH； 客戶：CI；總賬：GL； 公共：CM；指標(biāo)主詞該表存放的指標(biāo)的關(guān)鍵詞縮寫如：活期存款：SA 企業(yè)客戶：CIE指標(biāo)類詞對(duì)“指標(biāo)關(guān)鍵詞”的進(jìn)一步說明如：數(shù)量：NUM； 金額：AMT交易：TX；不明確的：ALL匯總維度按機(jī)構(gòu)： INST按客戶： CUST按客戶經(jīng)理：CUM其它維度選：ALL時(shí)間維

53、度匯總時(shí)間頻度年：YEAR； 月：MON日：DAY； 季：QUAR旬：TEND； 半月：HALFM半年：HALFY Ø 數(shù)據(jù)類型規(guī)范字段含義數(shù)據(jù)類型說明配置類型日期類 （年月日） 日期類型數(shù)據(jù)。 定義為：date 時(shí)間類 （時(shí)分秒） 時(shí)間類型的數(shù)據(jù)。 定義為：char(6) 格式：HHMMSS 24小時(shí)格式 日期時(shí)間類（年月日時(shí)分秒） 日期及時(shí)間類型的數(shù)據(jù)。定義為:date 精確到毫秒的時(shí)間戳 （年月日時(shí)分秒毫秒）9(15) COMP-3 CONVTIMESTAMP定義為:timestamp太陽日太陽日，表示某年的第幾天， 格式為：YYYYDDD YYYY表示年份；DDD表示該年的第幾天，取值范圍從1到366；將轉(zhuǎn)換為正常的日期格式： YYYYMMDD定義為：date 旬日期 格式：YYYYMMT（年月旬），T=1代表上旬，T=2代表中旬，T=3代表下旬，例如：2010年10月下旬表示為2010103。 定義為：char(7) 指示器表示“是/否”意義的指示器，例如：外部產(chǎn)品標(biāo)志，雇員標(biāo)志，等等。 定義為:char(1) 具體含義：“1是，0否”。整數(shù)類數(shù)據(jù)包括長整數(shù)和短整數(shù)。定義為：number(12,0)