商業(yè)銀行常見的數(shù)據(jù)架構(gòu)體系

商業(yè)銀行常見的數(shù)據(jù)架構(gòu)體系商業(yè)銀行常見的數(shù)據(jù)架構(gòu)體系原則參考原則參考正文目錄TOC商業(yè)銀行常見的數(shù)據(jù)架構(gòu)體系 31、數(shù)據(jù)采集層 42、存儲計算層 4（1）主數(shù)據(jù)區(qū)： 4（2）指標(biāo)匯總區(qū)： 5（3）集市區(qū)（倉內(nèi)）： 6（4）批量接口區(qū)： 6（5）非構(gòu)造化數(shù)據(jù)存儲計算區(qū)： 6（6）歷史數(shù)據(jù)區(qū)： 6（7）實時數(shù)據(jù)區(qū)： 6（8）在線訪問區(qū)： 63、倉外集市數(shù)據(jù)區(qū) 74、報表區(qū) 75、數(shù)據(jù)探索區(qū) 8商業(yè)銀行常見的數(shù)據(jù)架構(gòu)體系我國商業(yè)銀行通過20數(shù)年的信息化建設(shè)，形成了比較完善的IT體系架構(gòu)，但是隨著銀行業(yè)務(wù)和信息技術(shù)的快速發(fā)展，卻產(chǎn)生越來越多的不同種類的業(yè)務(wù)數(shù)據(jù)，它們分散在不同的系統(tǒng)中且無法作為一種整體被運(yùn)用，給銀行的數(shù)據(jù)管理和運(yùn)用帶來了巨大挑戰(zhàn);同時，競爭越來越激烈的商業(yè)銀行意識到了通過分析運(yùn)用數(shù)據(jù)來挖掘本身潛力和提高業(yè)績，鞏固其市場競爭力。數(shù)據(jù)倉庫通過集成、統(tǒng)一數(shù)據(jù)，使數(shù)據(jù)得到有效運(yùn)用，為商業(yè)銀行提高管理和服務(wù)水平提供了有效的手段。狹義的數(shù)據(jù)倉庫數(shù)據(jù)架構(gòu)用來特指數(shù)據(jù)分布，廣義的數(shù)據(jù)倉庫數(shù)據(jù)架構(gòu)還涉及數(shù)據(jù)模型、數(shù)據(jù)原則和數(shù)據(jù)治理。即包含相對靜態(tài)部分如元數(shù)據(jù)、業(yè)務(wù)對象數(shù)據(jù)模型、主數(shù)據(jù)、共享數(shù)據(jù)，也包含相對動態(tài)部分如數(shù)據(jù)流轉(zhuǎn)、ETL、整合、訪問應(yīng)用和數(shù)據(jù)全生命周期管控治理。數(shù)據(jù)架構(gòu)層面通過數(shù)據(jù)分類、分層布署等手段，從非功效性視角將數(shù)據(jù)合理布局。通過整體架構(gòu)管控和設(shè)計，支持業(yè)務(wù)操作類和管理分析類應(yīng)用（系統(tǒng)），滿足業(yè)務(wù)發(fā)展及IT轉(zhuǎn)型對數(shù)據(jù)的需求，架構(gòu)的擴(kuò)展性和適應(yīng)性能夠提高數(shù)據(jù)分析應(yīng)用的及時性、靈活性和精確性。那實際狀況下各個銀行的數(shù)據(jù)架構(gòu)體系會有所不同，根據(jù)各行的業(yè)務(wù)發(fā)展、客戶數(shù)據(jù)量、交易數(shù)據(jù)量、功效需求等會有不同的演變途徑以及發(fā)展方向。銀行業(yè)務(wù)較復(fù)雜，數(shù)據(jù)量也較多，數(shù)據(jù)架構(gòu)也因此進(jìn)化較快。常見的數(shù)據(jù)架構(gòu)分區(qū)以下圖所示：1、數(shù)據(jù)采集層數(shù)據(jù)緩沖區(qū)的數(shù)據(jù)重要是將數(shù)據(jù)從源系統(tǒng)加載到數(shù)據(jù)倉庫中，作為數(shù)據(jù)在數(shù)據(jù)倉庫的起點，數(shù)據(jù)緩存區(qū)數(shù)據(jù)只保存7-10天，以備數(shù)據(jù)問題解決，數(shù)據(jù)緩沖區(qū)的數(shù)據(jù)除了原則化的解決，最佳直接獲取源系統(tǒng)未經(jīng)加工的數(shù)據(jù)，方便一次抽取，多次使用。原則化解決重要有編碼統(tǒng)一轉(zhuǎn)化、異常字符清理等，方便后續(xù)解決。數(shù)據(jù)采集層不僅僅只應(yīng)用于數(shù)據(jù)倉庫有關(guān)，也能夠合用于各交易系統(tǒng)的批量數(shù)據(jù)或文獻(xiàn)傳輸和交換，因此在全行系統(tǒng)層面制訂規(guī)范。2、存儲計算層（1）主數(shù)據(jù)區(qū)：指構(gòu)造化數(shù)據(jù)的主數(shù)據(jù)區(qū)，這部分?jǐn)?shù)據(jù)涉及了全部的基礎(chǔ)明細(xì)數(shù)據(jù)以及歷史數(shù)據(jù)，其它區(qū)域的構(gòu)造化數(shù)據(jù)都是由主數(shù)據(jù)區(qū)數(shù)據(jù)加工而來。那主數(shù)據(jù)區(qū)重要有兩種模型：近源模型層和整合模型層。普通在實踐過程中能夠兩個區(qū)域都有，也能夠只有任意一種區(qū)域。這兩個區(qū)的數(shù)據(jù)都通過歷史拉鏈或歷史流水的方式保存歷史數(shù)據(jù)，如果有數(shù)據(jù)原則，這兩個區(qū)的數(shù)據(jù)按數(shù)據(jù)原則進(jìn)行字段屬性如代碼值、長度、精度的原則化，那這兩個區(qū)的數(shù)據(jù)重要在模型設(shè)計方面有所不同：①近源模型區(qū)：表構(gòu)造設(shè)計和源系統(tǒng)類似，在源系統(tǒng)表基礎(chǔ)上增加原則化字段以及歷史數(shù)據(jù)保存算法的數(shù)據(jù)日期字段，近源模型層的特點是保存源系統(tǒng)表全部信息，在建模和運(yùn)行效率上比較高，但數(shù)據(jù)整合性不高，某些交易系統(tǒng)設(shè)計的表構(gòu)造并不直接合用數(shù)據(jù)分析和加工。②整合模型區(qū)：整合模型區(qū)按主題進(jìn)行數(shù)據(jù)整合、表設(shè)計以三范式為主，模型穩(wěn)定，數(shù)據(jù)冗余少，那這里模型穩(wěn)定是指即使源系統(tǒng)表構(gòu)造如何變化，只要實體之間關(guān)系和屬性不變，那整合模型也能夠保持基本不變。模型穩(wěn)定的一種好處就是能夠屏蔽源系統(tǒng)變化，避免下游應(yīng)用系統(tǒng)重復(fù)改造。舉個例子：個人信貸系統(tǒng)升級，將使用新的系統(tǒng)，那全部表構(gòu)造都會發(fā)生變化，如果直接使用近源模型區(qū)數(shù)據(jù)，那對于后續(xù)加工變化很大，同時時間跨度較大的分析（如年報）需要分別考慮新舊個人信貸系統(tǒng)的數(shù)據(jù)加工規(guī)則，如果使用整合模型，那整合模型變動不會太大，對于歷史數(shù)據(jù)也能同時存在于一種模型(一套表)中，對于后續(xù)應(yīng)用加工影響較小。同時整合模型會在客戶、賬戶、簽約等各重要維度進(jìn)行分析梳理，形成整體視圖，有助于從全行視角分析。例如客戶整合能夠分辨客戶唯一性，獲得客戶視圖；產(chǎn)品和簽約的整合能夠清晰看到客戶在行內(nèi)的購置的全部產(chǎn)品和簽約。方便后續(xù)客戶分析。（2）指標(biāo)匯總區(qū)：由于主數(shù)據(jù)區(qū)的數(shù)據(jù)并不適宜直接提供應(yīng)數(shù)據(jù)系統(tǒng)分析使用，因此指標(biāo)匯總區(qū)是整合各數(shù)據(jù)應(yīng)用的加工需求，按事實表（寬表）和維度表進(jìn)行模型設(shè)計，對主數(shù)據(jù)區(qū)數(shù)據(jù)進(jìn)行關(guān)聯(lián)、公共指標(biāo)加工，提供應(yīng)多個數(shù)據(jù)應(yīng)用使用，那指標(biāo)匯總區(qū)可按合同（賬戶）、產(chǎn)品、客戶、科目、機(jī)構(gòu)等逐級匯總，指標(biāo)匯總區(qū)能夠消除各系統(tǒng)對于同一種指標(biāo)分別加工造成的口徑差別。（3）集市區(qū)（倉內(nèi)）：倉內(nèi)集市重要指和數(shù)據(jù)倉庫在同一種物理平臺中的集市，能夠直接訪問主數(shù)據(jù)區(qū)，指標(biāo)匯總區(qū)數(shù)據(jù)、減少數(shù)據(jù)批量轉(zhuǎn)移的成本，運(yùn)用數(shù)據(jù)倉庫平臺分析性能快速進(jìn)行數(shù)據(jù)加工，那數(shù)據(jù)集市的劃分可按業(yè)務(wù)部門或下游系統(tǒng)關(guān)聯(lián)度進(jìn)行集市劃分，如財務(wù)集市面對管理睬計等財務(wù)分析應(yīng)用進(jìn)行專門的數(shù)據(jù)加工、使用者重要為計劃財務(wù)部。監(jiān)管集市重要面對給人行、銀監(jiān)進(jìn)行監(jiān)管報送報表的加工，涉及多個業(yè)務(wù)管理部門。（4）批量接口區(qū)：數(shù)據(jù)倉庫給各下游數(shù)據(jù)應(yīng)用系統(tǒng)、倉外集市的數(shù)據(jù)接口加工區(qū)，按雙方商定的數(shù)據(jù)格式提供應(yīng)數(shù)據(jù)應(yīng)用系統(tǒng)，批量接口區(qū)按接口合同做簡樸關(guān)聯(lián)，不做復(fù)雜加工，如果平臺支持視圖，接口區(qū)能夠只有視圖提供應(yīng)下游接口，減少數(shù)據(jù)冗余。（5）非構(gòu)造化數(shù)據(jù)存儲計算區(qū)：重要對非構(gòu)造化數(shù)據(jù)進(jìn)行存儲計算，按一定的數(shù)據(jù)類型、來源、用途進(jìn)行區(qū)域劃分，方便實時查看和分析；（6）歷史數(shù)據(jù)區(qū)：面對主數(shù)據(jù)區(qū)和非構(gòu)造化數(shù)據(jù)區(qū)的歷史數(shù)據(jù)歸檔和查詢。主數(shù)據(jù)區(qū)和非構(gòu)造化數(shù)據(jù)區(qū)普通只保存1-3年的數(shù)據(jù)，之前的數(shù)據(jù)使用率低，可專門歸檔到歷史數(shù)據(jù)區(qū)，提高主數(shù)據(jù)區(qū)的性能；同時歷史數(shù)據(jù)區(qū)能夠采用成本較低的設(shè)備，減少成本。（7）實時數(shù)據(jù)區(qū)：實時數(shù)據(jù)區(qū)重要面對流式數(shù)據(jù)的加工和解決，同時對于流解決所需的主數(shù)據(jù)區(qū)數(shù)據(jù)能夠直接訪問也能夠存儲一份在實時數(shù)據(jù)區(qū)。（8）在線訪問區(qū)：在線訪問區(qū)數(shù)據(jù)是數(shù)據(jù)加工成果數(shù)據(jù)，以實時數(shù)據(jù)接口方式提供應(yīng)外部使用。改部分?jǐn)?shù)據(jù)能夠采用HBASE提供在線查詢服務(wù)。3、倉外集市數(shù)據(jù)區(qū)倉外數(shù)據(jù)集市和倉內(nèi)數(shù)據(jù)集市區(qū)別只是和數(shù)據(jù)倉庫不在同一物理平臺，但同樣面對特定的數(shù)據(jù)應(yīng)用進(jìn)行加工分析，普通隨著數(shù)據(jù)量的增加，數(shù)據(jù)倉庫的平臺負(fù)荷過大往往會將集市從倉內(nèi)移到倉外，或者對于需24小時隨時提供數(shù)據(jù)解決的數(shù)據(jù)集市，為了不與數(shù)據(jù)倉庫平臺競爭資源，也普通選擇在倉外建設(shè)數(shù)據(jù)集市。4、報表區(qū)報表區(qū)數(shù)據(jù)是加工后的報表成果數(shù)據(jù)，為報表平臺提供展示數(shù)據(jù)，由于報表系統(tǒng)往往是7*24小時提供服務(wù)，因此在數(shù)據(jù)平臺外單獨建立報表平臺，減少耦合性，在行內(nèi)能夠建設(shè)統(tǒng)一的報表平臺，對報表的開發(fā)、整合、維護(hù)、下線進(jìn)行統(tǒng)一管理，減少重復(fù)報表開發(fā)。5、數(shù)據(jù)探索區(qū)數(shù)據(jù)探索區(qū)是提供應(yīng)各業(yè)務(wù)部門進(jìn)行數(shù)據(jù)探索的區(qū)域，該區(qū)域的數(shù)據(jù)根據(jù)業(yè)務(wù)分析需求從數(shù)據(jù)倉庫進(jìn)行加載，并T+1進(jìn)行更新，由業(yè)務(wù)同事對數(shù)據(jù)進(jìn)行自由分析和挖掘。該平臺普通性能規(guī)定也比較高，能夠使用MPP數(shù)據(jù)庫或HADOOP平臺進(jìn)行技術(shù)實現(xiàn)。由于業(yè)務(wù)人員使用比較隨意，該區(qū)域需要注意歷史數(shù)據(jù)的清理，避免過多冗余無用的數(shù)據(jù)占用大量空間。從數(shù)據(jù)分層來看，存儲計算區(qū)是最為核心的部分，存儲計算區(qū)大部分銀行是由MPP數(shù)據(jù)庫和HADOOP平臺共同來實現(xiàn)，部分互聯(lián)網(wǎng)銀行單獨使用HADOOP平臺來