智慧銀行大數(shù)據(jù)平臺(tái)建設(shè)方案共71頁

1、智慧銀行數(shù)字化平臺(tái)建設(shè)方案智慧銀行大數(shù)據(jù)平臺(tái)建設(shè)方案目錄 TOC o 1-5 h z u HYPERLINK l _Toc520194716 第1章前言 PAGEREF _Toc520194716 h 0 HYPERLINK l _Toc520194717 第2章銀行大數(shù)據(jù)現(xiàn)狀分析 PAGEREF _Toc520194717 h 1 HYPERLINK l _Toc520194718 2.1、基本現(xiàn)狀 PAGEREF _Toc520194718 h 1 HYPERLINK l _Toc520194719 2.2、總體現(xiàn)狀 PAGEREF _Toc520194719 h 1 HYPERLINK

2、l _Toc520194720 2.2.1、行領(lǐng)導(dǎo) PAGEREF _Toc520194720 h 1 HYPERLINK l _Toc520194721 2.2.2、業(yè)務(wù)人員 PAGEREF _Toc520194721 h 1 HYPERLINK l _Toc520194722 2.3、數(shù)據(jù)架構(gòu)方面 PAGEREF _Toc520194722 h 1 HYPERLINK l _Toc520194723 2.3.1、業(yè)務(wù)表現(xiàn) PAGEREF _Toc520194723 h 2 HYPERLINK l _Toc520194724 2.3.2、問題 PAGEREF _Toc520194724 h

3、2 HYPERLINK l _Toc520194725 2.4、數(shù)據(jù)應(yīng)用難題 PAGEREF _Toc520194725 h 3 HYPERLINK l _Toc520194726 2.4.1、缺少統(tǒng)一的應(yīng)用分析標(biāo)準(zhǔn) PAGEREF _Toc520194726 h 3 HYPERLINK l _Toc520194727 、業(yè)務(wù)表現(xiàn) PAGEREF _Toc520194727 h 3 HYPERLINK l _Toc520194728 、問題 PAGEREF _Toc520194728 h 3 HYPERLINK l _Toc520194729 2.4.2、缺少統(tǒng)一的基礎(chǔ)數(shù)據(jù)標(biāo)準(zhǔn) PAGEREF

4、 _Toc520194729 h 4 HYPERLINK l _Toc520194730 、業(yè)務(wù)表現(xiàn) PAGEREF _Toc520194730 h 4 HYPERLINK l _Toc520194731 、問題 PAGEREF _Toc520194731 h 4 HYPERLINK l _Toc520194732 2.4.3、缺少反饋機(jī)制 PAGEREF _Toc520194732 h 5 HYPERLINK l _Toc520194733 、業(yè)務(wù)表現(xiàn) PAGEREF _Toc520194733 h 5 HYPERLINK l _Toc520194734 、問題 PAGEREF _Toc52

5、0194734 h 6 HYPERLINK l _Toc520194735 2.5、數(shù)據(jù)應(yīng)用現(xiàn)狀總結(jié) PAGEREF _Toc520194735 h 6 HYPERLINK l _Toc520194736 第3章銀行大數(shù)據(jù)治理階段目標(biāo) PAGEREF _Toc520194736 h 0 HYPERLINK l _Toc520194737 3.1、數(shù)據(jù)平臺(tái)邏輯架構(gòu) PAGEREF _Toc520194737 h 0 HYPERLINK l _Toc520194738 3.2、數(shù)據(jù)平臺(tái)部署架構(gòu) PAGEREF _Toc520194738 h 1 HYPERLINK l _Toc520194739

6、3.3、建設(shè)目標(biāo) PAGEREF _Toc520194739 h 1 HYPERLINK l _Toc520194740 3.3.1、建設(shè)大數(shù)據(jù)基礎(chǔ)設(shè)施，完善全行數(shù)據(jù)體系架構(gòu) PAGEREF _Toc520194740 h 1 HYPERLINK l _Toc520194741 3.3.2、開發(fā)大數(shù)據(jù)資源，支撐全行經(jīng)營管理創(chuàng)新 PAGEREF _Toc520194741 h 2 HYPERLINK l _Toc520194742 3.3.3、培養(yǎng)大數(shù)據(jù)人才隊(duì)伍，建立大數(shù)據(jù)分析能力 PAGEREF _Toc520194742 h 2 HYPERLINK l _Toc520194743 3.4、數(shù)

7、據(jù)治理目標(biāo) PAGEREF _Toc520194743 h 2 HYPERLINK l _Toc520194744 3.4.1、發(fā)現(xiàn)數(shù)據(jù)質(zhì)量問題，推動(dòng)大數(shù)據(jù)治理工作的開展，建立數(shù)據(jù)質(zhì)量檢核系統(tǒng) PAGEREF _Toc520194744 h 2 HYPERLINK l _Toc520194745 3.4.2、分析、梳理業(yè)務(wù)系統(tǒng)，推動(dòng)數(shù)據(jù)標(biāo)準(zhǔn)的建立，統(tǒng)一全行口徑 PAGEREF _Toc520194745 h 2 HYPERLINK l _Toc520194746 3.4.3、建立數(shù)據(jù)倉庫模型框架，優(yōu)化我行數(shù)據(jù)架構(gòu)，建設(shè)穩(wěn)定、可擴(kuò)展的數(shù)據(jù)倉庫 PAGEREF _Toc520194746 h 3

8、HYPERLINK l _Toc520194747 3.5、目標(biāo)建設(shè)方法 PAGEREF _Toc520194747 h 3 HYPERLINK l _Toc520194748 3.5.1、建設(shè)內(nèi)容 PAGEREF _Toc520194748 h 3 HYPERLINK l _Toc520194749 3.5.2、工作 階段 PAGEREF _Toc520194749 h 4 HYPERLINK l _Toc520194750 、源系統(tǒng)分析階段 PAGEREF _Toc520194750 h 4 HYPERLINK l _Toc520194762 .1、工作內(nèi)容 PAGEREF _Toc520

9、194762 h 4 HYPERLINK l _Toc520194763 .2、工作依據(jù) PAGEREF _Toc520194763 h 4 HYPERLINK l _Toc520194764 .3、工作重點(diǎn) PAGEREF _Toc520194764 h 4 HYPERLINK l _Toc520194765 、數(shù)據(jù)質(zhì)量問題檢查階段 PAGEREF _Toc520194765 h 4 HYPERLINK l _Toc520194767 .1、工作內(nèi)容 PAGEREF _Toc520194767 h 5 HYPERLINK l _Toc520194768 .2、工作依據(jù) PAGEREF _To

10、c520194768 h 5 HYPERLINK l _Toc520194769 .3、工作重點(diǎn) PAGEREF _Toc520194769 h 5 HYPERLINK l _Toc520194770 、數(shù)據(jù)質(zhì)量問題分析階段 PAGEREF _Toc520194770 h 5 HYPERLINK l _Toc520194772 .1、工作內(nèi)容 PAGEREF _Toc520194772 h 5 HYPERLINK l _Toc520194773 .2、工作依據(jù) PAGEREF _Toc520194773 h 6 HYPERLINK l _Toc520194774 .3、工作重點(diǎn) PAGEREF

11、 _Toc520194774 h 6 HYPERLINK l _Toc520194775 3.6、預(yù)期建設(shè)效益 PAGEREF _Toc520194775 h 6 HYPERLINK l _Toc520194776 3.6.1、實(shí)現(xiàn)數(shù)據(jù)共享 PAGEREF _Toc520194776 h 6 HYPERLINK l _Toc520194777 3.6.2、加強(qiáng)業(yè)務(wù)合作 PAGEREF _Toc520194777 h 6 HYPERLINK l _Toc520194778 3.6.3、促進(jìn)業(yè)務(wù)創(chuàng)新 PAGEREF _Toc520194778 h 6 HYPERLINK l _Toc5201947

12、79 3.6.4、提升建設(shè)效率 PAGEREF _Toc520194779 h 7 HYPERLINK l _Toc520194780 3.6.5、改善數(shù)據(jù)質(zhì)量 PAGEREF _Toc520194780 h 7 HYPERLINK l _Toc520194781 第4章銀行大數(shù)據(jù)建設(shè)總體規(guī)劃 PAGEREF _Toc520194781 h 0 HYPERLINK l _Toc520194782 4.1、功能需求 PAGEREF _Toc520194782 h 0 HYPERLINK l _Toc520194783 4.1.1、個(gè)人和企業(yè)畫像 PAGEREF _Toc520194783 h 0

13、 HYPERLINK l _Toc520194784 4.1.2、實(shí)現(xiàn)精準(zhǔn)營銷 PAGEREF _Toc520194784 h 2 HYPERLINK l _Toc520194785 4.1.3、為金融業(yè)提供風(fēng)險(xiǎn)管控 PAGEREF _Toc520194785 h 3 HYPERLINK l _Toc520194786 4.1.4、運(yùn)營優(yōu)化 PAGEREF _Toc520194786 h 4 HYPERLINK l _Toc520194787 4.2、銀行大數(shù)據(jù)應(yīng)用架構(gòu)遠(yuǎn)景 PAGEREF _Toc520194787 h 4 HYPERLINK l _Toc520194788 4.2.1、銀行

14、需要從“坐商”轉(zhuǎn)型為“行商” PAGEREF _Toc520194788 h 5 HYPERLINK l _Toc520194789 4.2.2、客戶下沉 PAGEREF _Toc520194789 h 5 HYPERLINK l _Toc520194790 4.2.3、與“互聯(lián)網(wǎng)金融”進(jìn)行差異化競(jìng)爭 PAGEREF _Toc520194790 h 5 HYPERLINK l _Toc520194791 4.3、銀行大數(shù)據(jù)平臺(tái)應(yīng)用架構(gòu) PAGEREF _Toc520194791 h 6 HYPERLINK l _Toc520194792 4.4、銀行大數(shù)據(jù)平臺(tái)架構(gòu) PAGEREF _Toc52

15、0194792 h 7 HYPERLINK l _Toc520194793 4.5、銀行大數(shù)據(jù)支撐平臺(tái) PAGEREF _Toc520194793 h 7 HYPERLINK l _Toc520194794 4.5.1、大數(shù)據(jù)虛擬化平臺(tái) PAGEREF _Toc520194794 h 7 HYPERLINK l _Toc520194795 、設(shè)計(jì)原則 PAGEREF _Toc520194795 h 8 HYPERLINK l _Toc520194796 、虛擬化平臺(tái)設(shè)計(jì) PAGEREF _Toc520194796 h 10 HYPERLINK l _Toc520194797 、硬件基礎(chǔ)設(shè)施層

16、PAGEREF _Toc520194797 h 10 HYPERLINK l _Toc520194798 、虛擬化存儲(chǔ) PAGEREF _Toc520194798 h 11 HYPERLINK l _Toc520194799 、虛擬化計(jì)算 PAGEREF _Toc520194799 h 11 HYPERLINK l _Toc520194800 、平臺(tái)管理 PAGEREF _Toc520194800 h 12 HYPERLINK l _Toc520194801 、數(shù)據(jù)存儲(chǔ)系統(tǒng)設(shè)計(jì) PAGEREF _Toc520194801 h 12 HYPERLINK l _Toc520194802 、高性能S

17、AN存儲(chǔ)系統(tǒng) PAGEREF _Toc520194802 h 13 HYPERLINK l _Toc520194803 、存儲(chǔ)方案優(yōu)勢(shì) PAGEREF _Toc520194803 h 15 HYPERLINK l _Toc520194804 4.5.2、大數(shù)據(jù)分析管理平臺(tái) PAGEREF _Toc520194804 h 16 HYPERLINK l _Toc520194805 4.6、大數(shù)據(jù)分析處理平臺(tái) PAGEREF _Toc520194805 h 16 HYPERLINK l _Toc520194806 4.6.1、分布式內(nèi)存分析引擎 PAGEREF _Toc520194806 h 17

18、HYPERLINK l _Toc520194807 4.6.2、數(shù)據(jù)挖掘引擎 PAGEREF _Toc520194807 h 17 HYPERLINK l _Toc520194808 4.6.3、分布式實(shí)時(shí)在線數(shù)據(jù)處理引擎 PAGEREF _Toc520194808 h 17 HYPERLINK l _Toc520194809 4.6.4、流處理引擎 PAGEREF _Toc520194809 h 18 HYPERLINK l _Toc520194810 4.6.5、大數(shù)據(jù)分析支撐系統(tǒng) PAGEREF _Toc520194810 h 18 HYPERLINK l _Toc520194811 4

19、.6.6、大數(shù)據(jù)分析節(jié)點(diǎn)群 PAGEREF _Toc520194811 h 23 HYPERLINK l _Toc520194812 4.6.7、軟硬件配置 PAGEREF _Toc520194812 h 24 HYPERLINK l _Toc520194813 4.6.8、虛擬化平臺(tái)關(guān)鍵特性 PAGEREF _Toc520194813 h 26 HYPERLINK l _Toc520194814 4.6.9、虛擬化平臺(tái)配置 PAGEREF _Toc520194814 h 27 HYPERLINK l _Toc520194815 4.7、安全保障系統(tǒng) PAGEREF _Toc520194815

20、 h 28 HYPERLINK l _Toc520194816 4.7.1、設(shè)計(jì)原則 PAGEREF _Toc520194816 h 28 HYPERLINK l _Toc520194817 4.7.2、總體設(shè)計(jì) PAGEREF _Toc520194817 h 29 HYPERLINK l _Toc520194818 4.7.3、物理安全設(shè)計(jì) PAGEREF _Toc520194818 h 29 HYPERLINK l _Toc520194819 4.7.4、網(wǎng)絡(luò)安全設(shè)計(jì) PAGEREF _Toc520194819 h 30 HYPERLINK l _Toc520194820 、外網(wǎng)邊界安全

21、PAGEREF _Toc520194820 h 30 HYPERLINK l _Toc520194821 、網(wǎng)絡(luò)基礎(chǔ)設(shè)施安全 PAGEREF _Toc520194821 h 31 HYPERLINK l _Toc520194822 4.7.5、主機(jī)安全設(shè)計(jì) PAGEREF _Toc520194822 h 32 HYPERLINK l _Toc520194823 4.7.6、應(yīng)用安全設(shè)計(jì) PAGEREF _Toc520194823 h 33 HYPERLINK l _Toc520194824 4.7.7、數(shù)據(jù)庫安全設(shè)計(jì) PAGEREF _Toc520194824 h 33 HYPERLINK l

22、 _Toc520194825 4.7.8、安全制度與人員管理 PAGEREF _Toc520194825 h 34 HYPERLINK l _Toc520194826 4.7.9、安全管理體系建設(shè) PAGEREF _Toc520194826 h 35 HYPERLINK l _Toc520194827 4.7.10、安全運(yùn)維 PAGEREF _Toc520194827 h 35 HYPERLINK l _Toc520194828 4.7.11、安全人員管理 PAGEREF _Toc520194828 h 36 HYPERLINK l _Toc520194829 4.7.12、技術(shù)安全管理 PA

23、GEREF _Toc520194829 h 36 HYPERLINK l _Toc520194830 4.7.13、安全保障系統(tǒng)配置 PAGEREF _Toc520194830 h 37 HYPERLINK l _Toc520194831 4.8、計(jì)算機(jī)網(wǎng)絡(luò)系統(tǒng) PAGEREF _Toc520194831 h 37 HYPERLINK l _Toc520194832 4.8.1、設(shè)計(jì)原則 PAGEREF _Toc520194832 h 37 HYPERLINK l _Toc520194833 4.8.2、系統(tǒng)設(shè)計(jì) PAGEREF _Toc520194833 h 39 HYPERLINK l _

24、Toc520194834 4.8.3、計(jì)算機(jī)網(wǎng)絡(luò)系統(tǒng)配置 PAGEREF _Toc520194834 h 41 HYPERLINK l _Toc520194835 4.9、基礎(chǔ)支撐軟件 PAGEREF _Toc520194835 h 42 HYPERLINK l _Toc520194836 4.9.1、地理信息軟件 PAGEREF _Toc520194836 h 42 HYPERLINK l _Toc520194837 4.9.2、操作系統(tǒng)軟件 PAGEREF _Toc520194837 h 44 HYPERLINK l _Toc520194838 4.9.3、數(shù)據(jù)庫管理軟件 PAGEREF

25、_Toc520194838 h 45 HYPERLINK l _Toc520194839 4.9.4、機(jī)房建設(shè)方案 PAGEREF _Toc520194839 h 46 HYPERLINK l _Toc520194840 4.9.5、基礎(chǔ)支撐系統(tǒng)軟硬件配置 PAGEREF _Toc520194840 h 48前言隨著信息化程度的加深，以及移動(dòng)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)的崛起，人們產(chǎn)生的數(shù)據(jù)急劇膨脹，傳統(tǒng)的數(shù)據(jù)處理技術(shù)難以支撐數(shù)據(jù)大量的增長和處理能力。經(jīng)過近幾年的發(fā)展，大數(shù)據(jù)技術(shù)逐步成熟，可以幫助企業(yè)整合更多的數(shù)據(jù)，從海量數(shù)據(jù)中挖掘出隱藏價(jià)值。大數(shù)據(jù)已經(jīng)從“概念”走向“價(jià)值”，逐步進(jìn)入實(shí)施驗(yàn)證階段。人們?cè)絹?/p>

26、越期望能實(shí)現(xiàn)海量數(shù)據(jù)的處理，從數(shù)據(jù)中發(fā)現(xiàn)價(jià)值。數(shù)據(jù)越來越成為一種重要的資產(chǎn)。我行已深刻認(rèn)識(shí)到數(shù)據(jù)戰(zhàn)略對(duì)企業(yè)運(yùn)營以及企業(yè)未來發(fā)展方向的重要性。互聯(lián)網(wǎng)金融的本質(zhì)是金融，核心是數(shù)據(jù)，載體是平臺(tái)，關(guān)鍵是客戶體驗(yàn)，發(fā)展趨勢(shì)是互聯(lián)網(wǎng)與金融的深度融合，要提升大數(shù)據(jù)貢獻(xiàn)度。因此，要深化互聯(lián)網(wǎng)思維理念，穩(wěn)步推進(jìn)互聯(lián)網(wǎng)金融產(chǎn)品和服務(wù)模式創(chuàng)新，積極利用移動(dòng)互聯(lián)網(wǎng)、大數(shù)據(jù)等新技術(shù)新手段，沉著應(yīng)對(duì)沖擊和挑戰(zhàn)，實(shí)現(xiàn)傳統(tǒng)金融與互聯(lián)網(wǎng)金融的融合發(fā)展。做好海量異構(gòu)數(shù)據(jù)的專業(yè)化整合集成、關(guān)聯(lián)共享、安全防護(hù)和維護(hù)管理，深度挖掘數(shù)據(jù)內(nèi)含的巨大價(jià)值，探索銀行業(yè)務(wù)創(chuàng)新，實(shí)現(xiàn)數(shù)據(jù)資源的綜合應(yīng)用、深度應(yīng)用，已成為提升企業(yè)核心競(jìng)爭力，實(shí)現(xiàn)企業(yè)

27、信息化可持續(xù)發(fā)展的關(guān)鍵途徑。按照行領(lǐng)導(dǎo)部署，信息科技部組織力量對(duì)大數(shù)據(jù)技術(shù)進(jìn)行研究，完成對(duì)市場(chǎng)上主流的大數(shù)據(jù)平臺(tái)及應(yīng)用技術(shù)預(yù)研，征求業(yè)務(wù)部門建議，提出項(xiàng)目建設(shè)要求。銀行大數(shù)據(jù)現(xiàn)狀分析基本現(xiàn)狀銀行已建立面向整個(gè)金融業(yè)務(wù)的數(shù)據(jù)倉庫，整合了前臺(tái)業(yè)務(wù)運(yùn)營數(shù)據(jù)和后臺(tái)管理數(shù)據(jù)，建立了面向金融的管理分析應(yīng)用；銀行大數(shù)據(jù)積累了一定量的業(yè)務(wù)數(shù)據(jù)，同時(shí)業(yè)務(wù)人員也從客戶管理、風(fēng)險(xiǎn)評(píng)級(jí)和經(jīng)營規(guī)模預(yù)測(cè)等方面，提出了大量分析預(yù)測(cè)需求。總體現(xiàn)狀行領(lǐng)導(dǎo)缺乏數(shù)據(jù)梳理，造成行領(lǐng)導(dǎo)看到的數(shù)據(jù)相互沖突和矛盾；IT架構(gòu)中中都是以部門級(jí)應(yīng)用為主（如計(jì)財(cái)、資金計(jì)劃部等），缺乏從大的管理職能（財(cái)務(wù)、風(fēng)險(xiǎn)、運(yùn)營等）綜合方面的數(shù)據(jù)整合、數(shù)據(jù)標(biāo)準(zhǔn)

28、和統(tǒng)一業(yè)務(wù)定義。業(yè)務(wù)人員業(yè)務(wù)職能不清晰或相互重疊，觀察數(shù)據(jù)視角不盡相同，缺少數(shù)據(jù)標(biāo)準(zhǔn)與業(yè)務(wù)統(tǒng)一定義，語軌不一致；由于業(yè)務(wù)系統(tǒng)輸入的隨意性，導(dǎo)致部分關(guān)鍵業(yè)務(wù)數(shù)據(jù)質(zhì)量較差。數(shù)據(jù)架構(gòu)方面由于全行的數(shù)據(jù)散落在各個(gè)業(yè)務(wù)系統(tǒng)中，沒有進(jìn)行有效整合，形成豎井式架構(gòu)，造成多個(gè)信息孤島，整體架構(gòu)缺少一個(gè)穩(wěn)定的、抗源變化的保存最細(xì)粒度歷史數(shù)據(jù)的數(shù)據(jù)層。無法支撐未來共享性應(yīng)用。業(yè)務(wù)表現(xiàn)信息孤島數(shù)據(jù)冗余共享性差歷史數(shù)據(jù)缺失問題數(shù)據(jù)分散，難以管理沒有一個(gè)穩(wěn)定的，抗源變化的數(shù)據(jù)層數(shù)據(jù)應(yīng)用難題缺少統(tǒng)一的應(yīng)用分析標(biāo)準(zhǔn)業(yè)務(wù)表現(xiàn)各集市系統(tǒng)指標(biāo)存在重復(fù)各集市系統(tǒng)在保有存量的同時(shí)，不斷產(chǎn)生新的指標(biāo)（增量）集市指標(biāo)派生無法實(shí)現(xiàn)指標(biāo)邏輯視

29、圖（指標(biāo)分類）不一致問題重復(fù)投入數(shù)據(jù)不一致指標(biāo)設(shè)計(jì)、口徑不一致指標(biāo)難以共享缺少統(tǒng)一的基礎(chǔ)數(shù)據(jù)標(biāo)準(zhǔn)業(yè)務(wù)表現(xiàn)各系統(tǒng)存在冗余數(shù)據(jù)各系統(tǒng)存在業(yè)務(wù)含義一致，名稱定義不一致的屬性各系統(tǒng)存在含義不一致，名稱定義一致的情況業(yè)務(wù)代碼定義混亂問題重復(fù)投入數(shù)據(jù)不一致、不準(zhǔn)確難以利用和管理各系統(tǒng)數(shù)據(jù)難以共享缺少反饋機(jī)制沒有歸納并總結(jié)數(shù)據(jù)質(zhì)量問題，缺少反饋機(jī)制,導(dǎo)致長期存在各類數(shù)據(jù)質(zhì)量問題。業(yè)務(wù)表現(xiàn)指標(biāo)難以共享數(shù)據(jù)不一致、不準(zhǔn)確問題部分關(guān)鍵業(yè)務(wù)數(shù)據(jù)缺失源系統(tǒng)校驗(yàn)關(guān)系缺失及業(yè)務(wù)人員操作隨意數(shù)據(jù)應(yīng)用現(xiàn)狀總結(jié)隨著業(yè)務(wù)的不斷發(fā)展和信息化的不斷深入，需建設(shè)的業(yè)務(wù)系統(tǒng)越來越多，隨著業(yè)務(wù)系統(tǒng)的數(shù)據(jù)種類不斷豐富完善，數(shù)據(jù)量的不斷增大，

30、如果不采取有效手段解決數(shù)據(jù)架構(gòu)、數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)質(zhì)量問題，隨著信息化建設(shè)的深入，這些問題將像雪球一樣越滾越大，越積越多。銀行大數(shù)據(jù)治理階段目標(biāo)通過數(shù)據(jù)平臺(tái)和BI應(yīng)用建設(shè)，銀行大數(shù)據(jù)將搭建統(tǒng)一的大數(shù)據(jù)共享和分析平臺(tái)，對(duì)各類業(yè)務(wù)進(jìn)行前瞻性預(yù)測(cè)及分析，為銀行各層次用戶提供統(tǒng)一的決策分析支持，提升數(shù)據(jù)共享與流轉(zhuǎn)能力。數(shù)據(jù)平臺(tái)邏輯架構(gòu)數(shù)據(jù)平臺(tái)部署架構(gòu)建設(shè)目標(biāo)以大數(shù)據(jù)項(xiàng)目建設(shè)作為契機(jī)，凝聚我行優(yōu)勢(shì)力量，全面梳理數(shù)據(jù)資源，完善數(shù)據(jù)體系架構(gòu)，自主掌握大數(shù)據(jù)關(guān)鍵技術(shù)，加速大數(shù)據(jù)資源的開發(fā)利用,將數(shù)據(jù)決策化貫穿到經(jīng)營管理全流程，建設(shè)智慧銀行，提升核心競(jìng)爭力。建設(shè)大數(shù)據(jù)基礎(chǔ)設(shè)施，完善全行數(shù)據(jù)體系架構(gòu)構(gòu)建大數(shù)據(jù)平臺(tái)，實(shí)

31、現(xiàn)更廣泛的半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)集中采集、存儲(chǔ)、加工、分析和應(yīng)用，極大地豐富我行的信息資源，同現(xiàn)有的企業(yè)級(jí)數(shù)據(jù)倉庫和歷史數(shù)據(jù)存儲(chǔ)系統(tǒng)一起，形成基礎(chǔ)數(shù)據(jù)體系，提供支撐經(jīng)營管理的各類數(shù)據(jù)應(yīng)用。開發(fā)大數(shù)據(jù)資源，支撐全行經(jīng)營管理創(chuàng)新建設(shè)離線數(shù)據(jù)分析、實(shí)時(shí)數(shù)據(jù)/流數(shù)據(jù)分析集群和各類數(shù)據(jù)分析集市，提供高性能可擴(kuò)展的分布式計(jì)算引擎，通過數(shù)據(jù)挖掘、計(jì)量分析和機(jī)器學(xué)習(xí)等手段，對(duì)豐富的大數(shù)據(jù)資源進(jìn)行開發(fā)使用，并將數(shù)據(jù)決策化過程結(jié)合到風(fēng)控、營銷、營運(yùn)等經(jīng)營管理活動(dòng)。培養(yǎng)大數(shù)據(jù)人才隊(duì)伍，建立大數(shù)據(jù)分析能力結(jié)合大數(shù)據(jù)項(xiàng)目的落地實(shí)施，建立起一支大數(shù)據(jù)技術(shù)和分析人員隊(duì)伍，具備自主運(yùn)營和開發(fā)大數(shù)據(jù)的能力，以更好推動(dòng)業(yè)務(wù)創(chuàng)新，

32、提升我行核心競(jìng)爭力。數(shù)據(jù)治理目標(biāo)發(fā)現(xiàn)數(shù)據(jù)質(zhì)量問題，推動(dòng)大數(shù)據(jù)治理工作的開展，建立數(shù)據(jù)質(zhì)量檢核系統(tǒng)對(duì)源系統(tǒng)進(jìn)行數(shù)據(jù)質(zhì)量檢核，發(fā)現(xiàn)數(shù)據(jù)質(zhì)量問題并統(tǒng)計(jì)影響到的報(bào)表對(duì)數(shù)據(jù)質(zhì)量問題進(jìn)行歸類總結(jié)，分析成因和改進(jìn)建議建設(shè)數(shù)據(jù)質(zhì)量檢核系統(tǒng)分析、梳理業(yè)務(wù)系統(tǒng)，推動(dòng)數(shù)據(jù)標(biāo)準(zhǔn)的建立，統(tǒng)一全行口徑建立基礎(chǔ)標(biāo)準(zhǔn)和指標(biāo)標(biāo)準(zhǔn)框架確定標(biāo)準(zhǔn)化范圍，對(duì)重要屬性進(jìn)行標(biāo)準(zhǔn)化建立數(shù)據(jù)倉庫模型框架，優(yōu)化我行數(shù)據(jù)架構(gòu)，建設(shè)穩(wěn)定、可擴(kuò)展的數(shù)據(jù)倉庫引進(jìn)業(yè)內(nèi)具有先進(jìn)水平的金融數(shù)據(jù)模型，進(jìn)行客戶化改造后，建成符合某行特點(diǎn)的數(shù)據(jù)倉庫模型框架覆蓋某行主要業(yè)務(wù)系統(tǒng)數(shù)據(jù)，以便快速高效的為應(yīng)用系統(tǒng)提供數(shù)據(jù)存儲(chǔ)歷史數(shù)據(jù)，解決新報(bào)表上線才有數(shù)的問題。匯總層建設(shè)

33、（共性加工）目標(biāo)建設(shè)方法建設(shè)內(nèi)容分析源系統(tǒng)表數(shù)據(jù)，從及時(shí)性、完整性、準(zhǔn)確性、有效性、一致性方面對(duì)源系統(tǒng)數(shù)據(jù)進(jìn)行數(shù)據(jù)校驗(yàn)，發(fā)現(xiàn)并記錄數(shù)據(jù)質(zhì)量問題，生成數(shù)據(jù)質(zhì)量問題報(bào)告。建設(shè)數(shù)據(jù)質(zhì)量檢核系統(tǒng)，對(duì)源系統(tǒng)基礎(chǔ)業(yè)務(wù)數(shù)據(jù)的進(jìn)行全面的數(shù)據(jù)質(zhì)量檢查，并實(shí)現(xiàn)重要業(yè)務(wù)數(shù)據(jù)質(zhì)量的周期性動(dòng)態(tài)檢查，對(duì)發(fā)現(xiàn)的數(shù)據(jù)質(zhì)量問題生成數(shù)據(jù)質(zhì)量報(bào)告，反饋給業(yè)務(wù)部門。工作 階段源系統(tǒng)分析階段全面分析主要源業(yè)務(wù)系統(tǒng)。工作內(nèi)容全面分析和消化主要源業(yè)務(wù)系統(tǒng)重點(diǎn)分析核心業(yè)務(wù)系統(tǒng)和信貸兩個(gè)系統(tǒng)工作依據(jù)源系統(tǒng)文檔： 源系統(tǒng)操作手冊(cè)、源業(yè)務(wù)系統(tǒng)設(shè)計(jì)說明書、源系統(tǒng)數(shù)據(jù)字典源系統(tǒng)環(huán)境及調(diào)研數(shù)據(jù)工作重點(diǎn)系統(tǒng)內(nèi)：梳理業(yè)務(wù)流程、業(yè)務(wù)邏輯、業(yè)務(wù)關(guān)聯(lián)、數(shù)據(jù)庫表和

34、字段的設(shè)計(jì)系統(tǒng)間：梳理業(yè)務(wù)關(guān)聯(lián)關(guān)系、數(shù)據(jù)關(guān)聯(lián)關(guān)系數(shù)據(jù)質(zhì)量問題檢查階段根據(jù)制定的檢查規(guī)則編寫程序，對(duì)源系統(tǒng)數(shù)據(jù)進(jìn)行檢查。工作內(nèi)容梳理和制定數(shù)據(jù)質(zhì)量檢查規(guī)則，定義標(biāo)準(zhǔn)模板依據(jù)數(shù)據(jù)檢查規(guī)則，編寫程序，對(duì)核心業(yè)務(wù)系統(tǒng)、信貸管理系統(tǒng)的進(jìn)行檢查工作依據(jù)系統(tǒng)調(diào)研和分析成果數(shù)據(jù)質(zhì)量檢查規(guī)則的依據(jù)調(diào)研成果的以下內(nèi)容進(jìn)行梳理：業(yè)務(wù)流程、業(yè)務(wù)邏輯數(shù)據(jù)邏輯設(shè)計(jì)報(bào)表數(shù)據(jù)應(yīng)用工作重點(diǎn)重點(diǎn)報(bào)表用到的表進(jìn)行分析數(shù)據(jù)質(zhì)量問題分析階段分析有質(zhì)量問題數(shù)據(jù)對(duì)現(xiàn)有應(yīng)用的影響；提出解決措施。工作內(nèi)容分析有質(zhì)量問題數(shù)據(jù)對(duì)現(xiàn)有報(bào)表應(yīng)用的影響對(duì)數(shù)據(jù)質(zhì)量問題的成因進(jìn)行分析和總結(jié)對(duì)數(shù)據(jù)質(zhì)量問題的解決措施進(jìn)行分析和總結(jié)工作依據(jù)數(shù)據(jù)質(zhì)量檢查結(jié)果源數(shù)據(jù)

35、與報(bào)表依賴關(guān)系工作重點(diǎn)重點(diǎn)分析報(bào)表平臺(tái)的1104等報(bào)表存在的部分?jǐn)?shù)據(jù)質(zhì)量問題。預(yù)期建設(shè)效益實(shí)現(xiàn)數(shù)據(jù)共享通過數(shù)據(jù)平臺(tái)實(shí)現(xiàn)數(shù)據(jù)集中，確保銀行大數(shù)據(jù)各級(jí)部門均可在保證數(shù)據(jù)隱私和安全的前提下使用數(shù)據(jù)，充分發(fā)揮數(shù)據(jù)作為企業(yè)重要資產(chǎn)的業(yè)務(wù)價(jià)值。加強(qiáng)業(yè)務(wù)合作實(shí)現(xiàn)分散在供應(yīng)鏈銀行、人人貸、保理等各個(gè)業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)在數(shù)據(jù)平臺(tái)中的集中和整合，建立單一的產(chǎn)品、客戶等數(shù)據(jù)的企業(yè)級(jí)視圖，有效促進(jìn)業(yè)務(wù)的集成和協(xié)作，并為企業(yè)級(jí)分析、交叉銷售提供基礎(chǔ)。促進(jìn)業(yè)務(wù)創(chuàng)新銀行大數(shù)據(jù)業(yè)務(wù)人員可以基于明細(xì)、可信的數(shù)據(jù)，進(jìn)行多維分析和數(shù)據(jù)挖掘，為銀行業(yè)務(wù)創(chuàng)新（客戶服務(wù)創(chuàng)新、產(chǎn)品創(chuàng)新等）創(chuàng)造了有利條件。提升建設(shè)效率通過數(shù)據(jù)平臺(tái)對(duì)數(shù)據(jù)進(jìn)行集

36、中，為管理分析、挖掘預(yù)測(cè)類等系統(tǒng)提供一致的數(shù)據(jù)基礎(chǔ)，改變現(xiàn)有系統(tǒng)數(shù)據(jù)來源多、數(shù)據(jù)處理復(fù)雜的現(xiàn)狀，實(shí)現(xiàn)應(yīng)用系統(tǒng)建設(shè)模式的轉(zhuǎn)變，提升相關(guān)IT系統(tǒng)的建設(shè)和運(yùn)行效率。改善數(shù)據(jù)質(zhì)量從中長期看，數(shù)據(jù)倉庫對(duì)銀行大數(shù)據(jù)分散在各個(gè)業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)整合、清洗，有助于企業(yè)整體數(shù)據(jù)質(zhì)量的改善，提高的數(shù)據(jù)的實(shí)用性。銀行大數(shù)據(jù)建設(shè)總體規(guī)劃功能需求個(gè)人和企業(yè)畫像國內(nèi)不少銀行已經(jīng)開始嘗試通過大數(shù)據(jù)來驅(qū)動(dòng)業(yè)務(wù)運(yùn)營，為個(gè)人客戶畫像和企業(yè)客戶“畫像”。個(gè)人客戶畫像包括人口統(tǒng)計(jì)學(xué)特征、消費(fèi)能力數(shù)據(jù)、興趣數(shù)據(jù)、風(fēng)險(xiǎn)偏好等；企業(yè)客戶畫像包括企業(yè)的生產(chǎn)、流通、運(yùn)營、財(cái)務(wù)、銷售和客戶數(shù)據(jù)、相關(guān)產(chǎn)業(yè)鏈上下游等數(shù)據(jù)。客戶畫像作用：1、用戶的所有

37、屬性特征、訂單特征、行為特征集合到一個(gè)系統(tǒng)中，然后只需要在一個(gè)報(bào)表層面，只需要輸入用戶ID、手機(jī)號(hào)、用戶名等即可實(shí)現(xiàn)完整的用戶信息查詢。2、當(dāng)處理用戶的私人財(cái)務(wù)信息時(shí)候，用戶喜歡一對(duì)一的個(gè)性化服務(wù)。用戶畫像可以展示用戶的每一次活動(dòng)，例如用戶注資、消費(fèi)等主要的行為。3、通過軟件的實(shí)時(shí)分析，可以及時(shí)跟蹤用戶的注冊(cè)、交易等關(guān)鍵環(huán)節(jié)遇到的問題。4、實(shí)時(shí)衡量廣告活動(dòng)的有效性，通過實(shí)時(shí)在線訪客工作，及時(shí)評(píng)估活動(dòng)的引流用戶的活動(dòng)參與性。可以及時(shí)調(diào)整廣告的投放策略，減少廣告的浪費(fèi)?？蛻舢嬒瘢涸诮鹑诜矫嬗蟹浅４蟮臐摿Γ忻嫔嫌幸恍┩晟频能浖徒鉀Q方案，但能夠真正打入到銀行內(nèi)部的比較少，同時(shí)銀行在手機(jī)端和電商方面

38、有很大的突破，對(duì)于大數(shù)據(jù)的信息也非常的需要。建議：通過市面上的軟件進(jìn)行oem。實(shí)現(xiàn)精準(zhǔn)營銷在客戶“畫像”的基礎(chǔ)上，金融業(yè)可以有效地開展精準(zhǔn)營銷。例如，根據(jù)客戶的實(shí)時(shí)狀態(tài)來進(jìn)行營銷，根據(jù)所在地、客戶最近一次消費(fèi)等信息來有針對(duì)地進(jìn)行營銷，或者將改變生活狀態(tài)的事件視為營銷機(jī)會(huì)。精準(zhǔn)營銷：通過對(duì)大數(shù)據(jù)信息的掌握，采用多種方法論和技術(shù)去分析得出結(jié)論，進(jìn)行營銷。目前市面上也有類似的軟件，也有詳細(xì)的方法論，在銀行方面還有待驗(yàn)證。建議：繼續(xù)進(jìn)行市場(chǎng)的驗(yàn)證。為金融業(yè)提供風(fēng)險(xiǎn)管控金融業(yè)結(jié)合大數(shù)據(jù)，可以實(shí)現(xiàn)對(duì)中小企業(yè)貸款風(fēng)險(xiǎn)評(píng)估和欺詐交易識(shí)別。銀行可通過企業(yè)的生產(chǎn)、流通、銷售、財(cái)務(wù)等相關(guān)信息結(jié)合大數(shù)據(jù)挖掘方法進(jìn)行貸

39、款風(fēng)險(xiǎn)分析，量化企業(yè)的信用額度，更有效的開展中小企業(yè)貸款。風(fēng)險(xiǎn)管控：1、通過客戶在社交媒體上的行為數(shù)據(jù)、客戶在電商網(wǎng)站的交易數(shù)據(jù)、企業(yè)客戶的產(chǎn)業(yè)鏈上下游數(shù)據(jù)、其他有利于擴(kuò)展銀行對(duì)客戶興趣愛好的數(shù)據(jù)來進(jìn)行數(shù)據(jù)的分析；2、目前金融的風(fēng)險(xiǎn)主要來自于大中型企業(yè)信用風(fēng)險(xiǎn)、小微型企業(yè)信用風(fēng)險(xiǎn)、個(gè)人/消費(fèi)者信用風(fēng)險(xiǎn)等；風(fēng)險(xiǎn)管控：銀行對(duì)于大數(shù)據(jù)的信息有比較全面的機(jī)制，信用體系、貸款體系、金融體系都有比較多的專家和方法來管理風(fēng)險(xiǎn)。建議：多走訪銀行風(fēng)控體系，看看是否新的突破點(diǎn)運(yùn)營優(yōu)化運(yùn)營優(yōu)化：通過大數(shù)據(jù)的各個(gè)指標(biāo)，進(jìn)行市場(chǎng)和渠道的分析，同時(shí)可以對(duì)自身的產(chǎn)品進(jìn)行優(yōu)化和輿情的預(yù)報(bào)分析。建議：繼續(xù)進(jìn)行市場(chǎng)的驗(yàn)證。銀行大

40、數(shù)據(jù)應(yīng)用架構(gòu)遠(yuǎn)景銀行需要從“坐商”轉(zhuǎn)型為“行商”潛在客戶在哪里？這些客戶有什么樣的金融需求？如何進(jìn)行主動(dòng)營銷？精準(zhǔn)營銷？即時(shí)營銷？內(nèi)部管理，績效考核等，如何配套轉(zhuǎn)型？客戶下沉面向個(gè)體規(guī)模小但是數(shù)量眾多的客戶群體，金融產(chǎn)品如何設(shè)計(jì)才有吸引力？面向個(gè)性化十足的客戶需求，如何低成本地改善客戶體驗(yàn)？小客戶的風(fēng)險(xiǎn)、成本如何控制？與“互聯(lián)網(wǎng)金融”進(jìn)行差異化競(jìng)爭網(wǎng)點(diǎn)優(yōu)勢(shì)面對(duì)面地達(dá)成交易；專業(yè)優(yōu)勢(shì)全方位的客戶體驗(yàn)銀行大數(shù)據(jù)平臺(tái)應(yīng)用架構(gòu)銀行大數(shù)據(jù)平臺(tái)架構(gòu)銀行大數(shù)據(jù)支撐平臺(tái)大數(shù)據(jù)虛擬化平臺(tái)大數(shù)據(jù)虛擬化平臺(tái)采用虛擬化技術(shù)，以充分利用計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)等資源，同時(shí)采用數(shù)據(jù)備份方案以增加可靠性?？梢詫?shí)現(xiàn)：1效率大幅度提高

41、由于將資源池化管理和使用，資源得到充分利用。采用分權(quán)分域運(yùn)維的方式，運(yùn)維更加有效。2更低能耗更加節(jié)能，基礎(chǔ)設(shè)施與IT設(shè)備聯(lián)動(dòng)節(jié)能、負(fù)荷均衡。3優(yōu)化業(yè)務(wù)新業(yè)務(wù)上線周期大幅度縮短?？梢詾楦鲉挝惶峁└鄻I(yè)務(wù)：IAAS、PAAS、SAAS，等等。4提高效益在區(qū)級(jí)單位建立虛擬化平臺(tái)，其他各單位不需要建立維護(hù)自己的基礎(chǔ)設(shè)施，利用區(qū)大數(shù)據(jù)虛擬化平臺(tái)運(yùn)行各自應(yīng)用。投資收益率，大幅提升，TCO大幅度降低。設(shè)計(jì)原則1統(tǒng)一的虛擬化平臺(tái)采用虛擬化管理軟件，將計(jì)算資源劃分為多個(gè)虛擬機(jī)資源，為用戶提供高性能、可運(yùn)營、可管理的虛擬機(jī)。支持虛擬機(jī)資源按需分配。支持多操作系統(tǒng)。保證資源合理分配，隔離用戶間影響。本項(xiàng)目中，為新開

42、發(fā)業(yè)務(wù)系統(tǒng)、遷移業(yè)務(wù)系統(tǒng)、數(shù)據(jù)交換與共享前置機(jī)分配虛擬機(jī)。2統(tǒng)一的資源管理統(tǒng)一資源池，屏蔽不同硬件差異，資源的更換升級(jí)對(duì)用戶零感知。統(tǒng)一管理平臺(tái)，支持業(yè)界主流的操作系統(tǒng)，兼容現(xiàn)有計(jì)算及存儲(chǔ)資源。設(shè)備自動(dòng)發(fā)現(xiàn)，資源快速發(fā)放，縮短業(yè)務(wù)上線時(shí)間。3支持多種硬件設(shè)備支持多種服務(wù)器和兼容多種存儲(chǔ)設(shè)備，可供用戶靈活選擇。4自動(dòng)化調(diào)度支持自定義的資源管理策略、故障判斷標(biāo)準(zhǔn)及恢復(fù)策略。通過資源調(diào)度、熱管理、能耗管理等一體化拉通，降低維護(hù)成本。自動(dòng)檢測(cè)服務(wù)器或業(yè)務(wù)的負(fù)載情況，對(duì)資源進(jìn)行智能調(diào)度，均衡各服務(wù)器及業(yè)務(wù)系統(tǒng)負(fù)載，保證系統(tǒng)良好的用戶體驗(yàn)和業(yè)務(wù)系統(tǒng)的最佳響應(yīng)。5完善的權(quán)限管理根據(jù)不同的角色、權(quán)限等，提供完

43、善的權(quán)限管理功能，授權(quán)用戶對(duì)系統(tǒng)內(nèi)容的資源進(jìn)行管理。6應(yīng)用智能管理支持服務(wù)目錄，應(yīng)用快速部署。靈活的模板機(jī)制，支持用戶自定義模板。7精細(xì)化計(jì)費(fèi)針對(duì)不同的業(yè)務(wù)類型，進(jìn)行精確計(jì)費(fèi)。按IT資源（CPU、內(nèi)存、存儲(chǔ)）用量計(jì)費(fèi)。按時(shí)計(jì)費(fèi)。8豐富的運(yùn)維管理，實(shí)現(xiàn)業(yè)務(wù)的可控、可管，使整個(gè)系統(tǒng)有效運(yùn)營。支持快速故障定位，系統(tǒng)通過獲取異常日志和程序堆棧等方法，縮短問題定位時(shí)間，快速解決異常問題。系統(tǒng)通過自動(dòng)化的健康狀態(tài)檢查，及時(shí)發(fā)現(xiàn)故障并預(yù)警，確保虛擬機(jī)可運(yùn)營管理。支持全Web化的界面，通過Web瀏覽器對(duì)所有硬件資源、虛擬資源、用戶業(yè)務(wù)發(fā)放等進(jìn)行監(jiān)控管理。9安全采用多種安全措施和策略，并遵從信息安全法律法規(guī)，對(duì)

44、用戶接入、管理維護(hù)、數(shù)據(jù)、網(wǎng)絡(luò)、虛擬化等提供端到端的業(yè)務(wù)保護(hù)。虛擬化平臺(tái)設(shè)計(jì)圖 STYLEREF 2 s 5.2 SEQ 圖 * ARABIC s 2 2虛擬化平臺(tái)架構(gòu)如圖所示為虛擬化平臺(tái)的架構(gòu)，主要包括五個(gè)部分：硬件基礎(chǔ)設(shè)施、虛擬化存儲(chǔ)、虛擬化計(jì)算、平臺(tái)管理、數(shù)據(jù)存儲(chǔ)系統(tǒng)五個(gè)部分。硬件基礎(chǔ)設(shè)施層硬件資源包括服務(wù)器、存儲(chǔ)、網(wǎng)絡(luò)等全面的平臺(tái)基礎(chǔ)物理設(shè)備資源，支持平滑新建或擴(kuò)容，是運(yùn)行各種應(yīng)用的平臺(tái)。支持的設(shè)備類型豐富，提供靈活的部署選擇。平臺(tái)包括以下硬件設(shè)備：1采用五套虛擬化平臺(tái)服務(wù)器提供基礎(chǔ)支撐，需要在物理服務(wù)器上部署虛擬化平臺(tái)管理軟件（按照CPU數(shù)量部署）用于提供虛擬化服務(wù)；2一臺(tái)PC用于虛

45、擬化平臺(tái)管理PC；3兩臺(tái)物理數(shù)據(jù)庫服務(wù)器用于安裝數(shù)據(jù)庫管理系統(tǒng)；4一套磁盤陣列提供數(shù)據(jù)存儲(chǔ)服務(wù)；5二臺(tái)FC光纖交換機(jī)用于連接服務(wù)器和存儲(chǔ)磁盤陣列；6服務(wù)器都連接到核心交換機(jī)上以提供IP網(wǎng)絡(luò)連接。虛擬化存儲(chǔ)通過軟件管理，可以把本地硬盤存儲(chǔ)資源組織成一個(gè)虛擬存儲(chǔ)資源池，提供塊存儲(chǔ)功能。除了利用虛擬化平臺(tái)服務(wù)器的存儲(chǔ)空間以外，也可以使用磁盤陣列的存儲(chǔ)空間。虛擬化計(jì)算通過虛擬化平臺(tái)軟件，主要負(fù)責(zé)硬件資源的虛擬化，以及對(duì)虛擬資源、業(yè)務(wù)資源、用戶資源的集中管理。采用虛擬計(jì)算、虛擬存儲(chǔ)、虛擬網(wǎng)絡(luò)等技術(shù)，完成計(jì)算資源、存儲(chǔ)資源、網(wǎng)絡(luò)資源的虛擬化。同時(shí)通過統(tǒng)一的接口，對(duì)這些虛擬資源進(jìn)行集中調(diào)度和管理，從而降低業(yè)

46、務(wù)的運(yùn)行成本，保證系統(tǒng)的安全性和可靠性。需要在物理服務(wù)器上部署虛擬化平臺(tái)管理軟件（按照CPU數(shù)量部署）用于提供虛擬化服務(wù)，本項(xiàng)目一期需要配置20個(gè)CPU的虛擬化平臺(tái)管理軟件。根據(jù)實(shí)際需要在虛擬化平臺(tái)上配置以下虛擬機(jī)：遷移業(yè)務(wù)應(yīng)用虛擬機(jī)（約47個(gè)）、新開發(fā)業(yè)務(wù)虛擬機(jī)（7個(gè)）、數(shù)據(jù)交換與共享前置虛擬機(jī)（20個(gè)），在虛擬機(jī)上安裝操作系統(tǒng)并部署應(yīng)用系統(tǒng)提供服務(wù)。平臺(tái)管理對(duì)虛擬化平臺(tái)的軟件和硬件進(jìn)行全面的監(jiān)控和管理，實(shí)現(xiàn)自動(dòng)化資源發(fā)放和自動(dòng)化基礎(chǔ)設(shè)施運(yùn)維管理兩大核心功能，并向內(nèi)部運(yùn)維管理人員提供運(yùn)營與管理門戶。此外，還有虛擬化備份軟件以實(shí)現(xiàn)虛擬機(jī)數(shù)據(jù)備份方案，容災(zāi)業(yè)務(wù)管理軟件提供虛擬機(jī)關(guān)鍵數(shù)據(jù)的數(shù)據(jù)保護(hù)

47、和容災(zāi)恢復(fù)。數(shù)據(jù)存儲(chǔ)系統(tǒng)設(shè)計(jì)數(shù)據(jù)存儲(chǔ)系統(tǒng)采用統(tǒng)一規(guī)劃設(shè)計(jì)，分布實(shí)施的策略。設(shè)計(jì)主備磁盤陣列，其中主磁盤陣列為第一期實(shí)施，與其他業(yè)務(wù)系統(tǒng)部署在電信主機(jī)房，備用磁盤陣列為后期實(shí)施，部署在移動(dòng)機(jī)房。為保證數(shù)據(jù)業(yè)務(wù)的高可靠性，采用“物理服務(wù)器+磁盤陣列”的SAN存儲(chǔ)系統(tǒng)。物理服務(wù)器上運(yùn)行數(shù)據(jù)庫管理系統(tǒng)，數(shù)據(jù)存儲(chǔ)在磁盤陣列上，為應(yīng)用業(yè)務(wù)提供高效服務(wù)。虛擬化服務(wù)器通過光纖交換機(jī)與磁盤陣列相連，一般情況下磁盤陣列只為數(shù)據(jù)庫服務(wù)器服務(wù)，必要時(shí)也可以分配給虛擬機(jī)使用。一期存儲(chǔ)系統(tǒng)方案包括兩臺(tái)數(shù)據(jù)庫服務(wù)器、兩臺(tái)FC交換機(jī)和主磁盤陣列。圖 STYLEREF 2 s 5.2 SEQ 圖 * ARABIC s 2 3

48、SAN存儲(chǔ)系統(tǒng)配置一套中高端存儲(chǔ)（磁盤陣列）作為核心存儲(chǔ)以保證數(shù)據(jù)的安全性，配置FC交換機(jī)連接數(shù)據(jù)庫服務(wù)器和虛擬化平臺(tái)服務(wù)器以及主磁盤陣列。實(shí)現(xiàn)各業(yè)務(wù)系統(tǒng)分散數(shù)據(jù)的集中存儲(chǔ)，提供高可靠、高性能、高擴(kuò)展的存儲(chǔ)系統(tǒng)，為業(yè)務(wù)系統(tǒng)提供數(shù)據(jù)存取的支撐平臺(tái)。SAN存儲(chǔ)系統(tǒng)采用兩套光纖交換機(jī)，雙機(jī)熱備方式，每臺(tái)光纖交換機(jī)FC接口分別連接主存儲(chǔ)、虛擬化平臺(tái)服務(wù)器、數(shù)據(jù)庫服務(wù)器。采用冗余架構(gòu)，保障數(shù)據(jù)的可靠性和業(yè)務(wù)的連續(xù)性。如果后續(xù)新增業(yè)務(wù)系統(tǒng)，只需要連接到存儲(chǔ)區(qū)域網(wǎng)絡(luò)，并分配相應(yīng)的存儲(chǔ)空間，就可實(shí)現(xiàn)數(shù)據(jù)的集中存儲(chǔ)。如果容量不夠，只需要增加磁盤及配套的磁盤擴(kuò)展柜。業(yè)務(wù)的擴(kuò)展和擴(kuò)容可實(shí)現(xiàn)即插即用，輕易地進(jìn)行部署應(yīng)

49、用。高性能SAN存儲(chǔ)系統(tǒng)SAN（Storage Area Network）存儲(chǔ)區(qū)域網(wǎng)絡(luò)，是一種通過SAN網(wǎng)絡(luò)方式連接存儲(chǔ)設(shè)備和服務(wù)器的存儲(chǔ)架構(gòu)，SAN網(wǎng)絡(luò)專用于主機(jī)和存儲(chǔ)設(shè)備之間的訪問。當(dāng)有數(shù)據(jù)的存取需求時(shí)，數(shù)據(jù)可以通過SAN存儲(chǔ)區(qū)域網(wǎng)絡(luò)在服務(wù)器和后臺(tái)存儲(chǔ)設(shè)備之間高速傳輸。采用SAN使存儲(chǔ)空間得到更加充分的利用。在SAN網(wǎng)絡(luò)中，存儲(chǔ)實(shí)現(xiàn)的是直接對(duì)物理硬件的塊級(jí)存儲(chǔ)訪問，提高了存儲(chǔ)的性能和升級(jí)能力。SAN更適合網(wǎng)絡(luò)關(guān)鍵任務(wù)的數(shù)據(jù)存儲(chǔ)，與其他存儲(chǔ)技術(shù)相比，SAN網(wǎng)絡(luò)具有以下特性：1高可用，作為統(tǒng)一存儲(chǔ)資源池為各個(gè)系統(tǒng)所共享，各系統(tǒng)服務(wù)器通過接入SAN網(wǎng)絡(luò)，快速高效地實(shí)現(xiàn)對(duì)存儲(chǔ)的訪問。2高性能，多采

50、用業(yè)界最先進(jìn)的技術(shù)，包括Intel專用存儲(chǔ)多核處理器、超大緩存擴(kuò)展、PCI-E 2.0、SAS 2.0、SSD等。3便于擴(kuò)展，數(shù)十倍的存儲(chǔ)容量擴(kuò)展能力提升，支持多種存儲(chǔ)介質(zhì)混合使用，支持容量彈性分配，在線擴(kuò)容。4高安全：存儲(chǔ)系統(tǒng)完全冗余設(shè)計(jì)，全系統(tǒng)無單點(diǎn)故障，包括控制器、電源、電池、風(fēng)扇等均為冗余結(jié)構(gòu)；每冗余設(shè)備在故障出現(xiàn)時(shí)能保證自動(dòng)切換，任何單一部件故障都不會(huì)影響整個(gè)存儲(chǔ)系統(tǒng)的正常運(yùn)行。5可實(shí)現(xiàn)基于網(wǎng)絡(luò)的高效備份，適合于海量數(shù)據(jù)、關(guān)鍵數(shù)據(jù)的存儲(chǔ)備份。6支持集中管理和遠(yuǎn)程管理，支持服務(wù)器的異構(gòu)平臺(tái)。同時(shí)SAN存儲(chǔ)區(qū)域網(wǎng)具有更廣的應(yīng)用領(lǐng)域，如數(shù)據(jù)共享、存儲(chǔ)共享、數(shù)據(jù)備份、災(zāi)難恢復(fù)等。存儲(chǔ)方案優(yōu)勢(shì)

51、1高可靠本方案所采用兩臺(tái)磁盤陣列提供全面的系統(tǒng)故障保護(hù)，最大限度的保證用戶數(shù)據(jù)的可用性和安全性。（1）全冗余架構(gòu)采用雙活鏡像技術(shù)、雙控制器架構(gòu)，控制器、磁盤柜、緩存、硬盤等關(guān)鍵組件都采用冗余設(shè)計(jì)，保障系統(tǒng)的高可靠。（2）冗余SAN組網(wǎng)為提高整個(gè)系統(tǒng)的可靠性，本方案在SAN架構(gòu)設(shè)計(jì)上嚴(yán)格按照冗余方式進(jìn)行組網(wǎng)，防止單點(diǎn)故障。服務(wù)器接入，至少采用兩個(gè)存儲(chǔ)接口卡接入SAN網(wǎng)絡(luò)；SAN交換設(shè)備，采用SAN交換機(jī)兩個(gè)交換板卡同時(shí)工作，保證所有連接設(shè)備至少雙鏈路通信；（3）完善的磁盤安全策略2高性能在架構(gòu)設(shè)計(jì)上，采用大量業(yè)界先進(jìn)技術(shù)，包括大容量緩存擴(kuò)展、PCI-E 2.0、SAS 2.0、SSD等，構(gòu)建高性

52、能的存儲(chǔ)平臺(tái)。（1）高帶寬總線技術(shù)（2）大容量智能緩存管理3高擴(kuò)展性方案的高擴(kuò)展體現(xiàn)在存儲(chǔ)的容量及性能高擴(kuò)展。大數(shù)據(jù)分析管理平臺(tái)建設(shè)內(nèi)容包括大數(shù)據(jù)分析處理平臺(tái)、大數(shù)據(jù)分析節(jié)點(diǎn)群兩部分。通過在物理機(jī)X86集群上安裝大數(shù)據(jù)分析處理平臺(tái)軟件，對(duì)大數(shù)據(jù)進(jìn)行分析處理，挖掘數(shù)據(jù)價(jià)值。如圖所示大數(shù)據(jù)分析管理平臺(tái)。圖 STYLEREF 2 s 5.2 SEQ 圖 * ARABIC s 2 4 大數(shù)據(jù)分析管理平臺(tái)大數(shù)據(jù)分析處理平臺(tái)大數(shù)據(jù)分析處理平臺(tái)應(yīng)用范圍覆蓋各種規(guī)模和不同數(shù)據(jù)量的場(chǎng)景，通過內(nèi)存計(jì)算、高效索引、執(zhí)行優(yōu)化和高度容錯(cuò)的技術(shù)，使得一個(gè)平臺(tái)能夠處理10GB到100PB的數(shù)據(jù)，并且在每個(gè)數(shù)量級(jí)上，都能比現(xiàn)

53、有技術(shù)提供更快的性能；不再需要混合架構(gòu)，可以伴隨客戶的數(shù)據(jù)增長，動(dòng)態(tài)不停機(jī)擴(kuò)容，避免數(shù)據(jù)遷移的棘手問題。大數(shù)據(jù)分析處理平臺(tái)功能包含四個(gè)功能組成部分：分布式內(nèi)存分析引擎，數(shù)據(jù)挖掘引擎，分布式實(shí)時(shí)在線數(shù)據(jù)處理引擎和流處理引擎，在不同場(chǎng)景下分別完成不同功能。分布式內(nèi)存分析引擎交互式內(nèi)存分析引擎提供高速SQL分析和R語言數(shù)據(jù)挖掘能力，可建立高速可擴(kuò)展的數(shù)據(jù)倉庫和/或數(shù)據(jù)集市，結(jié)合多種報(bào)表工具提供交互式數(shù)據(jù)分析、即時(shí)報(bào)表和可視化能力。提供完整的ANSI SQL支持以及PL/SQL過程語言擴(kuò)展，可以支持復(fù)雜的數(shù)據(jù)倉庫類分析應(yīng)用，也使得從原有數(shù)據(jù)庫系統(tǒng)遷移更為容易。數(shù)據(jù)挖掘引擎數(shù)據(jù)挖掘引擎支持R語言引擎，用

54、戶可以通過R訪問大數(shù)據(jù)分析節(jié)點(diǎn)群上的HDFS或者分布式實(shí)時(shí)在線數(shù)據(jù)處理引擎中的數(shù)據(jù)，還支持訪問存儲(chǔ)在分布式內(nèi)存中的數(shù)據(jù)。在數(shù)據(jù)挖掘引擎中，用戶既可以通過R命令行，也可以使用圖形化的R Studio執(zhí)行R語言程序來訪問數(shù)據(jù)，易用性極高。數(shù)據(jù)挖掘引擎內(nèi)置了大量常用機(jī)器學(xué)習(xí)算法的分布式實(shí)現(xiàn)，可以與R語言中的數(shù)千個(gè)算法混合使用，配合內(nèi)置的高度優(yōu)化的專有算法，可高速分析現(xiàn)有平臺(tái)中的海量數(shù)據(jù)。此外，數(shù)據(jù)挖掘引擎還集成了多個(gè)機(jī)器學(xué)習(xí)算法庫，包含了統(tǒng)計(jì)算法、分類算法、聚類分析、回歸分析、頻度關(guān)聯(lián)分析和神經(jīng)網(wǎng)絡(luò)在內(nèi)的常用算法，方便用戶快速構(gòu)建大規(guī)模數(shù)據(jù)挖掘系統(tǒng)和方案。分布式實(shí)時(shí)在線數(shù)據(jù)處理引擎分布式實(shí)時(shí)在線數(shù)據(jù)

55、處理引擎融合了多種索引技術(shù)、分布式事務(wù)處理、全文實(shí)時(shí)搜索、圖形數(shù)據(jù)庫在內(nèi)的實(shí)時(shí)數(shù)據(jù)庫?？梢愿咝У刂С制髽I(yè)的在線聯(lián)機(jī)分析處理應(yīng)用、高并發(fā)聯(lián)機(jī)分析處理應(yīng)用、批處理應(yīng)用、全文搜索或高并發(fā)圖形數(shù)據(jù)庫檢索應(yīng)用，結(jié)合分布式內(nèi)存分析引擎，可以創(chuàng)建可擴(kuò)展在線運(yùn)營數(shù)據(jù)庫（Operational Database）或者實(shí)時(shí)分析型數(shù)據(jù)庫（ODS - Operational Data Store）。流處理引擎實(shí)時(shí)流處理引擎提供了強(qiáng)大的流計(jì)算表達(dá)能力，支持復(fù)雜的應(yīng)用邏輯，業(yè)務(wù)系統(tǒng)的消息通過實(shí)時(shí)消息隊(duì)列進(jìn)入計(jì)算集群（大數(shù)據(jù)分析節(jié)點(diǎn)群），在集群內(nèi)以流水線方式被依次處理，完成數(shù)據(jù)轉(zhuǎn)換、特征提取、策略檢查、分析告警等復(fù)雜服務(wù)計(jì)

56、算，最終輸出到分布式實(shí)時(shí)在線數(shù)據(jù)處理引擎等存儲(chǔ)集群，實(shí)時(shí)生成告警頁面、實(shí)時(shí)展示頁面等。系統(tǒng)具備強(qiáng)擴(kuò)展性、強(qiáng)容錯(cuò)、低延遲、高吞吐等特點(diǎn)，應(yīng)用于實(shí)時(shí)數(shù)據(jù)（如傳感器數(shù)據(jù)）的實(shí)時(shí)告警、風(fēng)險(xiǎn)控制、在線統(tǒng)計(jì)和挖掘等業(yè)務(wù)。大數(shù)據(jù)分析支撐系統(tǒng)大數(shù)據(jù)分析支撐系統(tǒng)具有高模塊化和松耦合的架構(gòu)，針對(duì)不同的應(yīng)用領(lǐng)域通過組件之間的靈活組合與高效協(xié)作來提供定制化的支撐。1數(shù)據(jù)存儲(chǔ)層：基于HDFS2.2的大數(shù)據(jù)存儲(chǔ)和在線服務(wù)系，支持Erasure Code，在副本數(shù)降低至1.5倍的情況下，提高了可靠性，可同時(shí)容忍四個(gè)數(shù)據(jù)塊丟失，支持可靠存儲(chǔ)TB到數(shù)十PB的數(shù)據(jù)；2資源管理層：缺省采用下一代資源管理框架YARN進(jìn)行資源的分配和

57、調(diào)度，支持同時(shí)運(yùn)行多個(gè)計(jì)算框架；3計(jì)算引擎層：采用Map/Reduce2完成大部分離線批處理計(jì)算任務(wù)；4數(shù)據(jù)分析與挖掘?qū)樱褐С蛛x線批量SQL統(tǒng)計(jì)，支持機(jī)器學(xué)習(xí)算法庫Mahout；5數(shù)據(jù)集成層：Sqoop支持?jǐn)?shù)據(jù)遷移，F(xiàn)lume支持從日志系統(tǒng)采集數(shù)據(jù)；與外部工具的對(duì)接：1與ETL工具的對(duì)接，支持商業(yè)和開源的ETL工具，例如：Sqoop、Pentaho、DataStage、Informatica、Trinity等工具，并在較多項(xiàng)目中有實(shí)際的集成、落地經(jīng)驗(yàn)；2任務(wù)調(diào)度工具，通過Ooize、Waterline、Trinity等工具進(jìn)行作業(yè)調(diào)度；3報(bào)表工具對(duì)接，同現(xiàn)有成熟的商業(yè)報(bào)表工具都可以無縫對(duì)接，包

58、括：IBM Cognos、Oracle BIEE、Sap BO、Microstrategy、Tableau、永洪BI、帆軟報(bào)表、水晶報(bào)表、潤乾報(bào)表等等。大數(shù)據(jù)分析節(jié)點(diǎn)群大數(shù)據(jù)分析節(jié)點(diǎn)群需要選擇一組用網(wǎng)絡(luò)連接起來的x86服務(wù)器，并在服務(wù)器上安裝運(yùn)行大數(shù)據(jù)平臺(tái)軟件，進(jìn)而提供大數(shù)據(jù)分析能力。以下是大數(shù)據(jù)分析節(jié)點(diǎn)群最少的服務(wù)器配置要求，可以根據(jù)實(shí)際情況做調(diào)整。其中至少配置2個(gè)管理節(jié)點(diǎn)，如果有結(jié)構(gòu)化數(shù)據(jù)要處理至少配置3個(gè)以上分析節(jié)點(diǎn)用于處理結(jié)構(gòu)化數(shù)據(jù)，如果有非結(jié)構(gòu)化數(shù)據(jù)需要處理至少配置3個(gè)以上節(jié)點(diǎn)用于處理非結(jié)構(gòu)化數(shù)據(jù)。表 STYLEREF 2 s 5.2 SEQ 表 * ARABIC s 2 2 服務(wù)器

59、配置要求服務(wù)器推薦配置及說明數(shù)量管理節(jié)點(diǎn)2個(gè)，節(jié)點(diǎn)數(shù)根據(jù)數(shù)據(jù)存儲(chǔ)容量計(jì)算，其中結(jié)構(gòu)化分析節(jié)點(diǎn)至少3個(gè)，非結(jié)構(gòu)化分析節(jié)點(diǎn)至少3個(gè)。CPU兩路8核處理器2*E5-2650v3或以上內(nèi)存128GB ECCDDR3硬盤10個(gè)1.2T的SAS硬盤，10000RPM，不使用RAID；2個(gè)300G的SAS硬盤，15000RPM，RAID1，作為系統(tǒng)盤網(wǎng)絡(luò)雙口萬兆（10Gbps）以太網(wǎng)卡軟硬件配置1銀行大數(shù)據(jù)平臺(tái)方案分析節(jié)點(diǎn)數(shù)通過前期調(diào)研，獲取到客戶總的數(shù)據(jù)量一期存儲(chǔ)需求，結(jié)構(gòu)化數(shù)據(jù)3T，非結(jié)構(gòu)化數(shù)據(jù)15T。參照存儲(chǔ)容量計(jì)算大數(shù)據(jù)平臺(tái)節(jié)點(diǎn)數(shù)。大數(shù)據(jù)平臺(tái)中數(shù)據(jù)采用HDFS格式保存，HDFS需要保存3個(gè)副本存儲(chǔ)數(shù)

60、據(jù)，中間結(jié)果保存1份數(shù)據(jù)，建立的索引占用0.5倍數(shù)據(jù)存儲(chǔ)空間；存儲(chǔ)過程中結(jié)構(gòu)化數(shù)據(jù)采用壓縮技術(shù)，按照壓縮率50%計(jì)算，非結(jié)構(gòu)化數(shù)據(jù)壓縮率1；磁盤空間考慮30%的冗余。此外，可以根據(jù)實(shí)際項(xiàng)目規(guī)劃酌情考慮放大節(jié)點(diǎn)數(shù)。如下公式數(shù)據(jù)實(shí)際需要的存儲(chǔ)空間：實(shí)際數(shù)據(jù)量TB *（副本存儲(chǔ)空間+中間結(jié)果存儲(chǔ)空間+索引存儲(chǔ)空間）*數(shù)據(jù)壓縮率*（1+冗余空間）；參數(shù)說明：a、副本存儲(chǔ)空間：3；b、中間結(jié)果存儲(chǔ)空間：1；c、索引存儲(chǔ)空間：0.5；d、結(jié)構(gòu)化數(shù)據(jù)壓縮率：0.5，非結(jié)構(gòu)化數(shù)據(jù)壓縮率：1；e、冗余空間：0.3；一期3T結(jié)構(gòu)化數(shù)據(jù)需要8.775T的存儲(chǔ)空間，15T非結(jié)構(gòu)化數(shù)據(jù)需要87.75T的存儲(chǔ)空間。采用的