商業(yè)銀行-大數(shù)據(jù)建設規(guī)劃匯編

1、XX銀行大數(shù)據(jù)建設規(guī)劃一、項目背景隨著信息化程度的加深，以及移動互聯(lián)網(wǎng)、物聯(lián)網(wǎng)的崛起，人們產(chǎn)生的數(shù)據(jù)急劇膨脹，傳統(tǒng)的數(shù)據(jù)處理技術難以支撐數(shù)據(jù)大量的增長和處理能力。經(jīng)過近幾年的發(fā)展，大數(shù)據(jù)技術逐步成熟，可以幫助企業(yè)整合更多的數(shù)據(jù)，從海量數(shù)據(jù)中挖掘出隱藏價值。大數(shù)據(jù)已經(jīng)從“概念”走向“價值”，逐步進入實施驗證階段。人們越來越期望能實現(xiàn)海量數(shù)據(jù)的處理，從數(shù)據(jù)中發(fā)現(xiàn)價值。數(shù)據(jù)越來越成為一種重要的資產(chǎn)。在2014年Gartner技術炒作曲線的報告中也體現(xiàn)了大數(shù)據(jù)技術將走向實際應用。我行已深刻認識到數(shù)據(jù)戰(zhàn)略對企業(yè)運營以及企業(yè)未來發(fā)展方向的重要性?；ヂ?lián)網(wǎng)金融的本質是金融，核心是數(shù)據(jù)，載體是平臺，關鍵是客戶體

2、驗，發(fā)展趨勢是互聯(lián)網(wǎng)與金融的深度融合，要提升大數(shù)據(jù)貢獻度。因此，要深化互聯(lián)網(wǎng)思維理念，穩(wěn)步推進互聯(lián)網(wǎng)金融產(chǎn)品和服務模式創(chuàng)新，積極利用移動互聯(lián)網(wǎng)、大數(shù)據(jù)等新技術新手段，沉著應對沖擊和挑戰(zhàn)，實現(xiàn)傳統(tǒng)金融與互聯(lián)網(wǎng)金融的融合發(fā)展。做好海量異構數(shù)據(jù)的專業(yè)化整合集成、關聯(lián)共享、安全防護和維護管理，深度挖掘數(shù)據(jù)內(nèi)含的巨大價值，探索銀行業(yè)務創(chuàng)新，實現(xiàn)數(shù)據(jù)資源的綜合應用、深度應用，已成為提升企業(yè)核心競爭力，實現(xiàn)企業(yè)信息化可持續(xù)發(fā)展的關鍵途徑。按照行領導部署，信息科技部組織力量對大數(shù)據(jù)技術進行研究，完成對市場上主流的大數(shù)據(jù)平臺及應用技術預研，征求業(yè)務部門建議，提出項目建設要求。二、建設目標以大數(shù)據(jù)項目建設作為契機

3、，凝聚我行優(yōu)勢力量，全面梳理數(shù)據(jù)資源，完善數(shù)據(jù)體系架構，自主掌握大數(shù)據(jù)關鍵技術，加速大數(shù)據(jù)資源的開發(fā)利用,將數(shù)據(jù)決策化貫穿到經(jīng)營管理全流程，建設智慧銀行，提升核心競爭力。（一）建設大數(shù)據(jù)基礎設施，完善全行數(shù)據(jù)體系架構構建大數(shù)據(jù)平臺，實現(xiàn)更廣泛的半結構化、非結構化數(shù)據(jù)集中采集、存儲、加工、分析和應用，極大地豐富我行的信息資源，同現(xiàn)有的企業(yè)級數(shù)據(jù)倉庫和歷史數(shù)據(jù)存儲系統(tǒng)一起，形成基礎數(shù)據(jù)體系，提供支撐經(jīng)營管理的各類數(shù)據(jù)應用。（二）開發(fā)大數(shù)據(jù)資源，支撐全行經(jīng)營管理創(chuàng)新建設離線數(shù)據(jù)分析、實時數(shù)據(jù)/流數(shù)據(jù)分析集群和各類數(shù)據(jù)分析集市，提供高性能可擴展的分布式計算引擎，通過數(shù)據(jù)挖掘、計量分析和機器學習等手段，

4、對豐富的大數(shù)據(jù)資源進行開發(fā)使用，并將數(shù)據(jù)決策化過程結合到風控、營銷、營運等經(jīng)營管理活動。（三）培養(yǎng)大數(shù)據(jù)人才隊伍，建立大數(shù)據(jù)分析能力結合大數(shù)據(jù)項目的落地實施，建立起一支大數(shù)據(jù)技術和分析人員隊伍，具備自主運營和開發(fā)大數(shù)據(jù)的能力，以更好推動業(yè)務創(chuàng)新，提升我行核心競爭力。三、發(fā)展趨勢近年來，銀行業(yè)大力發(fā)展面向客戶的新一代核心業(yè)務系統(tǒng)，信息系統(tǒng)建設日趨完備，電子銀行等在線金融服務大幅增長，在提升客戶體驗和風險管控能力、滿足監(jiān)管各項要求的同時，形成并儲存了龐大的可用數(shù)據(jù)資源。銀行業(yè)的數(shù)據(jù)資源不僅包括存貸匯等結構化數(shù)據(jù)，也包括客戶瀏覽痕跡、在線交易記錄等非結構化數(shù)據(jù)，還包含客戶電話語音、網(wǎng)點視頻等非結構化

5、數(shù)據(jù)。2012年，銀行業(yè)的電話記錄數(shù)據(jù)、業(yè)務數(shù)據(jù)、數(shù)據(jù)倉庫數(shù)據(jù)、結構化數(shù)據(jù)和非結構化數(shù)據(jù)的數(shù)據(jù)規(guī)模分別達到938T、1688T、3125T、5313T 和 3938T。Celent公司預計未來5年將增長7倍。除數(shù)據(jù)本身的快速增長外，銀行業(yè)面臨的更大的挑戰(zhàn)是大數(shù)據(jù)帶來的業(yè)務挑戰(zhàn)，這包括：小微貸市場上，銀行與互聯(lián)網(wǎng)小額貸款公司難以競爭；支付市場中，網(wǎng)銀支付所占比重越來越低，這使得銀行越來越難以知道客戶的消費行為；各種互聯(lián)網(wǎng)融資模式的出現(xiàn)，在未來可能會超過以銀行為中心的間接融資。所有這些挑戰(zhàn)，本質上是銀行對于客戶的了解程度相對越來越弱。麥肯錫指出，在大數(shù)據(jù)時代，不能充分形成大數(shù)據(jù)使用能力的競爭者將被

6、淘汰。（一）同業(yè)案例情況國內(nèi)領先的商業(yè)銀行已經(jīng)啟動大數(shù)據(jù)平臺的建設，并應用于精準營銷、風險管理和業(yè)務創(chuàng)新等領域，以獲得競爭優(yōu)勢。工商銀行通過構建大數(shù)據(jù)平臺，收集網(wǎng)銀用戶的行為軌跡并進行分析，精準營銷，擴大銷售，優(yōu)化網(wǎng)銀服務模塊的質量，提升客戶體驗。招商銀行通過大數(shù)據(jù)平臺構建全量數(shù)據(jù)分析和挖掘平臺，推出在線明細，實時征信，精準營銷等創(chuàng)新業(yè)務，提升小微貸獲客率。上海銀行構建大數(shù)據(jù)平臺，用于對客戶的資金的流入流出分析。中信銀行、光大銀行、平安銀行、民生銀行都在建設自身的大數(shù)據(jù)平臺。（二）業(yè)務應用場景大數(shù)據(jù)技術在銀行業(yè)的應用范圍包括：客戶洞察、營銷支撐、風險管控和營運優(yōu)化等領域。l 客戶洞察分析用戶的

7、各種數(shù)據(jù)，包括電話語音、網(wǎng)絡的監(jiān)控錄像、商城交易信息、金融業(yè)務信息以及外部的社交信息、第三方履約行為等多方面信息，從而實現(xiàn)對客戶進行分類和服務。對現(xiàn)有CRM系統(tǒng)中的客戶分層的數(shù)據(jù)要素進行延伸。l 營銷支撐實時營銷：是根據(jù)客戶的實時狀態(tài)來進行營銷，如客戶當時的所在地、客戶最近一次消費等信息來有針對地進行營銷。社交網(wǎng)絡營銷：主要是微博營銷，這主要是捕捉用戶的言論和行為，并有針對地開展相關營銷活動。事件式營銷：將改變生活的事件視為營銷機會，如換工作、改變婚姻狀況、置業(yè)等。l 風險管控信用評級：運用社交網(wǎng)絡、行為特征、交易網(wǎng)、基本社會特征、人行征信等多個維度對客戶綜合評級，運用大量的指標構建多重模型，

8、以識別客戶的信用風險。反欺詐：通過監(jiān)控客戶、賬戶和渠道等，提高銀行在交易、轉賬和在線付款等領域防御欺詐的能力。在監(jiān)控客戶行為時，可以識別出潛在的違規(guī)客戶，提示工作人員對其予以重點關注，從而節(jié)省反欺詐監(jiān)控資源。l 營運優(yōu)化改善用戶體驗：運用大數(shù)據(jù)能夠處理海量數(shù)據(jù)的能力，將傳統(tǒng)數(shù)據(jù)統(tǒng)計分析等業(yè)務切換到數(shù)據(jù)處理能力更強的平臺，來解決查詢歷史數(shù)據(jù)的困難，提升用戶體驗?？头行膬?yōu)化：通過對客服中心的數(shù)據(jù)分析，允許銀行提前預測用戶需求用以快速地解決問題，能夠快速滿足用戶的需求。降低運營成本：大數(shù)據(jù)平臺采用普通的PC服務器和廉價存儲，相對原有的小型機的硬件架構，可以有效的降低IT運營成本。四、平臺建設原則平

9、臺是大數(shù)據(jù)的基礎實施，其建設、設計和系統(tǒng)實現(xiàn)過程中，應遵循如下指導原則：l 經(jīng)濟性：基于現(xiàn)有場景分析，對三年內(nèi)的數(shù)據(jù)量進行合理評估，確定大數(shù)據(jù)平臺規(guī)模，后續(xù)根據(jù)實際情況再逐步優(yōu)化擴容。l 可擴展性：架構設計與功能劃分模塊化，考慮各接口的開放性、可擴展性，便于系統(tǒng)的快速擴展與維護，便于第三方系統(tǒng)的快速接入。l 可靠性：系統(tǒng)采用的系統(tǒng)結構、技術措施、開發(fā)手段都應建立在已經(jīng)相當成熟的應用基礎上，在技術服務和維護響應上同用戶積極配合，確保系統(tǒng)的可靠；對數(shù)據(jù)指標要保證完整性，準確性。l 安全性：針對系統(tǒng)級、應用級、網(wǎng)絡級，均提供合理的安全手段和措施，為系統(tǒng)提供全方位的安全實施方案，確保企業(yè)內(nèi)部信息的安全

10、。大數(shù)據(jù)技術必須自主可控。l 先進性：涵蓋結構化，半結構化和非結構化數(shù)據(jù)存儲和分析的特點。借鑒互聯(lián)網(wǎng)大數(shù)據(jù)存儲及分析的實踐，使平臺具有良好的先進性和彈性。支撐當前及未來數(shù)據(jù)應用需求，引入對應大數(shù)據(jù)相關技術。l 平臺性：歸納整理大數(shù)據(jù)需求，形成統(tǒng)一的大數(shù)據(jù)存儲服務和大數(shù)據(jù)分析服務。利用多租戶, 實現(xiàn)計算負荷和數(shù)據(jù)訪問負荷隔離。多集群統(tǒng)一管理。l 分層解耦：大數(shù)據(jù)平臺提供開放的、標準的接口，實現(xiàn)與各應用產(chǎn)品的無縫對接。五、分析應用規(guī)劃大數(shù)據(jù)項目實施在保持核心賬務系統(tǒng)穩(wěn)定同時，實現(xiàn)外圍IT架構逐步向開放架構演進，同時逐步吸納互聯(lián)網(wǎng)技術創(chuàng)新，應對大數(shù)據(jù)技術的快速發(fā)展和進化。以全行三年戰(zhàn)略發(fā)展規(guī)劃和十三

11、五規(guī)劃為導向，借鑒同業(yè)和互聯(lián)網(wǎng)企業(yè)的先進經(jīng)驗，分步實施分析應用，基礎平臺、外圍系統(tǒng)改造以及業(yè)務流程優(yōu)化相應地進行配套調(diào)整。規(guī)劃的大數(shù)據(jù)平臺及應用的整體架構如下：大數(shù)據(jù)平臺重點功能模塊定位如下：l 基礎數(shù)據(jù)集群使用分布式文件系統(tǒng)和數(shù)據(jù)庫等組件實現(xiàn)全量結構化數(shù)據(jù)和非結構化數(shù)據(jù)存儲，并提供標準接口或Rest標準接口，上層業(yè)務以只讀方式訪問。數(shù)據(jù)使用平臺集成的工具批量導入導出。l 在線處理集群基礎數(shù)據(jù)集群中的存放的往往是低價值密度的數(shù)據(jù)，經(jīng)過加工處理后，提取出高價值密度的數(shù)據(jù)，放入在線查詢集群，支撐實時業(yè)務、自助查詢等高并發(fā)，低時延的數(shù)據(jù)查詢。l 離線處理集群離線數(shù)據(jù)處理集群主要用于海量數(shù)據(jù)的分析處理

12、，提供數(shù)據(jù)挖掘、數(shù)據(jù)探索功能框架，從海量數(shù)據(jù)中提取高密度價值的數(shù)據(jù)。適用于對海量用戶行為數(shù)據(jù)挖掘、建模，以支撐以客戶為中心的精準營銷、決策分析等應用場景。l 流式處理集群使用流式處理組件，將實時數(shù)據(jù)接入。通過注入實時業(yè)務處理規(guī)則，對事件做分析處理，實時決策。流事件處理過程中，需要訪問基礎集群或在線處理集群，獲取必要的支撐信息，如風險信息表、黑白名單、歷史交易信息等，要求支持每秒萬級別并發(fā)數(shù)據(jù)訪問。適用于信用卡授權風險控制、移動在線支付、在線統(tǒng)計分析等對實時性要求較高的場景。大數(shù)據(jù)平臺的數(shù)據(jù)來源及應用場景規(guī)劃如下：計劃分三步進行實施，如下：（一）2015年完成大數(shù)據(jù)基礎平臺的搭建，構建簡單的查詢

13、分析應用，科技人員熟悉平臺關鍵技術和開發(fā)技能。l 基礎平臺完成大數(shù)據(jù)平臺的搭建，實現(xiàn)平臺的基礎功能和基礎數(shù)據(jù)集群。完成HDS歷史數(shù)據(jù)、科技運維日志、網(wǎng)銀日志、智能營銷網(wǎng)頁信息數(shù)據(jù)的存儲。構建多種數(shù)據(jù)挖掘算法庫。完成基礎數(shù)據(jù)平臺對外數(shù)據(jù)服務的標準化接口。l 分析應用完成資金流向分析主題和歷史數(shù)據(jù)內(nèi)部查詢交易。提出直銷銀行、手機銀行、微信銀行的數(shù)據(jù)采集點數(shù)據(jù)要求。提出用于支撐營銷的個人信息的數(shù)據(jù)采集要求。l 外圍系統(tǒng)改造完成直銷銀行、手機銀行、微信銀行的數(shù)據(jù)采集點改造，將行為日志數(shù)據(jù)記錄下來。（二）2016-2017年完善大數(shù)據(jù)基礎平臺，增加離線數(shù)據(jù)處理集群，采集行內(nèi)各系統(tǒng)產(chǎn)生的客戶行為數(shù)據(jù)，第三

14、方合作機構（含同業(yè)）的外部數(shù)據(jù)，豐富客戶營銷、風險管理方面的數(shù)據(jù)信息，探索大數(shù)據(jù)同云計算平臺的結合，構建相應的分析應用系統(tǒng)，將數(shù)據(jù)決策融入營銷和風控過程?？萍既藛T掌握平臺關鍵技術，能夠自主營運開發(fā)。l 基礎平臺增加離線數(shù)據(jù)處理集群，完善多種數(shù)據(jù)挖掘算法庫，用于對海量數(shù)據(jù)進行加工處理，分析應用。采集客戶行為數(shù)據(jù)，包括直銷銀行、手機銀行、微信銀行等。遷移影像平臺的歷史數(shù)據(jù)。采集同業(yè)產(chǎn)品信息，我行網(wǎng)上輿論信息，特定客戶和行內(nèi)的互聯(lián)網(wǎng)輿情信息，第三方合作機構、銀銀合作平臺的外部數(shù)據(jù)。l 分析應用構建數(shù)據(jù)分析應用云計算平臺，實現(xiàn)半結構化、非結構化數(shù)據(jù)的解析功能，完善支撐數(shù)據(jù)分析應用集市，提供更多的數(shù)據(jù)服

15、務，實現(xiàn)靈活深入的客戶細分、專業(yè)化的營銷與銷售、優(yōu)化管理流程，提升運作效率、降低管理成本。主要應用方向包括：客戶畫像分析（個性化理財、交叉銷售、客戶挽留）。輿情分析（對產(chǎn)品的比較、評價等反饋，進行營運優(yōu)化）。網(wǎng)站分析（手機終端、微信、直銷銀行等），分析客戶行為?？萍歼\維優(yōu)化（結合ITSM、系統(tǒng)運維日志分析事件、問題的關聯(lián)性、各類統(tǒng)計等）。信用風險（在現(xiàn)有的信用評級體系中，增加外部數(shù)據(jù)來源，優(yōu)化評級結果），完善自動化授信審批，尤其是針對小微企業(yè)或特定產(chǎn)品，推出信貸差異化定價體系，做到對不同產(chǎn)品、不同行業(yè)、不同區(qū)域實施差別化定價。分析個人的活躍地址、商戶的地址，結合個人移動終端地理位置信息推送商戶營銷信息；針對交易流水，結合MCC類別碼，識別出客戶愛好。l 業(yè)務流程將客戶畫像、行為分析結果反饋到CRM系統(tǒng)用于營銷支持。將網(wǎng)站分析結果反饋到網(wǎng)站營運中，優(yōu)化布局。將信用評級結果反饋到現(xiàn)有的信貸授信過程。（三）2018年以后完善大數(shù)據(jù)基礎平臺，增加在線和流式數(shù)據(jù)處理集群，通過構建計量模型和機器學習算法，針對數(shù)據(jù)分析的結果，對實時業(yè)務進行自動、快速的數(shù)據(jù)化決策支持。科技人員熟練掌握平臺關鍵技術。l 基礎平臺增加在線和流式數(shù)據(jù)處理集群，用于對海量數(shù)據(jù)進行