商業(yè)銀行~大數(shù)據(jù)建設(shè)規(guī)劃

1、XX銀行大數(shù)據(jù)建設(shè)規(guī)劃一、工程背景隨著信息化程度的加深,以及移動(dòng)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)的崛起,人們 產(chǎn)生的數(shù)據(jù)急劇膨脹,傳統(tǒng)的數(shù)據(jù)處理技術(shù)難以支撐數(shù)據(jù)大量的增長 和處理水平.經(jīng)過近幾年的開展,大數(shù)據(jù)技術(shù)逐步成熟,可以幫助企 業(yè)整合更多的數(shù)據(jù),從海量數(shù)據(jù)中挖掘出隱藏價(jià)值.大數(shù)據(jù)已經(jīng)從“概 念走向“價(jià)值,逐步進(jìn)入實(shí)施驗(yàn)證階段.人們越來越期望能實(shí)現(xiàn) 海量數(shù)據(jù)的處理,從數(shù)據(jù)中發(fā)現(xiàn)價(jià)值.數(shù)據(jù)越來越成為一種重要的資 產(chǎn).在2021年Gartner技術(shù)炒作曲線的報(bào)告中也表達(dá)了大數(shù)據(jù)技術(shù) 將走向?qū)嶋H應(yīng)用.我行已深刻熟悉到數(shù)據(jù)戰(zhàn)略對企業(yè)運(yùn)營以及企業(yè)未來開展方向 的重要性.互聯(lián)網(wǎng)金融的本質(zhì)是金融,核心是數(shù)據(jù),載體是平臺,

2、關(guān) 鍵是客戶體驗(yàn),開展趨勢是互聯(lián)網(wǎng)與金融的深度融合, 要提升大數(shù)據(jù) 奉獻(xiàn)度.因此,要深化互聯(lián)網(wǎng)思維理念,穩(wěn)步推進(jìn)互聯(lián)網(wǎng)金融產(chǎn)品和 效勞模式創(chuàng)新,積極利用移動(dòng)互聯(lián)網(wǎng)、大數(shù)據(jù)等新技術(shù)新手段,沉著 應(yīng)對沖擊和挑戰(zhàn),實(shí)現(xiàn)傳統(tǒng)金融與互聯(lián)網(wǎng)金融的融合開展. 做好海量 異構(gòu)數(shù)據(jù)的專業(yè)化整合集成、關(guān)聯(lián)共享、平安防護(hù)和維護(hù)治理,深度 挖掘數(shù)據(jù)含的巨大價(jià)值,探索銀行業(yè)務(wù)創(chuàng)新,實(shí)現(xiàn)數(shù)據(jù)資源的綜合應(yīng) 用、深度應(yīng)用,已成為提升企業(yè)核心競爭力,實(shí)現(xiàn)企業(yè)信息化可持續(xù) 開展的關(guān)鍵途徑.根據(jù)行領(lǐng)導(dǎo)部署,信息科技部組織力量對大數(shù)據(jù)技 術(shù)進(jìn)行研究,完成對市場上主流的大數(shù)據(jù)平臺及應(yīng)用技術(shù)預(yù)研,征求業(yè)務(wù)部門建議,提出工程建設(shè)要求.二、

3、建設(shè)目標(biāo)以大數(shù)據(jù)工程建設(shè)作為契機(jī),凝聚我行優(yōu)勢力量,全面梳理數(shù)據(jù) 資源,完善數(shù)據(jù)體系架構(gòu),自主掌握大數(shù)據(jù)關(guān)鍵技術(shù),加速大數(shù)據(jù)資 源的開發(fā)利用,將數(shù)據(jù)決策化貫穿到經(jīng)營治理全流程,建設(shè)智慧銀行, 提升核心競爭力.一建設(shè)大數(shù)據(jù)根底設(shè)施,完善全行數(shù)據(jù)體系架構(gòu)構(gòu)建大數(shù)據(jù)平臺,實(shí)現(xiàn)更廣泛的半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)集中采 集、存儲、加工、分析和應(yīng)用,極豐富我行的信息資源,同現(xiàn)有的企 業(yè)級數(shù)據(jù)倉庫和歷史數(shù)據(jù)存儲系統(tǒng)一起,形成根底數(shù)據(jù)體系,提供支 撐經(jīng)營治理的各類數(shù)據(jù)應(yīng)用.二開發(fā)大數(shù)據(jù)資源,支撐全行經(jīng)營治理創(chuàng)新建設(shè)離線數(shù)據(jù)分析、實(shí)時(shí)數(shù)據(jù)/流數(shù)據(jù)分析集群和各類數(shù)據(jù)分析 集市,提供高性能可擴(kuò)展的分布式計(jì)算引擎,通過數(shù)

4、據(jù)挖掘、計(jì)量分 析和機(jī)器學(xué)習(xí)等手段,對豐富的大數(shù)據(jù)資源進(jìn)行開發(fā)使用,并將數(shù)據(jù) 決策化過程結(jié)合到風(fēng)控、營銷、營運(yùn)等經(jīng)營治理活動(dòng).三培養(yǎng)大數(shù)據(jù)人才隊(duì)伍,建立大數(shù)據(jù)分析水平結(jié)合大數(shù)據(jù)工程的落地實(shí)施,建立起一支大數(shù)據(jù)技術(shù)和分析人員 隊(duì)伍,具備自主運(yùn)營和開發(fā)大數(shù)據(jù)的水平,以更好推動(dòng)業(yè)務(wù)創(chuàng)新,提 升我行核心競爭力.三、開展趨勢近年來,銀行業(yè)大力開展面向客戶的新一代核心業(yè)務(wù)系統(tǒng),信息系統(tǒng)建設(shè)日趨完備,電子銀行等在線金融效勞大幅增長, 在提升客戶 體驗(yàn)和風(fēng)險(xiǎn)管控水平、滿足監(jiān)管各項(xiàng)要求的同時(shí),形成并儲存了龐大 的可用數(shù)據(jù)資源.銀行業(yè)的數(shù)據(jù)資源不僅包括存貸匯等結(jié)構(gòu)化數(shù)據(jù), 也包括客戶瀏覽痕跡、在線交易記錄等非結(jié)構(gòu)

5、化數(shù)據(jù),還包含客戶語 音、網(wǎng)點(diǎn)視頻等非結(jié)構(gòu)化數(shù)據(jù).2021年,銀行業(yè)的記錄數(shù)據(jù)、業(yè)務(wù) 數(shù)據(jù)、數(shù)據(jù)倉庫數(shù)據(jù)、結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)規(guī)模分別達(dá)到 938T、1688T、3125T、5313T 和 3938T.Celent 公司預(yù)計(jì)未 來5年將增長7倍.除數(shù)據(jù)本身的快速增長外,銀行業(yè)面臨的更大的挑戰(zhàn)是大數(shù)據(jù)帶 來的業(yè)務(wù)挑戰(zhàn),這包括：小微貸市場上,銀行與互聯(lián)網(wǎng)小額貸款公司 難以競爭；支付市場中,網(wǎng)銀支付所占比重越來越低,這使得銀行越 來越難以知道客戶的消費(fèi)行為；各種互聯(lián)網(wǎng)融資模式的出現(xiàn),在未來 可能會(huì)超過以銀行為中央的間接融資. 所有這些挑戰(zhàn),本質(zhì)上是銀行 對于客戶的了解程度相對越來越弱.麥肯

6、錫指出,在大數(shù)據(jù)時(shí)代,不 能充分形成大數(shù)據(jù)使用水平的競爭者將被淘汰.一同業(yè)案例情況國領(lǐng)先的商業(yè)銀行已經(jīng)啟動(dòng)大數(shù)據(jù)平臺的建設(shè), 并應(yīng)用于精準(zhǔn)營 銷、風(fēng)險(xiǎn)治理和業(yè)務(wù)創(chuàng)新等領(lǐng)域,以獲得競爭優(yōu)勢.工商銀行通過構(gòu) 建大數(shù)據(jù)平臺,收集網(wǎng)銀用戶的行為軌跡并進(jìn)行分析,精準(zhǔn)營銷,擴(kuò) 大銷售,優(yōu)化網(wǎng)銀效勞模塊的質(zhì)量,提升客戶體驗(yàn).招商銀行通過大 數(shù)據(jù)平臺構(gòu)建全量數(shù)據(jù)分析和挖掘平臺,推出在線明細(xì),實(shí)時(shí)征信, 精準(zhǔn)營銷等創(chuàng)新業(yè)務(wù),提升小微貸獲客率.銀行構(gòu)建大數(shù)據(jù)平臺,用 于對客戶的資金的流入流出分析.銀行、光大銀行、平安銀行、民生 銀行都在建設(shè)自身的大數(shù)據(jù)平臺.二業(yè)務(wù)應(yīng)用場景大數(shù)據(jù)技術(shù)在銀行業(yè)的應(yīng)用圍包括：客戶洞察、

7、營銷支撐、風(fēng)險(xiǎn) 管控和營運(yùn)優(yōu)化等領(lǐng)域.客戶洞察分析用戶的各種數(shù)據(jù),包括語音、網(wǎng)絡(luò)的監(jiān)控錄像、商城交易信 息、金融業(yè)務(wù)信息以及外部的社交信息、第三方履約行為等多方面信 息,從而實(shí)現(xiàn)對客戶進(jìn)行分類和效勞.對現(xiàn)有 CRM系統(tǒng)中的客戶分 層的數(shù)據(jù)要素進(jìn)行延伸.營銷支撐實(shí)時(shí)營銷：是根據(jù)客戶的實(shí)時(shí)狀態(tài)來進(jìn)行營銷,如客戶當(dāng)時(shí)的所 在地、客戶最近一次消費(fèi)等信息來有針對地進(jìn)行營銷.社交網(wǎng)絡(luò)營銷：主要是微博營銷,這主要是捕捉用戶的言論和行 為,并有針對地開展相關(guān)營銷活動(dòng).事件式營銷：將改變生活的事件視為營銷時(shí)機(jī),如換工作、改變 婚姻狀況、置業(yè)等.風(fēng)險(xiǎn)管控信用評級：運(yùn)用社交網(wǎng)絡(luò)、行為特征、交易網(wǎng)、根本社會(huì)特征、 人

8、行征信等多個(gè)維度對客戶綜合評級,運(yùn)用大量的指標(biāo)構(gòu)建多重模 型,以識別客戶的信用風(fēng)險(xiǎn).反欺詐：通過監(jiān)控客戶、賬戶和渠道等,提升銀行在交易、轉(zhuǎn)賬 和在線付款等領(lǐng)域防御欺詐的水平. 在監(jiān)控客戶行為時(shí),可以識別出 潛在的違規(guī)客戶,提示工作人員對其予以重點(diǎn)關(guān)注, 從而節(jié)省反欺詐 監(jiān)控資源.營運(yùn)優(yōu)化改善用戶體驗(yàn)：運(yùn)用大數(shù)據(jù)能夠處理海量數(shù)據(jù)的水平, 將傳統(tǒng)數(shù) 據(jù)統(tǒng)計(jì)分析等業(yè)務(wù)切換到數(shù)據(jù)處理水平更強(qiáng)的平臺,來解決查詢歷史 數(shù)據(jù)的困難,提升用戶體驗(yàn).客服中央優(yōu)化：通過對客服中央的數(shù)據(jù)分析,允許銀行提前預(yù)測 用戶需求用以快速地解決問題,能夠快速滿足用戶的需求.降低運(yùn)營本錢：大數(shù)據(jù)平臺采用普通的 PC效勞器和廉價(jià)存

9、儲, 相對原有的小型機(jī)的硬件架構(gòu),可以有效的降低IT運(yùn)營本錢.四、平臺建設(shè)原那么平臺是大數(shù)據(jù)的根底實(shí)施,其建設(shè)、設(shè)計(jì)和系統(tǒng)實(shí)現(xiàn)過程中,應(yīng) 遵循如下指導(dǎo)原那么：經(jīng)濟(jì)性：基于現(xiàn)有場景分析,對三年的數(shù)據(jù)量進(jìn)行合理評估, 確定大數(shù)據(jù)平臺規(guī)模,后續(xù)根據(jù)實(shí)際情況再逐步優(yōu)化擴(kuò)容.可擴(kuò)展性：架構(gòu)設(shè)計(jì)與功能劃分模塊化,考慮各接口的開放性、 可擴(kuò)展性,便于系統(tǒng)的快速擴(kuò)展與維護(hù),便于第三方系統(tǒng)的快速接入.可靠性：系統(tǒng)采用的系統(tǒng)結(jié)構(gòu)、技術(shù)舉措、開發(fā)手段都應(yīng)建立 在已經(jīng)相當(dāng)成熟的應(yīng)用根底上,在技術(shù)效勞和維護(hù)響應(yīng)上同用戶積極 配合,保證系統(tǒng)的可靠；對數(shù)據(jù)指標(biāo)要保證完整性,準(zhǔn)確性.平安性：針對系統(tǒng)級、應(yīng)用級、網(wǎng)絡(luò)級,均提供

10、合理的平安手 段和舉措,為系統(tǒng)提供全方位的平安實(shí)施方案,保證企業(yè)部信息的安 全.大數(shù)據(jù)技術(shù)必須自主可控.先進(jìn)性：涵蓋結(jié)構(gòu)化,半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)存儲和分析的 特點(diǎn).借鑒互聯(lián)網(wǎng)大數(shù)據(jù)存儲及分析的實(shí)踐, 使平臺具有良好的先進(jìn) 性和彈性.支撐當(dāng)前及未來數(shù)據(jù)應(yīng)用需求,引入對應(yīng)大數(shù)據(jù)相關(guān)技術(shù).平臺性：歸納整理大數(shù)據(jù)需求,形成統(tǒng)一的大數(shù)據(jù)存儲效勞和 大數(shù)據(jù)分析效勞.利用多租戶,實(shí)現(xiàn)計(jì)算負(fù)荷和數(shù)據(jù)訪問負(fù)荷隔離. 多集群統(tǒng)一治理.分層解耦：大數(shù)據(jù)平臺提供開放的、標(biāo)準(zhǔn)的接口,實(shí)現(xiàn)與各應(yīng) 用產(chǎn)品的無縫對接.五、分析應(yīng)用規(guī)劃大數(shù)據(jù)工程實(shí)施在保持核心賬務(wù)系統(tǒng)穩(wěn)定同時(shí),實(shí)現(xiàn)外圍 IT架 構(gòu)逐步向開放架構(gòu)演進(jìn),同時(shí)逐步

11、吸納互聯(lián)網(wǎng)技術(shù)創(chuàng)新,應(yīng)對大數(shù)據(jù) 技術(shù)的快速開展和進(jìn)化.以全行三年戰(zhàn)略開展規(guī)劃和十三五規(guī)劃為導(dǎo)向,借鑒同業(yè)和互聯(lián)網(wǎng)企業(yè)的先進(jìn)經(jīng)驗(yàn),分步實(shí)施分析應(yīng)用,根底平臺、外圍系統(tǒng)改造以 及業(yè)務(wù)流程優(yōu)化相應(yīng)地進(jìn)行配套調(diào)整.規(guī)劃的大數(shù)據(jù)平臺及應(yīng)用的整體架構(gòu)如下：一樂姓出內(nèi)容 二期掛上內(nèi)白 三郎之一,苑巷小曲狗ISV版供匠把歷史明細(xì)直詢應(yīng)用 精準(zhǔn)營悄實(shí)時(shí)應(yīng)用其它創(chuàng)新類應(yīng)用也吐旺二析行為分聽用戶,鐮宜且繼事件營銷數(shù)真院作強(qiáng)好數(shù)據(jù)直同服各HEI&se Imp al a ELKhdfsa i-耐目隼肝W出版摑段本-Itase運(yùn)唯治理平安管唾大數(shù)據(jù)平臺重點(diǎn)功能模塊定位如下：根底數(shù)據(jù)集群使用分布式文件系統(tǒng)和數(shù)據(jù)庫等

12、組件實(shí)現(xiàn)全量結(jié)構(gòu)化數(shù)據(jù)和非 結(jié)構(gòu)化數(shù)據(jù)存儲,并提供標(biāo)準(zhǔn)接口或 Rest標(biāo)準(zhǔn)接口,上層業(yè)務(wù)以只 讀方式訪問.數(shù)據(jù)使用平臺集成的工具批量導(dǎo)入導(dǎo)出.在線處理集群根底數(shù)據(jù)集群中的存放的往往是低價(jià)值密度的數(shù)據(jù), 經(jīng)過加工處 理后,提取出高價(jià)值密度的數(shù)據(jù),放入在線查詢集群,支撐實(shí)時(shí)業(yè)務(wù)、 自助查詢等高并發(fā),低時(shí)延的數(shù)據(jù)查詢.離線處理集群離線數(shù)據(jù)處理集群主要用于海量數(shù)據(jù)的分析處理,提供數(shù)據(jù)挖 掘、數(shù)據(jù)探索功能框架,從海量數(shù)據(jù)中提取高密度價(jià)值的數(shù)據(jù).適用于對海量用戶行為數(shù)據(jù)挖掘、建模,以支撐以客戶為中央的精準(zhǔn)營銷、 決策分析等應(yīng)用場景.流式處理集群使用流式處理組件,將實(shí)時(shí)數(shù)據(jù)接入.通過注入實(shí)時(shí)業(yè)務(wù)處理規(guī) 那么

13、,對事件做分析處理,實(shí)時(shí)決策.流事件處理過程中,需要訪問基 礎(chǔ)集群或在線處理集群,獲取必要的支撐信息,如風(fēng)險(xiǎn)信息表、黑白、 歷史交易信息等,要求支持每秒萬級別并發(fā)數(shù)據(jù)訪問. 適用于信用卡 授權(quán)風(fēng)險(xiǎn)限制、移動(dòng)在線支付、在線統(tǒng)計(jì)分析等對實(shí)時(shí)性要求較高的 場景.大數(shù)據(jù)平臺的數(shù)據(jù)來源及應(yīng)用場景規(guī)劃如下：IL務(wù)價(jià)值應(yīng)用場景喜p一四星知值管®網(wǎng)站分*|«能直身智雷富以力徐費(fèi)十住北理射交叉留住一我PSS馱春理相分析實(shí)時(shí)苦俏事件營植運(yùn)維HX分析信電平安分W用盧清蒂他司谷r席基 藺也惶is信宿 客戶丐st值 產(chǎn)品運(yùn)首托工 品版主誓它第三方資信物吊束源移動(dòng)寶化信息人行證信客戶信乒.方&

14、里逋詛系籟運(yùn)斤口帝春照詢音行上和士瓜信息用相平W、第三方鉆據(jù)交挽方案分三步進(jìn)行實(shí)施,如下:一2021 年完成大數(shù)據(jù)根底平臺的搭建,構(gòu)建簡單的查詢分析應(yīng)用,科技人 員熟悉平臺關(guān)鍵技術(shù)和開發(fā)技能.根底平臺完成大數(shù)據(jù)平臺的搭建,實(shí)現(xiàn)平臺的根底功能和根底數(shù)據(jù)集群.完成HDS歷史數(shù)據(jù)、科技運(yùn)維日志、網(wǎng)銀日志、智能營銷網(wǎng)頁 信息數(shù)據(jù)的存儲.構(gòu)建多種數(shù)據(jù)挖掘算法庫.完成根底數(shù)據(jù)平臺對外數(shù)據(jù)效勞的標(biāo)準(zhǔn)化接口.分析應(yīng)用完成資金流向分析主題和歷史數(shù)據(jù)部查詢交易.提出直銷銀行、 銀行、微信銀行的數(shù)據(jù)采集點(diǎn)數(shù)據(jù)要求.提出用于支撐營銷的個(gè)人信息的數(shù)據(jù)采集要求.外圍系統(tǒng)改造完成直銷銀行、 銀行、微信銀行的數(shù)據(jù)采集點(diǎn)改造,

15、將行為 日志數(shù)據(jù)記錄下來.二2021-2021 年完善大數(shù)據(jù)根底平臺,增加離線數(shù)據(jù)處理集群,采集行各系統(tǒng)產(chǎn) 生的客戶行為數(shù)據(jù),第三方合作機(jī)構(gòu)含同業(yè)的外部數(shù)據(jù),豐富客 戶營銷、風(fēng)險(xiǎn)治理方面的數(shù)據(jù)信息,探索大數(shù)據(jù)同云計(jì)算平臺的結(jié)合, 構(gòu)建相應(yīng)的分析應(yīng)用系統(tǒng),將數(shù)據(jù)決策融入營銷和風(fēng)控過程.科技人 員掌握平臺關(guān)鍵技術(shù),能夠自主營運(yùn)開發(fā).根底平臺增加離線數(shù)據(jù)處理集群,完善多種數(shù)據(jù)挖掘算法庫,用于對海量 數(shù)據(jù)進(jìn)行加工處理,分析應(yīng)用采集客戶行為數(shù)據(jù),包括直銷銀行、 銀行、微信銀行等.遷移影像平臺的歷史數(shù)據(jù).采集同業(yè)產(chǎn)品信息,我行網(wǎng)上輿論信息,特定客戶和行的互聯(lián)網(wǎng) 輿情信息,第三方合作機(jī)構(gòu)、銀銀合作平臺的外部

16、數(shù)據(jù).分析應(yīng)用構(gòu)建數(shù)據(jù)分析應(yīng)用云計(jì)算平臺,實(shí)現(xiàn)半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)的 解析功能,完善支撐數(shù)據(jù)分析應(yīng)用集市,提供更多的數(shù)據(jù)效勞,實(shí)現(xiàn) 靈活深入的客戶細(xì)分、專業(yè)化的營銷與銷售、優(yōu)化治理流程,提升運(yùn) 作效率、降低治理本錢.主要應(yīng)用方向包括：客戶畫像分析個(gè)性化理財(cái)、交叉銷售、客戶挽留.輿情分析對產(chǎn)品的比擬、評價(jià)等反應(yīng),進(jìn)行營運(yùn)優(yōu)化.分析 終端、微信、直銷銀行等,分析客戶行為.科技運(yùn)維優(yōu)化結(jié)合ITSM、系統(tǒng)運(yùn)維日志分析事件、問題的關(guān) 聯(lián)性、各類統(tǒng)計(jì)等.信用風(fēng)險(xiǎn)在現(xiàn)有的信用評級體系中,增加外部數(shù)據(jù)來源,優(yōu)化 評級結(jié)果,完善自動(dòng)化授信審批,尤其是針對小微企業(yè)或特定產(chǎn)品, 推出信貸差異化定價(jià)體系,做到對不同產(chǎn)品、不同行業(yè)、不同區(qū)域?qū)?施差異化定價(jià).分析個(gè)人的活潑地址、商戶的地址,結(jié)合個(gè)人移動(dòng)終端地理位置 信息推送商戶營銷信息；針對交易流水,結(jié)合 MCC類別碼,識別出 客戶愛好.業(yè)務(wù)流程將客戶畫像、行為分析結(jié)果反應(yīng)到 CRM系統(tǒng)用于營銷支持.將分析結(jié)果反應(yīng)到營運(yùn)中,優(yōu)化布局.將信用評級結(jié)果反應(yīng)到現(xiàn)有的信貸授信過程.三2021年以后完善大數(shù)據(jù)根底平臺,增加在線和流式數(shù)據(jù)處理集群,通過構(gòu)建 計(jì)量模型和機(jī)器學(xué)習(xí)算法,針對數(shù)據(jù)分析的結(jié)果,對實(shí)時(shí)業(yè)務(wù)進(jìn)行自 動(dòng)、快速的數(shù)據(jù)化決策支持.科技人員熟練掌握平臺關(guān)鍵技術(shù).根底平臺增加在線和