淺談銀行大數(shù)據(jù)應(yīng)用

1、淺談銀行大數(shù)據(jù)應(yīng)用摘 要“數(shù)據(jù)，已經(jīng)滲透到當(dāng)今每一個(gè)行業(yè)和業(yè)務(wù)職能領(lǐng)域，成為重要的生產(chǎn)因素。人們對(duì)于海量數(shù)據(jù)的挖掘和運(yùn)用，預(yù)示著新一波生產(chǎn)率增長(zhǎng)和消費(fèi)者盈余浪潮的到來?！?在大數(shù)據(jù)時(shí)代里,互聯(lián)網(wǎng)金融是銀行業(yè)不得不面對(duì)的競(jìng)爭(zhēng)領(lǐng)域，銀行需要的是切實(shí)可行、直達(dá)要害的業(yè)務(wù)轉(zhuǎn)型和經(jīng)營(yíng)策略，同時(shí)對(duì)數(shù)據(jù)挖掘和分析能力的不足嚴(yán)重影響銀行的發(fā)展。針對(duì)以上情況，引入大數(shù)據(jù)應(yīng)用是可行的解決方案。本文首先介紹了大數(shù)據(jù)的概念、大數(shù)據(jù)分析、大數(shù)據(jù)的主要特點(diǎn)、大數(shù)據(jù)處理的流程及大數(shù)據(jù)技術(shù)包含的內(nèi)容，針對(duì)大數(shù)據(jù)水平可以對(duì)銀行的應(yīng)用重點(diǎn)和適用范圍進(jìn)行了分析和研究，最后進(jìn)行了總結(jié)和展望。關(guān)鍵詞：大數(shù)據(jù) 大數(shù)據(jù)應(yīng)用 銀行一、 引言

2、銀行業(yè)是一個(gè)數(shù)據(jù)驅(qū)動(dòng)的行業(yè)，數(shù)據(jù)也一直是銀行信息化發(fā)展的主題詞。起初，要求帳務(wù)數(shù)據(jù)的統(tǒng)一，通過數(shù)據(jù)大集中和統(tǒng)一的核心業(yè)務(wù)系統(tǒng)來實(shí)現(xiàn)。第二步，要求客戶數(shù)據(jù)的統(tǒng)一，支撐以客戶為中心的多渠道服務(wù)和信息整合。第三步，要求建立主數(shù)據(jù)管理模型，分析產(chǎn)品、客戶、資金、組織、人員等主數(shù)據(jù)，建立企業(yè)級(jí)數(shù)據(jù)模型，實(shí)現(xiàn)基于數(shù)據(jù)挖掘和分析的銀行商業(yè)智能。在互聯(lián)網(wǎng)金融時(shí)代或者大數(shù)據(jù)金融時(shí)代，銀行信息化進(jìn)入了一個(gè)新的發(fā)展階段：大數(shù)據(jù)應(yīng)用。隨著2013年6月以來“余額寶”、“活期寶”的相繼推出，陸續(xù)揭竿而起的互聯(lián)網(wǎng)金融創(chuàng)新產(chǎn)品，彰顯出互聯(lián)網(wǎng)平臺(tái)意欲分切互聯(lián)網(wǎng)金融市場(chǎng)蛋糕、建立互聯(lián)網(wǎng)金融帝國(guó)的“勃勃野心”。馬云指出“金融互聯(lián)

3、網(wǎng)和互聯(lián)網(wǎng)金融是未來金融兩大機(jī)會(huì)”。金融網(wǎng)絡(luò)化和網(wǎng)絡(luò)金融化既是對(duì)商業(yè)銀行的重大挑戰(zhàn)，更是重新洗牌的絕佳機(jī)遇。為此，為應(yīng)對(duì)大數(shù)據(jù)時(shí)代的挑戰(zhàn)，商業(yè)銀行必須關(guān)注抓住機(jī)遇實(shí)現(xiàn)新的跨越。二、 大數(shù)據(jù)（一）大數(shù)據(jù)概念“大數(shù)據(jù)”是一個(gè)體量特別大，數(shù)據(jù)類別特別大的數(shù)據(jù)集，并且這樣的數(shù)據(jù)集無(wú)法用傳統(tǒng)數(shù)據(jù)庫(kù)工具對(duì)其內(nèi)容進(jìn)行抓取、管理和處理。 大數(shù)據(jù)是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)。從數(shù)據(jù)的類別上看，大數(shù)據(jù)指的是無(wú)法使用傳統(tǒng)流程或工具處理或分析的信息。它定義了那些超出正常處理范圍和大小、迫使用戶采用非傳統(tǒng)處理方法的數(shù)據(jù)集。亞馬遜網(wǎng)絡(luò)服務(wù)（AWS）、大數(shù)

4、據(jù)科學(xué)家JohnRauser提到一個(gè)簡(jiǎn)單的定義：大數(shù)據(jù)就是任何超過了一臺(tái)計(jì)算機(jī)處理能力的龐大數(shù)據(jù)量。研發(fā)小組對(duì)大數(shù)據(jù)的定義：大數(shù)據(jù)是最大的宣傳技術(shù)、是最時(shí)髦的技術(shù)，當(dāng)這種現(xiàn)象出現(xiàn)時(shí)，定義就變得很混亂。 Kelly說：大數(shù)據(jù)是可能不包含所有的信息，但我覺得大部分是正確的。對(duì)大數(shù)據(jù)的一部分認(rèn)知在于，它是如此之大，分析它需要多個(gè)工作負(fù)載，這是AWS的定義。當(dāng)你的技術(shù)達(dá)到極限時(shí)，也就是數(shù)據(jù)的極限。（二）大數(shù)據(jù)特點(diǎn)要理解大數(shù)據(jù)這一概念，首先要從大入手，大是指數(shù)據(jù)規(guī)模，大數(shù)據(jù)一般指在10TB規(guī)模以上的數(shù)據(jù)量。大數(shù)據(jù)同過去的海量數(shù)據(jù)有所區(qū)別，其基本特征可以用4個(gè)V來總結(jié)(Volume、Variety、Val

5、ue和Velocity)，即體量大、多樣性、價(jià)值密度低、速度快。1.數(shù)據(jù)量大。非結(jié)構(gòu)化數(shù)據(jù)增長(zhǎng)，從TB級(jí)別，躍升到PB級(jí)別。2.多樣性。大數(shù)據(jù)的多樣性，包括很多不同形式（文本、圖像、視頻、機(jī)器數(shù)據(jù)等）。3.價(jià)值密度低。大量的不相關(guān)數(shù)據(jù)。4.高速性。實(shí)時(shí)分析而非批量式分析，立竿見影而非事后見效。（三）大數(shù)據(jù)處理的流程整個(gè)處理流程可以概括為四步，分別是采集、導(dǎo)入和預(yù)處理、統(tǒng)計(jì)和分析，最后是數(shù)據(jù)挖掘。1采集大數(shù)據(jù)的采集是指利用多個(gè)數(shù)據(jù)庫(kù)來接收發(fā)自客戶端（Web、App或者傳感器形式等）的數(shù)據(jù)，并且用戶可以通過這些數(shù)據(jù)庫(kù)來進(jìn)行簡(jiǎn)單的查詢和處理工作。由于并發(fā)度高,需要在采集端部署大量數(shù)據(jù)庫(kù)才能支撐。技術(shù)

6、上重點(diǎn)攻克分布式虛擬存儲(chǔ)技術(shù)，大數(shù)據(jù)獲取、存儲(chǔ)、組織、分析和決策操作的可視化接口技術(shù)，大數(shù)據(jù)的網(wǎng)絡(luò)傳輸與壓縮技術(shù)，大數(shù)據(jù)隱私保護(hù)技術(shù)等。2導(dǎo)入、預(yù)處理導(dǎo)入與預(yù)處理過程的特點(diǎn)和挑戰(zhàn)主要是導(dǎo)入的數(shù)據(jù)量大，每秒鐘的導(dǎo)入量經(jīng)常會(huì)達(dá)到百兆，甚至千兆級(jí)別。主要操作包括：一是抽?。阂颢@取的數(shù)據(jù)可能具有多種結(jié)構(gòu)和類型，數(shù)據(jù)抽取過程可以幫助我們將這些復(fù)雜的數(shù)據(jù)轉(zhuǎn)化為單一的或者便于處理的構(gòu)型，以達(dá)到快速分析處理的目的。再是清洗：對(duì)于大數(shù)據(jù)，并不全是有價(jià)值的，有些數(shù)據(jù)并不是我們所關(guān)心的內(nèi)容，而另一些數(shù)據(jù)則是完全錯(cuò)誤的干擾項(xiàng)，因此要對(duì)數(shù)據(jù)通過過濾“去噪”從而提取出有效數(shù)據(jù)。ETL工具負(fù)責(zé)將分布的、異構(gòu)數(shù)據(jù)源中的數(shù)據(jù)如

7、關(guān)系數(shù)據(jù)、平面數(shù)據(jù)文件等抽取到臨時(shí)中間層后進(jìn)行清洗、轉(zhuǎn)換、集成，最后加載到數(shù)據(jù)倉(cāng)庫(kù)或數(shù)據(jù)集市中，成為聯(lián)機(jī)分析處理、數(shù)據(jù)挖掘的基礎(chǔ)。3統(tǒng)計(jì)分析統(tǒng)計(jì)與分析主要利用分布式數(shù)據(jù)庫(kù)或分布式計(jì)算集群來對(duì)存儲(chǔ)于其內(nèi)的海量數(shù)據(jù)進(jìn)行普通的分析和分類匯總等，以滿足大多數(shù)常見的分析需求，改進(jìn)已有數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)技術(shù)；開發(fā)數(shù)據(jù)網(wǎng)絡(luò)挖掘、特異群組挖掘、圖挖掘等新型數(shù)據(jù)挖掘技術(shù)；突破基于對(duì)象的數(shù)據(jù)連接、相似性連接等大數(shù)據(jù)融合技術(shù)；突破用戶興趣分析、網(wǎng)絡(luò)行為分析、情感語(yǔ)義分析等面向領(lǐng)域的大數(shù)據(jù)挖掘技術(shù)。在這方面，一些實(shí)時(shí)性需求會(huì)用到EMC的GreenPlum、Oracle的Exadata，以及基于MySQL的列式存儲(chǔ)In

8、fobright等，而一些批處理，或者基于半結(jié)構(gòu)化數(shù)據(jù)的需求可以使用Hadoop。4數(shù)據(jù)挖掘數(shù)據(jù)挖掘就是從大量的、不完全的、有噪聲的、模糊的、隨機(jī)的實(shí)際應(yīng)用數(shù)據(jù)中，提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識(shí)的過程。數(shù)據(jù)挖掘涉及的技術(shù)方法很多，主要包括分類 （Classification）、估計(jì)（Estimation）、預(yù)測(cè)（Prediction）、相關(guān)性分組或關(guān)聯(lián)規(guī)則（Affinity grouping or association rules）、聚類（Clustering）、描述和可視化、Description and Visualization）、復(fù)雜數(shù)據(jù)類型挖掘(Te

9、xt, Web ,圖形圖像，視頻，音頻等)。數(shù)據(jù)挖掘一般沒有什么預(yù)先設(shè)定好的主題，主要是在現(xiàn)有數(shù)據(jù)上面進(jìn)行基于各種算法的計(jì)算，從而起到預(yù)測(cè)（Predict）的效果，實(shí)現(xiàn)一些高級(jí)別數(shù)據(jù)分析的需求。比較典型算法有用于聚類的Kmeans、用于統(tǒng)計(jì)學(xué)習(xí)的SVM和用于分類的NaiveBayes，主要使用的工具有Hadoop的Mahout等。該過程的特點(diǎn)和挑戰(zhàn)主要是用于挖掘的算法很復(fù)雜，并且計(jì)算涉及的數(shù)據(jù)量和計(jì)算量都很大，常用數(shù)據(jù)挖掘算法都以單線程為主。整個(gè)大數(shù)據(jù)處理的普遍流程至少應(yīng)該滿足這四個(gè)方面的步驟，才能算得上是一個(gè)比較完整的大數(shù)據(jù)處理。三、銀行大數(shù)據(jù)應(yīng)用（一）銀行的大數(shù)據(jù)包含的內(nèi)容銀行大數(shù)據(jù)應(yīng)用主

10、要分析幾類數(shù)據(jù)：一是在網(wǎng)上銀行、手機(jī)銀行、電話銀行、企業(yè)微博、企業(yè)微信、企業(yè)博客等中所形成的與客戶訪問行為相關(guān)的非結(jié)構(gòu)化數(shù)據(jù)，如搜索、留言、評(píng)論、轉(zhuǎn)發(fā)等數(shù)據(jù)。二是銀行的各類系統(tǒng)中產(chǎn)生的日志數(shù)據(jù)，這一類數(shù)據(jù)過去往往因?yàn)樘幚砟芰Σ蛔惚缓雎浴Ｈ倾y行在網(wǎng)點(diǎn)、手機(jī)、網(wǎng)絡(luò)、自助設(shè)備上留下的視頻、音頻、圖像等大容量數(shù)據(jù)。四是在互聯(lián)網(wǎng)、社交網(wǎng)絡(luò)、移動(dòng)互聯(lián)網(wǎng)中與銀行和客戶相關(guān)的外部數(shù)據(jù)。（二）銀行大數(shù)據(jù)應(yīng)用的范圍銀行業(yè)大樹據(jù)應(yīng)用主要集中在幾個(gè)關(guān)鍵領(lǐng)域：1.客戶分析，中國(guó)的銀行業(yè)，無(wú)論是國(guó)有銀行、股份制商業(yè)銀行，還是區(qū)域性城商行、農(nóng)聯(lián)社等，往往都是通過增加網(wǎng)點(diǎn)和渠道、提高發(fā)卡量等方式擴(kuò)展自身業(yè)務(wù)。但是目標(biāo)客戶雷

11、同、金融產(chǎn)品和服務(wù)同質(zhì)化嚴(yán)重，成為中國(guó)銀行業(yè)運(yùn)營(yíng)成本居高不下的重要原因。銀行業(yè)是受高度監(jiān)管的行業(yè)，并且由于競(jìng)爭(zhēng)越來越激烈，產(chǎn)品形態(tài)多樣，所以銀行運(yùn)營(yíng)方面的相關(guān)數(shù)據(jù)被充分分析和利用，客戶的流失數(shù)據(jù)、資本金比率、存貸比等各種數(shù)據(jù)形成了銀行日常管理的基礎(chǔ)。通過大數(shù)據(jù)分析，能夠找出為銀行帶來利潤(rùn)和效益的客戶群體，明確目標(biāo)客戶群，針對(duì)目標(biāo)客戶群推出適合該群體的產(chǎn)品和服務(wù)，不僅能夠提升客戶滿意度和忠誠(chéng)度，還能大大降低銀行投入在負(fù)貢獻(xiàn)客戶上的不必要的成本。2.在銀行的產(chǎn)品和渠道方面，由于客戶的喜好經(jīng)常變化，實(shí)時(shí)全面的數(shù)據(jù)分析可以幫助銀行不斷去改善和改變產(chǎn)品。為了應(yīng)對(duì)競(jìng)爭(zhēng)，銀行往往做大量的數(shù)據(jù)分析。 3.在客

12、戶服務(wù)營(yíng)銷方面，對(duì)客戶提供個(gè)性化服務(wù)已成為業(yè)內(nèi)共識(shí)，現(xiàn)在已進(jìn)一步關(guān)注到用戶體驗(yàn)上，由關(guān)注客戶關(guān)系提升到關(guān)注客戶滿意度。通過客戶數(shù)據(jù)分析，了解客戶在不同生命階段的生活模型。不同的生活模型對(duì)應(yīng)很多不同的銷售類型，這種數(shù)據(jù)應(yīng)用在很多行業(yè)被應(yīng)用，但在銀行業(yè)，由于客戶數(shù)據(jù)收集全面，被應(yīng)用得更廣泛。銀行可以通過數(shù)據(jù)分析了解客戶的期望。4.風(fēng)險(xiǎn)管理，大數(shù)據(jù)分析能幫助銀行了解客戶的自然屬性和行為屬性,結(jié)合客戶行為分析、信用度分析、風(fēng)險(xiǎn)分析及資產(chǎn)負(fù)債狀況，建立完善的風(fēng)險(xiǎn)防范體系。5.基于企業(yè)內(nèi)外部運(yùn)營(yíng)、管理和交互數(shù)據(jù)分析，借助大數(shù)據(jù)平臺(tái)，分析企業(yè)經(jīng)營(yíng)和管理績(jī)效，促進(jìn)內(nèi)部管理和流程優(yōu)化。（三）銀行大數(shù)據(jù)可選擇的技

13、術(shù)銀行業(yè)大數(shù)據(jù)應(yīng)用同時(shí)具備體量大、種類多、訪問速度快和準(zhǔn)確性要求高等特點(diǎn)，因此銀行大數(shù)據(jù)應(yīng)用的技術(shù)選擇上要求支持非結(jié)構(gòu)化數(shù)據(jù)的快速讀取和分析，要求能夠快速處理實(shí)時(shí)多媒體流，要求能夠支持SQL on Hadoop的方式來訪問大數(shù)據(jù)，同時(shí)要求保證大數(shù)據(jù)平臺(tái)的授權(quán)訪問、個(gè)人隱私等安全性。從目前國(guó)外銀行應(yīng)用實(shí)踐來看，多選擇商業(yè)化和大品牌的Hadoop發(fā)布版、大數(shù)據(jù)機(jī)、流媒體計(jì)算工具等大數(shù)據(jù)產(chǎn)品。四、大數(shù)據(jù)在農(nóng)業(yè)銀行可能的應(yīng)用方向農(nóng)業(yè)銀行經(jīng)過2006年數(shù)據(jù)集中后，業(yè)務(wù)得到了蓬勃發(fā)展，積累了大量的客戶信息、客戶日常交易數(shù)據(jù)、客戶投資借貸的情況，以及客戶的信用情況。上市以來也面對(duì)更多更嚴(yán)格的監(jiān)管要求。農(nóng)業(yè)銀

14、行提出了互聯(lián)網(wǎng)金融的發(fā)展戰(zhàn)略，“依托現(xiàn)有經(jīng)營(yíng)基礎(chǔ)，努力推動(dòng)互聯(lián)網(wǎng)金融與我行現(xiàn)行經(jīng)營(yíng)模式的融合，打造農(nóng)業(yè)銀行在互聯(lián)網(wǎng)時(shí)代的核心競(jìng)爭(zhēng)力，加快推進(jìn)全行的轉(zhuǎn)型發(fā)展”，“加快數(shù)據(jù)倉(cāng)庫(kù)建設(shè)為互聯(lián)網(wǎng)金融提供科技支撐的決策；遵循互聯(lián)網(wǎng)金融大數(shù)據(jù)挖掘、云計(jì)算技術(shù)特性；以互聯(lián)網(wǎng)金融工程為突破口，建設(shè)數(shù)據(jù)邏輯集中和充分共享的數(shù)據(jù)云平臺(tái)，為科學(xué)決策服務(wù)”，針對(duì)目前積累的數(shù)據(jù)基礎(chǔ)及技術(shù)條件，筆者認(rèn)為重點(diǎn)可先從以下兩個(gè)方面入手：（一）客戶分析挖掘依托現(xiàn)有的數(shù)據(jù)，進(jìn)行深入挖掘，了解客戶需求，綜合運(yùn)用大數(shù)據(jù)、云計(jì)算等新技術(shù)充分掌握客戶信用，深入挖掘潛在的金融需求，實(shí)現(xiàn)客戶的智能化批量管理和個(gè)性化差異營(yíng)銷，降低信貸風(fēng)險(xiǎn)和管理成

15、本。改變農(nóng)業(yè)銀行的粗放經(jīng)營(yíng)模式，調(diào)整農(nóng)業(yè)銀行的經(jīng)營(yíng)模式、拓展農(nóng)業(yè)銀行的盈利渠道。比如定期對(duì)所有客戶的交易日志和當(dāng)前的債權(quán)狀況（包括核心系統(tǒng)內(nèi)的數(shù)據(jù)和從征信中心取得的數(shù)據(jù)）進(jìn)行分析， 建模，及分析當(dāng)前模型的精確性；定期根據(jù)分析對(duì)客戶進(jìn)行分類（segmentation ）；針對(duì)不同的分類建立不同的模型，進(jìn)行行為評(píng)分、預(yù)測(cè)對(duì)客戶營(yíng)銷可能性、 提前還款的可能性、壞賬的可能性等；根據(jù)預(yù)測(cè)的分?jǐn)?shù)和交易狀況和提前設(shè)定的策略自動(dòng)調(diào)整客戶的信用額度；根據(jù)預(yù)先設(shè)定條件和結(jié)果對(duì)客戶進(jìn)行電話、郵件、信件等的促銷和催收。（二）風(fēng)險(xiǎn)管理根據(jù)客戶的內(nèi)外部信用情況、日常消費(fèi)習(xí)慣、資產(chǎn)負(fù)債狀況、投資理財(cái)?shù)娘L(fēng)險(xiǎn)偏好等大數(shù)據(jù)的分析，管控風(fēng)險(xiǎn)。將結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)整合，分析系統(tǒng)存在IT風(fēng)險(xiǎn)或者釣魚網(wǎng)站防欺詐；進(jìn)行自下而上的風(fēng)險(xiǎn)分析，分析ACH交易、信貸支付交易，以獲取反映壓力、違約或積極發(fā)展機(jī)會(huì)；為業(yè)務(wù)交易引入信用卡和借記卡數(shù)據(jù)，以辨別欺詐交易。目前農(nóng)業(yè)銀行已在反洗錢和信貸系統(tǒng)中嘗試使用大數(shù)據(jù)分析處理。四、結(jié)束語(yǔ)互聯(lián)網(wǎng)的應(yīng)用普及使金融信息化程度迅速深化，電子銀行、電子交易服務(wù)、電子貨幣與支付服務(wù)、在線金融信息服務(wù)以及其他通過網(wǎng)絡(luò)提供的金融產(chǎn)品及服務(wù)迅速得到推廣擴(kuò)散，金融業(yè)務(wù)版圖被不斷重構(gòu)。以高質(zhì)量的數(shù)據(jù)和強(qiáng)大、穩(wěn)定的數(shù)據(jù)分析能力為基礎(chǔ)，開發(fā)豐富的數(shù)據(jù)應(yīng)用，對(duì)客戶提供智能和針對(duì)性服務(wù)，對(duì)內(nèi)完