數(shù)據(jù)挖掘在金融行業(yè)中的運用

數(shù)據(jù)挖掘在金融行業(yè)中的運用2013年06 月20日金融部門每天的業(yè)務都會產(chǎn)生大量數(shù)據(jù)，利用目前的數(shù)據(jù)庫系統(tǒng)可以有效地實現(xiàn)數(shù)據(jù)的錄入、查詢、統(tǒng)計等功能，但無法發(fā)現(xiàn)數(shù)據(jù)中存在的關(guān)系和規(guī)則，無法根據(jù)現(xiàn)有的數(shù)據(jù)預測未來的發(fā)展趨勢。缺乏挖掘數(shù)據(jù)背后隱藏的知識的手段，導致了數(shù)據(jù)爆炸但知識貧乏“的現(xiàn)象。與此同時，金融機構(gòu)的運作必然存在金融風險，風險管理是每一個金融機構(gòu)的重要工作。利用數(shù)據(jù)挖掘技術(shù)不但可以從這海量的數(shù)據(jù)中發(fā)現(xiàn)隱藏在其后的規(guī)律，而且可以很好地降低金融機構(gòu)存在的風險。學習和應用數(shù)據(jù)挖掘技術(shù)對我國的金融機構(gòu)有重要意義。一.數(shù)據(jù)挖掘概述1.數(shù)據(jù)挖掘的定義數(shù)據(jù)挖掘(datamining)是采用統(tǒng)計、數(shù)學、人工智能和神經(jīng)網(wǎng)絡等領域的科學方法，如記憶推理、聚類分析、關(guān)聯(lián)分析、決策樹、神經(jīng)網(wǎng)絡、基因算法等技術(shù)，從大量數(shù)據(jù)中挖掘出隱含的、先前未知的、對決策有潛在價值的關(guān)系、模式和趨勢，并用這些知識和規(guī)則建立用于決策支持的模型，提供預測性決策支持的方法、工具和過程。數(shù)據(jù)挖掘技術(shù)是統(tǒng)計技術(shù)、計算機技術(shù)和人工智能技術(shù)等構(gòu)成的一種新學科。數(shù)據(jù)挖掘來源于統(tǒng)計分析，是統(tǒng)計分析方法的擴展和延伸。大多數(shù)的統(tǒng)計分析技術(shù)都基于完善的數(shù)學理論和高超的技巧，其預測的準確程度還是令人滿意的，但對于使用者的知識要求比較高。而隨著計算機能力的不斷發(fā)展，數(shù)據(jù)挖掘可以利用相對簡單和固定程序完成同樣的功能。新的計算算法的產(chǎn)生如神經(jīng)網(wǎng)絡、決策樹使人們不需了解到其內(nèi)部復雜的原理也可以通過這些方法獲得良好的分析和預測效果。2.數(shù)據(jù)挖掘方法數(shù)據(jù)挖掘技術(shù)是數(shù)據(jù)庫技術(shù)、統(tǒng)計技術(shù)和人工智能技術(shù)發(fā)展的產(chǎn)物。從使用的技術(shù)角度，主要的數(shù)據(jù)挖掘方法包括：（1）決策樹方法：利用樹形結(jié)構(gòu)來表示決策集合，這些決策集合通過對數(shù)據(jù)集的分類產(chǎn)生規(guī)則。國際上最有影響和最早的決策樹方法是ID3方法，后來又發(fā)展了其它的決策樹方法。（2）規(guī)則歸納方法：通過統(tǒng)計方法歸納，提取有價值的if-then規(guī)則。規(guī)則歸納技術(shù)在數(shù)據(jù)挖掘中被廣泛使用，其中以關(guān)聯(lián)規(guī)則挖掘的研究開展得較為積極和深入。（3）神經(jīng)網(wǎng)絡方法：從結(jié)構(gòu)上模擬生物神經(jīng)網(wǎng)絡，以模型和學習規(guī)則為基礎，建立3種神經(jīng)網(wǎng)絡模型：前饋式網(wǎng)絡、反饋式網(wǎng)絡和自組織網(wǎng)絡。這種方法通過訓練來學習的非線性預測模型，可以完成分類、聚類和特征挖掘等多種數(shù)據(jù)挖掘任務。（4）遺傳算法：模擬生物進化過程的算法，由繁殖(選擇)、交叉(重組)、變異(突變)三個基本算子組成。為了應用遺傳算法，需要將數(shù)據(jù)挖掘任務表達為一種搜索問題，從而發(fā)揮遺傳算法的優(yōu)化搜索能力。（5）粗糙集(RoughSet)方法：Rough集理論是由波蘭數(shù)學家Pawlak在八十年代初提出的一種處理模糊和不精確性問題的新型數(shù)學工具。它特別適合于數(shù)據(jù)簡化，數(shù)據(jù)相關(guān)性的發(fā)現(xiàn)，發(fā)現(xiàn)數(shù)據(jù)意義，發(fā)現(xiàn)數(shù)據(jù)的相似或差別，發(fā)現(xiàn)數(shù)據(jù)模式和數(shù)據(jù)的近似分類等，近年來已被成功地應用在數(shù)據(jù)挖掘和知識發(fā)現(xiàn)研究領域中。（6）K2最鄰近技術(shù)：這種技術(shù)通過K個最相近的歷史記錄的組合來辨別新的記錄。這種技術(shù)可以作為聚類和偏差分析等挖掘任務。（7）可視化技術(shù)：將信息模式、數(shù)據(jù)的關(guān)聯(lián)或趨勢等以直觀的圖形方式表示，決策者可以通過可視化技術(shù)交互地分析數(shù)據(jù)關(guān)系?？梢暬瘮?shù)據(jù)分析技術(shù)拓寬了傳統(tǒng)的圖表功能，使用戶對數(shù)據(jù)的剖析更清楚。3.數(shù)據(jù)挖掘功能數(shù)據(jù)挖掘綜合了各個學科技術(shù)，有很多的功能，當前的主要功能如下：(1)分類：按照分析對象的屬性、特征，建立不同的組類來描述事物。例如：銀行部門根據(jù)以前的數(shù)據(jù)將客戶分成了不同的類別，現(xiàn)在就可以根據(jù)這些來區(qū)分新申請貸款的客戶，以采取相應的貸款方案。(2)聚類：識別出分析對內(nèi)在的規(guī)則，按照這些規(guī)則把對象分成若干類。例如：將申請人分為高度風險申請者，中度風險申請者，低度風險申請者。(3)關(guān)聯(lián)規(guī)則：關(guān)聯(lián)是某種事物發(fā)生時其他事物會發(fā)生的這樣一種聯(lián)系。例如：每天購買啤酒的人也有可能購買香煙，比重有多大，可以通過關(guān)聯(lián)的支持度和可信度來描述。(4)預測：把握分析對象發(fā)展的規(guī)律，對未來的趨勢做出預見。例如：對未來經(jīng)濟發(fā)展的判斷。(5)偏差的檢測：對分析對象的少數(shù)的、極端的特例的描述，揭示內(nèi)在的原因。例如：在銀行的100萬筆交易中有500例的欺詐行為，銀行為了穩(wěn)健經(jīng)營，就要發(fā)現(xiàn)這500例的內(nèi)在因素，減小以后經(jīng)營的風險。二、數(shù)據(jù)挖掘技術(shù)在金融領域的應用目前，在很多領域，數(shù)據(jù)挖掘(datamining)都是一個很時髦的詞，尤其是在如銀行、電信、保險、交通、零售（如超級市場）等商業(yè)領域。數(shù)據(jù)挖掘所能解決的典型商業(yè)問題包括：數(shù)據(jù)庫營銷（DatabaseMarketing）、客戶群體劃分（CustomerSegmentation&Classification）、背景分析（ProfileAnalysis）、交叉銷售（Cross-selling）等市場分析行為，以及客戶流失性分析(ChurnAnalysis)、客戶信用記分(CreditScoring)、欺詐發(fā)現(xiàn)(FraudDetection)等等。數(shù)據(jù)挖掘技術(shù)在證券行業(yè)的應用數(shù)據(jù)挖掘在證券行業(yè)的應用方向主要有：客戶分析、客戶管理、財務指標分析、交易數(shù)據(jù)分析、風險分析、投資組合分析等。從業(yè)務角度看，經(jīng)紀業(yè)務是目前國內(nèi)券商競爭的焦點，它仍是券商利潤的主要來源。據(jù)統(tǒng)計從事經(jīng)紀業(yè)務獲得的收入占各主要券商利潤來源的80%以上，而中小證券公司90%的利潤主要來自證券營業(yè)部。從營銷角度看，證券經(jīng)紀業(yè)務是為滿足客戶需要而提供的一種金融服務活動，營銷戰(zhàn)略貫穿在證券經(jīng)紀業(yè)務整個活動過程中，分析型客戶關(guān)系管理(ＣＲＭ)是國內(nèi)券商(特別是各營業(yè)部)尤其關(guān)注的技術(shù)，而數(shù)據(jù)挖掘技術(shù)是分析型ＣＲＭ的核心技術(shù)。營業(yè)部是否真正了解自己的客戶，知道他們的特征、分布和習性？誰是真正的有價值的客戶，誰在為證券營業(yè)部貢獻利潤？誰帶來了當期的利潤，誰又有潛在的價值？傳統(tǒng)的按資金量大小來區(qū)分大、中、小、散客戶價值的方法是否真正反映了客戶對營業(yè)利潤的貢獻？凡此種種問題可以通過客戶價值分析來解決。它不僅讓我們從投入產(chǎn)出角度去看待客戶，而且還為營業(yè)部的經(jīng)營方針提供了決策依據(jù)。其典型應用包括有：(1)客戶分析：建立數(shù)據(jù)倉庫來存放對全體客戶、預定義客戶群、某個客戶的信息和交易數(shù)據(jù)，并通過對這些數(shù)據(jù)進行挖掘和關(guān)聯(lián)分析，實現(xiàn)面向主題的信息抽取。對客戶的需求模式和盈利價值進行分類，找出最有價值和盈利潛力的客戶群，以及他們最需要的服務，更好地配置資源，改進服務，牢牢抓住最有價值的客戶。通過對客戶資源信息進行多角度挖掘，了解客戶各項指標(如資產(chǎn)貢獻、忠誠度、盈利率、持倉比率等)，掌握客戶投訴、客戶流失等信息，從而在客戶離開券商之前，捕獲信息，及時采取措施挽留客戶。(2)咨詢服務：根據(jù)采集行情和交易數(shù)據(jù)，結(jié)合行情分析，預測未來大盤走勢，并發(fā)現(xiàn)交易情況隨著大盤變化的規(guī)律，并根據(jù)這些規(guī)律做出趨勢分析，對客戶針對性進行咨詢。(3)風險防范：通過對資金數(shù)據(jù)的分析，可以控制營業(yè)風險，同時可以改變公司總部原來的資金控制模式，并通過橫向比較及時了解資金情況，起到風險預警的作用。(4)經(jīng)營狀況分析：通過數(shù)據(jù)挖掘，可以及時了解營業(yè)狀況、資金情況、利潤情況、客戶群分布等重要的信息，并結(jié)合大盤走勢，提供不同行情條件下的最大收益經(jīng)營方式。同時，通過對各營業(yè)部經(jīng)營情況的橫向比較，以及對本營業(yè)部歷史數(shù)據(jù)的縱向比較，對營業(yè)部的經(jīng)營狀況作出分析，提出經(jīng)營建議。2.數(shù)據(jù)挖掘技術(shù)在銀行業(yè)的應用(1)對賬戶進行信用等級的評估：銀行業(yè)是負債經(jīng)營的產(chǎn)業(yè)，風險與效益并存，分析賬戶的信用等級對于降低風險、增加收益是非常重要的。利用數(shù)據(jù)挖掘工具進行信用評估的最終目的是：從已有的數(shù)據(jù)中分析得到信用評估的規(guī)則或標準，即得到“滿足什么樣條件的賬戶屬于哪一類信用等級”，并將得到的規(guī)則或評估標準應用到對新的賬戶的信用評估，這是一個獲取知識并應用知識的過程。(2)金融市場分析和預測：對龐大的數(shù)據(jù)進行主成分分析，剔除無關(guān)的，甚至是錯誤的、相互矛盾的數(shù)據(jù)“雜質(zhì)”，以更有效地進行金融市場分析和預測。(3)分析信用卡的使用模式：通過數(shù)據(jù)挖掘，人們可以得到這樣的規(guī)則：“什么樣的人使用信用卡屬于什么樣的模式”，而且一個人在相當長的一段時間內(nèi)，其使用信用卡的習慣往往是較為固定的。因此，一方面，通過判別信用卡的使用模式，可以監(jiān)測到信用卡的惡性透支行為；另一方面，根據(jù)信用卡的使用模式，可以識別“合法”用戶。(4)發(fā)現(xiàn)隱含在數(shù)據(jù)后面的不同的財政金融指數(shù)之間的聯(lián)系。(5)探測金融政策與金融業(yè)行情的相互影響的關(guān)聯(lián)關(guān)系。3.數(shù)據(jù)挖掘技術(shù)在保險業(yè)的應用(1)保險金的確定：對受險人