數(shù)據(jù)挖掘技術(shù)在金融領(lǐng)域的應(yīng)用

1、1掘技術(shù)在金融領(lǐng)域的應(yīng)用武 揚(yáng)金融部門每天的業(yè)務(wù)都會(huì)產(chǎn)生大量數(shù)據(jù)，利用目前的數(shù)據(jù)庫(kù)系統(tǒng)可以有效地實(shí)現(xiàn)數(shù)據(jù)的 用數(shù)據(jù)挖掘技術(shù)不但可以從這海量的數(shù)據(jù)中發(fā)現(xiàn)隱藏在其后的規(guī)律，而且可以很好地降低金 融機(jī)構(gòu)存在的風(fēng)險(xiǎn)。學(xué)習(xí)和應(yīng)用數(shù)據(jù)挖掘技術(shù)對(duì)我國(guó)的金融機(jī)構(gòu)有重要意義。1.1 數(shù)據(jù)挖掘的定義對(duì)于數(shù)據(jù)挖掘，一種比較公認(rèn)的定義是W.J.Frawley，G.Piatetsk Shapiro 等人提 先未知的、潛在有用的信息，提取的知識(shí)表示為概念(Concepts ) ，規(guī)則(Rules )、規(guī)律 (Regularities )、模式(Patterns)等形式。這個(gè)定義把數(shù)據(jù)挖掘的對(duì)象定義為數(shù)據(jù)庫(kù)。， 也可以是文

2、件系統(tǒng)， 或組織在一起的數(shù)據(jù)集合，還可以是數(shù)據(jù)倉(cāng)庫(kù)。與此同時(shí)，數(shù)據(jù)挖掘也 要是從技術(shù)角度和商業(yè)角度給出數(shù)據(jù)挖掘的定義。從技術(shù)角度看，數(shù)據(jù)挖掘就是從大量的、 不完全的、有噪聲的、模糊的、隨機(jī)的實(shí)際應(yīng)用數(shù)據(jù)中，提取隱含在其中的、人們事先不知 術(shù)、人工智能、機(jī)器學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)、統(tǒng)計(jì)學(xué)、模式識(shí)別、知識(shí)庫(kù)系統(tǒng)、知識(shí)獲取、信息檢 域如文本數(shù)據(jù)挖掘、 Web信息挖掘、空間數(shù)據(jù)挖掘等。從商業(yè)角度看，數(shù)據(jù)挖掘是一種深層 業(yè)決策的相關(guān)商業(yè)模式。1.2 數(shù)據(jù)挖掘方法數(shù)據(jù)挖掘技術(shù)是數(shù)據(jù)庫(kù)技術(shù)、統(tǒng)計(jì)技術(shù)和人工智能技術(shù)發(fā)展的產(chǎn)物。從使用的技術(shù) 角度，主要的數(shù)據(jù)挖掘方法包括：2 1.2.2 規(guī)則歸納方法:通過統(tǒng)計(jì)方法歸納，

3、提取有價(jià)值的if- then規(guī)則。規(guī)則歸納技術(shù)在數(shù) 據(jù)挖掘中被廣泛使用，其中以關(guān)聯(lián)規(guī)則挖掘的研究開展得較為積極和深入。1.2.3 神經(jīng)網(wǎng)絡(luò)方法： 從結(jié)構(gòu)上模擬生物神經(jīng)網(wǎng)絡(luò)，以模型和學(xué)習(xí)規(guī)則為基礎(chǔ)，建立3種神 測(cè)模型，可以完成分類、聚類和特征挖掘等多種數(shù)據(jù)挖掘任務(wù)。個(gè) 傳算法的優(yōu)化搜索能力。1.2.5 粗糙集(Rough Set)方法： Rough集理論是由波蘭數(shù)學(xué)家Pawlak在八十年代初提出的 ， 功地應(yīng)用在數(shù)據(jù)挖掘和知識(shí)發(fā)現(xiàn)研究領(lǐng)域中。1.2.6 K2 最鄰近技術(shù)： 這種技術(shù)通過K個(gè)最相近的歷史記錄的組合來(lái)辨別新的記錄。這種 技術(shù)可以作為聚類和偏差分析等挖掘任務(wù)。 對(duì)數(shù)據(jù)的剖析更清楚。1.

4、3.數(shù)據(jù)挖掘在金融行業(yè)中的應(yīng)用數(shù)據(jù)挖掘已經(jīng)被廣泛應(yīng)用于銀行和商業(yè)中，有以下的典型應(yīng)用：1.3.1 對(duì)目標(biāo)市場(chǎng)(targeted marketing)客戶的分類與聚類。 例如，可以將具有相同儲(chǔ) 蓄和貨款償還行為的客戶分為一組。有效的聚類和協(xié)同過濾( collaborative filtering) 方法有助于識(shí)別客戶組，以及推動(dòng)目標(biāo)市場(chǎng)。1.3.2 客戶價(jià)值分析。 在客戶價(jià)值分析之前一般先使用客戶分類，在實(shí)施分類之后根據(jù) 詳細(xì)分3 具有相似特征的客戶還未流失之前進(jìn)行針對(duì)性的彌補(bǔ)。 反饋?zhàn)詣?dòng)輸人到數(shù)據(jù)倉(cāng)庫(kù)中。通過對(duì)客戶的理解和客戶行為規(guī)律的發(fā)現(xiàn)，企業(yè)可以制定相 1.3.4 為多維數(shù)據(jù)分析和數(shù)據(jù)挖掘

5、設(shè)計(jì)和構(gòu)造數(shù)據(jù)倉(cāng)庫(kù)。 例如，人們可能希望按月、按地 總和、平均和其他等統(tǒng)計(jì)信息。數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)立方體、多特征和發(fā)現(xiàn)驅(qū)動(dòng)數(shù)據(jù)立方體，特 征和比較分析，以及孤立點(diǎn)分析等，都會(huì)在金融數(shù)據(jù)分析和挖掘中發(fā)揮重要作用。1.3.5 貨款償還預(yù)測(cè)和客戶信用政策分析。 有很多因素會(huì)對(duì)貨款償還效能和客戶信用等級(jí) 要的因素，別除非相關(guān)因素。例如，與貨款償還風(fēng)險(xiǎn)相關(guān)的因素包括貨款率、資款期限、負(fù) 債率、償還與收入(payment-to -income)比率、客戶收入水平、受教育程度、居住地區(qū)、信 本信息顯示是相對(duì)低風(fēng)險(xiǎn)的申請(qǐng)。戶 在需求;通過挖掘?qū)蛻粜畔ⅲy行可以作為廠商和消費(fèi)者之間的中介，與廠商聯(lián)手，在 掌握消

6、費(fèi)者需求的基礎(chǔ)上，發(fā)展中間業(yè)務(wù)，更好地為客戶服務(wù)。1.3.7 洗黑錢和其他金融犯罪的偵破。 要偵破洗黑錢和其他金融犯罪，重要的一點(diǎn)是要把 多個(gè)數(shù)據(jù)庫(kù)的信息集成起來(lái)，然后采用多種數(shù)據(jù)分析工具找出異常模式，如在某段時(shí)間內(nèi)， 點(diǎn) 助 4據(jù)挖掘中得到的模式必須要在現(xiàn)實(shí)生活中進(jìn)行驗(yàn)證。2 基于小波分析和支持向量機(jī)的指數(shù)預(yù)測(cè)模型小波分析理論是目前科學(xué)界和工程界討論和研究最多的課題之一，它包含了豐富的數(shù)學(xué)內(nèi) 容，又具有巨大的應(yīng)用潛力。小波分析是在Fourier分析的基礎(chǔ)上發(fā)展起來(lái)的，是調(diào)和分析 科應(yīng)用的有力工具。在進(jìn)一步介 紹小波分析理論之前，我們先了解一下金融時(shí)間序列的概念。支持向量機(jī)(support v

7、ector machine, SVM)是數(shù)據(jù)挖掘中的一項(xiàng)新技術(shù)，是借助于最優(yōu) 化方法解決機(jī)器學(xué)習(xí)問題的新工具。它成為克服“維數(shù)災(zāi)難”和“過學(xué)習(xí)”等傳統(tǒng)困難的有 效辦法，雖然他還處在飛速發(fā)展的階段，但它的理論基礎(chǔ)和實(shí)現(xiàn)途徑的基本框架已經(jīng)形成。 支持向量機(jī)目前主要用來(lái)解決分類問題(模式識(shí)別，判別分析)和回歸問題。而股市行為預(yù) 測(cè)通常為預(yù)測(cè)股市數(shù)據(jù)的走勢(shì)和預(yù)測(cè)股市數(shù)據(jù)的未來(lái)數(shù)值。而當(dāng)我們將走勢(shì)看作兩種狀態(tài) (漲、跌)，問題便轉(zhuǎn)化為分類問題，而預(yù)測(cè)股市未來(lái)的價(jià)格是指為典型的回歸問題。我們 有理由相信支持向量機(jī)可以對(duì)股市進(jìn)行預(yù)測(cè)。2.1 金融時(shí)間序列概況 據(jù)，即指這些數(shù)據(jù)是按照時(shí)間的排序取得的一系列觀測(cè)

8、值，如股票或期貨價(jià)格、貨幣利率、 究將有助于制定更為精確的定價(jià)和預(yù)測(cè)決策，當(dāng)然對(duì)于金融投資與風(fēng)險(xiǎn)管理活動(dòng)具有十分重 要的意義。金融時(shí)間序列分析主要是以統(tǒng)計(jì)理論和方法為基礎(chǔ)，通過模型假設(shè)、參數(shù)估計(jì)、 回歸分析等技術(shù)來(lái)描述其內(nèi)在的規(guī)律。適當(dāng)?shù)臄?shù)學(xué)工具和真實(shí)的數(shù)據(jù)使金融時(shí)間序列分析成 為金融經(jīng)濟(jì)研究中獨(dú)具魅力的一塊領(lǐng)域，例如美國(guó)經(jīng)濟(jì)學(xué)家Engle和英國(guó)經(jīng)濟(jì)學(xué)家Granger 就因其提出的ARCH模型和協(xié)整理論而榮獲2003年度諾貝爾經(jīng)濟(jì)學(xué)獎(jiǎng)。一般來(lái)說，時(shí)間序列的分析可以通過時(shí)域和頻域兩個(gè)途徑進(jìn)行。但是很多金融時(shí)間序列5表現(xiàn)出較強(qiáng)的非平穩(wěn)性和長(zhǎng)記憶性，這使得許多傳統(tǒng)的單獨(dú)集中于時(shí)域或頻域的研究分析方

9、融時(shí)間序列分析中的重要地位已經(jīng)越來(lái)越受到人們的關(guān)注。2.2小波消噪在金融時(shí)間序列中的應(yīng)用金融市場(chǎng)中數(shù)據(jù)由于各種偶然因素的影響，即使不存在暗箱操作，或沒有什么重要新聞、重 事件序列的建模分析之前，往往對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，消除這些噪音。小波消噪的步驟： 為了更有效的預(yù)測(cè)金融市場(chǎng)的未來(lái)趨勢(shì)，我們可以將大幅波動(dòng)作為有用 信號(hào)保留，而將小的波動(dòng)作為噪音消除，先將數(shù)據(jù)進(jìn)行預(yù)處理之后，再做時(shí)間序列的建模分析。假設(shè)原始的時(shí)間序列 S ，建模的基本步驟如下：0SN解。 0即首先對(duì)含噪音信號(hào)s(k) 進(jìn)行小波變換，得到一組小波系數(shù)wf (j, k) 根據(jù)多分辨率分析理論，分解的層次越高，去掉的低頻成份就越多，而低頻

10、成份主要代表有用信號(hào)。因而分解的 層次越高，去噪效果越好，但是相應(yīng)的失真程度也越大。2、閥值處理；將分解得到的小波系數(shù)進(jìn)行閥值處理來(lái)區(qū)分信號(hào)和噪聲。閥值的確定對(duì)消噪性能 有很大影響，閥值過高會(huì)使信號(hào)失真，閥值過低又會(huì)使得消噪不完全。 一般來(lái)說，選定閥值可以 有以下幾種常用準(zhǔn)則： (1)無(wú)偏風(fēng)險(xiǎn)估計(jì)準(zhǔn)則(rigrsure)，即一種基于Stein的無(wú)偏似然估計(jì)原 理的自適應(yīng)閥值選擇方法，對(duì)每個(gè)閥值求出對(duì)應(yīng)的風(fēng)險(xiǎn)值，風(fēng)險(xiǎn)最小的即為所選；(2)固定閥值準(zhǔn)則(sqtwolog)，設(shè)n為小波系數(shù)向量長(zhǎng)度，則設(shè)定閥值為 T 2 log n ； (3)混合閥值準(zhǔn)r則：用于最優(yōu)預(yù)測(cè)變量閥值的選擇，它是rigrs

11、ure準(zhǔn)則和sqtwolog準(zhǔn)則的混合。(4)最小最大 閥值準(zhǔn)則(minmax)，是根據(jù)統(tǒng)計(jì)學(xué)中的績(jī)效極大估計(jì)量而設(shè)定的一種固定閥值選擇方法。 以上四 6以保留較多的高頻信號(hào)。因而根據(jù)金融數(shù)據(jù)高頻性特征，我們一般可以選擇rigrsure準(zhǔn)則或sqtwolog準(zhǔn)備來(lái)確定閥值。在我們實(shí)證中，閥值取的是140。3、小波消噪及重構(gòu)；一般來(lái)說，除了簡(jiǎn)單的強(qiáng)制消噪方法(該方法直接將小波分解結(jié)構(gòu)中的高頻系數(shù)臵零)，閥值消噪方法可分為默認(rèn)閥值消噪處理和軟(硬)閥值消噪處理兩種，后者在實(shí)號(hào)的小波重構(gòu)，達(dá)到消噪的目的。 常用的小波變換重構(gòu)公式為：f f f其中 S (j, k) 為尺度系數(shù)， W (j, k )

12、為小波系數(shù)， h和g分別為對(duì)應(yīng)于尺度函數(shù)和小波函數(shù)的f f低通和高通濾波器。例：東風(fēng)汽車時(shí)間序列消噪的實(shí)證分析首先我們對(duì)2011年5月至2012年3月共222個(gè)交易日的東風(fēng)汽車收盤價(jià)信號(hào)進(jìn)行去噪實(shí)驗(yàn)。原始的時(shí)間序列見下圖1。根據(jù)上述的理論，對(duì)此金融序列進(jìn)行小波分解，選擇小波Daubechies小波系(db4)并確定分解層次為4層，得到4層高半頻和4層低半頻序列。 由于理論上通常認(rèn)為噪聲部分包含在高頻中，因此我們對(duì)小波分解的高頻系數(shù)進(jìn)行閥值量化處理，其中閥值處理選擇sqtwolog閥值估計(jì)準(zhǔn)則。最后根據(jù)小波分解的第4層低頻系數(shù)和經(jīng)過量化處理后的1至4層高頻系數(shù)進(jìn)行小波分析。圖1 2011年5月至

13、2012年3月共222個(gè)交易日的東風(fēng)汽車收盤價(jià)信號(hào)(包含噪音)7以下依次為小波分解后的第4層低頻(圖2)和高頻第4、第3、第2和第1層信號(hào)(圖3)：圖2 小波分解后的第4層低頻圖3 小波分解后的高頻第4、第3、第2和第1層信號(hào)8 下圖4：圖4 第4層的低頻信號(hào)及根據(jù)固定閥值處理的高頻信號(hào)，進(jìn)行小波重構(gòu)，得到新的消噪走勢(shì)2.3 支持向量機(jī)在金融時(shí)間序列中的應(yīng)用2.3.1 支持向量機(jī)的原理(理論推導(dǎo)略)持向量機(jī)(Support Vector Machine,SVM)是Cortes和Vapnik于1995年首先提出的，擬合等其他機(jī)器學(xué)習(xí)問題中。它是建立在統(tǒng)計(jì)學(xué)習(xí)理論的VC 維理論和結(jié)構(gòu)風(fēng)險(xiǎn)最小原理基

14、好高，一個(gè)問題就越復(fù)雜 。而SVM正是用來(lái)解決這個(gè)問題的，它基本不關(guān)乎維數(shù)的多少，和樣本的維數(shù)無(wú)關(guān)(有這樣的能力也因?yàn)橐肓撕撕瘮?shù) )。機(jī)器學(xué)習(xí)本質(zhì)上就是一種對(duì)問題真實(shí)模型的逼近 ，我們選擇的模型與問題真實(shí)解之間究竟有多大差距，我們無(wú)法得知，因險(xiǎn)，代表了分類器在給定樣本上的誤差 ；二是置信風(fēng)險(xiǎn)，代表了我們?cè)诙啻蟪潭壬峡梢孕湃畏诸惼髟谖粗谋旧戏诸惖慕Y(jié)果 ，第二部分是沒有辦法精確計(jì)算的，因此只能給出一個(gè)估計(jì)的區(qū)間，也使得整個(gè)誤差只能計(jì)算上界，而無(wú)法計(jì)算準(zhǔn)確的值(所以叫做泛化誤差界，而不叫泛化誤差) 。9合小波消噪的支持向量機(jī)預(yù)測(cè)模型應(yīng)用舉例：對(duì)上述消燥后的金融時(shí)間序列進(jìn)行預(yù)報(bào)預(yù)測(cè)東風(fēng)汽車指數(shù)走勢(shì)，我們選擇了應(yīng)用50個(gè)交易日為訓(xùn)練集預(yù)測(cè)5個(gè)交易日的方法，繪制了下面的近一年預(yù)測(cè)圖形。通過反復(fù)觀察，我們發(fā)現(xiàn)預(yù)測(cè)走勢(shì)