基于支持向量機(jī)的商業(yè)銀行信用風(fēng)險(xiǎn)評(píng)估模型

1、基于支持向量機(jī)的商業(yè)銀行信用風(fēng)險(xiǎn)評(píng)估模型劉 閩,林成德(廈門大學(xué)自動(dòng)化系,福建 廈門 361005摘要:本文將支持向量機(jī)(Support Vector Machine, SVM 用于建立商業(yè)銀行的信用風(fēng)險(xiǎn)評(píng)估模型。通過 與 MDA 以及神經(jīng)網(wǎng)絡(luò)模型的比較,證實(shí)了該方法用于信用風(fēng)險(xiǎn)評(píng)估的有效性及優(yōu)越性。關(guān)鍵詞:信用風(fēng)險(xiǎn)評(píng)估 神經(jīng)網(wǎng)絡(luò) 統(tǒng)計(jì)學(xué)習(xí)理論 支持向量機(jī)A Model Based on Support Vector Machine for Credit Risk Assessmentin Commercial BanksLiu Min, Lin Cheng De(Dept. Of Autom

2、ation, Xiamen Univ., Xiamen 361005, China Abstract In this paper, a model, based on Support Vector Machine(SVM, is presented to assess the credit risk in commercial banks. Empirical results show that SVM model is effective and more advantageous than both MDA model and neural network model.Keywords c

3、redit risk assessment; neural network; statistical learning theory; support vectormachine;1 引言信用風(fēng)險(xiǎn)評(píng)估是商業(yè)銀行信貸風(fēng)險(xiǎn)管理中一項(xiàng)極其重要的基礎(chǔ)性工作, 其目的在于分析銀行在貸款業(yè)務(wù)中可能面臨的信用風(fēng)險(xiǎn)借款人如期履行特定債務(wù)或相關(guān)債務(wù)的信用能 力和意愿,從而為貸款決策提供依據(jù)。當(dāng)前國(guó)際金融界和學(xué)術(shù)界建立評(píng)估模型的主流方法, 是把信用風(fēng)險(xiǎn)評(píng)估看成是模式識(shí)別中的一類分類問題, 即將借款人分為履約 (按期還本付息 和違約兩類, 利用數(shù)據(jù)挖掘方法, 從已有的數(shù)據(jù)出發(fā)尋找規(guī)律, 建立判別模型從而達(dá)到對(duì)未來的

4、數(shù)據(jù)進(jìn)行預(yù)測(cè)的目的。 目前國(guó) 際上廣泛采用的模型包括統(tǒng)計(jì)模型和神經(jīng)網(wǎng)絡(luò)模型。基于統(tǒng)計(jì)判別方法的預(yù)測(cè)模型都是在 Fisher 于 1936年作出的啟發(fā)性研究之后提出的 1。1966年 Beaver 采用單變量分析技術(shù)對(duì)企業(yè)的破產(chǎn)問題進(jìn)行了預(yù)測(cè);隨后, Altman 利用多元 判別分析法(MDA 建立了著名的 Z-score 模型; 70年代末期 Logit 和 Probit 方法被引入信用 評(píng)估領(lǐng)域;此外,近鄰法、主成分分析、聚類分析等統(tǒng)計(jì)方法也被大量運(yùn)用。統(tǒng)計(jì)方法的引 入克服了傳統(tǒng)比例分析法綜合分析能力差,定量分析不足等缺點(diǎn),但也存在許多問題:1 統(tǒng)計(jì)方法研究的是樣本趨于無窮大時(shí)的漸近理論,因

5、此要求樣本數(shù)據(jù)有一定的規(guī)模; 2方 法的可用性與建立分類模型時(shí)所需的多個(gè)假設(shè)和條件緊密相關(guān),如 MDA 就要求數(shù)據(jù)服從多 元正態(tài)分布和等協(xié)方差, 而現(xiàn)實(shí)中大量數(shù)據(jù)嚴(yán)重違背這些假定。 因此統(tǒng)計(jì)方法在現(xiàn)實(shí)應(yīng)用中 作者簡(jiǎn)介 :劉閩(1980 ,男,碩士研究生很難達(dá)到理想的效果。進(jìn)入 80年代以來,專家系統(tǒng)、神經(jīng)網(wǎng)絡(luò)(Neural Network, NN 、遺傳算法等人工智能的技術(shù)被逐步應(yīng)用到信用風(fēng)險(xiǎn)評(píng)估領(lǐng)域 234,尤其是 NN ,它是一種對(duì)數(shù)據(jù)分布無任何要求 的非線性技術(shù) , 克服了統(tǒng)計(jì)方法對(duì)假設(shè)較強(qiáng)的要求,能有效解決非正態(tài)分布、非線性的信用 評(píng)估問題。但 NN 有其自身難以克服的缺陷:1缺乏充分

6、的理論基礎(chǔ) , 模型不具有解釋性;2網(wǎng)絡(luò)結(jié)構(gòu)難以確定; 3訓(xùn)練時(shí)易陷入局部極值,訓(xùn)練效率不高; 4存在過學(xué)習(xí)與欠學(xué) 習(xí)的問題。我國(guó)商業(yè)銀行的信用風(fēng)險(xiǎn)評(píng)估目前還停留在傳統(tǒng)的比例分析階段, 普遍采用 “打分法” ,該方法存在許多局限性, 對(duì)處于新興市場(chǎng)和轉(zhuǎn)軌經(jīng)濟(jì)時(shí)期的我國(guó)商業(yè)銀行而言, 亟需建立一 套更為科學(xué)的評(píng)估模型。國(guó)內(nèi)許多學(xué)者也對(duì)此展開了研究 56,但由于國(guó)內(nèi)信用評(píng)估起步較 晚,數(shù)據(jù)積累較少,應(yīng)用傳統(tǒng)的統(tǒng)計(jì)方法效果不好,神經(jīng)網(wǎng)絡(luò)也難以進(jìn)行有效的學(xué)習(xí)。針對(duì) 這一現(xiàn)狀, 本文引入了一種基于小樣本學(xué)習(xí)理論的通用學(xué)習(xí)算法 SVM 7, 并將其用于建立商 業(yè)銀行的信用風(fēng)險(xiǎn)評(píng)估模型,取得了較好的效果。2

7、 SVM原理2.1 統(tǒng)計(jì)學(xué)習(xí)理論 (Statistical Learning Theory, SLT 7SLT 是 V .N.Vapnik 等人提出的一種專門研究小樣本情況下機(jī)器學(xué)習(xí)規(guī)律的理論,是傳統(tǒng)統(tǒng)計(jì)學(xué)的重要發(fā)展和補(bǔ)充。 該理論針對(duì)小樣本統(tǒng)計(jì)問題建立了一套新的理論體系, 在這種 體系下的統(tǒng)計(jì)推理規(guī)則不僅考慮了對(duì)漸近性能的要求, 而且追求在現(xiàn)有有限信息的條件下得 到最優(yōu)結(jié)果。在這一理論的基礎(chǔ)上發(fā)展了一種新的通用的學(xué)習(xí)方法 SVM 。2.2 SVM 的分類算法SVM 是從線性可分情況下的最優(yōu)分類超平面發(fā)展而來的,基本思想可用圖 1說明。圖中,實(shí)心點(diǎn) 和空心點(diǎn)代表兩類樣本, H 為分類超平面,

8、H 1、 H 2分別為過各類中離 H 最近的樣本且平行于 H 的超平面,它們到 H 的距離相等,它們之間的距離叫做分類間隔。所謂最優(yōu)分類超平面就是以最大間隔將兩類正確分開的超平面。分 類 超 平 面 方 程 的 一 般 形 式 可 寫 為,我們對(duì)它進(jìn)行歸一化,使得對(duì)線性可分的樣本集 , , 0=+b w x , (i i y x d i R x 1, 1+i y , ,滿足n i ,., 1= n i b y , , 1, 01 (L =+i i x w (1圖 1 線形可分情況下的最優(yōu)分類超平面此時(shí)分類間隔等于 2/|w |,因此使間隔最大等價(jià)于使 |w |2最小。滿足條件(1且使 21w

9、最小的超平面就叫做最優(yōu)分類超平面,使(1式中等號(hào)成立的訓(xùn)練樣本點(diǎn)就稱作支持向量。利用 Lagrange 優(yōu)化方法可以把上述最優(yōu)分類面問題轉(zhuǎn)化為其對(duì)偶問題 8,也即轉(zhuǎn)化為一個(gè)不等式約束下二次函數(shù)尋優(yōu)的問題, 從而存在唯一解。 解上述問題后得到的最優(yōu)分類函數(shù) 是(2 +=+=n i i i i b y b f 1* (sgn sgn( (x x x w x 其中, i *為每個(gè)樣本對(duì)應(yīng)的 Lagrange 乘子,可以證明,只有一部分(通常是很少部分 i *不為零,對(duì)應(yīng)的樣本就是支持向量。 b *是分類閾值,可以用任一個(gè)支持向量求得,或通過兩 類中任意一對(duì)支持向量取中值求得。在樣本集線性不可分的情況

10、下,可以在條件(1中增加一個(gè)松弛項(xiàng) 0i 成為n i b y i i i , , 1, 01 (L =+x w (3并將目標(biāo)改為求 21 , (12=+=ni i w w C (4最小, 即構(gòu)造一個(gè)軟間隔, 折衷考慮最少錯(cuò)分樣本和最大分類間隔, 就得到廣義最優(yōu)分類面, 其中 是一個(gè)常數(shù),它控制對(duì)錯(cuò)分樣本懲罰的程度。0>C 對(duì)非線性問題, 可以通過非線性變換轉(zhuǎn)化為某個(gè)高維空間中的線性問題, 在變換空間求最優(yōu)分類面。 只要采用適當(dāng)?shù)膬?nèi)積核函數(shù) 代替原空間中的內(nèi)積, 就可以實(shí)現(xiàn)某一 非線性變換后的線性分類 , (j i x x K 7,從而避開了非線性變換的具體形式,此時(shí)分類函數(shù)變?yōu)?(5 +

11、=*1* , (sgn (b y f n i i i i x x K x 3 基于 SVM 的信用風(fēng)險(xiǎn)評(píng)估模型3.1 指標(biāo)體系的建立由于企業(yè)財(cái)務(wù)狀況的好壞直接決定了其是否能按時(shí)還本付息, 我們僅限于從財(cái)務(wù)的角度建立信用風(fēng)險(xiǎn)評(píng)估模型, 其他一些非財(cái)務(wù)指標(biāo)或者是定性的分析可以通過專家系統(tǒng)處理, 本 文不作討論。根據(jù)常用的準(zhǔn)則以及專家的建議,我們用了 8個(gè)指標(biāo)來衡量企業(yè)的財(cái)務(wù)狀況:1銷售利潤(rùn)率(銷售利潤(rùn) /銷售收入 ; 2流動(dòng)比率(流動(dòng)資產(chǎn) /流動(dòng)負(fù)債 ; 3資產(chǎn)負(fù)債比率(負(fù) 債總額 /資產(chǎn)總額 ; 4總資產(chǎn)報(bào)酬率(息稅前利潤(rùn) /總資產(chǎn) ; 5利息保障倍數(shù)(息稅前利 潤(rùn) /利息 ; 6流動(dòng)資產(chǎn)周轉(zhuǎn)率

12、(年銷售收入凈額 /平均流動(dòng)資產(chǎn) ; 7營(yíng)運(yùn)資本比率(營(yíng)運(yùn) 資本 /總資產(chǎn) ; 8經(jīng)營(yíng)性現(xiàn)金比率(經(jīng)營(yíng)性現(xiàn)金流量 /流動(dòng)資產(chǎn) 。3.2 樣本數(shù)據(jù)處理本文中的實(shí)驗(yàn)數(shù)據(jù)來自于福建省某商業(yè)銀行,共有 1570家企業(yè)的財(cái)務(wù)數(shù)據(jù),其中 1279家企業(yè)的財(cái)務(wù)狀況良好, 銀行對(duì)其發(fā)放貸款的風(fēng)險(xiǎn)較小, 這些企業(yè)我們簡(jiǎn)稱為 “履約” 企業(yè); 其余的 291家企業(yè)的財(cái)務(wù)狀況較差, 若給予貸款, 其違約的可能性較大, 這些企業(yè)我們簡(jiǎn)稱 為“違約”企業(yè)。兩類樣本數(shù)目相差懸殊,若直接用于 SVM 的學(xué)習(xí),會(huì)造成 SVM 的最優(yōu)分 類面偏向樣本密度小的一方,這樣將來用于預(yù)測(cè)時(shí),會(huì)造成較大的分類誤差 9。為了得到性 能優(yōu)良

13、的 SVM ,必須對(duì)樣本進(jìn)行預(yù)處理,使兩類的樣本數(shù)目相當(dāng)。本文采用對(duì)樣本數(shù)據(jù)較 多的一類進(jìn)行重新采樣的方法, 從 1279家 “履約” 企業(yè)中隨機(jī)抽取了 290家, 與 291家 “違 約” 企業(yè)構(gòu)成了一個(gè)規(guī)模為 581家企業(yè)的樣本集。 在此基礎(chǔ)上再將樣本集劃分為訓(xùn)練樣本集 和測(cè)試樣本集,為了更好的體現(xiàn) SVM 對(duì)于小樣本數(shù)據(jù)的學(xué)習(xí)能力以及模型的泛化能力,在 保持兩類樣本數(shù)目相當(dāng)?shù)那疤嵯码S機(jī)抽取 30%(174家作為訓(xùn)練樣本集,用于構(gòu)造 SVM 模型;其余的 70%(407家作為測(cè)試樣本集,用于檢驗(yàn)?zāi)Ｐ偷姆夯芰?。樣本集的詳?xì)信 息如表 1所示。表 1 重新采樣后的樣本集分布情況樣本集規(guī)模 “

14、履約”企業(yè)數(shù) “違約”企業(yè)數(shù) 訓(xùn)練樣本集174 87(50% 87(50% 測(cè)試樣本集407 203(49.88% 204(50.12% 全體樣本集 581 290(49.91% 291(50.09%3.3 SVM模型構(gòu)造根據(jù)上述的分析,構(gòu)造了樣本集(x , y ,其中 x 的維數(shù)為 8, y 是樣本的類別屬性,對(duì)于“履約”企業(yè) y =1,對(duì)于“違約”企業(yè) y =-1。對(duì)于內(nèi)積核函數(shù)的選擇,手寫數(shù)字實(shí)驗(yàn) 7表 明采用多項(xiàng)式核函數(shù)、徑向基函數(shù)、 Sigmoid 函數(shù)三種不同核函數(shù)的 SVM 能得到性能相近的 結(jié)果,且支持向量的分布差別不大。本文構(gòu)造的 SVM 模型的內(nèi)積核函數(shù)采用最常用的徑向 基

15、函數(shù):=22exp , (i i x x x x K (6 綜合考慮最少錯(cuò)分樣本數(shù)和最大分類間隔,在高維空間中構(gòu)造軟間隔。 , C 等參數(shù)采用交叉驗(yàn)證方法 (Cross Validation, CV 確定為 =100, , 使用 OSU SVM Classifier Matlab Toolbox 3.00工具包進(jìn)行實(shí)驗(yàn)分析。 22610=C4 結(jié)果分析表 2列出了 SVM 模型的結(jié)果,包括在訓(xùn)練樣本集和測(cè)試樣本集中的判別結(jié)果,同時(shí)和MDA 及神經(jīng)網(wǎng)絡(luò)所建模型的結(jié)果進(jìn)行了比較。 MDA 模型通過 SPSS 軟件分析得到; 神經(jīng)網(wǎng)絡(luò) 使用的是 BP 算法,目標(biāo)誤差及隱層的個(gè)數(shù)也是采用交叉驗(yàn)證的方法

16、得到(目標(biāo)誤差為 0.1, 隱層個(gè)數(shù)為 16 。由于神經(jīng)網(wǎng)絡(luò)方法并不是一種穩(wěn)定的方法,故表中神經(jīng)網(wǎng)絡(luò)的結(jié)果是 10次平均的結(jié)果。表中的第一類錯(cuò)誤是指將“違約”企業(yè)評(píng)判為“履約”企業(yè),第二類錯(cuò)誤是 指將“履約”企業(yè)評(píng)判為“違約”企業(yè)。 Altman 10指出第一類錯(cuò)誤造成的損失遠(yuǎn)比第二類 錯(cuò)誤要大得多。 因此可以從兩方面評(píng)價(jià)模型的性能, 一是整體評(píng)判準(zhǔn)確率, 二是第一類錯(cuò)誤 率。從表 2可以看出, SVM 在測(cè)試樣本集中的整體準(zhǔn)確率 (也即預(yù)測(cè)準(zhǔn)確率 達(dá)到了 83.29%,明顯好于 MDA 模型的 78.38%, 略高于神經(jīng)網(wǎng)絡(luò)的 81.57%; SVM 的第一類錯(cuò)誤率為 5.65%, 優(yōu)于 M

17、DA 模型的 6.14%,相對(duì)于神經(jīng)網(wǎng)絡(luò)模型的 9.83%有了大比率的下降。因此無論是從 整體評(píng)判準(zhǔn)確率的角度還是從第一類錯(cuò)誤率的角度來評(píng)價(jià)模型的性能, SVM 模型都具有一 定的優(yōu)勢(shì)。通過表 2,我們還可以對(duì)模型的魯棒性做一個(gè)比較。對(duì)于訓(xùn)練樣本集,神經(jīng)網(wǎng)絡(luò)的整體準(zhǔn)確率是最高的,達(dá)到了 86.78%,其次是 SVM 模型的 85.06%,效果最差的是 MDA 的 78.74%。在測(cè)試樣本集中,準(zhǔn)確率(預(yù)測(cè)準(zhǔn)確率都有了不同程度的下降。神經(jīng)網(wǎng)絡(luò)的變 化率最大,為 6.00%;其次是 SVM ,變化率為 2.08%;變化率最小的是 MDA ,僅為 0.46%。 可以看出,在三種模型中,神經(jīng)網(wǎng)絡(luò)模型的

18、魯棒性最差, MDA 的魯棒性最好, SVM 模型的 魯棒性雖然不是最好的,但也保持了一個(gè)較好的水平,能夠滿足實(shí)際應(yīng)用的要求。表 2 SVM模型、神經(jīng)網(wǎng)絡(luò)(BP 模型、 MDA 模型的判別結(jié)果訓(xùn)練樣本集 (174 測(cè)試樣本集 (407模型類型準(zhǔn)確率 第一類錯(cuò)誤 第二類錯(cuò)誤 準(zhǔn)確率 第一類錯(cuò)誤 第二類錯(cuò)誤神經(jīng)網(wǎng)絡(luò) (BP 151 (86.78% 14 (8.05% 9 (5.17% 332 (81.57%40 (9.83% 35 (8.60% SVM 模型 148 (85.06% 9 (5.17% 17 (9.77% 339 (83.29%23 (5.65% 45 (11.06%5 結(jié)束語SVM

19、 是一種基于小樣本學(xué)習(xí)理論的通用學(xué)習(xí)算法,具有嚴(yán)格的理論基礎(chǔ),能較好地解 決小樣本、非線性、高維數(shù)和局部極小點(diǎn)等實(shí)際問題。本文提出了一種基于 SVM 的商業(yè)銀 行信用風(fēng)險(xiǎn)評(píng)估模型,通過與 MDA 模型及神經(jīng)網(wǎng)絡(luò)模型的比較,發(fā)現(xiàn) SVM 模型不但能提 高預(yù)測(cè)準(zhǔn)確率, 而且還能有效的降低第一類錯(cuò)誤率, 模型本身的魯棒性也較強(qiáng), 具有較好的 發(fā)展前景,值得我們深入研究,未來的工作將從以下幾方面展開:1 由于實(shí)際樣本數(shù)據(jù)類別分布的不均勻, 本文對(duì)樣本數(shù)較多的那類進(jìn)行了重新采樣, 隨 機(jī)地剔除了一些樣本, 造成信息的浪費(fèi)。 如何在最大化利用樣本信息的前提下, 對(duì)樣本類別 分布不均勻的數(shù)據(jù)構(gòu)造 SVM 模

20、型是未來工作的一個(gè)方向。2對(duì)于第一類錯(cuò)誤和第二類錯(cuò)誤,本文中的 SVM 模型采用了相同的懲罰系數(shù),鑒于兩 種錯(cuò)誤在實(shí)際中造成的損失是不同的, 而且差別較大, 如果在構(gòu)造模型時(shí)針對(duì)不同的錯(cuò)分類 別引入不同的懲罰系數(shù),可能做到更有效地避免第一類錯(cuò)誤。3在本文的研究中, SVM 所解決的僅限于一個(gè)兩類的分類問題,可以考慮將 SVM 推 廣到更為復(fù)雜的多類的信用等級(jí)評(píng)估問題上, 以更好的反映借款人的信用情況, 為商業(yè)銀行 的貸款決策提供更有力更細(xì)致的輔助工具。參考文獻(xiàn):1 Altman E I. Corporate financial distress: A complete guide to pre

21、dicting, avoiding, and dealing with BankruptcyM. NewYork : John Wiley& Sons,1983.2 Srinivasan V , Kim Y H. Designing expert financial systems: a case study of corporate credit managementJ. Financial Management, 1988, 17:32 44.3 Tam K Y. Neural network applications models and the prediction of bank bankruptcyJ. Omega - the International Journal of Management Science, 1991, 19: 429 445.4 Back B, Laitinen T, and Se