R軟件及其在金融定量分析中的應(yīng)用-CH12

R軟件及其在金融定量分析中的應(yīng)用

主編：許啟發(fā)、蔣翠俠制作：王俠英、侯奇華2014年10月編寫第十二章微觀金融定量分析第一節(jié)破產(chǎn)概率預(yù)測第二節(jié)證券投資基金風(fēng)格分析第三節(jié)證券投資基金績效評價第四節(jié)基于Rhadoop的大數(shù)據(jù)定量分析第五節(jié)習(xí)題第六節(jié)參考文獻第一節(jié)破產(chǎn)概率預(yù)測模型與方法L1正則化Logistic回歸模型Logistic回歸（logisticregression,LR）是一種在研究兩元分類響應(yīng)變量與諸多自變量間相互關(guān)系時常采用的統(tǒng)計分析方法。LR模型屬于廣義線性模型，普遍采用最大似然估計法估計參數(shù)。LR模型有其特有的突出優(yōu)勢，其假設(shè)簡單，不要求誤差分布與自變量趨于正態(tài)分布，對識別變量的分布也不做要求；LR能用于因變量二值性的判別并可計算出歸屬概率。第一節(jié)破產(chǎn)概率預(yù)測模型與方法L1正則化Logistic回歸模型L1正則化的Logistic回歸(12.3)對于L1正則化Logistic回歸模型的求解，Zhang、Genkin等提出了較為有效的算法。這里使用Balakrishnan等提出的在線“shooting”算法求解L1正則化Logistic回歸模型。第一節(jié)破產(chǎn)概率預(yù)測模型與方法分類評價方法混淆矩陣一個完美的預(yù)測模型就是將true的實例全部預(yù)測為true，將false的實例全部預(yù)測為false。而對于實際應(yīng)用的預(yù)測模型，或多或少都存在預(yù)測錯誤的情況，將true的實例錯誤的預(yù)測為false，將false的實例錯誤的預(yù)測為true。在混淆矩陣中，分類模型的誤判分為兩類，即第一類錯誤，棄真(TN)；第二類錯誤，納偽(FP)。在實際運用中，往往根據(jù)需要選擇控制某一類錯誤，將這類誤判的概率控制到最低，以致規(guī)避風(fēng)險或是保證質(zhì)量等等。第一節(jié)破產(chǎn)概率預(yù)測模型與方法分類評價方法混淆矩陣在分類問題中，預(yù)測的情形存在四種，如表12-1表12-1分類問題中四種預(yù)測情形情形類型數(shù)目true--trueTruePositive(TP)atrue--falseFalsNegative(TN)bfalse--falseTrueNegative(TN)cfalse--trueFalsePositive(FP)d第一節(jié)破產(chǎn)概率預(yù)測模型與方法分類評價方法混淆矩陣將上述四種情形的預(yù)測結(jié)果信息繪制成一個矩陣的形式，就形成了混淆矩陣，如表12-2表12-2混淆矩陣預(yù)測類總計TRUEFALSE真實類truea(TP)b(TN)a+bFALSEd(FP)c(TN)d+c總計a+db+c第一節(jié)破產(chǎn)概率預(yù)測模型與方法分類評價方法ROC曲線接受者操作特性曲線（receiveroperatorcharacteristiccurve，ROC曲線），又稱為感受性曲線（sensitivitycurve）。ROC曲線是一種對于靈敏度進行描述的功能圖像，是在以虛報概率為橫軸，擊中概率為縱軸所組成的坐標(biāo)圖，根據(jù)被試在特定刺激條件下采用不同判斷標(biāo)準得到的不同結(jié)果繪制出的曲線，以真陽性率（靈敏度）為縱坐標(biāo)、假陽性率（1-特異度）為橫坐標(biāo)，通過描述比較真陽性率（TPR）和假陽性率（FPR）兩個特征值來實現(xiàn)。第一節(jié)破產(chǎn)概率預(yù)測案例分析例12-1：本案例以滬深股市上市公司為研究對象，建立支持向量機和L1正則化Logistic回歸模型開展破產(chǎn)概率預(yù)測的實證研究，對比支持向量機和L1正則化Logistic回歸技術(shù)的預(yù)測精度并總結(jié)分析影響公司違約的顯著性指標(biāo)。滬深股市一些上市公司因“狀況異?！倍粚嵭小疤貏e處理”，稱為ST公司，這里定義為違約公司。第一節(jié)破產(chǎn)概率預(yù)測案例分析樣本公司的財務(wù)數(shù)據(jù)來自國泰安數(shù)據(jù)庫（），選取滬深股市財務(wù)數(shù)據(jù)相對完整的來自不同行業(yè)的共20家ST公司，并選取相同時段財務(wù)狀況正常的29家非ST公司，共49家滬深股市上市公司構(gòu)成本案例樣本。主要使用了R包e1071與glmnet。第一節(jié)破產(chǎn)概率預(yù)測案例分析樣本和財務(wù)指標(biāo)選擇本案例從能反映企業(yè)各方面能力（如償債能力、獲利能力、營運能力和資產(chǎn)狀況）的一些財務(wù)指標(biāo)著手，分析整理出8項財務(wù)指標(biāo)見表12-3。并從每家企業(yè)最近兩年的財務(wù)報表中分別挑出相同的4個時間點對應(yīng)的這8項財務(wù)指標(biāo)值構(gòu)成樣本數(shù)據(jù)。第一節(jié)破產(chǎn)概率預(yù)測案例分析樣本和財務(wù)指標(biāo)選擇

表12-3財務(wù)指標(biāo)及代號代號財務(wù)指標(biāo)代號財務(wù)指標(biāo)x1流動資產(chǎn)x5負債合計x2資產(chǎn)合計x6留存收益x3流動負債x7營業(yè)收入x4長期負債x8息稅前利潤第一節(jié)破產(chǎn)概率預(yù)測案例分析實證結(jié)果及分析基于支持向量機和L1正則化logistic回歸模型模擬預(yù)測公司破產(chǎn)概率，對比兩模型預(yù)測精度并分析出影響公司違約的顯著性財務(wù)指標(biāo)。在R軟件中分別使用e1071和glmnet包中的svm和cv.glmnet兩個函數(shù)實現(xiàn)。R代碼演示如下：第一節(jié)破產(chǎn)概率預(yù)測案例分析實證結(jié)果及分析

圖12-4精度與ROC曲線對比圖第一節(jié)破產(chǎn)概率預(yù)測案例分析實證結(jié)果及分析表12-4兩模型混淆矩陣預(yù)測結(jié)果對比模型svmL1正則化Logistic預(yù)測結(jié)果y

0

1y01099

16010681

5

751972準確率0.89230770.9128205第一節(jié)破產(chǎn)概率預(yù)測案例分析實證結(jié)果及分析結(jié)果解讀：首先，通過兩個模型精度與ROC評價曲線的對比（圖12-4），可以看出兩個模型均具有較好的分類效果，且L1正則化logistic回歸模型分類效果略好于支持向量機模型。再者，從混淆矩陣的準確度預(yù)測結(jié)果對比（表12-4）來看，L1正則化logistic回歸模型的預(yù)測準確度亦高于支持向量機模型，而且L1正則化logistic回歸模型給出了系數(shù)不為0的財務(wù)指標(biāo)向量。第二節(jié)證券投資基金風(fēng)格分析證券投資基金概述及投資風(fēng)格分析方法證券投資基金概述證券投資基金是通過發(fā)行基金份額，集中投資者的資金，由基金托管人托管，基金管理人管理和運用資金，是一種利益共享、風(fēng)險共擔(dān)的集合證券投資方式。證券投資基金風(fēng)格證券投資基金風(fēng)格是指基金在構(gòu)建投資組合的過程中,為順應(yīng)市場形勢即迎合投資者偏好而在基金規(guī)模管理以及投資標(biāo)的物(如股票、債券以及期貨等衍生產(chǎn)品)的選擇上表現(xiàn)出來的差異性。第二節(jié)證券投資基金風(fēng)格分析證券投資基金概述及投資風(fēng)格分析方法證券投資基金風(fēng)格分析方法鑒定基金投資風(fēng)格的方法，按照分析時使用信息的不同，可以分為兩種：基于組合特征的分析法(holdingbasedstyle,HBS)按照一定的標(biāo)準計算出投資組合的市值規(guī)模、市盈率、市凈率等特征值，從而判斷其投資風(fēng)格的一種方法。其中最主要的是晨星的風(fēng)格判定法?；谑找娴姆治龇椒?returnbasedstyle,RBS)基本思路是：由于基金收益與某種特定風(fēng)格投資組合的收益具有高度相關(guān)性，所以可以通過基金的收益率與相關(guān)指數(shù)的收益率的相關(guān)程度來判定基金的風(fēng)格。第二節(jié)證券投資基金風(fēng)格分析基于均值回歸的證券投資基金風(fēng)格分析Sharpe多因素的均值回歸模型回歸方程如下：(12.6)式中，Ri,t表示基金i

在時間

t

時的凈值收益率；εi,t表示在t

時刻風(fēng)格指數(shù)不能解釋的基金收益部分；fk,t為k

類資產(chǎn)的風(fēng)格指數(shù)在時間

t

的收益率；βk為回歸系數(shù)。第二節(jié)證券投資基金風(fēng)格分析基于均值回歸的證券投資基金風(fēng)格分析Sharpe多因素的均值回歸模型Sharp投資風(fēng)格分析的關(guān)鍵是找出一組能夠代表基金投資資產(chǎn)類別表現(xiàn)的風(fēng)格指數(shù)。Sharp認為，為使模型達到較好的使用效果，該組指數(shù)要求滿足下列3個條件：互不包容；能夠涵蓋基金投資所涉及的全部資產(chǎn)類別；收益率具有差異性，從而使這些資產(chǎn)類別具有較低的相關(guān)性。第二節(jié)證券投資基金風(fēng)格分析基于均值回歸的證券投資基金風(fēng)格分析Fama-French三因子的均值回歸模型Fama-French三因子模型(12.7)式中，Ri,t為基金i在時刻t的收益率，Rf,t為時刻t

的無風(fēng)險利率，(Ri,t

-Rf,t)為基金i在時刻t的超額收益率；SMBt和HLMt分別是時刻t的規(guī)模因子和賬面市值比因子的收益率；Rm,t是時刻t

的市場組合收益率，(Rm,t-Rf,t)即是市場溢酬因子；αi是截距項；εi,t是殘差項。第二節(jié)證券投資基金風(fēng)格分析基于分位數(shù)回歸的證券投資基金風(fēng)格分析Sharpe多因素的分位數(shù)回歸模型建立Sharpe多因素回歸模型的分位數(shù)回歸分析模型(12.8)式中，ri,t表示基金i

在時間t

時的凈值收益率；fk,t為代表k

類資產(chǎn)的風(fēng)格指數(shù)在時間t

時的收益率；τ為分位點；Q(ri,t/τ)為凈值收益的條件分位數(shù)。第二節(jié)證券投資基金風(fēng)格分析基于分位數(shù)回歸的證券投資基金風(fēng)格分析Fama-French三因子的分位數(shù)回歸模型建立Fama-French三因子模型的分位數(shù)回歸分析模型(12.9)式中，Rf,t表示時間

t

的無風(fēng)險收益率；Rm,t表示時間

t

的市場收益率；Ri,t-Rf,t是基金

i

在時刻t

的超額收益率；Rm,t-Rf,t是市場溢酬因子。第二節(jié)證券投資基金風(fēng)格分析案例分析例12-2：考慮中國基金市場裕元基金2001年6月29日至2003年6月27日間的周數(shù)據(jù)，使用Sharpe多因素回歸模型做風(fēng)格分析與風(fēng)格漂移分析，在R軟件中使用quadprog包中的solve.QP函數(shù)和quanterg包中的rq函數(shù)實現(xiàn)。R代碼演示如下：第二節(jié)證券投資基金風(fēng)格分析案例分析

表12-72001-6-29到2003-6-27期間基金裕元的資產(chǎn)配置變量與指數(shù)均值回歸分位數(shù)回歸0.10.30.50.70.9GB0.62670.61720.6450.62460.62190.5963LV0.27320.35560.2020.23580.28780.4037LG0.100200.1530.13960.09040MV000000MG000000SV000000SG00.02710000第二節(jié)證券投資基金風(fēng)格分析案例分析由表12-7可以看出，本考察期內(nèi)基金裕元的實際投資風(fēng)格為大盤平衡型，與契約注明的投資風(fēng)格（資產(chǎn)重組型）不同，出現(xiàn)了基金風(fēng)格的漂移。國債投資比例比較大，這是由于基金投資渠道單一，不是股票就是債券，考察期間的股市又一直處于下跌狀態(tài)，所以大多投資于國債市場。第三節(jié)證券投資基金績效評價證券投資基金績效評價概述基金績效評價的內(nèi)容證券投資基金的業(yè)績主要來源于收益率水平、市場風(fēng)險水平和基金管理人的投資決策能力，這三個方面又和不同類型的基金密切相關(guān)?；鸬牟煌顿Y選擇代表了基金未來的收益和風(fēng)險程度，從而影響基金的績效。合理分類是基金績效評價的前提，基金的績效評價應(yīng)在各基金所屬類別之內(nèi)才更具有可比性。第三節(jié)證券投資基金績效評價證券投資基金績效評價概述基金績效評價的內(nèi)容基金的分類對于證券投資基金績效的評價具有重要意義根據(jù)投資對象的不同根據(jù)投資風(fēng)格的不同根據(jù)組織形式的不同根據(jù)運作方式的不同根據(jù)投資的來源、基金是否收費、投資貨幣幣種種類第三節(jié)證券投資基金績效評價證券投資基金績效評價概述基金績效評價的主體我國證券投資基金績效評價的主體主要有兩類：一是基金評價機構(gòu)，二是基金管理公司?；鹪u價機構(gòu)主要從兩個方面展開證券投資基金的績效評價：第一，通過基金的凈值表現(xiàn)基金的績效；第二，通過凈值。基金管理公司對于基金的績效表現(xiàn)主要是通過三個指標(biāo)來反映：“證券投資基金資產(chǎn)凈值周報表”中的“單位凈值”、“累計單位凈值”和“凈值增長率”第三節(jié)證券投資基金績效評價證券投資基金的績效評價指標(biāo)與方法證券投資基金績效評價指標(biāo)不同的證券投資基金在不同的市場中，以承擔(dān)一定的風(fēng)險為前提獲得相應(yīng)的收益。關(guān)于基金的風(fēng)險度量，主要包括以下四個指標(biāo)：標(biāo)準差σp、β系數(shù)、決定系數(shù)R2和下行風(fēng)險δ。針對以上四種不同的風(fēng)險度量指標(biāo)，相應(yīng)地，學(xué)者們提出了以下四種風(fēng)險調(diào)整績效衡量指標(biāo)：特雷諾比率(TR)、夏普比率(ShR)、詹森α指數(shù)和索提諾比率(SoR）。第三節(jié)證券投資基金績效評價證券投資基金的績效評價指標(biāo)與方法證券投資基金績效評價指標(biāo)證券投資基金績效評價方法均值回歸分析對線性均值回歸模型，可以通過最小二乘方法進行參數(shù)估計，同時用逐步回歸方法進行變量選擇，包括：向前逐步回歸與向后逐步回歸。分位數(shù)回歸分析一方面反映了投資基金可能取得極端收益所表現(xiàn)的特殊統(tǒng)計特征，另一方面克服了條件均值回歸模型只能揭示影響因子對投資基金平均收益的缺陷。第三節(jié)證券投資基金績效評價基金經(jīng)理人的績效評價股票選擇能力股票選擇能力，即基金經(jīng)理對不同股票的預(yù)測能力。由不同的股票產(chǎn)生不同的收益，即股票的選擇收益率。給出了基金績效來源的劃分，認為基金的超額收益由選擇收益率和風(fēng)險收益率兩部分組成，即(12.24)式的右端第一項為選擇收益率，即為基金經(jīng)理的股票選擇能力的結(jié)果；第二項為風(fēng)險收益率，即基金因承擔(dān)風(fēng)險而獲得的補償。第三節(jié)證券投資基金績效評價基金經(jīng)理人的績效評價市場時機判斷能力市場時機判斷能力，即基金經(jīng)理對市場整體走勢的預(yù)測能力，選擇出入市場的最佳時期，并以此調(diào)整基金的構(gòu)成來取得超額收益。主要討論兩種模型：T—M模型和H—M模型。T—M模型的表達式如下(12.25)式中，α為股票選擇能力指標(biāo)H—M模型的表達式如下(12.26)式中，λ是一個虛擬變量第四節(jié)基于Rhadoop的大數(shù)據(jù)金融定量分析大數(shù)據(jù)概述大數(shù)據(jù)概述大數(shù)據(jù)含義大數(shù)據(jù)是由數(shù)量巨大、結(jié)構(gòu)復(fù)雜、類型眾多數(shù)據(jù)構(gòu)成的數(shù)據(jù)集合。國際著名咨詢公司麥肯錫認為，大數(shù)據(jù)是一個大的數(shù)據(jù)池，其中的數(shù)據(jù)可以被采集、傳遞、聚集、存儲和分析。大數(shù)據(jù)產(chǎn)生大數(shù)據(jù)是由科學(xué)儀器、傳感器、網(wǎng)上交易、電子郵件、視頻、點擊流和其他現(xiàn)在或?qū)砜捎玫臄?shù)字資源產(chǎn)生的大規(guī)模、多樣性、復(fù)雜的、縱向的或分布式數(shù)據(jù)集。第四節(jié)基于Rhadoop的大數(shù)據(jù)金融定量分析大數(shù)據(jù)概述大數(shù)據(jù)概述大數(shù)據(jù)的特征4V特征：Volume(大量)、Velocity(高速)、Variety(多樣)、Veracity(真實)大數(shù)據(jù)的意義大數(shù)據(jù)對社會經(jīng)濟生活產(chǎn)生的影響絕不限于技術(shù)層面，它為我們看待世界提供了一種全新的方法，即決策行為將日益基于數(shù)據(jù)分析做出，而不是像過去更多憑借經(jīng)驗和直覺做出。業(yè)內(nèi)人士指出，大數(shù)據(jù)是一種全新的致富手段，它的價值堪比石油和黃金。第四節(jié)基于Rhadoop的大數(shù)據(jù)金融定量分析大數(shù)據(jù)概述大數(shù)據(jù)與金融定量分析金融領(lǐng)域每天生產(chǎn)著規(guī)模驚人的數(shù)據(jù)從狹義上來講，很多金融數(shù)據(jù)離大數(shù)據(jù)還有段距離，有些數(shù)據(jù)稱之為大規(guī)模數(shù)據(jù)可能更合適些。從廣義上來講，大規(guī)模的數(shù)據(jù)已經(jīng)讓很多分析軟件不堪重負，因此，從相對性的角度來看，這些大規(guī)模數(shù)據(jù)也可認為是“大數(shù)據(jù)”。大數(shù)據(jù)技術(shù)憑借其優(yōu)異的計算能力，在微觀金融的很多領(lǐng)域有用武之地比如，客戶信任風(fēng)險評估，高維投資組合的構(gòu)造，復(fù)雜衍生品的定價，投資策略的開發(fā)與快速執(zhí)行等等。第四節(jié)基于Rhadoop的大數(shù)據(jù)金融定量分析大數(shù)據(jù)概述大數(shù)據(jù)與金融定量分析在金融交易中，模型的執(zhí)行效率是至關(guān)重要的比如，大家都應(yīng)用同樣的套利策略，那么晚入場的套利機會就沒了，這就是所謂的延遲風(fēng)險。如何能讓模型執(zhí)行的更快呢，投資者至少可以做得有兩點：一是模型本身的算法架構(gòu)；二是與平臺有關(guān)的信息處理能力。以互聯(lián)網(wǎng)為代表的現(xiàn)代信息科技，特別是搜索引擎、移動支付、云計算、大數(shù)據(jù)等的發(fā)展，對金融模式產(chǎn)生了顛覆性的影響，催生了互聯(lián)網(wǎng)與大數(shù)據(jù)金融等新興金融業(yè)態(tài)。第四節(jié)基于Rhadoop的大數(shù)據(jù)金融定量分析大數(shù)據(jù)概述大數(shù)據(jù)相關(guān)處理技術(shù)幾種流行的與大數(shù)據(jù)相關(guān)的處理技術(shù)MapReduceMapReduce是Google提出的一個軟件框架，用于并行處理大數(shù)據(jù)集，它可以將單個計算任務(wù)分配給多臺計算機完成，以此縮短任務(wù)處理時間。HadoopHadoop是一個開發(fā)和運行處理大規(guī)模數(shù)據(jù)的軟件平臺，是Apache的一個用java語言實現(xiàn)開源項目，實現(xiàn)在大量計算機組成的集群中對大規(guī)模數(shù)據(jù)集進行可靠的、穩(wěn)定的和分布式的計算。第四節(jié)基于Rhadoop的大數(shù)據(jù)金融定量分析大數(shù)據(jù)概述大數(shù)據(jù)相關(guān)處理技術(shù)幾種流行的與大數(shù)據(jù)相關(guān)的處理技術(shù)NoSQLNoSQL，有時被稱作NotOnlyS