《數(shù)據(jù)挖掘與數(shù)據(jù)分析（財(cái)會(huì)）》課件 第8、9章 灰色預(yù)測(cè)及應(yīng)用、支持向量機(jī)（SVM）及應(yīng)用

大智移云下的財(cái)務(wù)管理創(chuàng)新思維

主講人：謝海娟桂林電子科技大學(xué)商學(xué)院職稱(chēng)：教授/高級(jí)會(huì)計(jì)師資格：注冊(cè)會(huì)計(jì)師/注冊(cè)咨詢工程師兼職：廣西會(huì)計(jì)咨詢專(zhuān)家/廣西財(cái)政干部教育培訓(xùn)師資庫(kù)成員

廣西本科高等學(xué)校經(jīng)濟(jì)與財(cái)政金融學(xué)類(lèi)教學(xué)指導(dǎo)委員會(huì)委員

廣西科技專(zhuān)家/廣西北部灣產(chǎn)權(quán)交易所集團(tuán)專(zhuān)家

廣西“十百千”會(huì)計(jì)拔尖人才優(yōu)秀學(xué)員問(wèn)題的提出已知最近四年的利潤(rùn)，問(wèn)：2021年的利潤(rùn)在正常情況下是多少？年度2017201820192020符號(hào)利潤(rùn)121.53預(yù)測(cè)現(xiàn)有預(yù)測(cè)方法，大都是數(shù)理統(tǒng)計(jì)方法。例如：回歸分析，神經(jīng)網(wǎng)絡(luò)，支持向量機(jī)，組合預(yù)測(cè)，時(shí)間序列分析等。這些方法：1.要求大樣本，即：大數(shù)據(jù)集2.要求樣本有明顯的分布規(guī)律3.計(jì)算工作量大4.可能出現(xiàn)量化的結(jié)果與定性分析的結(jié)果不符針對(duì)這種情況，有學(xué)者提出了灰色預(yù)測(cè)。1.灰色預(yù)測(cè)的由來(lái)華中理工大學(xué)鄧聚龍教授于1982年提出灰色系統(tǒng)理論?；疑到y(tǒng)指既含有已知信息、又含有未知信息的系統(tǒng)。（部分信息已知，部分信息未知的系統(tǒng)）在自然界和思維領(lǐng)域，不確定性問(wèn)題普遍存在。大樣本、多數(shù)據(jù)的不確定性問(wèn)題，可以用概率論和數(shù)理統(tǒng)計(jì)解決；認(rèn)識(shí)的不確定性問(wèn)題，可以用模糊數(shù)學(xué)解決。然而，還有另外一類(lèi)不確定性問(wèn)題，即少數(shù)據(jù)、小樣本、信息不完全和經(jīng)驗(yàn)缺乏的不確定性問(wèn)題。灰色系統(tǒng)理論是處理少數(shù)據(jù)不確定性問(wèn)題的理論。少數(shù)據(jù)不確定性亦稱(chēng)灰性，具有灰性的系統(tǒng)稱(chēng)為灰色系統(tǒng)。灰理論基本技術(shù)（1）灰生成技術(shù)灰色系統(tǒng)是通過(guò)對(duì)原始數(shù)據(jù)的整理、挖掘來(lái)尋求其變化規(guī)律的，這是一種就數(shù)據(jù)尋求數(shù)據(jù)的現(xiàn)實(shí)規(guī)律的途徑，即為灰色序列的生成，簡(jiǎn)稱(chēng)灰生成。特點(diǎn)：一切灰色序列都能通過(guò)某種生成弱化其隨機(jī)性，顯現(xiàn)其規(guī)律性。數(shù)據(jù)生成的常用方式有累加生成、累減生成和加權(quán)累加生成。序號(hào)1234符號(hào)數(shù)值121.53序號(hào)1234符號(hào)數(shù)值134.57.5灰理論基本內(nèi)容（2）灰關(guān)聯(lián)通過(guò)灰生成，系統(tǒng)有了較強(qiáng)規(guī)律性的數(shù)據(jù)序列，利用生成的數(shù)據(jù)序列建立微分方程模型，從而預(yù)測(cè)事物未來(lái)發(fā)展趨勢(shì)的狀況。2.GM(1,1)模型

灰色、模型、一階、一個(gè)

2.GM(1,1)模型

灰色預(yù)測(cè)步驟

AGO:AcumulatedGeneratingOperation）灰色預(yù)測(cè)步驟

灰色預(yù)測(cè)步驟

灰色預(yù)測(cè)步驟

對(duì)表達(dá)式進(jìn)行檢驗(yàn)

對(duì)結(jié)果進(jìn)行檢驗(yàn)

Python代碼實(shí)現(xiàn)1.準(zhǔn)備數(shù)據(jù)：縱觀我們的計(jì)算過(guò)程，需要用到兩個(gè)矩陣的點(diǎn)乘和轉(zhuǎn)置，求逆等運(yùn)算。為了減少代碼，使用numpy和pandas包來(lái)實(shí)現(xiàn)，因此需要引入這兩個(gè)包。importnumpyasnpimportpandasaspd數(shù)據(jù)準(zhǔn)備年度2001200220032004200520062007財(cái)務(wù)杠桿系數(shù)71.172.472.472.171.472.071.6符號(hào)將以上數(shù)據(jù)準(zhǔn)備好。importnumpyasnpimportpandasaspdgao_data=[0]*7#累加生成數(shù)據(jù)，初始為零p_gao=[0]*7#計(jì)算的累加生成系列，計(jì)算后放入p_data=[0]*7#預(yù)測(cè)的未來(lái)數(shù)據(jù)，計(jì)算后放入data=pd.DataFrame({"year":[2001,2002,2003,2004,2005,2006,2007],"val":[71.1,72.4,72.4,72.1,71.4,72.0,71.6],"gao_data":gao_data,"p_gao":p_gao,"p_data":p_data})data

取出財(cái)務(wù)數(shù)據(jù)：check_data=data.loc[:,”val”]#利用循環(huán)，檢驗(yàn)數(shù)據(jù)check_data=data.loc[:,"val"]n=len(check_data)lambda_left=np.exp(-2/(n+1))lambda_right=np.exp(2/(n+1))lambda_1=np.zeros(n-1)foriinrange(1,data_count):lambda_1[i-1]=check_data[i]/check_data[i-1]iflambda_left<lambda_1[i-1]<lambda_right:continueelse:print("data_error")breakelse:print("data_ok")

np中的cumsum函數(shù)可以實(shí)現(xiàn)這個(gè)功能gao_1=np.cumsum(check_data)data["gao_data"]=gao_1

z=np.zeros(n-1)foriinrange(1,n):z[i-1]=(gao_1[i-1]+gao_1[i])/2

x_t=pd.DataFrame([-z,[1]*(n-1)])x=x_t.transpose()y=check_data[1:]beta_1=np.dot(x_t,x)beta_2=np.dot(x_t,y)beta=np.linalg.inv(beta_1).dot(beta_2)

y=[0]*ny_yu=[0]*ny[0]=check_data[0]y_yu[0]=check_data[0]forkinrange(1,n):y[k]=round((y[0]-beta[1]/beta[0])*np.exp(-beta[0]*k)+beta[1]/beta[0],2)forkinrange(n-1,0,-1):y_yu[k]=round(y[k]-y[k-1],2)data["p_gao"]=ydata["p_data"]=y_yu

xi=[0]*nx_0=data["val"]x_bar=data["p_data"]foriinrange(0,n):temp=(x_0[i]-x_bar[i])/x_0[i]xi[i]=tempzeta=max(np.abs(xi))ifzeta<0.1:print("hight")elifzeta<0.2:print("normal")

rou=[0]*(n-1)beta[0]forkinrange(0,n-1):rou[k]=1-((1-0.5*beta[0])/(1+0.5*beta[0]))*lambda_1[k]rou_max=max(np.abs(rou))ifrou_max<0.1:print("hight")elifrou_max<0.2:print("normal")else:print("nouse")如果模型可用，那么就可以預(yù)測(cè)2008年的數(shù)據(jù)了。從前面的數(shù)據(jù)看，2007年時(shí)，k=6，因此，將k變?yōu)?就是2008年的累加數(shù)據(jù)：y[7]=round((y[0]-beta[1]/beta[0])*np.exp(-beta[0]*7)+beta[1]/beta[0],2)#從當(dāng)前數(shù)據(jù)量（k=6）,預(yù)測(cè)未來(lái)兩年的數(shù)據(jù)，則k分別為7,82008年的累加數(shù)據(jù)-2007年的累加數(shù)據(jù)，就是2008年的預(yù)測(cè)值：y_yu[7]=y[7]-y[6]forkinrange(7,12):y[k-6]=round((y[0]-beta[1]/beta[0])*np.exp(-beta[0]*k)+beta[1]/beta[0],2)print(y[k-6])data.loc[k]=[2007+k-6,0,0,y[k-6],0]data.loc[k,"p_data"]=data.loc[k,"p_gao"]-data.loc[k-1,"p_gao"]謝謝聆聽(tīng)桂電《數(shù)據(jù)挖掘與數(shù)據(jù)分析》教學(xué)團(tuán)隊(duì)課程?。〈笾且圃葡碌呢?cái)務(wù)管理創(chuàng)新思維問(wèn)題的提出在平面上有這樣的兩組數(shù)據(jù)，如何將他們進(jìn)行分類(lèi)，以便于在將來(lái)新的數(shù)據(jù)加入進(jìn)來(lái)能將新的數(shù)據(jù)劃分到某一方：SVM原理以及基本概念1.什么是SVMSVM（supportvectorsmachine，SVM，支持向量機(jī)）支持向量機(jī)（又名支持向量網(wǎng)絡(luò)）一種二類(lèi)分類(lèi)模型，它的基本模型是的定義在特征空間上的間隔最大的線性分類(lèi)器，是一種機(jī)器學(xué)習(xí)算法。SVM中最關(guān)鍵的思想之一就是引入和定義了“間隔”這個(gè)概念。SVM的學(xué)習(xí)策略就是間隔最大化。核心：超平面，核，訓(xùn)練與測(cè)試SVM原理以及基本概念2.SVM原理要進(jìn)行分類(lèi)，則要將兩類(lèi)盡可能的分開(kāi)，且誤差最小。SVM的目標(biāo)是：尋找距離最大化的邊界。邊界定義為：分離面（決策邊界）與其最近的訓(xùn)練樣本之間的距離現(xiàn)在問(wèn)題就變成了：如何確定與分離面距離最近的樣本？

SVM原理以及基本概念2.1點(diǎn)到分離面的距離總結(jié)

SVM原理以及基本概念

分隔平面我們假設(shè)這個(gè)平面的方程是：

將這個(gè)方程寫(xiě)成向量的形式就變?yōu)椋?/p>

這兩個(gè)平面就變成了邊界現(xiàn)在的問(wèn)題就變成了如何找到這個(gè)平面？X的位置X的垂直分量X在平面內(nèi)的分量

2.2最大間距SVM原理以及基本概念

SVM求解

Python求解SVM現(xiàn)有一系列企業(yè)，我們把這些企業(yè)根據(jù)營(yíng)業(yè)額度，稅前利潤(rùn)，交稅，存利潤(rùn)四個(gè)維度劃分為四類(lèi)，這四類(lèi)我們分別標(biāo)注為：1,2,3,4。現(xiàn)在有一些新的企業(yè)，如何將這些企業(yè)進(jìn)行分類(lèi)呢？進(jìn)行預(yù)測(cè)的步驟1.導(dǎo)入需要用到的包2.導(dǎo)入樣本數(shù)據(jù)和預(yù)測(cè)數(shù)據(jù)3.對(duì)樣本數(shù)據(jù)進(jìn)行分析4.校驗(yàn)預(yù)測(cè)的精度4.利用分析的結(jié)果對(duì)未來(lái)進(jìn)行預(yù)測(cè)5.顯示預(yù)測(cè)結(jié)果利用SVM進(jìn)行分類(lèi)準(zhǔn)備工作：本次實(shí)驗(yàn)，需要裝載數(shù)據(jù)，并且對(duì)數(shù)據(jù)進(jìn)行處理，因此需要使用numpy和pandas包繪圖需要用到pyplot包進(jìn)行訓(xùn)練和預(yù)測(cè)，需要用到sklearn包中的svm第一步，導(dǎo)入包：importnumpyasnp#計(jì)算所用包importmatplotlib.pyplotasplt#繪圖用importpandasaspd#計(jì)算所用包fromsklearn.svmimportSVC#算法fromsklearn.model_selectionimporttrain_test_split#用來(lái)分離測(cè)試數(shù)據(jù)與訓(xùn)練數(shù)據(jù)導(dǎo)入數(shù)據(jù)：init_data=pd.read_excel("i:/myjupyter/ceshi.xlsx")將數(shù)據(jù)和標(biāo)簽分別取出：data=init_data.loc[:,["value","profit"]]label=init_data.loc[:,"label"]將數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化stand_data=StandardScaler().fit(data).transform(data)創(chuàng)建向量機(jī)linear_svc=SVC(kernel="linear")將原始數(shù)據(jù)進(jìn)行分割，分為訓(xùn)練和測(cè)試x_train,x_test,y_train,y_text=train_test_split(data,label,test_size=1/5,random_state=33)創(chuàng)建一個(gè)SVC實(shí)例，并應(yīng)用數(shù)據(jù)進(jìn)行訓(xùn)練linear_svc=SVC(kernel="linear")linear_svc.fit(x_train,y_train)對(duì)測(cè)試數(shù)據(jù)進(jìn)行測(cè)試，查看測(cè)試精度test_predic=linear_svc.predict(x_test)linear_svc.score(x_test,y_test)直觀查看，繪圖a=-linear_svc.coef_[0,0]/linear_svc.coef_[0,1]b=-linear_ercept_[0]/linear_svc.coef_[0,1]x_min,x_max=data["value"].min(),data["value"].max()y_min,y_max=data["profit"].min(),data["profit"].max()plt.xlim(x_min,x_max)plt.ylim(y_min,y_max)x=np.linspace(x_min,x_max,1000)plt.scatter(x_train.loc[:,"value"],x_train.loc[:,"profit"],c=y_train)plt.plot(x,a*x+b,c="r")plt.plot(x,a*x+(linear_svc.support_vectors_[1,1]-a*linear_svc.support_vectors_[1,0]))plt.plot(x,a*x+(linear_svc.support_vectors_[0,1]-a*linear_svc.support_vectors_[0,0]))plt.scatter(linear_svc.support_vectors_[0,0],linear_svc.support_vectors_[0,1],s=100)plt.scatter(linear_svc.support_vectors_[1,0],linear_svc.support_vectors_[1,1],s=100)plt.show()線性不可分的情況以上我們看到