matlab經(jīng)典算法程序---回歸分析ppt課件

1、第一講：一元線性與非線性回歸分析 引例：鋼材消費(fèi)量與國民收入的關(guān)系 一元回歸模型與回歸分析 MATLAB軟件實(shí)現(xiàn) 簡介一元非線性回歸模型 實(shí)驗(yàn) 為了研討鋼材消費(fèi)量與國民收入之間的關(guān)系，在統(tǒng)計(jì)年鑒上查得一組歷史數(shù)據(jù)。引例：鋼材消費(fèi)量與國民收入的關(guān)系 年 份196419651966197819791980消費(fèi)(噸)698872988144627362825收入(億)109712841502294831553372 試分析預(yù)測(cè)假設(shè)1981年到1985年我國國民收入以4.5%的速度遞增，鋼材消費(fèi)量將到達(dá)什么樣的程度？ 鋼材消費(fèi)量-實(shí)驗(yàn)?zāi)康?因變量)Y；國民收入-自變量 x；建立數(shù)據(jù)擬合函數(shù) y = E

2、Y | x= f(x)；作擬合曲線圖形分析。 問題分析：10001500200025003000350050010001500200025003000 鋼材消費(fèi)量y與國民收入x的散點(diǎn)圖y=a+bx回歸分析是研討變量間相關(guān)關(guān)系的一種統(tǒng)計(jì)分析。特點(diǎn)：實(shí)驗(yàn)?zāi)康囊蜃兞渴请S機(jī)變量。圖形解釋：y = EY | x= f(x)假設(shè)：f(x) = ax+bxx0E(Y|x0)y0 x1E(Y|x1)假設(shè)： y = EY | x= f(x)1Y是一個(gè)正態(tài)隨機(jī)變量，即Y服從正態(tài)分 布，并且有方差 D(Y)=2。2根據(jù)觀測(cè)值作的散點(diǎn)圖，察看出函數(shù)f(x) 是線性方式還是非線性方式。 回歸模型及回歸分析1、一元線性回

3、歸模型、一元線性回歸模型), 0(;2NbxaY),(2bxaNY或需求處理的問題： 1 在回歸模型中如何估計(jì)參數(shù)a、b和2？知識(shí)引見 2 模型的假設(shè)能否正確？需求檢驗(yàn)。3利用回歸方程對(duì)實(shí)驗(yàn)?zāi)康膟進(jìn)展預(yù)測(cè)或控制？),(,0000dydyxbay區(qū)間估計(jì)估計(jì)量參數(shù)估計(jì) 設(shè)觀測(cè)值為(xi, yi)i=1,2,n), 代入模型中，yi = a + bxi +i解出的參數(shù)記為ba, 那么回歸方程：xbay21)(),(mininiibxaybaQ最小二乘法:殘差值iiiiyyxbay回歸模型的假設(shè)檢驗(yàn)0:; 0:10bHbH提出問題：1、相關(guān)系數(shù)檢驗(yàn)DYDXYXr),cov(niiniiniiiyyx

4、xyyxxr12121)()()(| r |1| r |1，線性相關(guān)| r |0，非線性相關(guān)模型：Y = a + bx +H0的回絕域?yàn)椋?)2(| |0nrr-11 |0r(n-2)-r(n-2)2、F-檢驗(yàn)法平方和分解公式：niiniiiniiyyyyyy121212)()()(UQLyy記為)2, 1 ()2, 1 ()2/(10nFFnFnQUF拒絕域?qū)崪y(cè)值 估計(jì)值殘差值，剩余平方和,越小越好以為線性回歸效果好預(yù)測(cè)與控制給定的自變量x0，給出E(y0)的點(diǎn)估計(jì)量: 00 xbayy0的置信度為(1)%的預(yù)測(cè)區(qū)間為： ),(00nndydyxxnLxxnntd202)(11)2(22nQ

5、 設(shè)y在某個(gè)區(qū)間(y1, y2)取值時(shí), 應(yīng)如何控制x的取值范圍, 這樣的問題稱為控制問題。 小結(jié)：), 0(;2NbxaY),(2bxaNY或 模型1、估計(jì)參數(shù)a，b，2；2、檢驗(yàn)?zāi)Ｐ驼_與否；即b03、預(yù)測(cè)或控制； 知數(shù)據(jù)(xi, yi)(i =1,2,n), 如何利用MATLAB軟件實(shí)現(xiàn)以上的統(tǒng)計(jì)計(jì)算？MATLAB軟件實(shí)現(xiàn)運(yùn)用命令regress實(shí)現(xiàn)一元線性回歸模型的計(jì)算 b = regress (Y, X) 或 b, bint, r, rint, stats = regress(Y, X, alpha)nnyyxx11Y,11X回歸系數(shù)a，b以及它們的置信區(qū)間殘差向量e=Y-Y及它們的置

6、信區(qū)間相關(guān)系數(shù)R2，F(xiàn)-統(tǒng)計(jì)量和與0對(duì)應(yīng)的概率p。殘差及其置信區(qū)間可以用rcoplot(r,rint)畫圖。默許值是0.05引例求解引例求解輸入：輸入：(hg1.m)x=1097 1284 1502 4 1303 1555 1917 2051 2111 2286 2311 2003 2435 2625 2948 3155 3372;y=698 872 988 807 738 1025 1316 1539 1561 1765 1762 1960 1902 2021 2446 2736 2825;X=ones(size(x),x,pause c,cint,r,rint,stats=regress(

7、y,X,0.05),pausercoplot(r,rint)輸出：c = -460.5282 (參數(shù)a) 0.9840 (參數(shù)b)cint = -691.8478 -229.2085 ( a的置信區(qū)間 ) 0.8779 1.0900 ( b的置信區(qū)間 )r = 79.1248 69.1244 -29.3788 -104.1112 -83.5709 -44.5286 -109.7219 -18.5724 -55.6100 -23.8029 -51.4019 449.6576 -33.4128 -109.3651 5.8160 92.4 -32.3827(殘差向量)rint=略參見殘差分析圖sta

8、ts = 0.9631(R2) 391.2713( F ) 0.0000 ( P0 )xbay51015-400-2000200400600Residual Case Order PlotResidualsCase Number第第12個(gè)數(shù)據(jù)點(diǎn)個(gè)數(shù)據(jù)點(diǎn)異常，可刪出異常，可刪出預(yù)測(cè)x1(1)=3372;(hgy1.m)for i=1:5 x1(i+1)=1.045*x1(i);%未來五年國民收入以4.5%的 速度遞增 y1(i+1)=-460.5282+0.9840*x1(i+1);%鋼材的預(yù) 測(cè)值endx1, y1結(jié)果x1 = 3372.0 3523.7 3682.3 3848.0 4021.

9、2 4202.1y1 = 3006.8 3162.9 3325.9 3496.3 3674.4 假設(shè)從數(shù)據(jù)的散點(diǎn)圖上發(fā)現(xiàn)y與x沒有直線關(guān)系，又如何計(jì)算？例如，試分析年齡與運(yùn)動(dòng)旋轉(zhuǎn)定向才干年齡 17 19 21 23 25 27 29第1人第2人20.48 25.13 26.15 30.0 26.1 20.3 19.3524.35 28.11 26.3 31.4 26.92 25.7 21.3152025301820222426283032假設(shè)模型), 0(;23221NaxaxaY 一元多項(xiàng)式回歸在matlab 軟件中用命令polyfit實(shí)現(xiàn)。如前面的例子，詳細(xì)計(jì)算如下：輸入： (phg1.m

10、)x1=17:2:29;x=x1,x1;y=20.48 25.13 26.15 30.0 26.1 20.3 19.35 24.35 28.11 26.3 31.4 26.92 25.7 21.3;p,S=polyfit(x,y,2);p 留意：x，y向量的維數(shù)要一致。S是一個(gè)數(shù)據(jù)構(gòu)造，用于其它函數(shù)的計(jì)算。計(jì)算y的擬合值：輸入：Y,delta=polyconf(p,x,S);Y結(jié)果： Y= 22.5243 26.0582 27.9896 28.3186 27.0450 24.1689 19.6904 22.5243 26.0582 27.9896 28.3186 27.0450 24.1689

11、 19.6904擬合效果圖：152025301520253035用polytool(x,y,2)還可以得到一個(gè)交互式畫面。ExportParametersParameters CIPredictionPrediction CIResidualsAll), 0(;23221NaxaxaY在任務(wù)空間中，輸入在任務(wù)空間中，輸入yhat，回車，得到預(yù)測(cè)值。，回車，得到預(yù)測(cè)值。實(shí)驗(yàn)內(nèi)容1、確定企業(yè)年設(shè)備才干與年勞動(dòng)消費(fèi)率的關(guān)系 某市電子工業(yè)公司有14個(gè)所屬企業(yè)，各企業(yè)的年設(shè)備才干與年勞動(dòng)消費(fèi)率統(tǒng)計(jì)數(shù)據(jù)如下表。試分析企業(yè)年設(shè)備才干與年勞動(dòng)消費(fèi)率的關(guān)系。假設(shè)該公司方案新建一個(gè)設(shè)備才干為9.2千瓦/人的企業(yè)，

12、估計(jì)勞動(dòng)消費(fèi)率將為多少？企業(yè)設(shè)備才干(千瓦/人勞動(dòng)消費(fèi)率企業(yè)設(shè)備才干勞動(dòng)消費(fèi)率12.86.784.89.822.86.994.910.633.07.2105.210.742.97.3115.411.153.48.4125.511.863.98.8136.212.174.09.1147.012.4 一礦脈有13個(gè)相鄰樣本點(diǎn)，人為地設(shè)定一個(gè)原點(diǎn)，現(xiàn)測(cè)得各樣本點(diǎn)與原點(diǎn)的間隔x，與該樣本點(diǎn)處某種金屬含量y的一組數(shù)據(jù)如下：2、測(cè)定某礦脈的金屬含量xy 2 3 4 5 7 8 10106.42 109.2 109.58 109.5 110 109.93 110.49xy 11 14 15 15 18 19

13、 110.59 110.6 110.9 110.76 111 111.2試建立適宜的回歸模型。首先畫散點(diǎn)圖第二講：多元線性與非線性回歸分析 引例：某建材公司的銷售量要素分析 多元線性回歸模型 MATLAB軟件實(shí)現(xiàn) 簡介多元非線性回歸模型 實(shí)驗(yàn)1了解回歸分析的根本原理；2掌握MATLAB的實(shí)現(xiàn)方法；3練慣用回歸分析方法處理實(shí)踐問題；實(shí)驗(yàn)?zāi)康?某建材公司對(duì)某年20個(gè)地域的建材銷售量Y(千方)、推銷開支、實(shí)踐帳目數(shù)、同類商品競爭數(shù)和地域銷售潛力分別進(jìn)展了統(tǒng)計(jì)。試分析推銷開支、實(shí)踐帳目數(shù)、同類商品競爭數(shù)和地域銷售潛力對(duì)建材銷售量的影響作用。試建立回歸模型，且分析哪些是主要的影響要素。引例：某建筑資料公

14、司的銷售量要素分析 設(shè)：推銷開支x1 實(shí)踐帳目數(shù)x2 同類商品競爭數(shù)x3 地域銷售潛力x4 12345678910111213141516171819205.52.58.03.03.02.98.09.04.06.55.55.06.05.03.58.06.04.07.57.031556750387130564273604450395570405062591081278121258511126101061111998691615178104167126441468131179.3200.1163.2200.1146.0177.730.9291.9160.0339.4159.686.3237.510

15、7.2155.0201.4100.2.8223.3195.0 x1 x2 x3 x4 y1111.11111X=尋覓關(guān)系： y = E(Y|x1,x2,x3,x4) = f(x1,x2,x3,x4), 0(2443322110NxxxxY模型：假設(shè)：1、因變量Y是隨機(jī)變量，并且它服從正態(tài)分布；2、f(x1,x2,x3,x4)是線性函數(shù)(非線性)；2、多元線性回歸模型), 0(Y2mm110Nxx模型要處理的問題可歸納為以下幾個(gè)方面： 1 在回歸模型中如何估計(jì)參數(shù)i (i=0,1,m)和2？ 2 模型的假設(shè)(線性)能否正確？ 3 判別每個(gè)自變量xi (i=1,m)對(duì)Y的影響能否顯著？ 4 利用回

16、歸方程對(duì)實(shí)驗(yàn)?zāi)康?Y進(jìn)展預(yù)測(cè)或控制？知識(shí)引見參數(shù)估計(jì) 假 設(shè) 有 n 個(gè) 獨(dú) 立 觀 測(cè) 數(shù) 據(jù)(xi1,xi2,xim,yi)，i = 1,2,n, 要確定回歸系數(shù) m10,由最小二乘法2imm1 i10n1in1ii2im10)(),(minxxyQmnnmnmyyxxxx,1Y,11XYX)XX(01111T1T求解結(jié)果y的估計(jì)值：mmxxy110擬合誤差e = y y 稱為殘差，殘差平方和niiiniiyyeQ1212)(統(tǒng)計(jì)分析1、是的線性最小方差無偏估計(jì)2、)(,(12XXNT3、殘差平方和Q，) 1(22 mnQ由此得2的無偏估計(jì)12mnQ4、對(duì)Y的樣本方差S2進(jìn)展分解212)(

17、,yyUUQSnii回歸模型的假設(shè)檢驗(yàn)0:H100m)1,() 1,() 1/(/10mnmFFmnmFmnQmUF拒絕域構(gòu)造F-統(tǒng)計(jì)量及檢驗(yàn)H0的回絕域：留意：衡量留意：衡量y與與x1,x2,xm相關(guān)程度的目的可相關(guān)程度的目的可以定義復(fù)相關(guān)系數(shù)以定義復(fù)相關(guān)系數(shù)R，R的值越接近于的值越接近于1，它，它們的相關(guān)程度越親密。們的相關(guān)程度越親密。22SUR 回歸系數(shù)的檢驗(yàn) 主要判別每個(gè)自變量xi對(duì)y的影響能否顯著。0:H, 0:H10iimicNijii, 1),(2) 1(1mntmnQcTiiii由此可得MATLAB軟件實(shí)現(xiàn) b = regress (Y, X) 或 b, bint, r, ri

18、nt, stats = regress(Y, X, alpha)1、運(yùn)用命令regress實(shí)現(xiàn)多元線性回歸nnmnmyyxxxx1Y,11X1111回歸系數(shù)0,1,m以及它們的置信區(qū)間殘差向量e=Y-Y及它們的置信區(qū)間相關(guān)系數(shù)R2，F(xiàn)-統(tǒng)計(jì)量和與F對(duì)應(yīng)的概率p。引例求解：輸入：(jzhui.m)x1=5.5 2.5 8 3 8 6 4 7.5 7;(20維x2=31 55 67 55 70 40 50 62 59;x3=10 8 12 11 11 9 9;x4=8 6 9 16 8 13 11;y=79.3 200.1 .8 223.3 195;X=ones(size(x1),x1,x2,x3

19、,x4;b,bint,r,rint,stats=regress(y,X)計(jì)算結(jié)果： 輸出b = 191.9158 -0.7719 3.1725 -19.6811 -0.4501 0 1 2 3 4bint = 103.1071 280.7245系數(shù)的置信區(qū)間系數(shù)的置信區(qū)間r = -6.3045 -4.2215 8.4422 23.4625 3.3938rint=略略stats = 0.9034R2 35.0509F 0.0000pQ = r*r2= Q/(n-2) = 537.2092 近似近似 殘差向量分析圖 如何分析四個(gè)要素x1,x2,x3,x4 對(duì)實(shí)驗(yàn)?zāi)康腨的作用大??？運(yùn)用逐漸回歸方法。

20、在MATLAB軟件中運(yùn)用以下命令： stepwise(X, y, inmodel,alfha)如上例，輸入：如上例，輸入： X=x1,x2,x3,x4; stepwise(X,y,1,2,3)模型中均方差歷模型中均方差歷史數(shù)據(jù)記載表史數(shù)據(jù)記載表參變量數(shù)參變量數(shù)據(jù)分析表據(jù)分析表經(jīng)過察看，得到各種情況下的均方差對(duì)比：變量組合x1,x2x1,x3x1,x4x2,x3x2,x4x3,x4RMSE5351.96 61.77 23.96 52.96 44.75變量組合x1,x2x3x1, x2x4x1, x3 x4x2,x3x4x1,x2x3, x4RMSE 24.65 54.43 45.86 24.64

21、 25.39最正確回歸方程061.499029. 0:34173. 0605.19149. 3882.18705443.499028. 0:2584.191066. 37048. 072.18906381.789025. 0:15176.1909. 311tatsxxxystatsxxxystatsxxy范例： 某化學(xué)反響問題 這是一個(gè)非線性回歸模型的實(shí)例這是一個(gè)非線性回歸模型的實(shí)例 1、問題、問題 為了研討三種化學(xué)元素：氫、為了研討三種化學(xué)元素：氫、n戊烷和戊烷和異構(gòu)戊烷與生成物的反響速度異構(gòu)戊烷與生成物的反響速度Y(%)之間的之間的關(guān)系，經(jīng)實(shí)驗(yàn)測(cè)定得到某些數(shù)據(jù)。試

22、建立非關(guān)系，經(jīng)實(shí)驗(yàn)測(cè)定得到某些數(shù)據(jù)。試建立非線性回歸模型，并進(jìn)展統(tǒng)計(jì)分析。線性回歸模型，并進(jìn)展統(tǒng)計(jì)分析。2、假設(shè)及建模、假設(shè)及建模 在各要素與目的在各要素與目的(因變量因變量)之間的信息之間的信息“一無所知一無所知的情況下，假設(shè)模型的情況下，假設(shè)模型Y = f (x1,x2,x3)+中的函數(shù)中的函數(shù)f 是是多項(xiàng)式方式，即多項(xiàng)式方式，即 y = b 0 + b 1 x 1 + b 2 x 2 + b 3 x 3 + (linear terms) b 12 x 1 x 2 + b 13 x 1 x 3 + b 23 x 2 x 3 + (interaction terms) b 11 x 1 2

23、+ b 22 x 2 2 + b 33 x 3 2 + (quadratic terms) N(0, 2) 在MATLAB軟件下，實(shí)現(xiàn)二次多項(xiàng)式回歸分析的命令： rstool(X, y, model, alpha) 它將產(chǎn)生一個(gè)交互式的界面linear:缺省y = 0+1x1+mxm purequadratic: y = 0+1x1+mxm +j=1 to mj*xj2 interaction: y = 0+1x1+mxm +1jk mjkxjxk quadratic(完全二次，以上模型之和)其中model有以下四種選擇：load reaction調(diào)出數(shù)據(jù)Whos 查看數(shù)據(jù)稱號(hào)及大小 Name Size Bytes Class beta 5x1 40 double array model 1x6 12 char array rate 13x1 104 double array reactants 13x3 312 doub