第9章 方差分析及回歸分析94 多元線性回歸.ppt

1、一、多元線性回歸的數(shù)學(xué)模型,二、數(shù)學(xué)模型的分析與求解,三、MATLAB中回歸分析的實(shí)現(xiàn),四、小結(jié),第四節(jié)多元線性回歸,一、多元線性回歸的數(shù)學(xué)模型,用最大似然估計(jì)法估計(jì)參數(shù).,達(dá)到最小.,二、數(shù)學(xué)模型的分析與求解,化簡可得,正規(guī)方程組,引入矩陣,正規(guī)方程組的矩陣形式,最大似然估計(jì)值,稱為P元經(jīng)驗(yàn)線性回歸方程,簡稱回歸方程.,多元線性回歸,1.確定回歸系數(shù)的點(diǎn)估計(jì)值,b,bint,r,rint,stats=regress(Y,X,alpha),rcoplot(r,rint),三、MATLAB中回歸分析的實(shí)現(xiàn),用命令:,b=regress(Y,X),2.求回歸系數(shù)的點(diǎn)估計(jì)和區(qū)間估計(jì),并檢驗(yàn)回,歸模型

2、,用命令:,3.畫出殘差及其置信區(qū)間,用命令:,符號說明,(1),(2) alpha為顯著性水平,(3) bint為回歸系數(shù)的區(qū)間估計(jì);,(4) r與rint分別為殘差及其置信區(qū)間;,(5) stats 是用于檢驗(yàn)回歸模型的統(tǒng)計(jì)量,默認(rèn)為 0.05;,有三,個(gè)數(shù)值,FF1-alpha,第一個(gè)是相關(guān)系數(shù) r2,其值越接近于 1,說,明回歸方程越顯著;,第二個(gè)是 F 值,(p,n-p-1)時(shí)，,拒絕 H0,F 越大,說明回歸方程越顯著;,第三個(gè)是與F對應(yīng)的概率 p,palpha 時(shí)拒絕,模型成立.,回歸,例1,試研究這些數(shù)據(jù)之間的關(guān)系.,測得16名女子的身高和腿長如下(單位:cm):,輸入數(shù)據(jù),x

3、=143,145,146,147,149,150,153,154,155,156,157, 158,159,160,162,164; X=ones(16,1),x; Y=88,85,88,91,92,93,93,95,96,98,97,96,98,99,100, 102;,回歸分析及檢驗(yàn),b,bint,r,rint,stats=regress(Y,X); b,bint,stats,殘差分析,rcoplot(r,rint),預(yù)測及作圖,z=b(1)+b(2)*x plot(x,Y,k+,x,z,r),數(shù)據(jù)比較,程序運(yùn)行結(jié)果,一元多項(xiàng)式回歸,p,S=polyfit(x,y,m),也可使用命令:po

4、lytool(x,y,m),用命令:,1.確定多項(xiàng)式系數(shù),結(jié)果產(chǎn)生一個(gè)交互式的畫面,畫面中有擬合曲,2.預(yù)測和預(yù)測誤差估計(jì)用命令:,求回歸多項(xiàng)式在x處的預(yù)測值Y.,Y,DELTA=polyconf(p,x,S,alpha),的默認(rèn)值是 0.05.,一元多項(xiàng)式回歸可化為多元線性回歸求解.,Y=polyval(p,x),線和 y 的置信區(qū)間,左下方的 Export 可以輸出參數(shù).,求回歸多項(xiàng)式在 x 處的預(yù)測值 Y 以及預(yù)測值,的顯著性為1-alpha 的置信區(qū)間 YDELTA,alpha,例2,某件產(chǎn)品每件平均單價(jià)Y(元)與批量x(件)之間,的關(guān)系的一組數(shù)據(jù),解,(XTX)-1,(XTX)-1,

5、得到回歸方程,試用一元二次多項(xiàng)式進(jìn)行回歸分析,輸入數(shù)據(jù),x=20,25,30,35,40,50,60,65,70,75,80,90; y=1.81,1.70,1.65,1.55,1.48,1.40,1.30,1.26,1.24,1.21, 1.20,1.18;,作二次多項(xiàng)式回歸,p,S=polyfit(x,y,2),預(yù)測及作圖,Y=polyconf(p,x,y) plot(x,y,b+,x,Y,r),程序運(yùn)行結(jié)果,化為多元線性回歸,X=ones(12,1) x (x.2); b,bint,r,rint,stats=regress(y,X); b,stats,與前面的結(jié)果一致.,多元二項(xiàng)式回歸,

6、rstool(x,y,model,alpha),認(rèn)為線性模型.,其中,輸入數(shù)據(jù) x, y 分別為 nm 矩陣和 n 維,列向量;,alpha 為顯著性水平,默認(rèn)為 0.05;,為下列四種模型中的一種,輸入相應(yīng)的字符串,默,model,rstool的輸出是一個(gè)交互式畫面,畫面中有m個(gè),圖形,分別給出了一個(gè)獨(dú)立變量xi與y的擬合曲線,以及y的置信區(qū)間,此時(shí)其余m-1個(gè)變量取固定值.,可以輸入不同的變量的不同值得到y(tǒng)的相應(yīng)值.,其中剩余標(biāo)準(zhǔn)差最接近于零的模型回歸效果最好.,圖的左下方有兩個(gè)下拉式菜單,一個(gè)用于傳送,回歸系數(shù)、,剩余標(biāo)準(zhǔn)差、,殘差等數(shù)據(jù);,另一個(gè)用于,選擇四種回歸模型中的一種,選擇不同

7、的回歸模型,例3,設(shè)某商品的需求量與消費(fèi)者的平均收入、,商,品價(jià)格的統(tǒng)計(jì)數(shù)據(jù)如下,建立回歸模型,預(yù)測平均收,入為 1000,價(jià)格為 6 時(shí)的商品需求量 .,選擇純二次模型,即,數(shù)據(jù)輸入,x1=1000,600,1200,500,300,400,1300,1100,1300,300; x2=5,7,6,6,8,7,5,4,3,9; y=100,75,80,70,50,65,90,100,110,60; x=x1 x2;,回歸、,rstool(x,y,purequadratic),程序運(yùn)行結(jié)果,檢驗(yàn)與預(yù)測,化為多元線性回歸求解,x1=1000,600,1200,500,300,400,1300,1

8、100,1300,300; x2=5,7,6,6,8,7,5,4,3,9; y=100,75,80,70,50,65,90,100,110,60; X=ones(10,1) x1 x2 (x1.2) (x2.2); b,bint,r,rint,stats=regress(y,X),回歸系數(shù)的點(diǎn)估計(jì)以及區(qū)間估計(jì),殘差及其置信區(qū)間,檢驗(yàn)回歸模型的統(tǒng)計(jì)量,逐步回歸分析,在實(shí)際問題中,而這些,因素之間可能存在多重共線性.,為得到可靠的回歸,模型,需要一種方法能有效地從眾多因素中挑選出,對因變量貢獻(xiàn)大的因素.,如果采用多元線性回歸分析,回歸方程穩(wěn)定性,差,每個(gè)自變量的區(qū)間誤差積累將影響總體誤差,預(yù),測的

9、可靠性差、,精度低;,另外,如果采用了影響小的,變量,遺漏了重要變量,可能導(dǎo)致估計(jì)量產(chǎn)生偏倚和,影響因變量的因素很多,選擇“最優(yōu)”回歸方程的方法,最優(yōu)者;,顯著因子;,3.從一個(gè)變量開始,量而不包括影響不顯著的變量.,不一致性.,“最優(yōu)”的回歸方程應(yīng)該包含所有有影響的變,1.從所有可能的變量組合的回歸方程中選擇,2.從包含全部變量的回歸方程中逐次剔除不,把變量逐個(gè)引入方程;,4.“有進(jìn)有出”的逐步回歸分析.,逐步回歸分析法在篩選變量方面比較理想,是,目前較常用的方法.,它從一個(gè)自變量開始,根據(jù)自變,量作用的顯著程度,從大到小地依次逐個(gè)引入回歸,方程,但當(dāng)引入的自變量由于后面變量的引入而變,得不

10、顯著時(shí),要將其剔除掉.,引入一個(gè)自變量或從回,歸方程中剔除一個(gè)自變量,為逐步回歸的一步,對于,每一步,都進(jìn)行檢驗(yàn),以確保每次引入新的顯著性變,量前回歸方程中只包含作用顯著的變量.,方程.,反復(fù)進(jìn)行上面的過程,直到?jīng)]有不顯著的變量,從回歸方程中剔除,也沒有顯著變量可引入到回歸,函數(shù): stepwise,用法: stepwise(x,y,inmodel,alpha),符號說明:,x自變量數(shù)據(jù),y因變量數(shù)據(jù),型中引入的自變量,認(rèn)相當(dāng)于對回歸系數(shù)給出95%的置信區(qū)間.,inmodel由矩陣x列的指標(biāo)構(gòu)成,表明初始模,alpha判斷模型中每一項(xiàng)顯著性的指標(biāo),默,為nm矩陣;,為n1矩陣;,默認(rèn)為全部自變

11、量;,例4,水泥凝固時(shí)放出的熱量 y 與水泥中的四種化,學(xué)成分 x1, x2, x3, x4 有關(guān),今測得一組數(shù)據(jù)如下,試,用逐步回歸法確定一個(gè)線性模型.,x1=7,1,11,11,7,11,3,1,2,21,1,11,10; x2=26,29,56,31,52,55,71,31,54,47,40,66,68; x3=6,15,8,8,6,9,17,22,18,4,23,9,8; x4=60,52,20,47,33,22,6,44,22,26,34,12,12; y=78.5,74.3,104.3,87.6,95.9,109.2,102.7,72.5,93.1, 115.9,83.8,113.3,109.4; x=x1,x2,x3,x4;,輸入數(shù)據(jù),stepwise(x,y),逐步回歸分析,程序運(yùn)行結(jié)果,對變量 y 和 x1, x2 作線性回歸.,X=ones(13,1),x1,x2; b,bint, stats=regress(y,X),回歸模型為,三個(gè)統(tǒng)計(jì)量表明: 回歸效果