建立回歸方程的最優(yōu)模型

建立回歸方程的最優(yōu)模型

1建立線性回歸回歸方程在某些實際問題中，回歸方程通常需要選擇幾個因素來引導(dǎo)自變量。當(dāng)然，選擇對預(yù)測量y有顯著影響的自變量，并建立線性回歸方程，使建立的回歸方程中不包含效應(yīng)較低的自變量。這種回歸方程是“最好的”。2為了實現(xiàn)上述“1”中定義的回歸方程“最佳”，提出“最佳”回歸方程的選擇和指導(dǎo)意見2.1+1xi1+1xpxip+ip+i1+1x1x1xi1+1x1xi1+1xi1+1x1xi1+1x1x1x1xi1+稱為全模型.稱x的子集(x1′,x2′,…,xp′)T所構(gòu)成的模型yi=β′0+β′1x′i1+…+β′pX′ip+εi(i=1,2,…,n;p=1,2,…,n)為選模型.殘差平方和S殘=n∑i=1(yi-?yi)2用RSS表示.該選模型的殘差平方和用RSSp表示,相應(yīng)的復(fù)相關(guān)系數(shù)記為Rp.2.1.1統(tǒng)計分析因變量不確定的自變量,則影響統(tǒng)計分析如果按照“RSSp”愈小愈好的思想,回歸方程應(yīng)含有盡可能多的自變量,這樣的方程擬合程度好,但混入一些對y影響不顯著的自變量,反而影響統(tǒng)計分析;效果未必好,況且自變量多了計算復(fù)雜.因此,必須對RSSp予以修正.為此,可有下列三種選擇準(zhǔn)則:①平均殘差平方和RSSp(n-p)愈小愈好.其中p是自變量子集合含自變量個數(shù)加1,即把常數(shù)項也當(dāng)作自變量.②預(yù)測偏差的方差(n+p)?σ2=(n+p)RSSpn-p-1愈小愈好.③平均預(yù)測均方誤差RSSp(n-p-1)(n-p)愈小愈好.2.1.2選取變量的原則基于Cp統(tǒng)計量的自變量選擇準(zhǔn)則要求自變量子集Xp使Cp愈小愈好.如果用p為橫軸,Cp為縱軸畫出Cp圖.選變量的原則就是:選P,使點(diǎn)(P,Cp)與過原點(diǎn)且與P軸成45°角的直線最近而且|P|最小.2.2一些具體的選擇方法2.2.1最優(yōu)回歸方程的選擇用k個自變量x1,x2,…,xk中的1個,2個,…,k個元素構(gòu)成的子集Ap(p=1,2,…,k)與y組成回歸方程共2k-1,從中挑選全部自變量都顯著且平均殘差平方和較小的一個,即為最優(yōu)回歸方程.2.2.2清除不顯著因子前進(jìn)法是指在k個自變量中挑選一個“最好”的先引入回歸方程,再在其余因子中挑選第二“最好”因子引入方程,以此類推,直到無顯著因子引入為此.前進(jìn)法雖然計算量不是太大,但引入新變量就要對原來的變量產(chǎn)生影響,有時甚至?xí)癸@著因子變得不顯著.因此,不能保證回歸方程是“最優(yōu)”的.后退法與前進(jìn)法相反,它是從包含全部變量的回歸方程中,逐個剔除不顯著因子.值得注意的是:因子數(shù)不多時可以采用此法.當(dāng)因子數(shù)比較多,特別是不顯著因子比較多時,由于每剔除一個因子,就要重新計算回歸系數(shù),計算量是不小的.2.2.3消去變換tk從一個自變量開始,按自變量對y的作用的顯著程度,從大到小逐個引入回歸方程.并且每引進(jìn)一個自變量就要對先引進(jìn)的因子進(jìn)行顯著性檢驗,將不顯著的因子隨時剔除掉.亦即該法的每一步都要進(jìn)行檢驗,以保證引入的方程的回歸因子是顯著的,如果一切顯著的因子都被引入方程,且方程不包含不顯著的因子,則此過程停止.最后得到“最優(yōu)”回歸方程.(1)數(shù)學(xué)模型及基本公式對回歸模型(1):Y=Xβ+ε用最小二乘法得到正規(guī)方程⑵,即{L?β=β?β0=ˉy-k∑j=1?βjˉXj從它可確定出回歸系數(shù)βj的估計值?βj(j=1,2,?,k),于是可得出線性回歸方程⑶:?y=?β0Ι+?β′X.一般來說xj的單位不同,取值范圍也不同.在計算中為避免量綱的影響,在逐步回歸的計算中往往先將數(shù)據(jù)“中心化”、“標(biāo)準(zhǔn)化”,即作變換ztj=1sj(xij-ˉXj)?zyj=1s(yj-ˉy)(1)(t=1,2,…,n;j=1,2,…,k)其中ˉXj=1nn∑i=1Xij?ˉy=1nn∑i=1yi?sj=√eij/(n-1)?s=√eyy/(n-1).于是系數(shù)矩陣L可化為相關(guān)矩陣:R=(r11r12?r1kr21r22?r2k????rk1rk2?rkk)將R增加一行(r1y,r2y,?,ryy)△=(r1,k+1r2,k+1,?,rk+1,k+1)及一列(r1,k+1,r1,k+1,…,rk+1,k+1)T,它成為k+1階方陣,記為R(0):R(0)=(r11r12?r1kr1k+1r21r22?r2kr2k+1?????rk1rk2?rkkrkk+1r1k+1r2k+1?rkk+1rk+1k+1)⑵消去變換法設(shè)A=(aij)為n階方陣,且akk≠0,1≤k≤n,令aij*={aij-aikakj/akk?i≠k,j≠k,-aik/akk,i≠k,j=k,akj/akk,i=k,j≠k,1/akk,i=j=k(2)[BF]則稱對A施行了(k,k)元消去變換Tk,記作A*.A*=TkA=(a*ij)i,j=1,2,…,n.消去變換有下列性質(zhì):(i)TkTkA=A,即對A施以兩次(k,k)元消去變換,結(jié)果不變.(ii)當(dāng)TiTjA=TjTiA,即消去變換的可變換性.(iii)當(dāng)A為對稱矩陣時,A(l)具有下列對稱性:aij(l)={ajil當(dāng)對A施以Τi,Τj或均未旅行?-aji(l)當(dāng)對A施以Τi,Τj中之一時。(iv)設(shè)方程組AX=B(A為k階可逆方陣,x,B為k行一列矩陣),對增廣矩陣(AB)施以T1T2…Tk變換,則可得到A的逆矩陣及方程組的解.若只作一次變換Ti,就可得出一個子方程組的解及該方程組系數(shù)矩陣的逆矩陣.⑶逐步回歸法的步驟(i)從k個因子Z1,Z2,…,Zk中挑選一個偏回歸平方和最大的,建立一元線性回歸方程.即找Zt1滿足Vt1(1)=maxjVj(1),t1∈{1,2,?,k}?j=1,2,?,k,其中Vj(1)=rjy2/rjj,rjj,rjy均為R(0)中元素,VJ(1)的上標(biāo)⑴表示確定第一因子用R(0)中元素.計算統(tǒng)計量F1=Vt1(1)(n-2)/(1-Vt1(1)),檢驗因子Zt1是否顯著.規(guī)定引入因子時用F1,剔除因子時用F2.當(dāng)F1>F2(1,n-2)時,引入因子Zt1,同時對R(0)作變換Tt1,得R(1),R(1)=Tt1R(0)=(rij(1)).(ii)從余下的k-1個因子中,挑選一個偏回歸平方和最大的Zt2,當(dāng)作第二因子引入回歸方程.即計算Vt2(2)=maxj≠t1Vj(2),其中Vj(2)=(rjy(1))2/rjj(1).作顯著性檢驗F1=Vt2(2)(n-3)/(ryy(1)-Vt2(2)),當(dāng)F1>F2(1,n-3)時,引入因子Zt2,并對R(1)作變換Tt2,得到R(2)R(2)=Tt2R(1)=(rij(2)).(iii)當(dāng)引入Zt2以后,要對先引入的因子Zt1作顯著性檢驗,以決定對Zt1是保留還是剔除.此時用統(tǒng)計量F2=Vt1(2)(n-3)/ryy(2)=(rt1y(2))2(n-3)/(rt1t1(2)·ryy(2)).當(dāng)F2>F2(1,n-3)時,保留Zt1,然后引入第三個因子;當(dāng)F2≤F2(1,n-3)時,剔出Zt1,并對R(2)作變換Tt1得到R(3)=Tt1R(2).(iv)重復(fù)(ii),(iii)兩步,在獲得l個因子Zt1,Zt2…Zt1的回歸方程Ζy^=β^t′1Ζt1+β^t′2Ζt2+??β^t′1Ζt1之后,假定R(0)經(jīng)過l個變換Tt1,Tt2,…,Ttl而成為R(l),由于新因子Ztl的引入應(yīng)對前l(fā)-1個因子Ztl,…,ztl-1進(jìn)行顯著性檢驗,不顯著的因子剔除,直到?jīng)]有不顯著因子為止,再考慮新因子.繼續(xù)這樣的過程,直到無因子引入為止.假如共引進(jìn)了p個因子Zt1,Zt2,…,Ztp,就可以建立p元線性回歸方程:Ζy^=β^′t′1Ζt1′+β^