多元線性回歸模型

多元線性回歸模型1．假定條件、最小二乘估計量和高斯—馬爾可夫定理多元線性回歸模型：yt=0+1xt1+2xt2+…+k-1xtk-1+ut,(1.1)其中yt是被解釋變量〔因變量〕，xtj是解釋變量〔自變量〕，ut是隨機(jī)誤差項(xiàng)，i,i=0,1,…,k-1是回歸參數(shù)〔通常未知〕。(1.3)Y=X+u,(1.4)為保證得到最優(yōu)估計量，回歸模型〔1.4〕應(yīng)滿足如下假定條件。假定⑴隨機(jī)誤差項(xiàng)ut是非自相關(guān)的，每一誤差項(xiàng)都滿足均值為零，方差2相同且為有限值，即E(u)=0=,Var(u)=E(')=2I=2假定⑵解釋變量與誤差項(xiàng)相互獨(dú)立，即E(X'u)=0假定⑶解釋變量之間線性無關(guān)。rk(X'X)=rk(X)=k其中rk()表示矩陣的秩。假定⑷解釋變量是非隨機(jī)的，且當(dāng)T→∞時T–1X'X→Q其中Q是一個有限值的非退化矩陣。最小二乘(OLS)法的原理是求殘差〔誤差項(xiàng)的估計值〕平方和最小。代數(shù)上是求極值問題。minS=(Y-X)'(Y-X)=Y'Y-'X'Y-Y'X+'X'X=Y'Y-2'X'Y+'X'X(1.5)因?yàn)閅'X是一個標(biāo)量，所以有Y'X='X'Y。(1.5)的一階條件為：=-2X'Y+2X'X=0(1.6)化簡得X'Y=X'X因?yàn)?X'X)是一個非退化矩陣〔見假定⑶〕，所以有=(X'X)-1X'Y〔1.7〕因?yàn)閄的元素是非隨機(jī)的，(X'X)-1X是一個常數(shù)矩陣，那么是Y的線性組合，為線性估計量。求出，估計的回歸模型寫為Y=X+(1.9)其中=(…)'是的估計值列向量，=(Y-X)稱為殘差列向量。因?yàn)?Y-X=Y-X(X'X)-1X'Y=[I-X(X'X)-1X']Y(1.10)所以也是Y的線性組合。的期望和方差是E()=E[(X'X)-1X'Y]=E[(X'X)-1X'(X+u)]=+(X'X)-1X'E(u)=(1.11)Var()=E[(–)(–)']=E[(X'X)-1X'uu'X(X'X)-1]=E[(X'X)-1X'2IX(X'X)-1]=2(X'X)-1(1.12)高斯—馬爾可夫定理：假設(shè)前述假定條件成立，OLS估計量是最正確線性無偏估計量。具有無偏性。具有最小方差特性。具有一致性，漸近無偏性和漸近有效性。2.殘差的方差s2='/(T-k)(1.13)s2是的無偏估計量，E(s2)=。的估計的方差協(xié)方差矩陣是()=s(X'X)-1(1.14)3.多重確定系數(shù)〔多重可決系數(shù)〕Y=X+=+(1.15)總平方和SST==Y'Y-T,(1.16)其中是yt的樣本平均數(shù)，定義為=?；貧w平方和為SSR=='-T(1.17)其中的定義同上。殘差平方和為SSE==='(1.18)那么有如下關(guān)系存在，SST=SSR+SSE(1.19)R2=(1.20)顯然有0R21。R21，擬合優(yōu)度越好。4.調(diào)整的多重確定系數(shù)當(dāng)解釋變量的個數(shù)增加時，通常R2不下降，而是上升。為調(diào)整因自由度減小帶來的損失，又定義調(diào)整的多重確定系數(shù)如下：=1-=1-(1.21)5.OLS估計量的分布假設(shè)uN(0,I)，那么每個ut都服從正態(tài)分布。于是有YN(X,I)(1.22)因也是u的線性組合〔見公式1.7〕，依據(jù)〔1.11〕和〔1.12〕有N(,(X'X)-1)(1.23)6.方差分析與F檢驗(yàn)與SST相對應(yīng)，自由度T-1也被分解為兩局部，〔T-1〕=(k-1)+(T-k)(1.24)回歸均方定義為MSR=，誤差均方定義為MSE=表1.1方差分析表方差來源平方和自由度均方回歸SSR='-T2k-1MSR=SSR/(k-1)誤差SSE='T-kMSE=SSE/(T-k)總和SST=Y'Y-T2T-1H0:1=2=…=k-1=0;H1:j不全為零F==F(k-1,T-k)(1.25)設(shè)檢驗(yàn)水平為，那么檢驗(yàn)規(guī)那么是，假設(shè)FF(k-1,T-k)，接受H0；假設(shè)F>F(k-1,T-k),拒絕H0。0F(k-1,T-k)-t(T-k)0t(T-k)F檢驗(yàn)示意圖t檢驗(yàn)示意圖7．t檢驗(yàn)H0：j=0,(j=1,2,…,k-1),H1：j0t==t(T-k)(1.26)判別規(guī)那么：假設(shè)ttk接受H0；假設(shè)t>tk拒絕H0。11．建模過程中應(yīng)注意的問題〔1〕研究經(jīng)濟(jì)變量之間的關(guān)系要剔除物價變動因素。以上圖為例，按當(dāng)年價格計算，我國1992年的GDP是1980年的5.9倍，而按固定價格計算，我國1992年的GDP是1980年的2.8倍。另外從圖中還可看出，1980-1992期間按名義價格計算的GDP曲線一直是上升的，而按不變價格〔1980年價格〕計算的GDP曲線在1989年出現(xiàn)一次下降?？梢娧芯拷?jīng)濟(jì)變量應(yīng)該剔除物價變動因素。(2)依照經(jīng)濟(jì)理論以及對具體經(jīng)濟(jì)問題的深入分析初步確定解釋變量。例：我國糧食產(chǎn)量=f〔耕地面積、農(nóng)機(jī)總動力、施用化肥量、農(nóng)業(yè)人口等〕。但根據(jù)我國目前情況，“耕地面積〞不是“糧食產(chǎn)量〞的重要解釋變量。糧食產(chǎn)量的提高主要來自科技含量的提高。例：關(guān)于某市的食用油消費(fèi)量，改革開放前常駐人口肯定是重要解釋變量?，F(xiàn)在那么不同，消費(fèi)水平是重要解釋變量，因?yàn)槭秤糜凸┙o方式已改變。(3)當(dāng)引用現(xiàn)成數(shù)據(jù)時，要注意數(shù)據(jù)的定義是否與所選定的變量定義相符。例：“農(nóng)業(yè)人口〞要區(qū)別是“從事農(nóng)業(yè)勞動的人口〞還是相對于城市人口的“農(nóng)業(yè)人口〞。例：2002年起我國已經(jīng)執(zhí)行新的規(guī)定劃分三次產(chǎn)業(yè)。即將農(nóng)、林、牧、副、漁效勞業(yè)從原第三產(chǎn)業(yè)劃歸第一產(chǎn)業(yè)。(4)通過散點(diǎn)圖，相關(guān)系數(shù)，確定解釋變量與被解釋變量的具體函數(shù)關(guān)系。〔線性、非線性、無關(guān)系〕〔nonli8〕〔5〕謹(jǐn)慎對待離群值〔outlier〕。離群值可能是正常值也可能是異常值。不能把建立模型簡單化為一個純數(shù)學(xué)過程，目的是尋找經(jīng)濟(jì)規(guī)律。年INV〔投資〕IMPORT〔進(jìn)口〕19912.56200023.4700019922.42970032.2900019936.71240063.99000199415.3760078.75000199521.31000149.1300199627.37000113.8100199741.71000106.1500199839.78000112.2000(6)過原點(diǎn)回歸模型與非過原點(diǎn)回歸模型相比有如下不同點(diǎn)。以一元線性過原點(diǎn)模型，yt=1xt+ut，為例，①=0不一定成立。原因是正規(guī)方程只有一個〔不是兩個〕，=2(yt-xt)(-xt)=0，即xt=0，而沒有=0。所以殘差和等于零不一定成立。②可決系數(shù)R2有時會得負(fù)值！原因是有時會有SSE>SST。為維持SSE+SSR=SST，迫使SSR<0。(7)改變變量的測量單位可能會引起回歸系數(shù)值的改變，但不會影響t值。即不會影響統(tǒng)計檢驗(yàn)結(jié)果。以一元回歸模型的估計公式為例說明之。=t===(8)回歸模型給出估計結(jié)果后，首先應(yīng)進(jìn)行F檢驗(yàn)。F檢驗(yàn)是對模型整體回歸顯著性的檢驗(yàn)。(檢驗(yàn)一次，H0:1=2=…=k-1=0;H1:j不全為零。)假設(shè)F檢驗(yàn)結(jié)果能拒絕原假設(shè)，應(yīng)進(jìn)一步作t檢驗(yàn)〔檢驗(yàn)k次，H0：j=0,(j=1,2,…,k-1),H1：j0〕。t檢驗(yàn)是對單個解釋變量的回歸顯著性的檢驗(yàn)。假設(shè)回歸系數(shù)估計值未通過t檢驗(yàn)，那么相應(yīng)解釋變量應(yīng)從模型中剔除。剔除該解釋變量后應(yīng)重新回歸。按經(jīng)濟(jì)理論選擇的變量剔出時要慎重。(9)在作F與t檢驗(yàn)時，不要把自由度和檢驗(yàn)水平用錯〔正確查臨界值表〕?；貧w系數(shù)的t檢驗(yàn)是雙端檢驗(yàn)，但t檢驗(yàn)表的定義有P(t>t)=,P(t<t)=-t(T-k)0t(T-k)F(k-1,T-k)(10)對于多元回歸模型，當(dāng)解釋變量的量綱不相同時，不能在估計的回歸系數(shù)之間比擬大小。假設(shè)要在多元回歸模型中比擬解釋變量的相對重要性，應(yīng)該對回歸系數(shù)作如下變換*=,j=1,2,…k-1(1.41)其中s(xt)和s(yt)分別表示xt和yt的樣本標(biāo)準(zhǔn)差。*可用來直接比擬大小。以二元模型為例，標(biāo)準(zhǔn)化的回歸模型表示如下〔標(biāo)準(zhǔn)化后不存在截距項(xiàng)〕，=1*+2*+…+ut兩側(cè)同乘s(yt)，得(yt-)=1*(xt1-)+2*(xt2-)+…+uts(yt)所以有j*=j,即j*=j,i=1,2,…k-1既是(1.41)式。(11)利用回歸模型預(yù)測時，解釋變量的值最好不要離開樣本范圍太遠(yuǎn)。原因是①根據(jù)預(yù)測公式離樣本平均值越遠(yuǎn)，預(yù)測誤差越大。以一元回歸模型為例；N(0+1xF,(1++))(12)回歸模型的估計結(jié)果應(yīng)與經(jīng)濟(jì)理論或常識相一致。如邊際消費(fèi)傾向估計結(jié)果為1.5，那么模型很難被接受。(13)殘差項(xiàng)應(yīng)非自相關(guān)〔用DW檢驗(yàn)，亦可判斷虛假回歸〕。否那么說明①仍有重要解釋變量被遺漏在模型之外。②選用的模型形式不妥。(14)通過對變量取對數(shù)消除異方差。(15)防止多重共線性。(16)解釋變量應(yīng)具有外生性，與誤差項(xiàng)不相關(guān)。(17)應(yīng)具有高度概括性。假設(shè)模型的各種檢驗(yàn)及預(yù)測能力大致相同，應(yīng)選擇解釋變量較少的一個。(18)模型的結(jié)構(gòu)穩(wěn)定性要強(qiáng)，超樣本特性要好。(19)世界是變化的，應(yīng)該隨時間的推移及時修改模型。建模案例1：《全國味精需求量的計量經(jīng)濟(jì)模型》〔見《預(yù)測》1987年第2期〕1．依據(jù)經(jīng)濟(jì)理論選擇影響味精需求量變化的因素依據(jù)經(jīng)濟(jì)理論一種商品的需求量主要取決于四個因素，即①商品價格，②代用品價格，③消費(fèi)者收入水平，④消費(fèi)者偏好。模型為：商品需求量=f(商品價格，代用品價格，收入水平，消費(fèi)者偏好)對于特定商品味精，當(dāng)建立模型時要對上述四個因素能否作為重要解釋變量逐一鑒別。商品價格：味精是一種生活常用品，當(dāng)時又是一種價格較高的調(diào)味品。初步判斷價格會對需求量產(chǎn)生影響。所以確定價格作為一個重要解釋變量。代用品價格：味精是一種獨(dú)特的調(diào)味品，目前尚沒有替代商品。所以不考慮代用品價格這一因素。消費(fèi)者收入：顯然消費(fèi)者收入應(yīng)該是一個較重要的解釋變量。偏好：由于因偏好不食味精或大量食用味精的情形很少見，所以每人用量只會在小范圍內(nèi)波動，所以不把偏好作為重要解釋變量，而歸并入隨機(jī)誤差項(xiàng)。分析結(jié)果，針對味精需求量只考慮兩個重要解釋變量，商品價格和消費(fèi)者收入水平。味精需求量=f(商品價格，收入水平)2．選擇恰當(dāng)?shù)淖兞俊布纫紤]代表性，也要考慮可能性〕用銷售量代替需求量。因需求量不易度量，味精是自由銷售商品，不存在囤積現(xiàn)象，所以銷售量可較好地代表需求量。味精商品價格即銷售價格。用人均消費(fèi)水平代替收入水平。因?yàn)棰傧M(fèi)水平與味精銷售量關(guān)系更密切。②消費(fèi)水平數(shù)據(jù)在統(tǒng)計年鑒上便于查找〔收入水平的資料不全〕。味精銷售量=f(銷售價格，人均消費(fèi)水平)用平均價格作為銷售價格的代表變量。不同地區(qū)和不同品牌的味精價格是不一樣的，應(yīng)取平均價格〔加權(quán)平均最好〕。取不變價格的人均消費(fèi)水平：消費(fèi)水平都是用當(dāng)年價格計算的，應(yīng)用物價指數(shù)進(jìn)行修正。味精銷售量=f(平均銷售價格，不變價格的消費(fèi)水平)3．收集樣本數(shù)據(jù)〔抽樣調(diào)查，引用數(shù)據(jù)〕從中國統(tǒng)計年鑒和有關(guān)部門收集樣本數(shù)據(jù)(1972-1982,T=11。數(shù)據(jù)見下頁。)。定義銷售量為yt〔噸〕，平均銷售價格為x1〔元/公斤〕，不變價格的消費(fèi)水平為x2〔元〕。相關(guān)系數(shù)表如下：平均銷售價格(x1t)不變價格的消費(fèi)水平(x2t)味精銷售量(yt)-0.36710.9771注：臨界值r0.05(9)=0.60。4．確定模型形式并估計參數(shù)=-144680.9+6313.4x1t+690.4x2t〔1〕(-3.92)(2.17)(15.32)R2=0.97,DW=1.8,t0.05(8)=2.3回歸系數(shù)6313.4無顯著性〔x1t與x2t應(yīng)該是負(fù)相關(guān)，回歸系數(shù)估計值卻為正，可見該估計值不可信〕。剔除不顯著變量x1t，再次回歸，=-65373.6+642.4x2t〔2〕(-10.32)(13.8)R2=0.95,DW=1.5,t0.05(9)=2.26問題：=6313.4，為什么檢驗(yàn)結(jié)果是1=0？量綱的變化對回歸結(jié)果會造成影響嗎？建模案例2：《用回歸方法估計純耕地面積》〔見《數(shù)理統(tǒng)計與管理》1986年第6期〕目前對土地的調(diào)查大多采用航空攝影，從照片上把各類資源圖斑轉(zhuǎn)繪到1:10000的地形圖上，然后再從地形圖上測繪圖斑面積。在處理如何獲得實(shí)際耕地面積時，關(guān)鍵技術(shù)難題是如何將耕地圖斑中包含的田埂、土坎、空隙地、寬度小于2米的路、溝、渠等面積從圖斑中別離出來。因?yàn)樗鼈冊诤娇請D片上的分辨率很低，無法直接勾繪，測算。設(shè)一個毛耕地圖斑面積用S表示，其中不能耕種的面積〔扣除面積〕用S表示，那么扣除系數(shù)，yi=S/S=〔扣除面積〕/〔毛耕地圖斑面積〕。對于每一個圖斑，知道精確的扣除系數(shù)yi，就很容易根據(jù)毛耕地圖斑面積S計算出純耕地面積。現(xiàn)在用回歸分析方法，尋找影響扣除系數(shù)變化的主要因素，從而建立關(guān)于“扣除系數(shù)〞的回歸模型。該論文研究的是湖南地區(qū)的耕地面積調(diào)查。湖南省屬丘陵山區(qū)，地形復(fù)雜，各種地類犬牙交錯，影響扣除系數(shù)的因素很多。如田埂寬度、地塊大小、地塊坡度、空隙地、地貌類型等。通過實(shí)際調(diào)查和分析，初步確定三