多元線性回歸模型的參數(shù)估計四課件

1、多元線性回歸及應(yīng)用經(jīng)濟(jì)計量學(xué)2016年9月主題答疑第1頁，共64頁。多元線性回歸及應(yīng)用一、多元線性回歸模型的概念二、多元線性回歸模型的矩陣表示三、多元線性回歸模型的參數(shù)估計四、多元線性回歸模型檢驗五、多元線性回歸的預(yù)測六、多元線性回歸模型應(yīng)用實例目錄第2頁，共64頁。一、多元線性回歸模型的概念問題的提出：現(xiàn)實生活中引起被解釋變量變化的因素并非僅只一個解釋變量，可能有很多個解釋變量。例如，產(chǎn)出往往受各種投入要素資本、勞動、技術(shù)等的影響；銷售額往往受價格和公司對廣告費的投入的影響等。所以在一元線性模型的基礎(chǔ)上，提出多元線性模型解釋變量個數(shù) 2第3頁，共64頁。一、多元線性回歸模型的概念一元：一個因

2、素X； 多元：多個因素-X1, X2, , X k 被解釋變量還是一個：Y比如： 被解釋變量：某商品的需求量Y； 解釋變量：該商品的價格P、消費者收入DPI、替代商品價格P2； 未考慮的量：消費偏好等；（一）多元線性回歸模型的引入第4頁，共64頁。（二）多元總體線性回歸模型總體模型1、分量式2、總量式稱之為變量Y關(guān)于變量X1, X2, , Xk的k元總體線性回歸模型，Y稱為被解釋變量，X1, X2, , Xk稱為解釋變量，k 稱為解釋變量個數(shù)，U 稱為隨機(jī)擾動項，或隨機(jī)項，或擾動項。一、多元線性回歸模型的概念第5頁，共64頁。（三）多元樣本線性回歸模型由于經(jīng)濟(jì)變量的總體分布大多數(shù)是未知的，與一

3、元模型類似，我們只能根據(jù)樣本觀察值進(jìn)行統(tǒng)計推斷，以此來估計多元總體回歸方程和總體回歸參數(shù)。這時導(dǎo)出的模型式為： 稱為樣本回歸參數(shù)，n 稱為樣本容量。稱e i 為殘差項，它是擾動項 u i 的估計量。 總體模型是理論意義上的，是在做定性研究時所使用的，在做定量分析時具體使用的模型也即可操作的是樣本模型。一、多元線性回歸模型的概念第6頁，共64頁。（四）多元樣本線性回歸模型經(jīng)典假設(shè)1、解釋變量X1, X2, ,Xk 是非隨機(jī)的；2 、 E(u i) = 0 3 、 Var(ui)=2 i=1,2, ,n Cov (ui,uj)= 0 ij,i,j=1,2, ,n 4 、解釋變量 X1, X2, ,

4、Xk 線性無關(guān)；5 、 uiN(0,2 ) 對上述假設(shè)條件的理解基本上與一元線性回歸模型類似，因此不再贅述。 假設(shè)3 中實際上包含了兩條假設(shè)，這樣寫的原因是為了以后的多元線性回歸模型經(jīng)典假設(shè)的矩陣表示。 以上假設(shè) 1 5 合稱為多元線性回歸模型的經(jīng)典假設(shè)，也稱為基本假設(shè)。滿足經(jīng)典假設(shè)的模型稱為經(jīng)典多元線性回歸模型。一、多元線性回歸模型的概念第7頁，共64頁。（五）多元樣本線性回歸模型解析表達(dá)式一、多元線性回歸模型的概念第8頁，共64頁。二、多元線性回歸模型的矩陣表示（一）多元總體線性回歸模型的矩陣表示第9頁，共64頁。（二）多元樣本線性回歸模型的矩陣表示二、多元線性回歸模型的矩陣表示第10頁，

5、共64頁。1、E(U)= 0 2、E(U U)=2In 即擾動項的方差與協(xié)方差矩陣等于2 與單位矩陣之積。3、秩(X)= k，且 k n 。 （三）多元模型經(jīng)典假設(shè)的矩陣表示二、多元線性回歸模型的矩陣表示第11頁，共64頁。三、多元線性回歸模型的參數(shù)估計 對于多元線性回歸模型，最常用的參數(shù)估計方法也是普通最小二乘方法（OLS）。其原理與一元線性回歸模型的普通最小二乘估計的原理類似，也是使擬合誤差平方和為最小。第12頁，共64頁。（一）矩陣式的普通最小二乘估計量設(shè)由極值原理可知最后可得：第13頁，共64頁。上式為多元線性回歸模型矩陣式的普通最小二乘估計量（OLS）。由經(jīng)典假設(shè)可知，X 的秩等于k

6、，而（X/X） 為正定矩陣，于是（X/X）可逆，即滿足解釋變量線性無關(guān)的多元線性回歸模型的普通最小二乘估計量 有解。上面導(dǎo)出的是矩陣式的普通最小二乘解(OLS)，然而有時我們需要用到其分量方程組形式,即正規(guī)方程組,下面我們導(dǎo)出正規(guī)方程組。 由極值原理可導(dǎo)出多元線性回歸模型的正規(guī)方程組： （一）矩陣式的普通最小二乘估計量第14頁，共64頁。 經(jīng)典一元線性回歸模型的OLS估計量滿足線性、無偏及方差最小性，即高斯馬爾可夫定理，對于經(jīng)典多元線性回歸模型的普通最小二乘估計量，這一性質(zhì)仍然存在，換言之，對于滿足經(jīng)典假設(shè)的多元線性回歸模型，采用OLS方法所得估計量 也滿足線性、無偏及方差最小性。 1、線性性

7、由OLS估計可知 令 由解釋變量的非隨機(jī)性可知M為非隨機(jī)矩陣。則 為M 中的第j+1行與Y 的對應(yīng)元素乘積之和，即 故 為Yi的線性組合，即線性性成立。（二）普通最小二乘估計量的性質(zhì)第15頁，共64頁。2、無偏性由零均值及解釋變量為非隨機(jī)可知：（二）普通最小二乘估計量的性質(zhì)3、有效性（也稱方差最小性）首先導(dǎo)出 的方差與協(xié)方差矩陣：由于于是OLS估計量 的方差與協(xié)方差矩陣為：第16頁，共64頁。（二）普通最小二乘估計量的性質(zhì)即 的方差與協(xié)方差矩陣為 與 之積，因此估計量 的方差為 與 的第j個對角線元素之積(j=1,2,k)。 令 則由于總體分布未知，于是 也未知， 令可以證明 為總體方差 的無

8、偏估計量。 最小方差的證明省略。第17頁，共64頁。（三）偏回歸系數(shù)的含義多元回歸模型中的回歸系數(shù)稱為偏回歸系數(shù)某解釋變量前回歸系數(shù)的含義是，在其他解釋變量保持不變的條件下，該變量變化一個單位，被解釋變量將平均發(fā)生偏回歸系數(shù)大小的變動第18頁，共64頁。（三）偏回歸系數(shù)的含義YX3= 3度量了在保持 X2 不變的條件下， X3 改變一個單位Y的平均改變量。YX2= 2度量了在保持X3 不變的條件下， X2 改變一個單位Y的平均改變量。第19頁，共64頁。（四）正規(guī)方程由最小二乘法得到的用以估計回歸系數(shù)的線性方程組，稱為正規(guī)方程第20頁，共64頁。（四）正規(guī)方程Y 被解釋變量觀測值 n x 1X

9、 解釋變量觀測值（含虛擬變量n x (k+1) ）XX 設(shè)計矩陣（實對稱(k+1) x (k+1)矩陣 ）XY 正規(guī)方程右端 n x 1 回歸系數(shù)矩陣（ (k+1) x 1 ） 高斯乘數(shù)矩陣， 設(shè)計矩陣的逆 殘差向量（ n x 1 ） 被解釋變量的擬合（預(yù)測）向量 n x 1正規(guī)方程的結(jié)構(gòu)第21頁，共64頁。（五）、多元回歸模型參數(shù)估計中樣本容量樣本是一個重要的實際問題，模型依賴于實際樣本。獲取樣本需要成本，企圖通過樣本容量的確定減輕收集數(shù)據(jù)的困難。最小樣本容量：滿足基本要求的樣本容量第22頁，共64頁。（五）、多元回歸模型參數(shù)估計中樣本容量最小樣本容量 n k+1：(XX)-1存在| XX

10、| 0 XX 為k+1階的滿秩陣R(AB) min(R(A),R(B)R(X) k+1因此，必須有nk+1一般經(jīng)驗認(rèn)為：n 30或者n 3(k+1)才能滿足模型估計的基本要求。n 3(k+1)時，t分布才穩(wěn)定，檢驗才較為有效滿足基本要求的樣本容量：第23頁，共64頁。四、多元線性回歸模型的檢驗（一）估計量的顯著性檢驗及置信區(qū)間 對于多元線性回歸模型的參數(shù)估計量，其在統(tǒng)計上是否顯著，也需要作顯著性檢驗，即t-顯著性檢驗，其檢驗方法與一元線性模型的參數(shù)顯著性檢驗基本相同，所不同的是現(xiàn)在要對所有解釋變量前的參數(shù)進(jìn)行顯著性檢驗。與一元線性回歸模型的原理完全一樣可導(dǎo)出： 以 95% 的可能性落在區(qū)間(j

11、=1,2,k) 上，稱該區(qū)間為 的置信區(qū)間，或稱區(qū)間估計，置信度為95%第24頁，共64頁。（一）估計量的顯著性檢驗及置信區(qū)間 很顯然，置信區(qū)間越小則可信度越高，而置信區(qū)間的半徑中臨界值變化不大，因此估計量的可信度主要取決于其標(biāo)準(zhǔn)差的估計量，標(biāo)準(zhǔn)差越小，則可信度越高，標(biāo)準(zhǔn)差越大，則可信度越低。這與 t - 檢驗的顯著性是等價的，從T 統(tǒng)計量的計算可知，標(biāo)準(zhǔn)差越小，則t - 統(tǒng)計量的絕對值越大，即t -值通過臨界值的可能性也大，從而t - 檢驗顯著的可能性也大。另一方面，從標(biāo)準(zhǔn)差的計算公式可知，標(biāo)準(zhǔn)差的大小主要取決于總體方差估計量的大小及 對角線上的元素 ，而 與解釋變量的線性相關(guān)的程度有關(guān)，當(dāng)

12、總體方差估計量較大以及解釋變量的線性相關(guān)程度較高時，參數(shù)估計量的標(biāo)準(zhǔn)差的估計量也就較大，這時會影響參數(shù)的顯著性。 第25頁，共64頁。（二）回歸方程的顯著性檢驗1、回歸參數(shù)的顯著性檢驗（t檢驗）第26頁，共64頁。（二）回歸方程的顯著性檢驗t-檢驗的具體過程:第27頁，共64頁。（二）回歸方程的顯著性檢驗2、回歸參數(shù)的顯著性檢驗（F檢驗） 回歸系數(shù)的t檢驗，檢驗了各個解釋變量Xj單獨對應(yīng)變量Y是否顯著；我們還需要檢驗：所有解釋變量聯(lián)合在一起，是否對應(yīng)變量Y也顯著？這即是下面所要進(jìn)行的F-檢驗。第28頁，共64頁。（二）回歸方程的顯著性檢驗2、回歸參數(shù)的顯著性檢驗（F檢驗）方差分析表以下用表格的

13、形式列出平方和、自由度、方差:平方和來源平方和自由度均方和源于回歸K-1源于殘差n-k總平方和n-1第29頁，共64頁。（二）回歸方程的顯著性檢驗2、F檢驗（單側(cè)檢驗）的具體過程第30頁，共64頁。（二）回歸方程的顯著性檢驗 F-統(tǒng)計量的計算公式為： 在一般計量軟件的參數(shù)估計輸出結(jié)果中均有F-統(tǒng)計量的值，不必用手工計算。當(dāng)F-值大于臨界值時 ，回歸方程是顯著的，否則，為不顯著的。第31頁，共64頁。（二）回歸方程的顯著性檢驗 對于一元線性回歸模型，回歸參數(shù)的顯著性與回歸方程的顯著性是等價的，而對于多元線性回歸模型，單個回歸參數(shù)是顯著的并不等于整個回歸方程是顯著的，因此還要作回歸方程的顯著性檢驗

14、。 回歸方程的顯著性檢驗也稱為F 檢驗，也是一種假設(shè)檢驗。 F 檢驗是檢驗所有解釋變量合起來對被解釋變量線性影響的顯著性，單個解釋變量對被解釋變量的線性影響是顯著的，合起來之后即線性組合對被解釋變量的影響未必是顯著的，這相當(dāng)于我們通常所說的整體效率。因此對于多元模型，回歸方程的顯著性檢驗與回歸參數(shù)顯著性檢驗是不能相互替代的， 即使對回歸方程中每個參數(shù)分別進(jìn)行的t - 檢驗都不顯著，F(xiàn) 檢驗也可能是顯著的。比如當(dāng)解釋變量之間高度相關(guān)時就可能出現(xiàn)這種情況，其結(jié)果可能是參數(shù)的標(biāo)準(zhǔn)差大而t值小，但整個模型仍然能對數(shù)據(jù)擬合得很好。 第32頁，共64頁。（三）擬合優(yōu)度檢驗及修正的R2值 在一元線性回歸模型

15、中，我們用樣本決定系數(shù)來衡量回歸方程對樣本觀察值的擬合程度，即擬合優(yōu)度檢驗，這一方法對多元線性回歸模型仍然適用。 與一元線性模型類似，可以證明： TSS = ESS + RSS 即樣本總離差可以分解為回歸總離差與殘差平方和之和。第33頁，共64頁。令：稱R2為多元線性回歸模型的樣本決定系數(shù)，也稱為樣本可決系數(shù)。R2表示被多元回歸方程“解釋”的離差占總離差的比重。顯然由R2的定義可以看出，當(dāng)R2越接近于1時，說明ESS 越接近于TSS，即殘差平方和越小，也就是說回歸方程對樣本觀察值擬合的越好，因此，我們以R2接近于1的程度來衡量樣本回歸方程對樣本觀察值的擬合的優(yōu)度，即擬合優(yōu)度檢驗，用來說明解釋變

16、量與被解釋變量之間的線性回歸關(guān)系是否有效。（三）擬合優(yōu)度檢驗及修正的R2值第34頁，共64頁。 然而，在使用R2時也存在一些問題，比如，R2與模型中解釋變量的個數(shù)有關(guān)。在回歸方程中加入更多的解釋變量會使R2值增大（增加新的解釋變量不會改變TSS，但是可以增加ESS），因此，給人一種誤解，為提高擬合優(yōu)度，解釋變量越多越好，但事實上并非如此。用R2度量擬合優(yōu)度的問題在于R2只涉及Y的總離差中被解釋的部分和未被解釋的部分，沒有考慮自由度的個數(shù)。為了消除擬合優(yōu)度對模型中解釋變量個數(shù)的依賴性，我們定義修正的R2值，記作 ：（三）擬合優(yōu)度檢驗及修正的R2值第35頁，共64頁?？梢酝频茫?1 2 可能為負(fù)值

17、； 3. 當(dāng)模型的自由度（n-k）較大時，R2與 比較接近。（三）擬合優(yōu)度檢驗及修正的R2值由R2及 的定義可知：第36頁，共64頁。 比R2更適合于衡量擬合優(yōu)度。當(dāng)回歸模型中加入新的解釋變量時，R2肯定會增加，而 可能增加也可能減少。比如，一個樣本容量為25的模型，其R2為0.8，但這個結(jié)果只是在模型中包含了17個解釋變量時才得到。而該模型的 僅為0.4，這一例子充分說明了R2作為衡量擬合優(yōu)度指標(biāo)的局限性。在實際應(yīng)用中，由于大多數(shù)情況下， 與R2之間的差異不太大，故使用R2作為衡量擬合優(yōu)度的情況也常見。（三）擬合優(yōu)度檢驗及修正的R2值第37頁，共64頁。擬合優(yōu)度檢驗與F 檢驗是有聯(lián)系的?？梢?/p>

18、證明：（三）擬合優(yōu)度檢驗及修正的R2值由此可知R2越接近于1，則F值越大，反之，若R2越接近于0，則F值越小。因此，一般來說，擬合優(yōu)度較高，則F檢驗可以通過，擬合優(yōu)度較差，則F檢驗通不過。但是，擬合優(yōu)度檢驗與F檢驗還是有區(qū)別的，有例子表明，即使擬合優(yōu)度只有0.65，F(xiàn)檢驗也是顯著的。因此，雖然二者有聯(lián)系，但是也不能相互替代。F檢驗的優(yōu)越性在于它有臨界值，可以斷定顯著與否，而擬合優(yōu)度的好處在于它能說明擬合的程度，它的不足之處在于沒有擬合好與壞的明確標(biāo)準(zhǔn)，一般來說，擬合的好壞視具體問題而定，但是，一個好的模型首先擬合優(yōu)度要求比較高，從經(jīng)驗上講，R20.9。不過擬合優(yōu)度高并不能斷定模型一定可取，較高

19、的擬合優(yōu)度是一個好模型的必要條件，但不是充分條件。第38頁，共64頁。（三）擬合優(yōu)度檢驗及修正的R2值Eviews軟件輸出結(jié)果中R 2及校正R 2第39頁，共64頁。（四）各種檢驗的關(guān)系、經(jīng)濟(jì)意義檢驗和其他檢驗的關(guān)系聯(lián)系： 判斷一個回歸模型是否正確，首先要看模型是否具有合理的經(jīng)濟(jì)意義，其次才是統(tǒng)計檢驗。第40頁，共64頁。（四）各種檢驗的關(guān)系2、擬合優(yōu)度和F檢驗的關(guān)系：（1）都是對回歸方程的顯著性檢驗；（2）都是把總平方和分解，以構(gòu)成統(tǒng)計量進(jìn)行檢驗；（3）兩者同增同減，具有一致性。區(qū)別：（1）F檢驗中使用的統(tǒng)計量有精確的分布，而擬合優(yōu)度檢驗沒有；（2）對是否通過檢驗，判定系數(shù)（校正判定系數(shù)）只

20、能給出一個模糊的推測；而F檢驗可以在給定顯著水平下，給出統(tǒng)計上的嚴(yán)格結(jié)論；第41頁，共64頁。（四）各種檢驗的關(guān)系、 F檢驗和t檢驗的關(guān)系：在一元的情形，兩者是一致的，等價的。對單個解釋變量顯著性進(jìn)行t檢驗，也就檢驗了解釋變量的整體顯著性（F檢驗）；并且可以證明：Ft2 （所以在一元情形，只需要進(jìn)行一種檢驗）多元中，不存在以上關(guān)系。第42頁，共64頁。（五）回歸模型假設(shè)檢驗的步驟查看擬合優(yōu)度，進(jìn)行F檢驗，從整體上判斷回歸方程是否成立，如果F檢驗通不過，無須進(jìn)行下一步；否則進(jìn)行下一步查看各個變量的t值及其相應(yīng)的概率，進(jìn)行t檢驗，如果相應(yīng)的概率小于給定的顯著水平，該自變量的系數(shù)顯著地不為0，該自變

21、量對因變量作用顯著；否則系數(shù)與0無顯著差異（本質(zhì)上=0），該自變量對因變量無顯著的作用，應(yīng)從方程中刪去，重新估計方程。但是，一次只能將最不顯著（相應(yīng)概率最大）的刪除。每次刪除一個，直至全部顯著。第43頁，共64頁。 與一元模型的預(yù)測問題相類似，多元模型的預(yù)測也分為條件預(yù)測與無條件預(yù)測兩類，下面介紹的是條件預(yù)測，條件預(yù)測又分為點預(yù)測與區(qū)間預(yù)測。五、多元線性回歸模型的預(yù)測第44頁，共64頁。 設(shè)多元線性回歸模型的樣本回歸方程為： 給定解釋變量樣本以外的觀察值X2f, X3f , , Xkf， 令 利用上述回歸方程求得被解釋變量的預(yù)測值：（一）點預(yù)測 就是Yf的點預(yù)測值，同時也是Yf的均值 E(Yf

22、|Xf)的預(yù)測值。就是Yf的點預(yù)測值，同時也是Yf的均值 E(Yf|Xf)的預(yù)測值。第45頁，共64頁。由于回歸方程代表的是被解釋變量的一個主要部分，不是全部，另一部分用擾動項來代表，因此，點預(yù)測值 與其真實值Yf之間有誤差存在。（二）區(qū)間預(yù)測令稱ef 為預(yù)測誤差，ef 為隨機(jī)變量。 由于擾動項為零均值，可以證明 及第46頁，共64頁。與參數(shù)估計量的置信區(qū)間的推導(dǎo)過程相類似，可以得出置信度為1-= 95% 的Y0的置信區(qū)間為： （二）區(qū)間預(yù)測預(yù)測區(qū)間越小，預(yù)測精度就越高，因此預(yù)測區(qū)間越小越好。怎樣才能縮小預(yù)測區(qū)間呢？可以從以下三方面考慮： (1) 增大樣本容量n 。在同樣的置信水平下，n越大，

23、則從t 分布表中查得的自由度為nk的臨界值T/2就越?。煌瑫r，增大樣本容量，在一般情況下可使減小，因為式中分母的增大是肯定的，但分子不一定增大。第47頁，共64頁。(2)提高模型的擬合優(yōu)度，以減小殘差平方和 。這一條是提高預(yù)測精度的主要方法。(3)減少解釋變量之間的線性相關(guān)程度。由于解釋變量之間的線性相關(guān)程度越高， 的取值就越小，（當(dāng)解釋變量完全線性相關(guān)時，該行列式取值為0）于是 中元素取值增大，從而增大了預(yù)測誤差。（二）區(qū)間預(yù)測第48頁，共64頁。 例1、 我國居民消費函數(shù)的實證分析。 眾所周知，從城鄉(xiāng)結(jié)構(gòu)上比較，我國居民人均收入的基礎(chǔ)水平及其發(fā)展速度都存在著很大的差異。按現(xiàn)價計算，1978

24、年城鎮(zhèn)居民的可支配收入為343.4元，而同期農(nóng)村居民的家庭人均純收入為133.6元，同期我國居民的人均消費水平為184元，1999年此三項指標(biāo)分別為9421.6元、2936.4元和4552元，顯然無論是改革開放的初期還是二十一世紀(jì)的今天，農(nóng)村居民的收入水平與城鎮(zhèn)一直存在著很大的差異。 由絕對收入的消費理論假設(shè)可知，影響居民消費水平的主要因素為收入水平，下面分析農(nóng)村與城鎮(zhèn)居民收入水平對居民消費水平的影響程度。 選取我國居民年人均消費水平為被解釋變量（Y），選取農(nóng)村居民家庭年人均純收入（X1）及城鎮(zhèn)居民家庭人均可支配收入（X2）為解釋變量。依據(jù)絕對收入消費理論以及對樣本數(shù)據(jù)的研究，選取線性回歸模型

25、：六、多元線性回歸模型應(yīng)用實例第49頁，共64頁。采用OLS方法，利用Eviews估計回歸，所用命令為： CREATE A 1985 2005 DATA Y X1 X2 LS Y C X1 X2 得回歸方程（整理之后）：六、多元線性回歸模型應(yīng)用實例第50頁，共64頁。將被解釋變量的樣本數(shù)據(jù)與模擬值作圖對比（下圖）。 作圖命令為： FIT YY PLOT Y YY其中，虛線表示擬合值，實線表示樣本實際值。 六、多元線性回歸模型應(yīng)用實例第51頁，共64頁。 模型結(jié)果評價：由回歸方程可知，城鎮(zhèn)居民可支配收入每增加100元（1985年不變價），居民消費水平可增加24.9元（1985年不變價），而農(nóng)村居民純收入每增加100元（1985年不變價），居民消費水平可增加89.5元（1985年不變價），顯然，農(nóng)村居民收入水平的提高對全國居民消費水平提高的貢獻(xiàn)大于城鎮(zhèn)居民。這主要由于農(nóng)村居民的比重大。 六、多元線性回歸模型應(yīng)用實例第52頁，共64頁。例：新股發(fā)行抑價的實證研究六、多元線性回歸模型應(yīng)用實例第53頁，共64頁。六、多元線性回歸模型應(yīng)用實例第54頁，共64頁。六、多元線性回歸模型應(yīng)用實例例3：多元線性回歸模型在房地產(chǎn)估價中的應(yīng)用首先，分別繪制因變量（房產(chǎn)銷售價格y）與每個自變量（地產(chǎn)估