著性檢驗23利用多元線性回歸方程進(jìn)行預(yù)測24解釋變量的

1、2.1 多元線性回歸模型及其參數(shù)估計多元線性回歸模型及其參數(shù)估計2.2 多元線性回歸的顯著性檢驗多元線性回歸的顯著性檢驗2.3 利用多元線性回歸方程進(jìn)行預(yù)測利用多元線性回歸方程進(jìn)行預(yù)測2.4 解釋變量的選擇解釋變量的選擇2.5 多重共線性多重共線性2.6 預(yù)測實例預(yù)測實例第二章第二章 多重回歸分析法多重回歸分析法2.1 2.1 多元線性回歸模型及其參數(shù)估計多元線性回歸模型及其參數(shù)估計一、線性回歸模型的一般形式一、線性回歸模型的一般形式如果因變量（被解釋變量）與各自變量（解釋變量）如果因變量（被解釋變量）與各自變量（解釋變量）之間有線性相關(guān)關(guān)系，那么它們之間的線性總體回歸之間有線性相關(guān)關(guān)系，那么

2、它們之間的線性總體回歸模型可以表示為：模型可以表示為：01 122kkyxxx對每一組觀測值對每一組觀測值01 122iiikkiiyxxx1,2,in非隨機(jī)表達(dá)式非隨機(jī)表達(dá)式1201 122(,)iikiiikkie y xxxxxx可見，多元回歸分析是以多個解釋變量的固定值可見，多元回歸分析是以多個解釋變量的固定值為條件的回歸分析，表示各解釋變量為條件的回歸分析，表示各解釋變量x x值固定時值固定時y y的平均響應(yīng)。的平均響應(yīng)。 也被稱為偏回歸系數(shù)，表示在其他解釋變量保也被稱為偏回歸系數(shù)，表示在其他解釋變量保持不變的情況下，持不變的情況下， 每變化每變化1 1個單位時，引起的個單位時，引起

3、的因變量的平均變動量?；蛘哒f因變量的平均變動量?；蛘哒f 給出給出 單位變單位變化對化對y y均值的均值的“直接直接”或或“凈凈”（不含其他變量）（不含其他變量）影響。影響。jjxjjx寫成矩陣形式為：寫成矩陣形式為：yxb 其中其中12ynyyy112111222212111xkknnknxxxxxxxxx01kb12n01 122kkyxxx實際上，在多元線性回歸分析中，比一元線性回歸實際上，在多元線性回歸分析中，比一元線性回歸分析增加了一個假設(shè)條件，即自變量之間不存在線分析增加了一個假設(shè)條件，即自變量之間不存在線性關(guān)系。性關(guān)系。二、多元回歸模型的基本假定二、多元回歸模型的基本假定（1 1）

4、,n,i12|,0iiikiexxx（2 2）,n,i212(|,.,)iiikivarxxx等方差性等方差性（3 3）無序列相關(guān)無序列相關(guān)()01 2ijcov,ij,i, j, ,n（4 4）()01 2iicov,xi, ,n（5 5）進(jìn)一步假定）進(jìn)一步假定2(0)i n,（6 6）各自變量之間不存在顯著相關(guān)關(guān)系各自變量之間不存在顯著相關(guān)關(guān)系nkxrank)(即即 ), 0(2nin其中其中 ni是是 n階單位方陣階單位方陣 預(yù)測模型預(yù)測模型01 122iikkiyxxxiiieyy是觀測值與預(yù)測值（回歸值）之間的離差是觀測值與預(yù)測值（回歸值）之間的離差用最小二乘法估計回歸參數(shù) k,10

5、考慮 01(,)ekqq使 ),(min),(1010kkqq20111()niikikiyxx分別求 eq關(guān)于 k,10的偏導(dǎo)數(shù),并令其為零00bbkebbeqq三、參數(shù)估計方法三、參數(shù)估計方法最小二乘估計最小二乘估計整理得正規(guī)方程組 niniiikniikkniiikikniniiiniikikniiininiiniikkiyxxxxxyxxxxxyxxn1112111011111121110111110其矩陣形式為 yxbxxtt解得 yxxxbtt1)(所以多元線性回歸方程的矩陣形式為yxxxxbxytt1)(一元回歸的參數(shù)估計是多元回歸參數(shù)估計的特例。一元回歸的參數(shù)估計是多元回歸參數(shù)

6、估計的特例。min12niieqxbxbyxbxbyyyxbyxbyxbyxby)()()(根據(jù)：根據(jù)：1(),( )22(0)abb ay xbb x yy xbbxyqx yxxbbbxxxy 所所以以：與與是是同同值值四、最小二乘估計量（olse)的統(tǒng)計性質(zhì)0,1,2,jk（）212()()tjjjjjvarx xc其中， 是 主對角線上的元素。jjc1()tx x可以證明， 具有最小方差的特性。（證明略）j與一元線性回歸相比, k元線性回歸的參數(shù)估計量也 有類似的性質(zhì).例如: k,10都是 nyyy,21的線性組合; k,10分別是 k,10的無偏估計; )(,(12xxbnbt等.且

7、和一元線性回歸類似有平方和分解 21()nieiyyqs回2211()()nntiiiiisyyyy22(1)eqnk而五、隨機(jī)誤差項的方差的估計量從而 12knqee21 knqee2的無偏估計為 221()11niieiyyqnknk它的算術(shù)方根稱為估計標(biāo)準(zhǔn)誤差，記為：21()11niieiyyqnknk 此時，估計量的標(biāo)準(zhǔn)差可表示為：()jjjsvar221()1niiijjujjyyccnk 是 主對角線上的元素（j=0,1,k）。jjc1()tx x六、回歸系數(shù)的置信區(qū)間由于 ； ；()jje2var()jjjc故可得的置信度為 的置信區(qū)間為：12222(1),(1)jjjjjjtn

8、kctnkc統(tǒng)計軟件自動給出各回歸系數(shù)的上下限七、例2.1 已知某地區(qū)的相關(guān)數(shù)據(jù)如右表所示，試求該回歸方程。解：使用eviews實現(xiàn)回歸，得到的方程為 這說明，該地區(qū)收入每增加1萬元，消費(fèi)增加0.497萬元，人口每增加1萬人消費(fèi)增加0.665萬元。iiix.x.y年份消費(fèi)收入人口1994913.148.219959.513.948.919961013.849.54199710.614.850.25199813.416.451.02199916.220.951.84200017.724.253.76200120.128.153.69200221.830.154.55200325.335.855.

9、35200431.348.556.1620053654.856.982.2 2.2 多元線性回歸的顯著性檢驗多元線性回歸的顯著性檢驗一、經(jīng)濟(jì)檢驗一、經(jīng)濟(jì)檢驗二、擬合優(yōu)度檢驗二、擬合優(yōu)度檢驗三、回歸方程的顯著性檢驗三、回歸方程的顯著性檢驗四、回歸系數(shù)的顯著性檢驗四、回歸系數(shù)的顯著性檢驗五、序列相關(guān)檢驗五、序列相關(guān)檢驗一、經(jīng)濟(jì)檢驗（邏輯檢驗）一、經(jīng)濟(jì)檢驗（邏輯檢驗）1. 1. 檢驗內(nèi)容：參數(shù)估計值的符號和大小是否與檢驗內(nèi)容：參數(shù)估計值的符號和大小是否與經(jīng)濟(jì)理論和經(jīng)濟(jì)實際相符合。經(jīng)濟(jì)理論和經(jīng)濟(jì)實際相符合。2. 2. 回歸系數(shù)的估計值與實際相反的原因回歸系數(shù)的估計值與實際相反的原因（1 1）某些變量的

10、取值范圍太窄；）某些變量的取值范圍太窄；（2 2）模型中遺漏了某些重要因素；）模型中遺漏了某些重要因素；（3 3）模型中自變量之間有較強(qiáng)的線性關(guān)系。）模型中自變量之間有較強(qiáng)的線性關(guān)系。二、擬合優(yōu)度檢驗二、擬合優(yōu)度檢驗1.1.判定系數(shù)判定系數(shù) 與修正判定系數(shù)與修正判定系數(shù) 判定系數(shù)的大小還取決于包含在模型中的自變量判定系數(shù)的大小還取決于包含在模型中的自變量的個數(shù)。的個數(shù)。rr22222()()1()()iiiiiyyyyryyyy 在樣本容量一定得情況下，增加解釋變量必定使在樣本容量一定得情況下，增加解釋變量必定使得自由度減少，所以調(diào)整的思路是將殘差平方和與得自由度減少，所以調(diào)整的思路是將殘差平

11、方和與總離差平方和分別除以各自的自由度，以剔除變量總離差平方和分別除以各自的自由度，以剔除變量個數(shù)對擬合優(yōu)度的影響。記為調(diào)整的可決系數(shù)。個數(shù)對擬合優(yōu)度的影響。記為調(diào)整的可決系數(shù)。2111sse nkrsst n 其中其中n-k-1n-k-1為殘差平方和的自由度，為殘差平方和的自由度，n-1n-1為總離差平方為總離差平方和的自由度。顯然，如果增加的解釋變量沒有解釋能和的自由度。顯然，如果增加的解釋變量沒有解釋能力，則對殘差平方和的減少沒有多大幫助，卻增加待力，則對殘差平方和的減少沒有多大幫助，卻增加待估參數(shù)的個數(shù)，從而使估參數(shù)的個數(shù)，從而使 有較大幅度的下降。有較大幅度的下降。2r2.2.修正判

12、定系數(shù)修正判定系數(shù) 的計算的計算r2211 (1)1nrrnk 注：注：（1 1）如果）如果k=0k=0，則，則（2 2）如果）如果k0k0，則，則（3 3） 有可能為負(fù)值。有可能為負(fù)值。2rr rr2r三、回歸方程的顯著性檢驗1. 檢驗內(nèi)容：檢驗因變量和所有自變量的線性關(guān)系。2. 建立原假設(shè)和備擇假設(shè)：0不全為ik:h:h3. 構(gòu)造統(tǒng)計量(1)1msrssr kf f k,nkmsesse nk -4. 在顯著性水平 條件下的臨界值(1)f k,nk5. 判斷：如果采用樣本數(shù)據(jù)計算的結(jié)果 ， 則拒絕原假設(shè)，認(rèn)為因變量和該自變量之間的線性關(guān)系顯著。(2)ff k,nkf f檢驗通不過的可能原因

13、檢驗通不過的可能原因（1 1）選擇自變量時漏掉了某些有重要影響）選擇自變量時漏掉了某些有重要影響 的因素；的因素；（2 2）自變量與因變量的關(guān)系是非線性的。）自變量與因變量的關(guān)系是非線性的。四、回歸系數(shù)的顯著性檢驗1. 檢驗內(nèi)容：檢驗因變量和每個自變量的線性關(guān)系。2. 建立原假設(shè)和備擇假設(shè)：01:0:01 2iihhi, ,k3. 構(gòu)造統(tǒng)計量(1)()iiit t nks 4.在顯著性水平 條件下的臨界值21tnk（）5.判斷：如果采用樣本數(shù)據(jù)計算的結(jié)果 ， 則拒絕原假設(shè)，認(rèn)為因變量和該自變量之間的線性關(guān)系顯著。)k(nttit t檢驗通不過的可能原因檢驗通不過的可能原因（1 1）選擇的自變量

14、對因變量事實上并無顯著影響；）選擇的自變量對因變量事實上并無顯著影響；（2 2）選擇的自變量具有多重共線性。）選擇的自變量具有多重共線性。五、序列相關(guān)檢驗（dw檢驗）1. 檢驗內(nèi)容：檢驗隨機(jī)誤差項的無序列相關(guān)假設(shè) 是否成立。2. 方法：與一元回歸相同。六、多元回歸的顯著性檢驗小結(jié)擬合優(yōu)度的檢驗需要采用修正判定系數(shù)；回歸方程的顯著性檢驗和回歸系數(shù)的顯著性檢驗不再一致，需要分別進(jìn)行；序列相關(guān)檢驗與一元回回歸是一致的。七、續(xù)例2.2，給定顯著性水平 ，進(jìn)行檢驗解：根據(jù)運(yùn)行結(jié)果（1）方程的擬合優(yōu)度較高；（2）方程通過顯著性檢驗；（4）回歸系數(shù)的顯著性檢驗 ，均大于臨界值3.201，所以回歸系數(shù)均顯著。

15、（3） 在2附近，不存在序列相關(guān)。.r7),(ff.9226. 4948.188805. 0956. 1dw.t.t2.3 利用多元線性回歸方程進(jìn)行預(yù)測一、點預(yù)測當(dāng)給定自變量的某一特定值為對因變量進(jìn)行點估計為用矩陣表示為 。二、區(qū)間預(yù)測 給定置信水平 ，置信區(qū)間為其中， 是自由度為年n-k-1的t分布臨界值。010200(1,)kxxxx001 100kkyxx00yx b21000(1)1()ttytnkxx xx1t2.4 2.4 解釋變量的選擇解釋變量的選擇一、因素分析一、因素分析 因素分析是一種定性分析。它是預(yù)測時選擇自變量的第一步。憑借對預(yù)測對象的熟悉、了解，分析找到影響預(yù)測對象的所

16、有因素，從中選擇。二、簡單相關(guān)分析二、簡單相關(guān)分析 分別計算預(yù)測對象與各影響因素的簡單相關(guān)系數(shù)，選擇那些與預(yù)測對象相關(guān)程度高者作為自變量。 三、逐個剔除法（后退法）三、逐個剔除法（后退法） 首先將與預(yù)測對象有關(guān)的全部因素引入方程，建立模型，然后依據(jù)每個回歸系數(shù)的t值大小，逐個剔除那些不顯著的變量，直到模型中包含的變量都是影響預(yù)測對象的顯著因素為止。（1）當(dāng)不顯著的變量較多時，不能同時剔除，要從最小的那個系數(shù)所對應(yīng)的變量開始逐一刪除。注意：（2）刪除一個變量后腰觀察其他統(tǒng)計量的變化，如果有所改善，認(rèn)為剔除是適宜的；否則應(yīng)保留在模型中。四、前進(jìn)法四、前進(jìn)法1、基本思想：由少到多，每次增加一個自變量

17、，直至沒有可引入的變量為止。2. 具體做法：（1）對于全部k個自變量，分別對因變量y建立k個一元線性回歸方程，并分別計算這k個一元回歸方程回歸系數(shù)的t值，選擇最顯著的一個引入。（2）因變量y分別與 ，建立k-1個二元線性回歸方程，對這k-1個回歸方程中的回歸系數(shù) 進(jìn)行t檢驗，選擇最顯著的一個引入。1213141( ,) ( ,) ( ,)( ,)kx xx xx xx x， ，,2,3,jxjk（3）依上述方法接著做下去。直至所有未被引入方程的自變量t檢驗通過不了時，得到的回歸方程就是最終確定的方程。五、五、 逐步回歸法逐步回歸法1. 基本思想：有進(jìn)有出。2.具體做法 將變量一個一個引入，引入

18、變量的條件是其t統(tǒng)計量經(jīng)檢驗是顯著的。即每引入一個自變量后，對已經(jīng)被選入的變量要進(jìn)行逐個檢驗，當(dāng)原引入的變量由于后面變量的引入而變得不再顯著時，要將其剔除。 這個過程反復(fù)進(jìn)行，直到既無顯著的自變量選入，也無不顯著自變量從回歸方程中剔除為止。這樣就保證了最后所得的回歸子集是“最優(yōu)”回歸子集。 盡管數(shù)學(xué)方法對變量的正確選擇可能有一些幫盡管數(shù)學(xué)方法對變量的正確選擇可能有一些幫助，但在處理具體問題時，變量的正確選擇在根本助，但在處理具體問題時，變量的正確選擇在根本上還是要依賴于所研究問題本身的上還是要依賴于所研究問題本身的專業(yè)知識和實踐專業(yè)知識和實踐經(jīng)驗經(jīng)驗。 當(dāng)應(yīng)用某種準(zhǔn)則和方法選出的當(dāng)應(yīng)用某種準(zhǔn)則

19、和方法選出的“最優(yōu)最優(yōu)”變量組變量組明顯地與實際問題本身的專業(yè)理論不一致時，需要明顯地與實際問題本身的專業(yè)理論不一致時，需要首先重新考慮我們的統(tǒng)計結(jié)論。首先重新考慮我們的統(tǒng)計結(jié)論。 不能把自變量選擇方法看成僵死不能把自變量選擇方法看成僵死的的“教條教條”機(jī)械搬用。機(jī)械搬用。2.5 多重共線性多重共線性 多重共線性即自變量之間的線性約束，是由兩多重共線性即自變量之間的線性約束，是由兩個或更多個自變量具有高度線性相關(guān)而致。個或更多個自變量具有高度線性相關(guān)而致。 如在如在居民家庭的消費(fèi)支出居民家庭的消費(fèi)支出回歸分析中，選擇回歸分析中，選擇家家庭收入庭收入、家庭儲蓄家庭儲蓄及及家庭人口家庭人口，這三個

20、自變量之間，這三個自變量之間也表現(xiàn)為較高度的相關(guān)。也表現(xiàn)為較高度的相關(guān)。一、多重共線性出現(xiàn)的原因一、多重共線性出現(xiàn)的原因（1）各經(jīng)濟(jì)變量之間存在內(nèi)在聯(lián)系）各經(jīng)濟(jì)變量之間存在內(nèi)在聯(lián)系如生產(chǎn)函數(shù)表示為如生產(chǎn)函數(shù)表示為qak lq表示產(chǎn)值，表示產(chǎn)值，k是資金，是資金，l是勞動。是勞動。一般來說大企業(yè)有雄厚的資金和充足的勞動力，而一般來說大企業(yè)有雄厚的資金和充足的勞動力，而小企業(yè)的資金和勞動力都較小。這說明資金和勞動小企業(yè)的資金和勞動力都較小。這說明資金和勞動力之間有內(nèi)在的聯(lián)系。因而存在多重共線性。力之間有內(nèi)在的聯(lián)系。因而存在多重共線性。（2）各經(jīng)濟(jì)變量在時間上有共同增長的趨勢）各經(jīng)濟(jì)變量在時間上有共

21、同增長的趨勢經(jīng)濟(jì)、人民群眾收入、消費(fèi)支出、儲蓄經(jīng)濟(jì)、人民群眾收入、消費(fèi)支出、儲蓄（3 3）在建模時引入了一些解釋變量的滯后值作）在建模時引入了一些解釋變量的滯后值作為新的解釋變量。為新的解釋變量。如，在研究消費(fèi)函數(shù)時，不僅把現(xiàn)期收入而且把如，在研究消費(fèi)函數(shù)時，不僅把現(xiàn)期收入而且把上期的收入都作為解釋變量，這就明顯地出現(xiàn)多上期的收入都作為解釋變量，這就明顯地出現(xiàn)多重共線性。重共線性。二、多重共線性的基本性質(zhì)二、多重共線性的基本性質(zhì)1 1、改變回歸系數(shù)、改變回歸系數(shù)以兩個自變量完全相關(guān)為例以兩個自變量完全相關(guān)為例如果如果 ， 則則 11220a xa x1212axxa 即即21xax112111

22、11122212121211111111xnnnnxxxaxxxxaxxxxax最小二乘法，回歸系數(shù)最小二乘法，回歸系數(shù)()t1tbx xx y1x當(dāng)當(dāng) 和和 完全相關(guān)時，顯然，完全相關(guān)時，顯然， . .2xtx x =0()t1x x不存在，回歸系數(shù)也不存在不存在，回歸系數(shù)也不存在.()t1x x不存在，回歸系數(shù)也不存在不存在，回歸系數(shù)也不存在.1x當(dāng)當(dāng) 和和 不是完全相關(guān)，而是高度相關(guān)時，不是完全相關(guān)，而是高度相關(guān)時，2xtx x接近于零。這時接近于零。這時1().() .()t1ttttbx xx yx xx yx xb表現(xiàn)出不確定性。表現(xiàn)出不確定性。多重共線性的存在，改變了回歸系數(shù)多重

23、共線性的存在，改變了回歸系數(shù)b b，并因，并因此使其標(biāo)準(zhǔn)差增大，以致使該參數(shù)的此使其標(biāo)準(zhǔn)差增大，以致使該參數(shù)的t t檢驗通檢驗通不過。不過。有興趣參閱有興趣參閱p57 2-d p57 2-d 當(dāng)多重共線性存在時，任何一個自變量的回歸系數(shù)，當(dāng)多重共線性存在時，任何一個自變量的回歸系數(shù)，依賴于包括在模型中的其他自變量。所以，回歸系依賴于包括在模型中的其他自變量。所以，回歸系數(shù)并不反映方程中任何一具體自變量對因變量的影數(shù)并不反映方程中任何一具體自變量對因變量的影響。響。2、不降低模型的擬合能力、不降低模型的擬合能力 回歸方程的回歸方程的f f檢驗和擬合優(yōu)度檢驗和擬合優(yōu)度r r2 2，在某種意義，在某種意義上都反映變量上都反映變量y y與諸與諸x x之間的線性回歸關(guān)系，或者說之間的線性回歸關(guān)系，或者說反映回歸模型對因變量實際觀測值的擬合能力。反映回歸模型對因變量實際觀測值的擬合能力。多重共線性的存在不妨礙這種擬合能力。多重共線性的存在不妨礙這種擬合能力。3 3、對回歸平方和的影響、對回歸平方和的影響 存在多重共線性時，一個自變量引起總離差存在多重共線性時，一個自變量引起總離差的減少必須看作是與包括在同一方程中的其他自的減少必須看作是與包括在同一方程中的其他自變量相關(guān)連。變量相關(guān)連。因此，沒有一個唯一的平方和能屬于某一自變量因此，沒有一個