多元線性回歸模型及其參數(shù)估計多元線性回歸的顯著性.ppt

1、2.1 多元線性回歸模型及其參數(shù)估計 2.2 多元線性回歸的顯著性檢驗 2.3 利用多元線性回歸方程進行預(yù)測 2.4 解釋變量的選擇 2.5 多重共線性 2.6 預(yù)測實例,第二章 多重回歸分析法,2.1 多元線性回歸模型及其參數(shù)估計,一、線性回歸模型的一般形式,如果因變量（被解釋變量）與各自變量（解釋變量）之間有線性相關(guān)關(guān)系，那么它們之間的線性總體回歸模型可以表示為,對每一組觀測值,非隨機表達式,可見，多元回歸分析是以多個解釋變量的固定值為條件的回歸分析，表示各解釋變量X值固定時Y的平均響應(yīng),也被稱為偏回歸系數(shù)，表示在其他解釋變量保持不變的情況下， 每變化1個單位時，引起的因變量的平均變動量。

2、或者說 給出 單位變化對Y均值的“直接”或“凈”（不含其他變量）影響,寫成矩陣形式為,其中,實際上，在多元線性回歸分析中，比一元線性回歸分析增加了一個假設(shè)條件，即自變量之間不存在線性關(guān)系,二、多元回歸模型的基本假定,1,2,等方差性,3,無序列相關(guān),4,5）進一步假定,6,各自變量之間不存在顯著相關(guān)關(guān)系,即,其中,是,階單位方陣,預(yù)測模型,是觀測值與預(yù)測值（回歸值）之間的離差,用最小二乘法估計回歸參數(shù),考慮,使,分別求,關(guān)于,的偏導(dǎo)數(shù),并令其為零,三、參數(shù)估計方法最小二乘估計,整理得正規(guī)方程組,其矩陣形式為,解得,所以多元線性回歸方程的矩陣形式為,一元回歸的參數(shù)估計是多元回歸參數(shù)估計的特例,根

3、據(jù),四、最小二乘估計量（OLSE)的統(tǒng)計性質(zhì),其中， 是 主對角線上的元素,可以證明， 具有最小方差的特性。（證明略,與一元線性回歸相比,元線性回歸的參數(shù)估計量也,有類似的性質(zhì).例如,都是,的線性組合,分別是,的無偏估計,等.且,和一元線性回歸類似有平方和分解,五、隨機誤差項的方差的估計量,從而,的無偏估計為,它的算術(shù)方根稱為估計標準誤差，記為,此時，估計量的標準差可表示為,是 主對角線上的元素（j=0,1,k,六、回歸系數(shù)的置信區(qū)間,由于 ；,故可得的置信度為 的置信區(qū)間為,統(tǒng)計軟件自動給出各回歸系數(shù)的上下限,七、例2.1 已知某地區(qū)的相關(guān)數(shù)據(jù)如右表所示，試求該回歸方程。 解：使用Eview

4、s實現(xiàn)回歸，得到的方程為 這說明，該地區(qū)收入每增加1萬元，消費增加0.497萬元，人口每增加1萬人消費增加0.665萬元,2.2 多元線性回歸的顯著性檢驗,一、經(jīng)濟檢驗 二、擬合優(yōu)度檢驗 三、回歸方程的顯著性檢驗 四、回歸系數(shù)的顯著性檢驗 五、序列相關(guān)檢驗,一、經(jīng)濟檢驗（邏輯檢驗,1. 檢驗內(nèi)容：參數(shù)估計值的符號和大小是否與經(jīng)濟理論和經(jīng)濟實際相符合,2. 回歸系數(shù)的估計值與實際相反的原因,1）某些變量的取值范圍太窄,2）模型中遺漏了某些重要因素,3）模型中自變量之間有較強的線性關(guān)系,二、擬合優(yōu)度檢驗,1.判定系數(shù) 與修正判定系數(shù),判定系數(shù)的大小還取決于包含在模型中的自變量的個數(shù),在樣本容量一定

5、得情況下，增加解釋變量必定使得自由度減少，所以調(diào)整的思路是將殘差平方和與總離差平方和分別除以各自的自由度，以剔除變量個數(shù)對擬合優(yōu)度的影響。記為調(diào)整的可決系數(shù),其中n-k-1為殘差平方和的自由度，n-1為總離差平方和的自由度。顯然，如果增加的解釋變量沒有解釋能力，則對殘差平方和的減少沒有多大幫助，卻增加待估參數(shù)的個數(shù)，從而使 有較大幅度的下降,2.修正判定系數(shù) 的計算,注,1）如果k=0，則,2）如果k0，則,3） 有可能為負值,三、回歸方程的顯著性檢驗,檢驗內(nèi)容：檢驗因變量和所有自變量的線性關(guān)系,2. 建立原假設(shè)和備擇假設(shè),3. 構(gòu)造統(tǒng)計量,4. 在顯著性水平 條件下的臨界值,5. 判斷：如果

6、采用樣本數(shù)據(jù)計算的結(jié)果 ， 則拒絕原假設(shè)，認為因變量和該自變量之間的線性關(guān)系顯著,F檢驗通不過的可能原因,1）選擇自變量時漏掉了某些有重要影響 的因素,2）自變量與因變量的關(guān)系是非線性的,四、回歸系數(shù)的顯著性檢驗,檢驗內(nèi)容：檢驗因變量和每個自變量的線性關(guān)系,2. 建立原假設(shè)和備擇假設(shè),3. 構(gòu)造統(tǒng)計量,4.在顯著性水平 條件下的臨界值,5.判斷：如果采用樣本數(shù)據(jù)計算的結(jié)果 ， 則拒絕原假設(shè)，認為因變量和該自變量之間的線性關(guān)系顯著,t檢驗通不過的可能原因,1）選擇的自變量對因變量事實上并無顯著影響,2）選擇的自變量具有多重共線性,五、序列相關(guān)檢驗（DW檢驗,檢驗內(nèi)容：檢驗隨機誤差項的無序列相關(guān)假

7、設(shè) 是否成立,2. 方法：與一元回歸相同,六、多元回歸的顯著性檢驗小結(jié) 擬合優(yōu)度的檢驗需要采用修正判定系數(shù)； 回歸方程的顯著性檢驗和回歸系數(shù)的顯著性檢驗不再一致，需要分別進行； 序列相關(guān)檢驗與一元回回歸是一致的,七、續(xù)例2.2，給定顯著性水平 ，進行檢驗 解：根據(jù)運行結(jié)果 （1） 方程的擬合優(yōu)度較高； （2） 方程通過顯著性檢驗； （4）回歸系數(shù)的顯著性檢驗 ，均大于臨界值3.201，所以回歸系數(shù)均顯著。 （3） 在2附近，不存在序列相關(guān),2.3 利用多元線性回歸方程進行預(yù)測,一、點預(yù)測 當給定自變量的某一特定值為 對因變量進行點估計為 用矩陣表示為 。 二、區(qū)間預(yù)測 給定置信水平 ，置信區(qū)間

8、為 其中， 是自由度為年n-k-1的t分布臨界值,2.4 解釋變量的選擇,一、因素分析,因素分析是一種定性分析。它是預(yù)測時選擇自變量的第一步。憑借對預(yù)測對象的熟悉、了解，分析找到影響預(yù)測對象的所有因素，從中選擇,二、簡單相關(guān)分析,分別計算預(yù)測對象與各影響因素的簡單相關(guān)系數(shù)，選擇那些與預(yù)測對象相關(guān)程度高者作為自變量,三、逐個剔除法（后退法,首先將與預(yù)測對象有關(guān)的全部因素引入方程，建立模型，然后依據(jù)每個回歸系數(shù)的t值大小，逐個剔除那些不顯著的變量，直到模型中包含的變量都是影響預(yù)測對象的顯著因素為止,1）當不顯著的變量較多時，不能同時剔除，要從最小的那個系數(shù)所對應(yīng)的變量開始逐一刪除,注意,2）刪除一

9、個變量后腰觀察其他統(tǒng)計量的變化，如果有所改善，認為剔除是適宜的；否則應(yīng)保留在模型中,四、前進法,1、基本思想：由少到多，每次增加一個自變量，直至沒有可引入的變量為止,2. 具體做法,1）對于全部k個自變量，分別對因變量Y建立k個一元線性回歸方程，并分別計算這k個一元回歸方程回歸系數(shù)的t值，選擇最顯著的一個引入,2）因變量Y分別與 ，建立k-1個二元線性回歸方程，對這k-1個回歸方程中的回歸系數(shù) 進行t檢驗，選擇最顯著的一個引入,3）依上述方法接著做下去。直至所有未被引入方程的自變量t檢驗通過不了時，得到的回歸方程就是最終確定的方程,五、 逐步回歸法,基本思想：有進有出,2.具體做法,將變量一個

10、一個引入，引入變量的條件是其t統(tǒng)計量經(jīng)檢驗是顯著的。即每引入一個自變量后，對已經(jīng)被選入的變量要進行逐個檢驗，當原引入的變量由于后面變量的引入而變得不再顯著時，要將其剔除,這個過程反復(fù)進行，直到既無顯著的自變量選入，也無不顯著自變量從回歸方程中剔除為止。這樣就保證了最后所得的回歸子集是“最優(yōu)”回歸子集,盡管數(shù)學(xué)方法對變量的正確選擇可能有一些幫助，但在處理具體問題時，變量的正確選擇在根本上還是要依賴于所研究問題本身的專業(yè)知識和實踐經(jīng)驗,當應(yīng)用某種準則和方法選出的“最優(yōu)”變量組明顯地與實際問題本身的專業(yè)理論不一致時，需要首先重新考慮我們的統(tǒng)計結(jié)論,不能把自變量選擇方法看成僵死的“教條”機械搬用,2.

11、5 多重共線性,多重共線性即自變量之間的線性約束，是由兩個或更多個自變量具有高度線性相關(guān)而致,如在居民家庭的消費支出回歸分析中，選擇家庭收入、家庭儲蓄及家庭人口，這三個自變量之間也表現(xiàn)為較高度的相關(guān),一、多重共線性出現(xiàn)的原因,1）各經(jīng)濟變量之間存在內(nèi)在聯(lián)系,如生產(chǎn)函數(shù)表示為,Q表示產(chǎn)值，K是資金，L是勞動,一般來說大企業(yè)有雄厚的資金和充足的勞動力，而小企業(yè)的資金和勞動力都較小。這說明資金和勞動力之間有內(nèi)在的聯(lián)系。因而存在多重共線性,2）各經(jīng)濟變量在時間上有共同增長的趨勢,經(jīng)濟、人民群眾收入、消費支出、儲蓄,3）在建模時引入了一些解釋變量的滯后值作為新的解釋變量,如，在研究消費函數(shù)時，不僅把現(xiàn)期

12、收入而且把上期的收入都作為解釋變量，這就明顯地出現(xiàn)多重共線性,二、多重共線性的基本性質(zhì),1、改變回歸系數(shù),以兩個自變量完全相關(guān)為例,如果 ， 則,即,最小二乘法，回歸系數(shù),當 和 完全相關(guān)時，顯然，,不存在，回歸系數(shù)也不存在,不存在，回歸系數(shù)也不存在,當 和 不是完全相關(guān)，而是高度相關(guān)時,接近于零。這時,B表現(xiàn)出不確定性,多重共線性的存在，改變了回歸系數(shù)b，并因此使其標準差增大，以致使該參數(shù)的t檢驗通不過,有興趣參閱p57 2-D,當多重共線性存在時，任何一個自變量的回歸系數(shù)，依賴于包括在模型中的其他自變量。所以，回歸系數(shù)并不反映方程中任何一具體自變量對因變量的影響,2、不降低模型的擬合能力,

13、回歸方程的F檢驗和擬合優(yōu)度R2，在某種意義上都反映變量Y與諸X之間的線性回歸關(guān)系，或者說反映回歸模型對因變量實際觀測值的擬合能力,多重共線性的存在不妨礙這種擬合能力,3、對回歸平方和的影響,存在多重共線性時，一個自變量引起總離差的減少必須看作是與包括在同一方程中的其他自變量相關(guān)連,因此，沒有一個唯一的平方和能屬于某一自變量作為反映Y總離差的減少,同一回歸方程中，二個自變量不相關(guān)時，一個自變量在降低剩余平方和中的邊際作用和它單獨在該方程中的作用完全相等,三、多重共線性的識別和消除,預(yù)測時，遇到下列情況往往表明有多重共線性的存在,1、回歸模型的F檢驗通過，而有的回歸系數(shù)的t檢驗未通過,2、模型中增加或刪除一個自變量，回歸系數(shù)的估計值有較大的變化,3、回