第三章__多元線性回歸模型的參數(shù)估計2課件

1、第三章_多元線性回歸模型的參數(shù)估計2,第三章 經(jīng)典單方程計量經(jīng)濟(jì)學(xué)模型：多元線性回歸模型,多元線性回歸模型 多元線性回歸模型的參數(shù)估計 多元線性回歸模型的統(tǒng)計檢驗 多元線性回歸模型的預(yù)測 回歸模型的其他形式,第三章_多元線性回歸模型的參數(shù)估計2,3.1 多元線性回歸模型,一、多元線性回歸模型 二、多元線性回歸模型的基本假定,第三章_多元線性回歸模型的參數(shù)估計2,一、多元線性回歸模型,多元線性回歸模型:表現(xiàn)在線性回歸模型中的解釋變量有多個。 一般表現(xiàn)形式：,i=1,2,n,其中:k為解釋變量的數(shù)目，j稱為回歸參數(shù)（regression coefficient）。,第三章_多元線性回歸模型的參數(shù)估

2、計2,也被稱為總體回歸函數(shù)的隨機(jī)表達(dá)形式。它 的非隨機(jī)表達(dá)式為:,表示：各變量X值固定時Y的平均響應(yīng)。,習(xí)慣上：把常數(shù)項看成為一虛變量的系數(shù)，該虛變量的樣本觀測值始終取1。于是： 模型中解釋變量的數(shù)目為（k+1）,第三章_多元線性回歸模型的參數(shù)估計2,總體回歸模型n個隨機(jī)方程的矩陣表達(dá)式為:,其中,j也被稱為偏回歸系數(shù)，表示在其他解釋變量保持不變的情況下，X j每變化1個單位時，Y的均值E(Y)的變化; 或者說j給出了X j的單位變化對Y均值的“直接”或“凈”（不含其他變量）影響。,第三章_多元線性回歸模型的參數(shù)估計2,用來估計總體回歸函數(shù)的樣本回歸函數(shù)為：,第三章_多元線性回歸模型的參數(shù)估計

3、2,其隨機(jī)表示式:,ei稱為殘差或剩余項(residuals)，可看成是總體回歸函數(shù)中隨機(jī)擾動項i的近似替代。 樣本回歸函數(shù)的矩陣表達(dá):,或,其中：,第三章_多元線性回歸模型的參數(shù)估計2,二、多元線性回歸模型的基本假定,假設(shè)1，解釋變量是非隨機(jī)的或固定的，且各X之間互不相關(guān)（無多重共線性）。 假設(shè)2，隨機(jī)誤差項具有零均值、同方差及不序列相關(guān)性。,第三章_多元線性回歸模型的參數(shù)估計2,假設(shè)3，解釋變量與隨機(jī)項不相關(guān),假設(shè)4，隨機(jī)項滿足正態(tài)分布,第三章_多元線性回歸模型的參數(shù)估計2,上述假設(shè)的矩陣符號表示式：,假設(shè)1，n(k+1)矩陣X是非隨機(jī)的，且X的秩=k+1，即X滿秩。 假設(shè)2，,第三章_多

4、元線性回歸模型的參數(shù)估計2,假設(shè)4，向量 有一多維正態(tài)分布，即,同一元回歸一樣，多元回歸還具有如下兩個重要假設(shè)： 假設(shè)5，樣本容量趨于無窮時，各解釋變量的方差趨于有界常數(shù)，即n時，,假設(shè)3，E(X)=0，即,第三章_多元線性回歸模型的參數(shù)估計2,其中：Q為一非奇異固定矩陣，矩陣x是由各解釋變量的離差為元素組成的nk階矩陣,假設(shè)6，回歸模型的設(shè)定是正確的。,或,第三章_多元線性回歸模型的參數(shù)估計2,3.2 多元線性回歸模型的估計,一、普通最小二乘估計 *二、最大或然估計 *三、矩估計 四、參數(shù)估計量的性質(zhì) 五、樣本容量問題 六、估計實例,第三章_多元線性回歸模型的參數(shù)估計2,說 明,估計方法：

5、3大類方法：OLS、ML或者M(jìn)M 在經(jīng)典模型中多應(yīng)用OLS 在非經(jīng)典模型中多應(yīng)用ML或者M(jìn)M 在本節(jié)中， MM為選學(xué)內(nèi)容,第三章_多元線性回歸模型的參數(shù)估計2,一、普通最小二乘估計,對于隨機(jī)抽取的n組觀測值,如果樣本函數(shù)的參數(shù)估計值已經(jīng)得到，則有：,i=1,2n,根據(jù)最小二乘原理，參數(shù)估計值應(yīng)該是右列方程組的解,其中,第三章_多元線性回歸模型的參數(shù)估計2,于是得到關(guān)于待估參數(shù)估計值的正規(guī)方程組：,第三章_多元線性回歸模型的參數(shù)估計2,正規(guī)方程組的矩陣形式,即,由于XX滿秩，故有,第三章_多元線性回歸模型的參數(shù)估計2,將上述過程用矩陣表示如下：,即求解方程組：,第三章_多元線性回歸模型的參數(shù)估計

6、2,得到：,于是：,例3.2.1：在例2.1.1的家庭收入-消費支出例中，,第三章_多元線性回歸模型的參數(shù)估計2,可求得：,于是：,第三章_多元線性回歸模型的參數(shù)估計2,正規(guī)方程組 的另一種寫法,對于正規(guī)方程組,于是,或,(*)或（*）是多元線性回歸模型正規(guī)方程組的另一種寫法。,(*),(*),第三章_多元線性回歸模型的參數(shù)估計2,隨機(jī)誤差項的方差的無偏估計,可以證明，隨機(jī)誤差項的方差的無偏估計量為：,第三章_多元線性回歸模型的參數(shù)估計2,二、最大或然估計,對于多元線性回歸模型,易知,Y的隨機(jī)抽取的n組樣本觀測值的聯(lián)合概率,第三章_多元線性回歸模型的參數(shù)估計2,對數(shù)或然函數(shù)為,對對數(shù)或然函數(shù)求

7、極大值，也就是對,求極小值。,即為變量Y的或然函數(shù),第三章_多元線性回歸模型的參數(shù)估計2,因此，參數(shù)的最大或然估計為,結(jié)果與參數(shù)的普通最小二乘估計相同,第三章_多元線性回歸模型的參數(shù)估計2,*三、矩估計（Moment Method, MM）,OLS估計是通過得到一個關(guān)于參數(shù)估計值的正規(guī)方程組,并對它進(jìn)行求解而完成的。,該正規(guī)方程組 可以從另外一種思路來導(dǎo):,求期望 :,第三章_多元線性回歸模型的參數(shù)估計2,稱為原總體回歸方程的一組矩條件，表明了原總體回歸方程所具有的內(nèi)在特征。,第三章_多元線性回歸模型的參數(shù)估計2,矩方法是工具變量方法(Instrumental Variables,IV)和廣義

8、矩估計方法(Generalized Moment Method, GMM)的基礎(chǔ)。,第三章_多元線性回歸模型的參數(shù)估計2,在矩方法中利用了關(guān)鍵是 E(X)=0,如果某個解釋變量與隨機(jī)項相關(guān)，只要能找到1個工具變量，仍然可以構(gòu)成一組矩條件。這就是IV。 如果存在k+1個變量與隨機(jī)項不相關(guān)，可以構(gòu)成一組包含k+1方程的矩條件。這就是GMM。,第三章_多元線性回歸模型的參數(shù)估計2,四、參數(shù)估計量的性質(zhì),在滿足基本假設(shè)的情況下，其結(jié)構(gòu)參數(shù)的普通最小二乘估計、最大或然估計及矩估計仍具有： 線性性、無偏性、有效性。,同時，隨著樣本容量增加，參數(shù)估計量具有： 漸近無偏性、漸近有效性、一致性。,第三章_多元線

9、性回歸模型的參數(shù)估計2,1、線性性,其中,C=(XX)-1 X 為一僅與固定的X有關(guān)的行向量,2、無偏性,這里利用了假設(shè): E(X)=0,第三章_多元線性回歸模型的參數(shù)估計2,3、有效性（最小方差性）,第三章_多元線性回歸模型的參數(shù)估計2,其中利用了,和,第三章_多元線性回歸模型的參數(shù)估計2,樣本是一個重要的實際問題。模型依賴于實際樣本。獲取樣本需要成本，企圖通過樣本容量的確定減輕收集數(shù)據(jù)的困難。 1、最小樣本容量 2、滿足基本要求的樣本容量,五、樣本容量問題,第三章_多元線性回歸模型的參數(shù)估計2,所謂“最小樣本容量”，即從最小二乘原理和最大或然原理出發(fā)，欲得到參數(shù)估計量，不管其質(zhì)量如何，所要

10、求的樣本容量的下限。, 最小樣本容量,樣本最小容量必須不少于模型中解釋變量的數(shù)目（包括常數(shù)項）,即 n k+1,第三章_多元線性回歸模型的參數(shù)估計2,最小樣本容量 nk+1,B=(XX)-1XY (XX)-1存在| XX |0 XX 為k+1階的滿秩陣 R(AB)min(R(A),R(B) R(X)k+1 因此，必須有 nk+1,第三章_多元線性回歸模型的參數(shù)估計2,2、滿足基本要求的樣本容量,從統(tǒng)計檢驗的角度： n30 時，Z檢驗才能應(yīng)用； n-k8時, t分布較為穩(wěn)定,一般經(jīng)驗認(rèn)為: 當(dāng)n30或者至少n3(k+1)時，才能說滿足模型估計的基本要求。,模型的良好性質(zhì)只有在大樣本下才能得到理論

11、上的證明,第三章_多元線性回歸模型的參數(shù)估計2,六、多元線性回歸模型的參數(shù)估計實例,例3.2.2 在例2.5.1中，已建立了中國居民人均消費一元線性模型。這里我們再考慮建立多元線性模型。,解釋變量：人均GDP：GDPP 前期消費：CONSP(-1),估計區(qū)間：19792000年,第三章_多元線性回歸模型的參數(shù)估計2,Eviews軟件估計結(jié)果,第三章_多元線性回歸模型的參數(shù)估計2,3.3 多元線性回歸模型的統(tǒng)計檢驗,一、擬合優(yōu)度檢驗 二、方程的顯著性檢驗(F檢驗) 三、變量的顯著性檢驗（t檢驗） 四、參數(shù)的置信區(qū)間,第三章_多元線性回歸模型的參數(shù)估計2,一、擬合優(yōu)度檢驗,1、可決系數(shù)與調(diào)整的可決

12、系數(shù),則,總離差平方和的分解,第三章_多元線性回歸模型的參數(shù)估計2,由于:,=0,所以有：,注意：一個有趣的現(xiàn)象,第三章_多元線性回歸模型的參數(shù)估計2,可決系數(shù),該統(tǒng)計量越接近于1，模型的擬合優(yōu)度越高。,問題：在應(yīng)用過程中發(fā)現(xiàn)，如果在模型中增加一個解釋變量， R2往往增大（Why?) 這就給人一個錯覺：要使得模型擬合得好，只要增加解釋變量即可。 但是，現(xiàn)實情況往往是，由增加解釋變量個數(shù)引起的R2的增大與擬合好壞無關(guān)，R2需調(diào)整。,第三章_多元線性回歸模型的參數(shù)估計2,調(diào)整的可決系數(shù)（adjusted coefficient of determination）,在樣本容量一定的情況下，增加解釋變

13、量必定使得自由度減少，所以調(diào)整的思路是:將殘差平方和與總離差平方和分別除以各自的自由度，以剔除變量個數(shù)對擬合優(yōu)度的影響:,其中：n-k-1為殘差平方和的自由度，n-1為總體平方和的自由度。,第三章_多元線性回歸模型的參數(shù)估計2,第三章_多元線性回歸模型的參數(shù)估計2,2、赤池信息準(zhǔn)則和施瓦茨準(zhǔn)則,為了比較所含解釋變量個數(shù)不同的多元回歸模型的擬合優(yōu)度，常用的標(biāo)準(zhǔn)還有: 赤池信息準(zhǔn)則（Akaike information criterion, AIC）,施瓦茨準(zhǔn)則（Schwarz criterion，SC）,這兩準(zhǔn)則均要求僅當(dāng)所增加的解釋變量能夠減少AIC值或SC值時才在原模型中增加該解釋變量。,第

14、三章_多元線性回歸模型的參數(shù)估計2,Eviews的估計結(jié)果顯示： 中國居民消費二元例中： AIC=6.68 SC=6.83 中國居民消費一元例中： AIC=7.09 SC=7.19 從這點看，可以說前期人均居民消費CONSP(-1)應(yīng)包括在模型中。,第三章_多元線性回歸模型的參數(shù)估計2,二、方程的顯著性檢驗(F檢驗),方程的顯著性檢驗，旨在對模型中被解釋變量與解釋變量之間的線性關(guān)系在總體上是否顯著成立作出推斷。,1、方程顯著性的F檢驗,即檢驗?zāi)Ｐ?Yi=0+1X1i+2X2i+ +kXki+i i=1,2, ,n 中的參數(shù)j是否顯著不為0。,第三章_多元線性回歸模型的參數(shù)估計2,可提出如下原假

15、設(shè)與備擇假設(shè)：,H0： 1=2= =k=0 H1： j不全為0,F檢驗的思想來自于總離差平方和的分解式： TSS=ESS+RSS,第三章_多元線性回歸模型的參數(shù)估計2,如果這個比值較大，則X的聯(lián)合體對Y的解釋程度高，可認(rèn)為總體存在線性關(guān)系，反之總體上可能不存在線性關(guān)系。 因此,可通過該比值的大小對總體線性關(guān)系進(jìn)行推斷。,根據(jù)數(shù)理統(tǒng)計學(xué)中的知識，在原假設(shè)H0成立的條件下，統(tǒng)計量,第三章_多元線性回歸模型的參數(shù)估計2,服從自由度為(k , n-k-1)的F分布。,給定顯著性水平，可得到臨界值F(k,n-k-1)，由樣本求出統(tǒng)計量F的數(shù)值，通過 F F(k,n-k-1) 或 FF(k,n-k-1)

16、來拒絕或接受原假設(shè)H0，以判定原方程總體上的線性關(guān)系是否顯著成立。,第三章_多元線性回歸模型的參數(shù)估計2,對于中國居民人均消費支出的例子： 一元模型：F=2859.2 二元模型：F=2057.3,給定顯著性水平 =0.05，查分布表，得到臨界值： 一元例：F(1,21)=4.32 二元例： F(2,19)=3.52,顯然有 F F(k,n-k-1) ，即二個模型的線性關(guān)系在95%的水平下顯著成立。,第三章_多元線性回歸模型的參數(shù)估計2,2、關(guān)于擬合優(yōu)度檢驗與方程顯著性檢驗關(guān)系的討論,由,可推出：,與,或,第三章_多元線性回歸模型的參數(shù)估計2,第三章_多元線性回歸模型的參數(shù)估計2,在中國居民人均

17、收入消費一元模型中，,在中國居民人均收入消費二元模型中，,第三章_多元線性回歸模型的參數(shù)估計2,三、變量的顯著性檢驗（t檢驗）,方程的總體線性關(guān)系顯著每個解釋變量對被解釋變量的影響都是顯著的。 因此，必須對每個解釋變量進(jìn)行顯著性檢驗，以決定是否作為解釋變量被保留在模型中。 這一檢驗是由對變量的 t 檢驗完成的。,第三章_多元線性回歸模型的參數(shù)估計2,1、t統(tǒng)計量,由于,以cii表示矩陣(XX)-1 主對角線上的第i個元素，于是參數(shù)估計量的方差為：,其中2為隨機(jī)誤差項的方差，在實際計算時，用它的估計量代替:,第三章_多元線性回歸模型的參數(shù)估計2,因此，可構(gòu)造如下t統(tǒng)計量,第三章_多元線性回歸模型

18、的參數(shù)估計2,2、t檢驗,設(shè)計原假設(shè)與備擇假設(shè)：,H1：i0,給定顯著性水平，可得到臨界值t/2(n-k-1)，由樣本求出統(tǒng)計量t的數(shù)值，通過 |t| t/2(n-k-1) 或 |t|t/2(n-k-1) 來拒絕或接受原假設(shè)H0，從而判定對應(yīng)的解釋變量是否應(yīng)包括在模型中。,H0：i=0 （i=1,2k）,第三章_多元線性回歸模型的參數(shù)估計2,注意：一元線性回歸中，t檢驗與F檢驗一致,一方面，t檢驗與F檢驗都是對相同的原假設(shè)H0：1=0 進(jìn)行檢驗; 另一方面，兩個統(tǒng)計量之間有如下關(guān)系：,第三章_多元線性回歸模型的參數(shù)估計2,在中國居民人均收入-消費支出二元模型例中，由應(yīng)用軟件計算出參數(shù)的t值：,

19、給定顯著性水平=0.05，查得相應(yīng)臨界值： t0.025(19) =2.093。,可見，計算的所有t值都大于該臨界值，所以拒絕原假設(shè)。即: 包括常數(shù)項在內(nèi)的3個解釋變量都在95%的水平下顯著，都通過了變量顯著性檢驗。,第三章_多元線性回歸模型的參數(shù)估計2,四、參數(shù)的置信區(qū)間,參數(shù)的置信區(qū)間用來考察：在一次抽樣中所估計的參數(shù)值離參數(shù)的真實值有多“近”。 在變量的顯著性檢驗中已經(jīng)知道：,第三章_多元線性回歸模型的參數(shù)估計2,容易推出：在(1-)的置信水平下i的置信區(qū)間是,其中，t/2為顯著性水平為 、自由度為n-k-1的臨界值。,在中國居民人均收入消費支出二元模型例中, 給定=0.05，查表得臨界

20、值：t0.025(19)=2.093,第三章_多元線性回歸模型的參數(shù)估計2,計算得參數(shù)的置信區(qū)間： 0 ：(44.284, 197.116) 1 ： (0.0937, 0.3489 ) 2 ：(0.0951, 0.8080),從回歸計算中已得到：,第三章_多元線性回歸模型的參數(shù)估計2,如何才能縮小置信區(qū)間？,增大樣本容量n，因為在同樣的樣本容量下，n越大，t分布表中的臨界值越小，同時，增大樣本容量，還可使樣本參數(shù)估計量的標(biāo)準(zhǔn)差減??； 提高模型的擬合優(yōu)度，因為樣本參數(shù)估計量的標(biāo)準(zhǔn)差與殘差平方和呈正比，模型優(yōu)度越高，殘差平方和應(yīng)越小。,第三章_多元線性回歸模型的參數(shù)估計2,提高樣本觀測值的分散度,

21、一般情況下，樣本觀測值越分散，(XX)-1的分母的|XX|的值越大，致使區(qū)間縮小。,第三章_多元線性回歸模型的參數(shù)估計2,3.5 回歸模型的其他函數(shù)形式,一、模型的類型與變換 二、非線性回歸實例,第三章_多元線性回歸模型的參數(shù)估計2,說 明,在實際經(jīng)濟(jì)活動中，經(jīng)濟(jì)變量的關(guān)系是復(fù)雜的，直接表現(xiàn)為線性關(guān)系的情況并不多見。 如著名的恩格爾曲線(Engle curves)表現(xiàn)為冪函數(shù)曲線形式、宏觀經(jīng)濟(jì)學(xué)中的菲利普斯曲線（Pillips cuves）表現(xiàn)為雙曲線形式等。 但是，大部分非線性關(guān)系又可以通過一些簡單的數(shù)學(xué)處理，使之化為數(shù)學(xué)上的線性關(guān)系，從而可以運用線性回歸模型的理論方法。,第三章_多元線性回

22、歸模型的參數(shù)估計2,一、模型的類型與變換,1、倒數(shù)模型、多項式模型與變量的直接置換法,例如，描述稅收與稅率關(guān)系的拉弗曲線：拋物線 s = a + b r + c r2 c0 s：稅收； r：稅率,設(shè)X1 = r，X2 = r2， 則原方程變換為 s = a + b X1 + c X2 c0,第三章_多元線性回歸模型的參數(shù)估計2,2、冪函數(shù)模型、指數(shù)函數(shù)模型與對數(shù)變換法,例如，Cobb-Dauglas生產(chǎn)函數(shù)：冪函數(shù) Q = AKL Q：產(chǎn)出量，K：投入的資本；L：投入的勞動,方程兩邊取對數(shù)： ln Q = ln A + ln K + ln L,第三章_多元線性回歸模型的參數(shù)估計2,3、復(fù)雜函數(shù)模型與級數(shù)展開法,方程兩邊取對數(shù)后，得到：,(1+2=1),Q:產(chǎn)出量，K：資本投入，L：勞動投入 ：替代參數(shù)， 1、2：分配參數(shù),例如，常替代彈性CES生產(chǎn)函數(shù),第三章_多元線性回歸模型的參數(shù)估計2,將式中l(wèi)n(1K- + 2L-)在=0處展開臺勞級數(shù),取關(guān)于的線性項，即得到一個線性近似式。,如取0階、1階、2階項，可得:,第三章_多元線性回歸模型的參數(shù)估計2,二、非線性回歸實例,例3.5.1 建立中國城鎮(zhèn)居民食品消費需求函數(shù)模型。,根據(jù)需求理論，居民對食品的消費需求函數(shù)大致為:,Q:居民對食品的需求量，X：消