多元線性模型的統(tǒng)計檢驗

1、3.3 3.3 多元線性回歸模型的統(tǒng)計檢驗多元線性回歸模型的統(tǒng)計檢驗 Statistical Test of Multiple Linear Regression Model 一、擬合優(yōu)度檢驗一、擬合優(yōu)度檢驗 二、方程的顯著性檢驗二、方程的顯著性檢驗(F(F檢驗檢驗) ) 三、變量的顯著性檢驗（三、變量的顯著性檢驗（t t檢驗）檢驗） 四、參數(shù)的置信區(qū)間四、參數(shù)的置信區(qū)間 一、擬合優(yōu)度檢驗一、擬合優(yōu)度檢驗 Goodness of Fit1 1、概念、概念對樣本回歸直線與樣本觀測值對樣本回歸直線與樣本觀測值之間擬合程度的檢驗。之間擬合程度的檢驗。 問題：問題：采用普通最小二乘估計方法，已經(jīng)保證采

2、用普通最小二乘估計方法，已經(jīng)保證了模型最好地擬合了樣本觀測值，為什么還要了模型最好地擬合了樣本觀測值，為什么還要檢驗擬合程度？檢驗擬合程度？ 如何檢驗：如何檢驗：構(gòu)造統(tǒng)計量構(gòu)造統(tǒng)計量 統(tǒng)計量只能是相對量統(tǒng)計量只能是相對量2 2、可決系數(shù)與調(diào)整的可決系數(shù)、可決系數(shù)與調(diào)整的可決系數(shù)2222)()(2)()()()(YYYYYYYYYYYYYYTSSiiiiiiiiii 總離差平方和的分解總離差平方和的分解ESSRSSYYYYTSSiii22)()(證明：證明：該項等于該項等于0 可決系數(shù)（可決系數(shù)（ Coefficient of Determination ）TSSRSSTSSESSR12該統(tǒng)計量

3、越接近于1，模型的擬合優(yōu)度越高。 從R2的表達式中發(fā)現(xiàn)，如果在模型中增加解釋變量， R2往往增大。 這就給人一個錯覺：要使得模型擬合得好，只要增加解釋變量即可。 但是，由增加解釋變量引起的R2的增大與擬合好壞無關(guān)，所以R2需調(diào)整。 調(diào)整的可決系數(shù)調(diào)整的可決系數(shù)（adjusted coefficient of determination） ) 1/() 1/(12nTSSknRSSR其中：n-k-1為殘差平方和的自由度，n-1為總體平方和的自由度。調(diào)整的可決系數(shù)多大才是合適的？調(diào)整的可決系數(shù)多大才是合適的？ 3、赤池信息準則和施瓦茨準則、赤池信息準則和施瓦茨準則 為了比較所含解釋變量個數(shù)不同的多

4、元回歸模型的擬合優(yōu)度，常用的標準還有: 赤池信息準則赤池信息準則（Akaike information criterion, AIC）nknAIC) 1(2lnee施瓦茨準則施瓦茨準則（Schwarz criterion，SC） 這兩準則均要求這兩準則均要求僅當所增加的解釋變量能夠減少僅當所增加的解釋變量能夠減少AICAIC值或值或SCSC值時才在原模型中增加該解釋變量值時才在原模型中增加該解釋變量。 nnknSClnlnee地區(qū)城鎮(zhèn)居民消費模型（地區(qū)城鎮(zhèn)居民消費模型（k=2）二、方程的顯著性檢驗二、方程的顯著性檢驗(F(F檢驗檢驗) )Testing the Overall Signific

5、ance of a Multiple Regression (the F test)1 1、假設(shè)檢驗（、假設(shè)檢驗（Hypothesis Testing） 所謂所謂假設(shè)檢驗假設(shè)檢驗，就是事先對總體參數(shù)或總體分，就是事先對總體參數(shù)或總體分布形式作出一個假設(shè)，然后利用樣本信息來判布形式作出一個假設(shè)，然后利用樣本信息來判斷原假設(shè)是否合理，即判斷樣本信息與原假設(shè)斷原假設(shè)是否合理，即判斷樣本信息與原假設(shè)是否有顯著差異，從而決定是否接受或否定原是否有顯著差異，從而決定是否接受或否定原假設(shè)。假設(shè)。 假設(shè)檢驗采用的邏輯推理方法是反證法。假設(shè)檢驗采用的邏輯推理方法是反證法。先假先假定原假設(shè)正確，然后根據(jù)樣本信息，

6、觀察由此定原假設(shè)正確，然后根據(jù)樣本信息，觀察由此假設(shè)而導(dǎo)致的結(jié)果是否合理，從而判斷是否接假設(shè)而導(dǎo)致的結(jié)果是否合理，從而判斷是否接受原假設(shè)。受原假設(shè)。 判斷結(jié)果合理與否，是基于判斷結(jié)果合理與否，是基于“小概率事件不易小概率事件不易發(fā)生發(fā)生”這一原理的。這一原理的。2、方程顯著性的、方程顯著性的F檢驗檢驗 方程的顯著性檢驗，旨在對模型中被解釋變量方程的顯著性檢驗，旨在對模型中被解釋變量與解釋變量之間的線性關(guān)系與解釋變量之間的線性關(guān)系在總體上在總體上是否顯著成是否顯著成立作出推斷。立作出推斷。 在多元模型中，即檢驗?zāi)Ｐ驮诙嘣Ｐ椭?，即檢驗?zāi)Ｐ椭械闹械膮?shù)參數(shù) j是否顯是否顯著不為著不為0。ikiki

7、iiXXXY22110Hk012000:,0), 2 , 1(:1不全為kjHj F F檢驗的思想檢驗的思想來自于總離差平方和的分解式來自于總離差平方和的分解式 TSS=ESS+RSS由于回歸平方和2iyESS是解釋變量X的聯(lián)合體對被解釋變量 Y的線性作用的結(jié)果，考慮比值 22/iieyRSSESS 如果這個比值較大，則X的聯(lián)合體對Y的解釋程度高，可認為總體存在線性關(guān)系，反之總體上可能不存在線性關(guān)系。 因此因此, ,可通過該比值的大小對總體線性關(guān)系進行推可通過該比值的大小對總體線性關(guān)系進行推斷斷。 在原假設(shè)在原假設(shè)H0成立的條件下成立的條件下，統(tǒng)計量，統(tǒng)計量 給定顯著性水平，可得到臨界值F(k

8、,n-k-1)，由樣本求出統(tǒng)計量F的數(shù)值，通過 F F(k,n-k-1) 或 FF(k,n-k-1)來拒絕或接受原假設(shè)H0，以判定原方程總體上總體上的線性關(guān)系是否顯著成立。 ) 1,() 1/(/knkFknRSSkESSF地區(qū)城鎮(zhèn)居民消費模型地區(qū)城鎮(zhèn)居民消費模型伴隨概率：拒絕0假設(shè)，犯錯誤的概率為0 3、關(guān)于擬合優(yōu)度檢驗與方程顯著性檢驗關(guān)于擬合優(yōu)度檢驗與方程顯著性檢驗關(guān)系的討論關(guān)系的討論 ) 1/() 1/(12nTSSknRSSR)1/(/knRSSkESSFkFknnR1112) 1/()1 (/22knRkRF 對于一般的實際問題，在對于一般的實際問題，在5%5%的顯著性水平下，的顯著

9、性水平下，F(xiàn) F統(tǒng)計量的臨界值所對應(yīng)的統(tǒng)計量的臨界值所對應(yīng)的R R2 2的水平是較低的。的水平是較低的。所以，不宜過分注重所以，不宜過分注重R R2 2值，應(yīng)注重模型的經(jīng)濟意值，應(yīng)注重模型的經(jīng)濟意義；在進行總體顯著性檢驗時，顯著性水平應(yīng)該義；在進行總體顯著性檢驗時，顯著性水平應(yīng)該控制在控制在5%5%以內(nèi)。以內(nèi)。三、變量的顯著性檢驗（三、變量的顯著性檢驗（t t檢驗）檢驗） Testing the Significance of Variables (the t test) 方程的方程的總體線性總體線性關(guān)系顯著關(guān)系顯著不等于不等于每個解釋變量每個解釋變量對對被解釋變量的影響都是顯著的。被解釋變量

10、的影響都是顯著的。 必須對每個解釋變量進行顯著性檢驗，以決定是必須對每個解釋變量進行顯著性檢驗，以決定是否作為解釋變量被保留在模型中。否作為解釋變量被保留在模型中。 這一檢驗是由對變量的這一檢驗是由對變量的 t 檢驗完成的。檢驗完成的。1、t統(tǒng)計量統(tǒng)計量 12)()(XXCov以cii表示矩陣(XX)-1 主對角線上的第i個元素iiicVar2)(1122knkneiee),(2iiiicN) 1(1kntkncstjjjjjjjee2 2、t t檢驗檢驗 設(shè)計原假設(shè)與備擇假設(shè)： H1：i0 給定顯著性水平，可得到臨界值t/2(n-k-1)，由樣本求出統(tǒng)計量t的數(shù)值，通過 |t| t/2(n-

11、k-1) 或 |t|t/2(n-k-1)判斷拒絕或不拒絕原假設(shè)H0，從而判定對應(yīng)的解判定對應(yīng)的解釋變量是否應(yīng)包括在模型中。釋變量是否應(yīng)包括在模型中。 H0：i=0 （i=1,2k） 地區(qū)城鎮(zhèn)居民消費模型地區(qū)城鎮(zhèn)居民消費模型3、關(guān)于常數(shù)項的顯著性檢驗、關(guān)于常數(shù)項的顯著性檢驗 T T檢驗同樣可以進行。檢驗同樣可以進行。 一般不以一般不以t t檢驗決定常數(shù)項是否保留在模型中，檢驗決定常數(shù)項是否保留在模型中，而是從經(jīng)濟意義方面分析回歸線是否應(yīng)該通過而是從經(jīng)濟意義方面分析回歸線是否應(yīng)該通過原點。原點。四、參數(shù)的置信區(qū)間四、參數(shù)的置信區(qū)間 Confidence Interval of Parameter1

12、 1、區(qū)間估計、區(qū)間估計 回歸分析希望通過樣本得到的參數(shù)估計量能夠回歸分析希望通過樣本得到的參數(shù)估計量能夠代替總體參數(shù)。代替總體參數(shù)。 假設(shè)檢驗假設(shè)檢驗可以通過一次抽樣的結(jié)果檢驗總體參可以通過一次抽樣的結(jié)果檢驗總體參數(shù)可能的假設(shè)值的范圍（例如是否為零），但數(shù)可能的假設(shè)值的范圍（例如是否為零），但它并沒有指出在一次抽樣中樣本參數(shù)值到底離它并沒有指出在一次抽樣中樣本參數(shù)值到底離總體參數(shù)的真值有多總體參數(shù)的真值有多“近近”。 要判斷樣本參數(shù)的估計值在多大程度上要判斷樣本參數(shù)的估計值在多大程度上“近似近似”地替代總體參數(shù)的真值，需要通過構(gòu)造一個以地替代總體參數(shù)的真值，需要通過構(gòu)造一個以樣本參數(shù)的估計值

13、為中心的樣本參數(shù)的估計值為中心的“區(qū)間區(qū)間”，來考察，來考察它以多大的可能性（概率）包含著真實的參數(shù)它以多大的可能性（概率）包含著真實的參數(shù)值。這種方法就是參數(shù)檢驗的值。這種方法就是參數(shù)檢驗的置信區(qū)間估計置信區(qū)間估計。 如果存在這樣一個區(qū)間，稱之為如果存在這樣一個區(qū)間，稱之為置信區(qū)間置信區(qū)間； 1-1- 稱為稱為置信系數(shù)（置信度）（置信系數(shù)（置信度）（confidence coefficient）， 稱為稱為顯著性水平顯著性水平；置信區(qū)間的；置信區(qū)間的端點稱為端點稱為置信限（置信限（confidence limit）。1)(P2、參數(shù)的置信區(qū)間、參數(shù)的置信區(qū)間) 1(1kntkncStiiii

14、iiiee在在(1-(1- ) )的的置信水平下置信水平下(,)iitstsii22 例題中例題中，給定顯著性水平，給定顯著性水平=5%，參數(shù)，參數(shù)1和和2的的置信區(qū)間分別為置信區(qū)間分別為(0.3685, 0.6045 )和和(0.3882, 0.8153) 。 如何陳述模型估計結(jié)果？如何陳述模型估計結(jié)果？ 城鎮(zhèn)居民工資收入的邊際消費傾向為城鎮(zhèn)居民工資收入的邊際消費傾向為0.4865。錯！錯！ 城鎮(zhèn)居民工資收入的邊際消費傾向以城鎮(zhèn)居民工資收入的邊際消費傾向以95%的概率處于的概率處于(0.3685, 0.6045 )的區(qū)間中。的區(qū)間中。正確！正確！3 3、如何才能縮小置信區(qū)間？、如何才能縮小置信區(qū)間？ 增大樣本容量增大樣本容量n n，因為在同樣的樣本容量下，因為在同樣的樣本容量下，n n越大，越大，t t分布表中的臨界值越小，同時，增大樣本分布表中的臨界值越小，同時，增大樣本容量，還可使樣本參數(shù)