第四章簡單回歸模型及回歸結果的檢驗

1、REVIEW2022-5-3中山大學南方學院1假設檢驗假設檢驗最小二乘法最小二乘法2022-5-3中山大學南方學院2 第四章第四章 簡單回歸模型及回簡單回歸模型及回 歸結果的檢驗歸結果的檢驗2022-5-33中山大學南方學院本章重點本章重點 建立模型 估計參數(shù)的統(tǒng)計意義 回歸結果的解釋2022-5-3中山大學南方學院4分析思路分析思路 建立模型 輸入數(shù)據(jù)進行回歸 對回歸結果進行解釋 現(xiàn)實的經濟學意義2022-5-3中山大學南方學院5第一節(jié) 模型的建立 在我們深入討論回歸分析和其結果檢驗之前，我們需要先討論一下應用經濟學的研究方法。 我們還是從前面講過的一個簡單的回歸模型說起，給定下面的數(shù)模型：

2、eXiiY2022-5-36中山大學南方學院 根據(jù)上面的數(shù)學模型，我們要做的事情就是利用所得到的數(shù)據(jù)，用最小二乘法來對模型中的參數(shù)進行估計。 2022-5-3中山大學南方學院7 我們以氣溫和冷飲料的銷售量的數(shù)據(jù)來進行分析。如果我們能夠通過一個模型來預測由于氣溫的變化對市場銷售量的影響。2022-5-3中山大學南方學院8 通過簡單的回歸分析得出簡單的估計方程，我們的氣溫“自變量”與銷量“因變量”之間存在著正相關的關系（自變量前面的參數(shù)值大于零）。2022-5-3中山大學南方學院9 也就是說，當溫度增高時，銷量也會增高。那么，我們可以利用這個估計方程來對未來進行預測。我們可以確定，如果“溫度”提高

3、一度，銷量就會增加4.881單位，也就是多銷售48810瓶飲料。2022-5-3中山大學南方學院10第二節(jié) 估計參數(shù)的統(tǒng)計意義 算出參數(shù)方程之后，我們的任務還沒有完成。我們還要對上面的回歸進行分析。下一步我們要看估計出來的方程中的每個參數(shù)是否有統(tǒng)計意義（t Statistics）。 2022-5-3中山大學南方學院11 為了計算參數(shù)的“t Statistics”的值，我們還是從簡單模型說起。給定：2022-5-3中山大學南方學院12eXiiY 其模型的估計方差是： 或者： 2022-5-3中山大學南方學院13222Nesi2)(2NXYsii 在這里我們要注意到這個方差的自由度為N2，因為我們

4、這里用到了兩個確定的參數(shù)，所以我們就失去了兩個自由度。2022-5-3中山大學南方學院14 我們對方差開根號，得到s，這個統(tǒng)計值很重要，它被叫做“估計的標準誤差”（standard error of estimate)或“回歸的標準誤差”（standard error of regression）。 那么我們再來計算估計參數(shù)的標準誤差。2022-5-3中山大學南方學院152022-5-3中山大學南方學院16niiXX12n1iii)()Y-)(YX-(XiniiniiuXXXX112)()(1 先計算其方差： 標準誤差： 其統(tǒng)計檢驗值：2022-5-3中山大學南方學院17222)(XXssi2

5、sSESEt0 常數(shù) 的方差可以根據(jù)： 的關系式進行計算，得出結果如下：2022-5-3中山大學南方學院18XY 其方差為： 標準誤差： 統(tǒng)計值：2022-5-3中山大學南方學院19222222)()/(XXNXssNXsiii2sSESEt0 我們可以把參數(shù)的統(tǒng)計指標列在估計方程的下面： 銷量8.3834.881（氣溫） （1.128）（18.95）2022-5-3中山大學南方學院20 我們要對估計參數(shù)進行檢驗。假設所有的參數(shù)都等于零，用t檢驗來做。2022-5-3中山大學南方學院21 如果我們將置信區(qū)間定為95，那么其誤差容許范圍就在5的范圍內（也被稱為顯著性水平），即a=0.05。那么我

6、們可以從表格中查到相關的數(shù)據(jù)進行比較。2022-5-3中山大學南方學院22 所以我們就可以說，我們有95%把握認定：估計出來的這個參數(shù)不等于零，有其實際的統(tǒng)計意義。特別是自變量“氣溫”的參數(shù)很有意義。 這樣一來，批發(fā)商就可根據(jù)天氣預報來有計劃的儲備飲料的庫存了。2022-5-3中山大學南方學院23 另外，參數(shù)的估計“失誤率”（p-value）也很有用。我們在檢驗統(tǒng)計意義時可以直接利用這個數(shù)據(jù)。我們設定統(tǒng)計誤差容許范圍是在5，即顯著性水平（第一誤差）為0.05. 2022-5-3中山大學南方學院24 那么如果參數(shù)的估計失誤率小于0.05，它們就是有統(tǒng)計意義的。上面的結果表明，參數(shù)方程截距的估計失

7、誤率約為0.27，大于0.05，那么我們就沒有充分把握說它不等于零；自變量“氣溫”的估計失誤率約為0.000，小于0.05，那么我們就可以有充分的把握說它不等于零。2022-5-3中山大學南方學院25第三節(jié) 估計參數(shù)方程的方差分析 對回歸分析得出的結果做進一步的分析，就是對估計參數(shù)方程的方差分析，英文叫“Analysis of variance (ANOVA)”。如下表所示：2022-5-3中山大學南方學院26自由度自由度平方和平方和平均平方和平均平方和F檢驗值檢驗值模型（解釋）df1=KRSSRSS/df1(RSS/df1)/（ESS/df2）殘差（未解釋） df2=N-K-1ESSESS/

8、df2總和df3=N-1TSS=RSS+ESS 我們有如下模型：2022-5-3中山大學南方學院27)(iiiiiiiiiiiiiiYYYYeYYYYeXYeXY 我們將上面這個等式的兩邊同時減去 ，得到： 等式的右邊是每個樣本值與其平均值的差，也就是真實誤差。我們再將等式的兩邊同時進行平方，再加總。我們得到：2022-5-3中山大學南方學院28Y)()(iiiiYYYYYY2022-5-3中山大學南方學院29)( )(2)()()()()(2222iiiiiiiiiiYYYYYYYYYYYYYY 我們用TSS來表示這是方差總和（Total Sum of Squares）2022-5-3中山大

9、學南方學院302)(YYTSSi 這方差總和中有三項：第一項叫做解釋平方和（explained sum of squares）或者叫回歸平方和（regression sum of squares）,表示估計值與實際平均值之差的平方的總和，用RSS來表示：2022-5-3中山大學南方學院312)(YYRSSi 第二項叫作未解釋平方和（residual sum of squares）,或叫誤差平方和（error sum of squares）,或叫殘差平方和是實際值與估計值之差的平方的總和，也就是其誤差項平方的總和，用ESS來表示：2022-5-3中山大學南方學院3222)(iiieYYESS 第

10、三項就是剩余的部分，這部分可以忽略不計，因為它小得幾乎等于零：2022-5-3中山大學南方學院330)(2iiiYYYY 那么，方差總和是解釋平方和與未解釋平方和的加總，即： TSSRSSESS2022-5-3中山大學南方學院34 解釋平方和（RSS）的自由度被規(guī)定為模型中自變量的個數(shù)，用K來表示，即： df1=K 未解釋平方和（ESS）的自由度的被規(guī)定為樣本數(shù)減去自變量的個數(shù)再減去一，即： df2=N-K-1 2022-5-3中山大學南方學院35 F的檢驗值為：F解釋方差/未解釋方差。即： F=Explained Variance/Unexplained Variance =Regressi

11、on Variance/Residual Variance2022-5-3中山大學南方學院36) 1()()() 1(KNYYKYYKNESSKRSSFiii 我們可以用這個統(tǒng)計指標來對模型的回歸結果做從整體的假設檢驗。我們假設“所有的估計參數(shù)都同時等于零”。 進而我們通過F檢驗來得出我們的結論。檢驗的過程和方法跟t檢驗是一樣的。2022-5-3中山大學南方學院37第四節(jié) 回歸結果的解釋 在模型回歸估計結果的表格中還有一個有意思的統(tǒng)計量，就是R2 。有些翻譯的英文教科書中把它譯成“判定系數(shù)”。這個數(shù)值是用下面公式計算出來的：2022-5-3中山大學南方學院382022-5-3中山大學南方學院3

12、9222222)()(1)()(1RYYYYYYYYRTSSESSTSSRSSiiiii 人們把R2當作回歸估計模型對真實模型解釋的百分比。也就是說，根據(jù)這個數(shù)值來評價模型回歸估計結果的好壞，認為這個值可以“告訴人們Y的估計值與它的真實值相靠多近”。當接近100時，以前人們就認為這個回歸估計的結果很逼真。2022-5-3中山大學南方學院40 一般來說，用橫截面數(shù)據(jù)時，判定系數(shù)會低些；用時間序列數(shù)據(jù)時，它的值會高些，特別是當我們增加自變量的個數(shù)時，它的值就會隨之提高?，F(xiàn)在計量經濟學家對這個判定系數(shù)有了不同的看法。認為這個判定系數(shù)不可靠。2022-5-3中山大學南方學院41 后來又有些計量經濟學試

13、圖用不同的方法來計算判定系數(shù)，如用調整過的R2 在近些年來經濟科學雜志上發(fā)表的文章中一般將這個數(shù)值按傳統(tǒng)的習慣保留在回歸分析結果的表格中，而不對此數(shù)值加以評價。2022-5-3中山大學南方學院42) 1/()(/)(1/1)(222322NYYdfYYdfTSSdfESSRAdjiii第五章 其他簡單線性回歸模型 有時我們從數(shù)據(jù)的圖形來看，因變量與自變量之間并不呈直線關系，而是有明顯的曲線關系。那么，我們可能通過對變量的轉換來使其變?yōu)橹本€關系。通常我們可以用自然對數(shù)，平方，立方，平方根，甚至更復雜的指數(shù)形式來轉換變量。2022-5-3中山大學南方學院432022-5-3中山大學南方學院442XYLog(X)*Log(Y)Log(X)*YXLog(Y)2022-5-3中山大學南方學