第三節(jié)最小二乘估計量性質(zhì)

1、實用標準文案第三節(jié)最小二乘估計量的性質(zhì)三大性質(zhì)：線性特性、無偏性和最小偏差性一、線性特性的含義線性特性是指參數(shù)估計值?1 和 ?2 分別是觀測值 Yt 或者是擾動項t 的線性組合 ，或者叫線性函數(shù)，也可以稱之為可以用Yt 或者是t 來表示。1、 ?2 的線性特征證明（1）由 ?2 的計算公式可得：?xt ytxt(YtY)xtYt Y xt2xt2xt2xt2xtYtxtYtxt2xt2需要指出的是，這里用到了xt( XtX )X t1XtnX txt0因為 xt不全為零，可設(shè)xt2 ，從而， bt 不全為零，故?bYtt 。這說明?是 Yt 的線性組bt22xt合。（2）因為 Yt12 Xt

2、t ，所以有?btYtbt12 X tt21bt2bt X tbtt2btt這說明 ?2 是t 的線性組合。需要指出的是，這里用到了文檔實用標準文案btxtxt0 以及22xtxtbtXtxtXtxt xtXx2x2ttxt 2xt Xxt 2X xtx2x 2ttxt201xt22、 ?1的線性特征證明（1）因為 ?1Y?2 X ，所以有?Y?1YtXbt Yt12Xn1Xbt Ytn這里，令1Xb ，則有 ?1aYtan這說明?1 是 Yt 的線性組合。（2）因為回歸模型為 Yt12 X tt ，所以?atYtat12 X tt11at2at X tatt因為at11bt1 。而XbtXn

3、nat X t1Xbt X t1X tX bt XtnnX X0所以， ?11at t這說明 ?1 是t 的線性組合。至此，參數(shù)的線性特性證明完畢。文檔實用標準文案問題參數(shù)估計值線性特性的深層次含義是什么？要根據(jù)被解釋變量、隨機擾動項和的隨機性來理解。二、無偏性的含義所謂無偏性是指估計值的均值等于真實值。在這里，無偏性是指參數(shù)估計值 ?1 和 ?2 的期望值分別等于總體參數(shù)1 和2 。其數(shù)學上要求是E?1 和 E?。122證明：根據(jù)參數(shù)估計值的線性特征，我們推導出：?1att ，所以有：1E?E1at tE1Eat t1E1E at tE 1E at ? E tE1相似地， ?22bt t，所

4、以有E?E2bt tE2Ebt t2EE2E bt t E 2E bt ? E t2三、最優(yōu)性（有的書本上直接稱之為最小方差性）的含義最優(yōu)性是指用最小二乘法得到的參數(shù)估計值?1 和 ?2 在各種線性無偏估計中得到的方差最小。根據(jù)上述的定義，我們可以任意假設(shè)?2 是用其他方法得到的總體參數(shù)?2 的一個線性無偏估計。因為 ?2 具有線性特性，我們可以得到：?ct Ytct 1 2 X t t，2文檔實用標準文案E?Ect Y tEct12 X tt2ct E 12 X ttct1ct E 2 X tct Et1ctct2 EXt01ct2ct X t又因為 ?2 是用其他方法得到的總體參數(shù)?2 的

5、一個無偏估計，所以有E?22所以由上述兩個結(jié)果，可以得到：1ct2ct X t2上述式子要成立，必須同時滿足兩個條件，即ct0 和ctX t 1現(xiàn)在求 ?2 的方差：?2varvarctYtEctYtEctYt2ctYtct Yt2ctYt2EEEct E Yt? 22EctYtEctYt?ctYtYtEct2E c1 1c2ct2t2t222c1 1c2 2c1 1c3 3c2 2c3 3c2 2c4 4E c1 1c2 2ct tct2 Et 2ctsEts因為根據(jù)假設(shè)條件（常數(shù)方差和非自相關(guān)，即var(t )E(tE(t ) 2Et2u2 和cov(t ,s )E( tE(t )(sE(

6、s )E ( t0)( s0)E( ts ) 0所以，有?2222varctbtbt2uctu2ct bt22222bt ct btuubtu文檔實用標準文案?2 方差的最后一項為btctbtbt ctbt 2xtxt2ct22xtxt1ctxt1xt212(ctXtX 1)xt1ct X tX ct1xt 20這是因為因此，有ct0 和ct Xt1var?2ct2222ubtubt很明顯，當 ctbt 時， ?2 方差最小，此時，最小值為 var?22。2ubt而在此時，有?2ctYtbt Yt?2即兩個估計值相等。因為 ?2 的最小方差等于 ?2 的方差，即 var?var?，因此，我們說

7、，22?2 在所有線性無偏估計中的方差最小，且最小方差為：?222varu2ubtxt2同理，我們可以證明，?1 在所有線性無偏估計中的方差最小，且參數(shù)估計值的方差為：var?122uXtnxt2。由此，說明，最小二乘估計具有 BLUE(best linear unbiased estimation) 性質(zhì)。從而在統(tǒng)計學和計量經(jīng)濟學中得到廣泛應(yīng)用。文檔實用標準文案第四節(jié)系數(shù)的顯著性檢驗一、系數(shù)估計值的特性：1、根據(jù)系數(shù)估計值的線性特性，我們知道系數(shù)估計值是Yt 和t 的線性組合。又因為 Yt 和t 都服從正態(tài)分布，所以，我們可以自然得到兩點：一是系數(shù)估計值是隨機變量（這里是在數(shù)學上再次予以證明

8、）；二是系數(shù)估計值服從正態(tài)分布。從而，可以用隨機變量的一些數(shù)字特征來表示。通常，我們采用的是均值與方差。系數(shù)估計值的均值是多少呢？根據(jù)系數(shù)估計值的無偏性，我們知道，E?1 ， E?。122這說明系數(shù)估計值?和?這兩個隨機變量的數(shù)學期望 （均值）分別等12于總體參數(shù)（實際值）。系數(shù)估計值的方差又是多少呢？根據(jù)系數(shù)估計值的最小方差性的證明，我們得到了其方差， 即有222?uX t?22u， varbtvar 1nxt22uxt2。至此，我們可以用隨機變量的數(shù)學期望和方差來刻畫?1和 ?2這22兩個隨機變量的分布，即有：?服從均值為 1、方差為uXt的1nx2t正態(tài)分布；而 ?2 服從均值為22、方

9、差為u2 的分布。用數(shù)學的語言xt2X t22可以描述為： ?1u和?2:N: Nu。1,2,22nxtxt可以明顯看出的是， 在系數(shù)的描述中， 方差中含有隨機擾動項的文檔實用標準文案方差，其他我們可以得到。隨機擾動項是總體回歸模型中的誤差項，無法得到，只能對其估計。二、隨機誤差項方差的估計因為總體回歸模型為 ： Yt12 X tt而樣本回歸模型為： Yt?et12 X t從形式上看，樣本回歸模型中的殘差et 可以看作隨機擾動項t 的估計值。 進一步，殘差 et 的方差可以作為隨機擾動項t 的方差u2 的估計值。樣本回歸模型為：樣本回歸直線為：Y? Xtet12t?Yt12 X t樣本回歸模型

10、的左右兩邊減去樣本回歸直線的左右兩邊，可得：?，把這個式子重新安排一下，可以得到：YtYtet?Yet Yt YtYt YYt現(xiàn)在，重點要求的是et 的兩個部分，即?Y 和 YtY 。這兩Yt部分知道之后，才能求et 的方差。對樣本回歸模型Yt?1 ?2 X t et 兩邊分別對 t 求和，再除以 n,有：文檔實用標準文案Yt?et12 X tYt?et12 X t1Y1?1? X1etntn1n2nt1Yt1?1X t1etnn12nnY? X1e12nt由前邊的正規(guī)方程組，我們曾經(jīng)知道，點X ,Y 在樣本回歸直線上，用數(shù)學的語言來講，就有：Y?X ，因此，有12?Xt ，進而，有Yt12Y

11、?X12?Y?XtX?Yt22 xt對總體回歸模型Yt12 X tt 兩邊分別對t求和 ，再除以 n,有：Yt12 X ttYt12 X tt1Yt1112 X t1tnnnn1Yt1121X t1tnnnn11tY2 Xn2 X1ntY1所以，由 Yt12 X tt ，可得，Y12 XYtY2X tXt2 xtt將兩部分結(jié)合起來，現(xiàn)在，我們可以得到：etYt?Yt?YYtYYt?Y2 xtYtYtY2 xtt文檔實用標準文案可以得到：et2?2 xtt，（從這個式子我們可以看出什么呢？）至此，已經(jīng)將殘差與擾動項聯(lián)系起來了。由此，我們可以得到：et2?2 xt22t?222?2 xt ?2xt

12、t22t?222?2 2xt22xtt2t進一步，有：2?222?EetExt2xtt22t222?22?E2Et2E2xttxt22在這三項當中，有：? 2?2?2?2EEEE?varu2222222xt22?2222所以，第一項為uxtE2xt ?2u2xt文檔實用標準文案第二項為：2Et2Et2222 t22EtEnu2En1nnu2E1nnu2E1nnu21Ennu21E1nnu21E1nn21E2un1nu21Enn221uunn12u2t2t 2 1 n2 2ttn2t2t22t22t222tt21 EnE tsE tE n2tt ?t212132324ts第三項為：文檔實用標準文

13、案2E2?xtt22Ebttxtt2Ebttxttxt2Ebttxttbttxt2Ebttxtt2Ebttxt2Eb1 1bt tx11xtt2EbttExt2E2bt xt2b1 1 x2b1 1 xt t2 E bt t Extb1x1 1t22Ebt xt22Ebt xs t2 bt EExttst2 bt xt E22bt xsE0tt s2btxt2222bt xt2故有 Eet22(n 1)222(n2) 2 ，也就是說21E2Eet2(net2)2)(n如令 S2e 2，則意味著 E S22 。這說明 S2 是 2 的無偏估(nt2)計量。前面，我們已經(jīng)求得222?1: NuX

14、t和 ?2。在 ?1 和 ?2 的方差中都含: N2,21,2unxtxt有未知量2 。這里， 我們證明了 S2 是 2 的無偏估計量， 因此，可以用 S2e 2作為2 的估計值， 這樣，代入得到 ?1和 ?2的( nt2)方差的估計值分別為：222S2?SXt和S2?S21n22xtxtSS2 ，S?S2?，S ?S2?分別稱為回歸模型的標準差、參數(shù)1122文檔實用標準文案估計值?1 和 ?2 的標準差。知道了估計值的方差估計值，就可以對參數(shù)進行顯著性檢驗，也可以估計總體參數(shù)的置信區(qū)間。二 參數(shù)估計的顯著性檢驗以上一節(jié)家庭消費支出和收入之間的關(guān)系的例子來說明，通過選取樣本，我們得到了總體參數(shù)

15、1 和2 的估計值分別為 ?1 和 ?2 。通過這個估計值，我們知道了家庭消費支出和收入的具體數(shù)量關(guān)系?，F(xiàn)在，需要知道的是，通過樣本得到的估計值能夠正確地反映總體參數(shù)嗎？這需要通過假設(shè)檢驗來做出判斷。1 、關(guān)于假設(shè)檢驗假設(shè)檢驗指利用 樣本 得到的信息來判斷 總體 是否具有某種制定的特征。例如：某藥品生產(chǎn)線上規(guī)定，每片藥片的凈重是 400 毫克，標準差是 4 毫克。今連續(xù)檢查 20 片藥片，平均藥片重量為 395.4 毫克。問藥片的重量是否已經(jīng)偏離了額定凈重值？假設(shè)：對總體分布特征的假設(shè)假設(shè)檢驗：根據(jù)樣本信息來判斷總體分布是否具有指定的特征，這個過程叫假設(shè)檢驗。就家庭消費支出而言，我們關(guān)注的是家

16、庭消費支出與收入之間是否真的存在回歸關(guān)系，也就是說我們關(guān)注總體參數(shù) 1 和 2 是否不等于零。因此，我們這里的假設(shè)是對總體參數(shù)文檔實用標準文案的假設(shè)，我們這里的檢驗是對總體參數(shù)的假設(shè)檢驗，我們要運用的假設(shè)檢驗的工具是用樣本工具得到的與?1 和 ?2 有關(guān)的檢驗的工具。這就是用樣本信息來推斷總體。1、對總體均值的假設(shè)檢驗因為我們關(guān)注的是解釋變量和被解釋變量之間的關(guān)系是否真實存在， 因此，我們需要檢驗的是總體均值是否為零。對總體均值的假設(shè)檢驗可分三種情況：(1) 總體服從正態(tài)分布，總體 方差已知，樣本大小無限制(2) 總體總體分布未知，總體 方差未知，大樣本(3) 總體服從正態(tài)分布，總體 方差未知

17、，小樣本我們這里符合的是 總體服從正態(tài)分布，總體 方差未知，小樣本。2、用什么來檢驗？（檢驗工具，統(tǒng)計量）我們已經(jīng)知道，參數(shù)估計值滿足：222?1: N 1,uX t和 ?2?1和 ?2:N 2,2 ，要盡可能利用關(guān)于unxt2xt的信息。將?1和 ?2 由正態(tài)分布轉(zhuǎn)化為標準正態(tài)分布統(tǒng)計量：Z?, 和Z?,11 :N0122:N01var?var?12在這兩個統(tǒng)計量中，var ?1 和 var ?2我們都不知道，原因在于u2 未知。但我們前邊已經(jīng)證明S2et2是u2的無偏估計量。( n 2)因此，對于大樣本情況，我們可以用S2e 22t 代替u ，進而(n2)文檔實用標準文案求得var?和va

18、r?以及S ?S2? ， S?S2?。121122Z?:N01和Z?: N01 可以進一步轉(zhuǎn)化這樣，1122var?,var?,12Z?1:N01和Z?2:N01。為：12S?,S?,12從而可以利用這兩個統(tǒng)計量對總體參數(shù)1 和2 進行檢驗。（什么含義）就是說，我們可以對比如2進行檢驗。如何檢驗?2?是否服從呢？就是考察我們算出來的統(tǒng)計量Z22S2?S2?22正態(tài)分布。對于一元線性回歸模型而言，我們關(guān)心的是解釋變量能否解釋被解釋變量，在數(shù)學上這表現(xiàn)為2 0是否成立。因此，我們可以進行下假設(shè)：零假設(shè)H 0 :20備擇假設(shè)H 1 :20在零假設(shè)條件下， Z?服從標準正態(tài)分布，我們用222S2?S2

19、?22這個統(tǒng)計量進行檢驗。在一般情況下，樣本容量不滿足大樣本條件，這時要用t統(tǒng)計量，所做的檢驗稱之為t 分布檢驗。這時 t 統(tǒng)計量為：?，其服從自由度為（ n-2 ）的 t 分布。t2222 2 022S?S ?S?222文檔實用標準文案關(guān)于 t 分布t 分布的含義是隨機變量落入一定區(qū)域的概率。給定顯著性水平 和自由度（ n-2） ,則 t 落入?yún)^(qū)間t 2 (n 2), t 2 (n2)內(nèi)的概率為： Pt 2 (n 2)t t 2 (n 2) 1t 落在 t 2 (n 2), t 2 (n 2) 區(qū)域之外的概率為，也可以寫作：P t t 2 (n 2)， 此 式 子 等 價 于 P t t 2

20、 (n 2)和2P tt2 (n2)。見下圖。2-t(n-2)0t(n-2)很顯然，如果計算出來的這時t 統(tǒng)計量為：t?2t 2(n 2)（即 t 統(tǒng)計量小于臨界值） ，則可以認為原假S2?2設(shè)成立，即20 。t 統(tǒng)計量為：?，反之，如果計算出來的這時t2t 2(n 2)S2?2則可以認為備擇假設(shè)成立，即2 0 。文檔實用標準文案因此，我們通常的希望是 t 統(tǒng)計量值大于臨界值。 t 統(tǒng)計量值我們可以根據(jù)樣本計算出來，而臨界值可以通過查表得到。問題： t 值與 P 值的關(guān)系是什么？相應(yīng)地，我們可以對總體參數(shù)值1 進行檢驗。過程為：零假設(shè)為：H0 :10備擇假設(shè)為：H 1 :20?計算統(tǒng)計量 t1

21、S2?1查 t分布表，得出臨界值t2 (n 2) 。若 tt 2 (n2) ，則拒絕零假設(shè)，接受備擇假設(shè)，即認為20 。三、 總體參數(shù)的置信區(qū)間1、1 的置信區(qū)間?由 Pt2 ( n2) tt 2( n2)1，將 t11 代入概率公式，可S?1得：?1P t2 (n 2)1t 2 (n 2)1S ?1P t 2 (n 2) S?1t 2(n 2) S? 1111P?t 2(n 2) S ?1?t 2 (n 2) S?11111P?t 2 (n 2) S?1?t 2( n 2)S ? 11111用概率表述為：總體參數(shù)1在區(qū)間?t 2 (n 2)S?,?t 2 ( n2)S?內(nèi)的概率為1。1111

22、統(tǒng)計表述：區(qū)間?t2 (n 2)S ?,?t 2(n 2)S ? 包含總體參數(shù)1111文檔實用標準文案1的概率為 1。通常說，總體參數(shù)1 的 1置信區(qū)間為：?t 2(n 2)S ? ,?t 2( n 2)S ?11112、相似地，總體參數(shù)2 的 1置信區(qū)間為：?t 2(n 2)S ? ,?t 2(n 2)S ?2222由這兩個區(qū)間，可以推斷總體回歸線所處的區(qū)域。四、決定系數(shù)（可決系數(shù)）評價回歸直線對觀察值擬合的好壞，擬合優(yōu)度是一個重要的指標。顯然，若觀測點離回歸直線近，則擬合程度好， 反之，則擬合程度差。測量擬合優(yōu)度的統(tǒng)計量是可決系數(shù)（決定系數(shù)）現(xiàn)由一個恒等式開始。?)Yt Y (YtY) (

23、Yt Yt這個式子把解釋變量的總偏差YtY 分解成兩部分：回歸偏差或者叫可解釋偏差（?Y) 和殘差 (Yt?) 兩部分之和。YtYt可解釋偏差是由樣本回歸直線決定的，殘差則是隨機的。顯然，由樣本回歸直線解釋的部分越大，則殘差越小，樣本回歸直線與樣本值的擬合優(yōu)度就越好。而要從總體上反映樣本回歸方程對所有樣本點的擬合的好壞，必須求和，考慮到正負抵消的問題，可以求平方和。2總離差平方和： TSSYt Y回歸平方和： ESS?2YYt文檔實用標準文案殘差平方和：? 2RSSYt Y現(xiàn)在推導三者之間的關(guān)系：Yt Y?Y ) (Yt?(YtYt )Yt2?Y ) (Yt?)2Y(YtYt?Y )2?)2?

24、Y )(Yt?)(Yt(Yt Yt2( YtYt?2?YYtYtY?2?YYtYtY2?Y )(Yt?)2 (YtYt2這里有：?Y )(Yt?)2 (YtYt2?Y et12 X t2 ?1et2 ?2et X t2Y et（會議正規(guī)方程組）0所以有Yt2?2?2YYtYYt Y。即：總離差平方和 = 回歸平方和 + 殘差平方和。用公式表示為：TSS=ESS+RSS，ESS 表示可以由解釋變量說明的偏差部分，RSS表示可以由殘差說明的偏差部分。顯然， ESS在 TSS中所占的比例越大，RSS所占的比例越小，則參數(shù)估計值的顯著性越強，樣本回歸直線與樣本觀測值擬合得越好。因此，可以用ESS在 T

25、SS中所占的比例說明回歸直線與樣本觀測值的擬合程度。也即總離差中可以由回歸方程說明的部分?？蓻Q系數(shù)或擬合優(yōu)度可以定義為：?2YR2 = ESSYt=2TSSYtY文檔實用標準文案可決系數(shù)的取值范圍為：R20,1R2 變化的含義是什么？四、 相關(guān)分析1、回歸分析和相關(guān)分析的區(qū)別回歸分析：性質(zhì)、變量要求相關(guān)分析：相關(guān)關(guān)系，不是因果關(guān)系。變量要求不同2、相關(guān)分析的分類:線性相關(guān)：直觀上講，樣本點集中分布在一條直線附近。直線斜率為正，為正相關(guān)。直線斜率為負，則為負相關(guān)。非線性相關(guān)：樣本點分布在一條曲線周圍。3、相關(guān)程度的度量一般用相關(guān)系數(shù)表示X 和 Y 的相關(guān)程度?？傮w相關(guān)系數(shù)定義為covX ,Y。XY =）（）var Xvar Y總體相關(guān)系數(shù)的取值范圍：總體相關(guān)系數(shù)與樣本相關(guān)系數(shù)之間的關(guān)系。樣本相關(guān)系數(shù)一般用rXY 來表示，且定義：cov X ,YE XXY Yxt ytxt yt=nrXY =）（=（）222222var Xvar YE XXE YYxtytxtytnn這里有： xt =XXyt =YY4、相關(guān)分析與回歸分析的關(guān)系文檔實用標準文案這里特指在一元線性