[經(jīng)濟(jì)學(xué)]計(jì)量經(jīng)濟(jì)學(xué)重點(diǎn)筆記第三講

1、.第三講 假設(shè)檢驗(yàn)一、 經(jīng)典線性模型假定對(duì)于模型，利用OLS有：其證明可參見(jiàn)第二講附錄。在高斯-馬爾科夫假定下，OLS估計(jì)量的抽樣分布完全取決于誤差項(xiàng)的分布。在高斯-馬爾科夫假定中，我們要求誤差項(xiàng)是序列無(wú)關(guān)與同方差的。現(xiàn)在，我們施加更強(qiáng)的假定，即誤差項(xiàng)服從正態(tài)分布，即。應(yīng)該注意到，當(dāng)誤差項(xiàng)服從正態(tài)分布時(shí)，序列無(wú)關(guān)與獨(dú)立性是等價(jià)的。因此，我們可以把上述分布假設(shè)寫(xiě)為：，即誤差項(xiàng)服從獨(dú)立同正態(tài)分布。為什么要施加更強(qiáng)的假定呢？這是為了進(jìn)行小樣本下的假設(shè)檢驗(yàn)。與高斯-馬爾科夫假定一起，被稱為經(jīng)典線性模型假定。在經(jīng)典線性模型假定下，可以證明，OLS估計(jì)量是方差最小的無(wú)偏估計(jì)量（注意此時(shí)不需要把比較范圍限制

2、在線性估計(jì)量之中，因此該結(jié)論比高斯-馬爾科夫定理更強(qiáng)。施加更多的假設(shè)而得到更強(qiáng)結(jié)論，這非常自然?。９P記： 1、假設(shè)誤差項(xiàng)服從正態(tài)分布的合理性在于，誤差項(xiàng)是由很多因素構(gòu)成的，當(dāng)這些因素是獨(dú)立同分布時(shí)，依照中心極限定理，那么這些因素之和應(yīng)該近似服從正態(tài)分布。當(dāng)然，這并不意味著用正態(tài)分布來(lái)近似誤差項(xiàng)的分布總是恰當(dāng)?shù)?，例如，各因素或許并不同分布。另外，如果y是價(jià)格這樣的變量，那么假設(shè)誤差項(xiàng)服從正態(tài)分布是不合理的，因?yàn)閮r(jià)格不可能是負(fù)數(shù)，不過(guò)我們可以進(jìn)行變量變換，例如對(duì)價(jià)格取自然對(duì)數(shù)或者考察價(jià)格的變化率，那么經(jīng)過(guò)變量變換之后，或許再假設(shè)誤差項(xiàng)服從正態(tài)分布就變得合理了。2、如果能夠?qū)φ`差項(xiàng)是否服從正態(tài)分布

3、進(jìn)行檢驗(yàn)，那最好不過(guò)了。一種常用的檢驗(yàn)方法是Jarqe-Bera檢驗(yàn)，這可以參見(jiàn)相關(guān)的教科書(shū)。問(wèn)題是，盡管我們能觀察到解釋變量、被解釋變量的取值，然而，由于對(duì)參數(shù)的真實(shí)取值無(wú)法確定，因此誤差是觀測(cè)不到的，我們或許不得不利用殘差來(lái)代替誤差以進(jìn)行相關(guān)的檢驗(yàn)。當(dāng)然，一個(gè)前提是殘差確實(shí)是對(duì)誤差的良好近似，這進(jìn)而要求，我們對(duì)參數(shù)的估計(jì)是合理的。3、根據(jù)公式：考慮x非隨機(jī)這種簡(jiǎn)單情況，顯然，當(dāng)樣本容量很大時(shí)，只要誤差項(xiàng)是獨(dú)立同分布的（并不需要要假定誤差項(xiàng)服從正態(tài)分布），那么根據(jù)中心極限定理，應(yīng)該近似服從正態(tài)分布。當(dāng)然，為了保證誤差項(xiàng)的獨(dú)立性，抽樣的隨機(jī)性十分關(guān)鍵。二、 利用標(biāo)準(zhǔn)正態(tài)分布作假設(shè)檢驗(yàn)假定是真實(shí)

4、模型，當(dāng)然我們并不知道各參數(shù)的真實(shí)值是多少。如果某一經(jīng)濟(jì)經(jīng)濟(jì)理論預(yù)言，而現(xiàn)在你手中正掌握一樣本，一個(gè)問(wèn)題是，你所掌握的樣本支持這個(gè)預(yù)言嗎？筆記： 由于抽樣誤差的存在，恰好等于的概率很小。然而，即使，我們也不能說(shuō)理論被證實(shí)，因?yàn)橛?jì)量經(jīng)濟(jì)學(xué)方法本質(zhì)上是屬于歸納法，并且由于其結(jié)論是基于某一樣本而得到的，因此它還是屬于不完全歸納，故，計(jì)量經(jīng)濟(jì)學(xué)不能證實(shí)經(jīng)濟(jì)學(xué)理論。當(dāng)然，計(jì)量經(jīng)濟(jì)學(xué)也不能推翻經(jīng)濟(jì)學(xué)理論。經(jīng)濟(jì)學(xué)理論是邏輯推導(dǎo)，其正確與否需要從邏輯入手?？偠灾覀兡軌蛘f(shuō)的是“樣本是否支持某個(gè)理論的預(yù)言”或者“樣本與某個(gè)理論的預(yù)言是否一致”。在經(jīng)典線性模型假定下，或者定義，則z就是所謂的z統(tǒng)計(jì)量。估計(jì)量是

5、用來(lái)估計(jì)真實(shí)參數(shù)的，而統(tǒng)計(jì)量是用來(lái)做統(tǒng)計(jì)推斷(或者假設(shè)檢驗(yàn)）的；統(tǒng)計(jì)量是隨機(jī)的，其分布也被稱為抽樣分布，針對(duì)特定樣本，我們得到統(tǒng)計(jì)量值，它是非隨機(jī)的。，其中， 。練習(xí)：確定的分布?，F(xiàn)在，假設(shè)經(jīng)濟(jì)理論的預(yù)言是正確的，那么針對(duì)特定的樣本你將得到標(biāo)準(zhǔn)正態(tài)分布圖橫坐標(biāo)上的一個(gè)點(diǎn)：在這里，該式是非隨機(jī)的，而特別應(yīng)該注意的是，分子中的是估計(jì)值，而分母中的是估計(jì)量。估計(jì)值的標(biāo)準(zhǔn)差是零！。現(xiàn)在來(lái)考察標(biāo)準(zhǔn)正態(tài)分布。在該分布上，存在對(duì)稱的兩點(diǎn)：與，其中：如果把概率為5%的事件稱為小概率事件，那么，當(dāng)?shù)娜≈荡笥诨蛘咝∮跁r(shí)，我們認(rèn)為小概率事件發(fā)生了！小概率事件一般是不容易發(fā)生的，現(xiàn)在居然發(fā)生了，因此，我們應(yīng)該懷疑上述

6、經(jīng)濟(jì)理論所作出的預(yù)言。筆記： 舉一個(gè)生活中的例子。我預(yù)先認(rèn)為某一個(gè)同學(xué)十分優(yōu)秀。優(yōu)秀學(xué)生某一次考試考砸了非常正常，然而連續(xù)十次考試考砸了就應(yīng)該是小概率事件了。如果我預(yù)先所認(rèn)為的那一個(gè)優(yōu)秀同學(xué)確實(shí)連續(xù)十次考試都考砸了，我是不是應(yīng)該對(duì)我的先驗(yàn)判斷產(chǎn)生懷疑？當(dāng)然，如果我就此認(rèn)為那一個(gè)同學(xué)并不優(yōu)秀，我也會(huì)犯錯(cuò)誤，此即“第一類錯(cuò)誤”，即“棄真”的錯(cuò)誤。但犯這個(gè)錯(cuò)誤的概率是很小的。如果優(yōu)秀學(xué)生連續(xù)十次考試考砸了其概率是5%，那么我犯“第一類錯(cuò)誤”的概率就是5%。問(wèn)題是，為什么我們?nèi)≌龖B(tài)分布兩端的區(qū)間作為小概率區(qū)間呢？為什么我們不在正態(tài)分布密度曲線中隨意取一小段作為小概率區(qū)間？從直覺(jué)上看，當(dāng)這個(gè)假設(shè)為真時(shí)，

7、即使估計(jì)值與完全相等不太可能，但估計(jì)值應(yīng)該接近于。然而我們也要注意到，對(duì)的估計(jì)還存在精確性問(wèn)題，這通過(guò)統(tǒng)計(jì)量的標(biāo)準(zhǔn)差體現(xiàn)出來(lái)。也就是說(shuō)，在原假設(shè)為真時(shí)，即使估計(jì)值與有一定的差異，然而如果較大，那么在與間存在一定的也許是正常的。不過(guò)總的來(lái)看，當(dāng)原假設(shè)為真時(shí)，z統(tǒng)計(jì)量值是應(yīng)該接近于0的，這要么是因?yàn)橹械姆肿哟_實(shí)接近于0，要么是因?yàn)楸M管與有一定的差異，但主要是由較大所引起的。當(dāng)z統(tǒng)計(jì)量值與0具有較大差異時(shí)，那么這個(gè)假設(shè)的真實(shí)性是值得懷疑的！ 假設(shè)檢驗(yàn)的正式步驟是：（1）建立原假設(shè)與備擇假設(shè)：筆記：原假設(shè)與備擇假設(shè)互斥；假設(shè)體系應(yīng)該是完備的，即原假設(shè)與備擇假設(shè)兩者之一必為真，但兩者不能同時(shí)為真。（2）

8、確定小概率標(biāo)準(zhǔn)a。經(jīng)常我們把1%、5%或者10%作為小概率標(biāo)準(zhǔn)。對(duì)a更加正式的稱呼是“顯著水平”。（3）考察統(tǒng)計(jì)量值是否落在拒絕域：之內(nèi)。如果落在上述區(qū)間之內(nèi)，那么在a顯著水平上，我們拒絕原假設(shè)，接受備擇假設(shè)；反之，我們不拒絕原假設(shè)，拒絕備擇假設(shè)。筆記： 1、為什么當(dāng)統(tǒng)計(jì)量值落在拒絕域之外時(shí)我們說(shuō)“不拒絕原假設(shè)”而不是說(shuō)“接受原假設(shè)”？其解釋是：我們可以作出很多的原假設(shè)，例如或者而我們所計(jì)算出來(lái)的一些統(tǒng)計(jì)量值恰好都落在之外，難道我們既接受也接受？顯然更恰當(dāng)?shù)谋磉_(dá)方式是，即不拒絕也不拒絕。2、“接受原假設(shè)”沒(méi)有留有余地，而“不拒絕原假設(shè)”表明我們的結(jié)論是留有余地的，即，在另外的原假設(shè)下也可能不拒

9、絕?！敖邮軅鋼窦僭O(shè)”留有余地嗎？應(yīng)該注意到，備擇假設(shè)是，因此，即使說(shuō)“接受備擇假設(shè)”，這也是留有余地的。3、設(shè)定1%、5%或者10%為顯著水平顯得有點(diǎn)隨意，為何不設(shè)2%、6%、7%等為顯著水平呢？是否可以依據(jù)一個(gè)更一般的標(biāo)準(zhǔn)來(lái)進(jìn)行假設(shè)檢驗(yàn)？答案是肯定的，我們可以依據(jù)一個(gè)更一般的標(biāo)準(zhǔn)來(lái)進(jìn)行假設(shè)檢驗(yàn)！既然我們已經(jīng)計(jì)算出統(tǒng)計(jì)量值，如果z為正，那么根據(jù)正態(tài)分布表，我們就能夠確定的值（如果z值為負(fù)，那么我們能夠確定的值），我們通常把這個(gè)概率值稱為伴隨概率，簡(jiǎn)寫(xiě)為P或者Prob.這個(gè)概率值很有用處！例如，假定P值是0.062，那么，顯然，以任何小于6.2%的概率為小概率標(biāo)準(zhǔn)，我們并不拒絕原假設(shè)；以任何大于

10、6.2%的概率為小概率標(biāo)準(zhǔn)，我們拒絕原假設(shè)。 4、一個(gè)總結(jié)：在進(jìn)行雙尾檢驗(yàn)時(shí)，當(dāng)P小于給定的顯著水平時(shí)，那么在給定的顯著水平下應(yīng)該拒絕原假設(shè)；反之，則不拒絕原假設(shè)。上述檢驗(yàn)都屬于雙尾檢驗(yàn)，即是拒絕域。如果假設(shè)體系是：那么在顯著水平a下，拒絕域應(yīng)該是，我們進(jìn)行的是單側(cè)（尾）檢驗(yàn)。為了理解上述單側(cè)檢驗(yàn)，我們回答如下幾個(gè)問(wèn)題：?jiǎn)栴}一：為什么拒絕域是？答案：當(dāng)原假設(shè)為真時(shí)，那么應(yīng)該在0左右不遠(yuǎn)處；當(dāng)備擇假設(shè)為真時(shí)，在真實(shí)參數(shù)左右不遠(yuǎn)處。因此，只要真實(shí)參數(shù)遠(yuǎn)大于，則遠(yuǎn)大于0是非?？赡艿?，而在這種情況下Z遠(yuǎn)小于0則不太可能的。因此，我們把拒絕域設(shè)定為。當(dāng)Z值落在該區(qū)間內(nèi)時(shí)，我們拒絕原假設(shè)，接受被擇假設(shè)。問(wèn)

11、題二：為什么不是拒絕域？答案：當(dāng)Z值落在該區(qū)間內(nèi)時(shí)如果我們拒絕了原假設(shè)，則我們更應(yīng)該拒絕被擇假設(shè)。因?yàn)楫?dāng)備擇假設(shè)為真時(shí)， Z值落在該區(qū)間內(nèi)的概率更小?；诩僭O(shè)體系的完備性，故我們不把設(shè)定為拒絕域。問(wèn)題三：設(shè)置這樣的假設(shè)體系有何依據(jù)？答案：這依賴于先驗(yàn)的理論與判斷。例如，假定是某正常商品的消費(fèi)收入彈性，那么不可能為負(fù)，則我們可以通過(guò)建立如下的假設(shè)體系：并基于樣本來(lái)判斷是否為真。問(wèn)題四：?jiǎn)蝹?cè)檢驗(yàn)與雙側(cè)檢驗(yàn)相比有何特點(diǎn)？答案：從假設(shè)體系的形式來(lái)看，單側(cè)檢驗(yàn)與雙側(cè)檢驗(yàn)明顯不同。但最關(guān)鍵的不同在于，給定顯著水平a（犯“第一類錯(cuò)誤”的概率），上述單側(cè)檢驗(yàn)的拒絕域與雙側(cè)檢驗(yàn)右端拒絕域相比更寬，因此更容易拒絕

12、原假設(shè)，從而犯“第二類錯(cuò)誤”（取誤）的概率更低。筆記： 1、一個(gè)檢驗(yàn)如果犯“第二類錯(cuò)誤”（取誤）的概率更低，則稱該檢驗(yàn)具有更高的檢驗(yàn)勢(shì)。在檢驗(yàn)中提高檢驗(yàn)的勢(shì)一般來(lái)說(shuō)是相當(dāng)重要的。如果檢驗(yàn)勢(shì)較低則很容易“取誤”，而科學(xué)精神要求我們不要輕易相信某一個(gè)確定性的判斷！2、從本質(zhì)上看，單側(cè)檢驗(yàn)之所以比雙側(cè)檢驗(yàn)具有更高的檢驗(yàn)勢(shì)，其原因在于，在建立單側(cè)檢驗(yàn)時(shí)我們預(yù)先接受了有關(guān)理論的指導(dǎo)，從而掌握了更多的信息，故在檢驗(yàn)時(shí)我們能夠做到更精細(xì)，不會(huì)輕易“上當(dāng)”（取誤）。3、事物往往都具有兩面性。盡管單側(cè)檢驗(yàn)比雙側(cè)檢驗(yàn)具有更高的檢驗(yàn)勢(shì)，但要注意，它依賴于先驗(yàn)理論指導(dǎo)的正確性。如果先驗(yàn)理論指導(dǎo)是錯(cuò)誤的，那么我們的“挑

13、剔”很可能是“過(guò)度”的，即我們“棄真”的概率非常大。盡管名義上的“棄真”概率是a，但實(shí)際上的“棄真”概率超過(guò)了a，這被稱為顯著水平扭曲。4、如果顯著水平不扭曲，則給定顯著水平，一個(gè)檢驗(yàn)的檢驗(yàn)勢(shì)越高越好。不幸的是，在顯著水平不扭曲的情況下，一個(gè)檢驗(yàn)的“棄真”概率與“取誤”概率其走向通常相反：如果設(shè)定較低的顯著水平以降低“棄真”的概率，則拒絕域變窄，故“取誤”概率增加，反之則相反。問(wèn)題是我們?nèi)绾稳∩?？本質(zhì)上這涉及到比較“棄真”與“取誤”所造成后果的嚴(yán)重性。假設(shè)現(xiàn)在要檢驗(yàn)一種新藥是否有效果，如果有效果則推廣使用?，F(xiàn)在的原假設(shè)是沒(méi)有效果，備擇假設(shè)是有效果?？紤]到假藥的危害，則“棄真”所帶來(lái)的后果非常嚴(yán)

14、重，而“取誤”所造成后果相對(duì)不嚴(yán)重。因此我們應(yīng)該保守一點(diǎn)，設(shè)定更低的顯著水平，以降低“棄真”的概率。思考題：在假設(shè)體系：下，計(jì)量軟件包計(jì)算出為正的統(tǒng)計(jì)量值z(mì)，而且P值為0.120（注：計(jì)量軟件包默認(rèn)的P值是雙尾的概率，當(dāng)z為正時(shí)，它計(jì)算的是）。問(wèn)：在假設(shè)體系下，以10%為顯著水平，我們是否拒絕原假設(shè)？三、 t檢驗(yàn)雖然在經(jīng)典線性模型假定下：然而，在之中，經(jīng)常是未知的，需要我們估計(jì)。在第二講時(shí)，我們已知道，在高斯馬爾可夫假定下，是對(duì)的一個(gè)無(wú)偏估計(jì)。我們記，（注：the standard error,se;the standard deviation,sd）?？梢宰C明，服從t(N-2)分布。證明：在

15、經(jīng)典線性模型假定下有：化簡(jiǎn)可得：筆記：1、關(guān)于隨機(jī)變量概率分布的知識(shí)點(diǎn)見(jiàn)本講附錄1。 2、在經(jīng)典線性模型假定下可證明具體可參見(jiàn)一些較為高級(jí)的教科書(shū)。另外，根據(jù)附錄1的知識(shí)點(diǎn)，一個(gè)服從卡方分布的隨機(jī)變量其期望值等于自由度，故。實(shí)際上在第二講我們已經(jīng)表明，這驗(yàn)證了該知識(shí)點(diǎn)。3、，如果殘差是對(duì)誤差的良好近似，則也服從卡方分布還是比較好理解的。由于殘差自由度是N-k-1，因此所服從的卡方分布其自由度為N-k-1。接下來(lái)，檢驗(yàn)步驟和應(yīng)該注意的細(xì)節(jié)就和第二小節(jié)沒(méi)有差異了，除了所利用的是t分布而不是標(biāo)準(zhǔn)正態(tài)分布。筆記：隨著自由度趨于無(wú)窮大，t分布漸進(jìn)于與標(biāo)準(zhǔn)正態(tài)分布，見(jiàn)附錄1知識(shí)點(diǎn)4。事實(shí)上，當(dāng)自由度趨于無(wú)

16、窮大時(shí)，在概率上收斂于（前者是對(duì)后者的一致估計(jì)），因此，隨著自由度趨于無(wú)窮大，漸進(jìn)服從于標(biāo)準(zhǔn)正態(tài)分布。前面我們討論的是簡(jiǎn)單線性回歸模型。事實(shí)上相關(guān)結(jié)論與檢驗(yàn)完全可以被推廣到多元線性回歸模型：在該模型下， 思考題：一樣本其容量為30，建立回歸模型：等于-4，請(qǐng)判斷在顯著水平1%、5%與10%下是否拒絕原假設(shè)。筆記：通過(guò)觀察t分布表可知，給定顯著水平，隨著自由度的增加，右側(cè)臨界值遞減。當(dāng)自由度為10時(shí)，有：進(jìn)行回歸分析時(shí)自由度一般都大于10。如果情況確實(shí)如此，那么當(dāng)你得到一具體的t值時(shí)，你應(yīng)該能夠粗略地判斷在多大的顯著水平下是否拒絕原假設(shè)。在實(shí)踐中，我們經(jīng)常對(duì)是否為零的假設(shè)感興趣，顯然在假設(shè)體系：

17、下，此時(shí)的t統(tǒng)計(jì)量是。針對(duì)特定樣本，計(jì)量軟件一般會(huì)自動(dòng)計(jì)算出對(duì)應(yīng)于上述假設(shè)體系的t值。如果原假設(shè)被拒絕，那么我們就說(shuō)在某一種顯著水平上x(chóng)（所對(duì)應(yīng)的系數(shù)估計(jì)）是統(tǒng)計(jì)上顯著（不為零）的；如果不能被拒絕，則就說(shuō)x（所對(duì)應(yīng)的系數(shù)估計(jì)）在某一種顯著水平上是統(tǒng)計(jì)上不顯著的。應(yīng)該注意：即使的絕對(duì)值很?。此^的變量x無(wú)經(jīng)濟(jì)顯著性或者實(shí)際顯著性（economic significance/practical significance），但在統(tǒng)計(jì)上，它可能顯著地與0不同。筆記：在這里我們說(shuō)是否與零有顯著差異，而不是說(shuō)是否與零有顯著差異。是確定性的參數(shù)，它要么等于零要么不等于零。四、 置信區(qū)間在模型下，如果有：則

18、有：。我們稱 為的區(qū)間估計(jì)量，而1-a是置信水平。應(yīng)該注意，當(dāng)樣本并未指定時(shí)，是一個(gè)隨機(jī)區(qū)間！我們可以說(shuō)，該隨機(jī)區(qū)間包含真實(shí)參數(shù)的概率為1-a。然而，當(dāng)樣本給定后，及其通過(guò)計(jì)算已經(jīng)被獲得，那么就不再是隨機(jī)區(qū)間了，該區(qū)間要么包含的真實(shí)值要么不包含，故我們不能說(shuō)，該確定性區(qū)間包含真實(shí)參數(shù)的概率為1-a。在這種情況下，置信區(qū)間其含義在于：在重復(fù)抽樣中，很多類似的確定性區(qū)間將被獲得，在這些區(qū)間中，大約有百分之100（1-a）的區(qū)間將包含的真實(shí)值。當(dāng)原假設(shè)為真時(shí)，如果根據(jù)某一樣本所得到的置信區(qū)間并未包含，那么小概率事件發(fā)生了，因此，我們將拒絕這個(gè)原假設(shè)。反之，則不拒絕原假設(shè)。如此看來(lái)，利用置信區(qū)間作假設(shè)

19、檢驗(yàn)本質(zhì)上是與t檢驗(yàn)等價(jià)的。與區(qū)間估計(jì)量有聯(lián)系的一個(gè)概念是所謂的區(qū)間預(yù)測(cè)，見(jiàn)附錄2。思考題：對(duì)于模型，根據(jù)一樣本，我們得到：（1）試判斷變量x在10%顯著水平下是否統(tǒng)計(jì)顯著。（2）在假設(shè)體系：及其10%顯著水平下，我們是否拒絕原假設(shè)？五、 F檢驗(yàn)現(xiàn)在我們把簡(jiǎn)單線性回歸模型擴(kuò)展為多元線性模型，例如模型是：如果我們對(duì)原假設(shè)是否成立感興趣，我們?cè)撛趺崔k？。第一步：估計(jì)受約束模型：，或者估計(jì)上述模型得到殘差平方和RSSr；第二步：估計(jì)不受約束模型：得到殘差平方和RSSur；第三步：定義F統(tǒng)計(jì)量：在經(jīng)典線性模型假定假定下及其原假設(shè)下，該統(tǒng)計(jì)量服從分布。在這里，dfr是估計(jì)受約束模型時(shí)所得到的殘差的自由度

20、；dfur是估計(jì)不受約束模型時(shí)所得到的殘差的自由度。在我們的例子中， 。筆記：OLS要求殘差平方和最小，現(xiàn)在我們得到了兩個(gè)殘差平方和，即RSSr與RSSur，顯然RSSrRSSur（回憶第一講關(guān)于局部最優(yōu)與全局最優(yōu)的概念），于是，上述對(duì)F的定義滿足F0?；貞汧分布的圖形，它是在第一象限被定義的。如果原假設(shè)為真，即我們所施加的約束是正確的，那么，盡管RSSr RSSur，但RSSr與RSSur應(yīng)該相差不多，因此，如果相差很大，那么我們就應(yīng)該懷疑原假設(shè)了！由于RSSr與RSSur與被解釋變量的測(cè)度單位有關(guān)，因此，我們把兩者的差距除以RSSur，以使其“無(wú)單位化”。筆記：1、盡管RSSrRSSu，但

21、RSSr與RSSur應(yīng)該相差不多。兩個(gè)模型中由于被解釋變量都是y，因此TSS相同。如果RSSr與RSSur相差不多，那么這意味著ESSr與ESSur應(yīng)該相差不多。為什么呢？注意到：當(dāng)約束為真時(shí)，只要估計(jì)不是過(guò)于的不精確，那么應(yīng)該不會(huì)偏離真實(shí)參數(shù)太遠(yuǎn)；應(yīng)該不會(huì)偏離真實(shí)參數(shù)太遠(yuǎn)，應(yīng)該不會(huì)偏離真實(shí)參數(shù)太遠(yuǎn)，盡管我們不知道的取值是多少。因此當(dāng)約束為真時(shí)ESSr與ESSur應(yīng)該相差不多。 2、為了理解筆記1，在這里提供一個(gè)日常生活場(chǎng)景。我通過(guò)在你家對(duì)面長(zhǎng)期觀測(cè)發(fā)現(xiàn)，經(jīng)常有五個(gè)不同的人出入你家，于是我估計(jì)你家總?cè)丝谑?個(gè)（由于是長(zhǎng)期觀察，因此這個(gè)估計(jì)不會(huì)過(guò)于不精確）?，F(xiàn)在你的一位親戚告訴我，你家的性別構(gòu)成

22、是3男3女，于是通過(guò)該信息，我直接判斷（注意不是估計(jì)）你家總?cè)丝谑?個(gè)。我不會(huì)懷疑你的親戚在撒謊，盡管我先前估計(jì)的總?cè)丝诓⒉皇?個(gè)，這是因?yàn)?，你家的一個(gè)成員也許在外地上大學(xué)從而長(zhǎng)期不在家。但如果你的親戚告訴我，你家的性別構(gòu)成是5男6女，我將懷疑你的親戚在撒謊。因?yàn)榧僭O(shè)你的親戚未撒謊，那么你家的總?cè)丝谑?1個(gè)，這進(jìn)一步意味著有6個(gè)人長(zhǎng)期不出入家門(mén)，這應(yīng)當(dāng)被認(rèn)為是小概率事件出現(xiàn)了（請(qǐng)問(wèn)，在上述場(chǎng)景中，無(wú)約束估計(jì)是什么？有約束估計(jì)是什么？有約束估計(jì)是否導(dǎo)致估計(jì)精度提高？當(dāng)約束為真時(shí)，無(wú)約束估計(jì)與有約束估計(jì)是否相差不大？）。3、施加約束意味著我們?cè)诠烙?jì)時(shí)掌握了更多的先驗(yàn)信息，這一般意味著我們能夠得到更

23、精確的估計(jì)。但RSSr竟然大于等于RSSur，這似乎與上述結(jié)論相矛盾。事實(shí)上，估計(jì)的精度使用率估計(jì)量的標(biāo)準(zhǔn)誤來(lái)恒量的。斜率系數(shù)估計(jì)量的標(biāo)準(zhǔn)誤是的增函數(shù)。當(dāng)施加約束后，RSS一般來(lái)說(shuō)會(huì)增加（一定不會(huì)減少），但應(yīng)該注意到，在該約束被施加后，待估計(jì)參數(shù)個(gè)數(shù)減少了2個(gè)，因此并不一定增加。特別是當(dāng)施加約束為真時(shí)，RSS即使增加但也不會(huì)增加太多，結(jié)果很可能是減少的。4、為什么除以RSSur而不是RSSr？如果除以RSSr，那么計(jì)算所得的F值會(huì)更小，從而更容易不拒絕原假設(shè)，即犯第二類錯(cuò)誤（取誤）的概率增加，因此，為提高檢驗(yàn)的勢(shì)（降低犯第二類錯(cuò)誤的概率），在此除以RSSur而不是RSSr, 除以RSSur相當(dāng)

24、于“提供一個(gè)放大鏡，以使我們對(duì)原假設(shè)更加苛刻，不會(huì)輕易相信原假設(shè)所告訴的故事”，這不正好體現(xiàn)了科學(xué)的懷疑精神嗎？”總而言之，一個(gè)直覺(jué)是當(dāng)F值遠(yuǎn)大于零時(shí)我們應(yīng)該拒絕原假設(shè)。多遠(yuǎn)才算遠(yuǎn)？設(shè)定臨界值，當(dāng)我們依據(jù)樣本所得到的F值落在時(shí)，我們說(shuō)“在a顯著水平下拒絕原假設(shè)”。筆記：1、在經(jīng)典線性模型假定及其原假設(shè)下，與獨(dú)立嗎？只有兩者是獨(dú)立的，我們才能利用附錄1知識(shí)點(diǎn)5。事實(shí)上，當(dāng)原假設(shè)為真時(shí)RSSr與RSSur應(yīng)該相差不多，這并不依賴于RSSur的取值。因此，直觀看來(lái)，與應(yīng)該是獨(dú)立的。2、總的來(lái)看，當(dāng)約束為真時(shí)，F(xiàn)值應(yīng)該與零差異不大。再考慮到F分布在第一象限被定義，則我們不難理解為什么F檢驗(yàn)是一個(gè)單尾檢

25、驗(yàn)。 同樣，當(dāng)我們依據(jù)樣本得到值時(shí)，我們也能夠依據(jù)F分布表計(jì)算，計(jì)量軟件包在F值后所給出的P值正是這個(gè)概率。筆記：利用R2指標(biāo)，F(xiàn)統(tǒng)計(jì)量還被可以改寫(xiě)為另外一種形式，即所謂的R-平方型。，因此有：應(yīng)該注意到，一個(gè)直觀的理解是，不受約束的樣本回歸模型由于更具彈性因此應(yīng)該擬合得更好。在實(shí)踐中，我們也許對(duì)原假設(shè)最感興趣。如果這個(gè)假設(shè)被拒絕，那么我們就說(shuō)x1、x2、x3在統(tǒng)計(jì)上是聯(lián)合顯著的；如果不能被拒絕，則就說(shuō)x1、x2、x3在統(tǒng)計(jì)上是聯(lián)合不顯著的。針對(duì)特定樣本，計(jì)量軟件一般會(huì)自動(dòng)計(jì)算出對(duì)應(yīng)于上述假設(shè)的F值。練習(xí)：1、估計(jì)模型并獲得R2，針對(duì)原假設(shè)，請(qǐng)推導(dǎo)出R-平方型的F統(tǒng)計(jì)量：。2、如果利用F統(tǒng)計(jì)量

26、檢驗(yàn)原假設(shè)，證明有關(guān)系：筆記：根據(jù)在原假設(shè)下的R-平方型F統(tǒng)計(jì)量表達(dá)式可知，此時(shí)F檢驗(yàn)實(shí)際上也是檢驗(yàn)R2是否顯著不為0。R2是用來(lái)衡量模型擬合優(yōu)度的，因此，此時(shí)F檢驗(yàn)實(shí)際上是模型擬合優(yōu)度檢驗(yàn)。六、 t檢驗(yàn)與F檢驗(yàn)的聯(lián)系與區(qū)別（一） 聯(lián)系 對(duì)于模型：現(xiàn)在我們對(duì)假設(shè)進(jìn)行檢驗(yàn)，首選檢驗(yàn)方法是t檢驗(yàn)，不過(guò)F檢驗(yàn)也是可行的?？梢宰C明，此時(shí)。為簡(jiǎn)單計(jì)，考慮簡(jiǎn)單模型，我們對(duì)是否為0感興趣。一方面可以進(jìn)行t檢驗(yàn)：另一方面也可以進(jìn)行F檢驗(yàn)：筆記：此時(shí)受約束模型是：，根據(jù)第一講相關(guān)知識(shí)點(diǎn)，。因此，。當(dāng)F=0時(shí)，因此，此時(shí)F檢驗(yàn)實(shí)際上也是檢驗(yàn)是否顯著不為0。如果顯著不為0，則表明模型具有顯著的解釋力，故此時(shí)F檢驗(yàn)也

27、被稱為（整個(gè)）模型的顯著性檢驗(yàn)。接下來(lái)我們闡述證明的思路。我們實(shí)際上需要證明的是：是否成立。由于，故需證明是否成立。注意到：因此，而是x與y的樣本相關(guān)系數(shù)的平方，按照第二講關(guān)于R2的相關(guān)結(jié)論，它與相等。我們所證明的關(guān)系僅是一個(gè)代數(shù)關(guān)系，問(wèn)題是服從F分布嗎？根據(jù)附錄1知識(shí)點(diǎn)4與5，一個(gè)服從t(m)分布的隨機(jī)變量其平方一定服從F(1，m)分布，進(jìn)而有：因此F檢驗(yàn)與t檢驗(yàn)將得到完全相同的檢驗(yàn)結(jié)論。練習(xí)： 首先請(qǐng)查分布表驗(yàn)證：如果2正是你所得到的，那么對(duì)應(yīng)相同原假設(shè)，F(xiàn)值將為4。請(qǐng)問(wèn)在5%顯著水平下，t檢驗(yàn)與F檢驗(yàn)各自的檢驗(yàn)結(jié)論是什么？它們相同嗎？筆記： 1、對(duì)進(jìn)行檢驗(yàn)，不僅這個(gè)代數(shù)關(guān)系成立，而且t檢

28、驗(yàn)與F檢驗(yàn)將得到相同的檢驗(yàn)結(jié)論。事實(shí)上，只要t檢驗(yàn)與F檢驗(yàn)所對(duì)應(yīng)的原假設(shè)相同，那么上述t檢驗(yàn)與F檢驗(yàn)的聯(lián)系都是成立的。2、上述述結(jié)論的一個(gè)應(yīng)用。對(duì)于模型：通過(guò)前面的練習(xí)，我們知道?，F(xiàn)在考慮簡(jiǎn)單模型：，則根據(jù)前面的結(jié)論有：，顯然，如果，則。注意到對(duì)模型：，其調(diào)整的判定系數(shù)等于0（作為一個(gè)練習(xí)請(qǐng)證明）。與相比較，前者增加了一個(gè)解釋變量，因此，其判定系數(shù)將大于等于后者的判定系數(shù)。然而，只有當(dāng)時(shí)，前者的調(diào)整的判定系數(shù)才會(huì)大于后者的調(diào)整的判定系數(shù)。這個(gè)結(jié)論可以推廣：在初始的線性模型上增加解釋變量，只有所增加變量所對(duì)應(yīng)的t值其絕對(duì)值大于1時(shí)（在計(jì)算該t值時(shí)所對(duì)應(yīng)的原假設(shè)是真實(shí)系數(shù)為0），調(diào)整的判定系數(shù)才會(huì)

29、增加（應(yīng)該注意到，t值的絕對(duì)值大于1并不意味著變量一定是顯著的）。 （二） 區(qū)別t檢驗(yàn)關(guān)注的單個(gè)參數(shù)的取值問(wèn)題，如果需要同時(shí)關(guān)注多個(gè)參數(shù)的取值問(wèn)題，那么此時(shí)我們應(yīng)該利用F檢驗(yàn)。對(duì)于模型：在實(shí)踐中，我們一方面可能對(duì)是否成立感興趣，即關(guān)注單個(gè)解釋變量的顯著性，此時(shí)用到的是t檢驗(yàn)；另一方面，我們也可能對(duì)是否成立感興趣，即關(guān)注所有解釋變量的聯(lián)合顯著性，此時(shí)用到的是F檢驗(yàn)。應(yīng)該注意到，根據(jù)此時(shí)的R-平方型F統(tǒng)計(jì)量表達(dá)式可知，我們實(shí)際上是在檢驗(yàn)R2是否顯著不為0，因此，關(guān)注所有解釋變量的聯(lián)合顯著性即關(guān)注整個(gè)模型的擬合程度。特別要注意的是，單個(gè)變量顯著并不意味著變量聯(lián)合顯著，反之亦然（以后我們將看到，如果解

30、釋變量共線性程度很高，此時(shí)就很可能出現(xiàn)變量聯(lián)合顯著但很多變量單獨(dú)來(lái)看并不顯著）。筆記：與生活中的一種現(xiàn)象進(jìn)行類比：一種藥品包含兩種成份，其中任何一種成份單獨(dú)看來(lái)其藥性都很強(qiáng)，但聯(lián)合時(shí)使用時(shí)可能并無(wú)藥效；另外一種情況是，其中任何一種成份單獨(dú)看來(lái)其藥性都很弱，但聯(lián)合時(shí)使用時(shí)藥品的藥效可能很大。七、補(bǔ)充知識(shí)點(diǎn)：相關(guān)系數(shù)的假設(shè)檢驗(yàn)（一）簡(jiǎn)單相關(guān)系數(shù)的假設(shè)檢驗(yàn)我們想判斷隨機(jī)變量x與y的簡(jiǎn)單相關(guān)系數(shù)r是否為零。按照Fisher，在假設(shè)體系：下，當(dāng)原假設(shè)為真時(shí)，（注：是樣本相關(guān)系數(shù)），現(xiàn)在我們考慮另外一種思路。建立回歸模型：，再考察是否與0有顯著差異。上面最后一個(gè)等式之所以成立，首先是因?yàn)樵诤?jiǎn)單線性回歸模型

31、中，等于y與x的樣本簡(jiǎn)單相關(guān)系數(shù)的平方，其次是因?yàn)楫?dāng)小于零時(shí)，是負(fù)數(shù)，因此t值為負(fù)數(shù)；當(dāng)大于零時(shí)，是正數(shù)，因此t值為正數(shù)?？偟膩?lái)看，F(xiàn)isher的方法與回歸檢驗(yàn)方法等價(jià)。換句話說(shuō)，如果你試圖依據(jù)樣本判斷隨機(jī)變量x與y的簡(jiǎn)單相關(guān)系數(shù)r是否為零，你可以建立簡(jiǎn)單線性回歸模型然后對(duì)斜率系數(shù)進(jìn)行t檢驗(yàn)，如果與0有顯著差異，則可以拒絕r為0的原假設(shè)。（二）偏相關(guān)系數(shù)的假設(shè)檢驗(yàn)x1與x2的簡(jiǎn)單相關(guān)可能是由于兩變量分別與x3相關(guān)造成的。在控制了x3之后，x1與x2還具有相關(guān)性嗎？在控制了x3之后，x1與x2的相關(guān)關(guān)系被稱為偏相關(guān)，記為。如何計(jì)算樣本偏相關(guān)系數(shù)？步驟：第一步：把對(duì)進(jìn)行回歸有： （1）第二步：把對(duì)進(jìn)行回歸，即有： （2）第三步：計(jì)算與的樣本簡(jiǎn)單相關(guān)系數(shù)，有：當(dāng)然我們