3.3 多元線性回歸模型的統(tǒng)計(jì)檢

1、3.3 多元線性回歸模型的統(tǒng)計(jì)檢驗(yàn)一、擬合優(yōu)度檢驗(yàn)二、方程的顯著性檢驗(yàn)(F檢驗(yàn))三、變量的顯著性檢驗(yàn)（t檢驗(yàn)）四、參數(shù)的置信區(qū)間多元線性回歸模型的參數(shù)估計(jì)出來(lái)后，即求出樣本回歸函數(shù)后，還要進(jìn)一步對(duì)該樣本回歸函數(shù)進(jìn)行統(tǒng)計(jì)檢驗(yàn)，以判斷估計(jì)的可靠性。包括擬合優(yōu)度檢驗(yàn)、方程總體線性的顯著性檢驗(yàn)、變量的顯著性檢驗(yàn)，以及參數(shù)的置信區(qū)間估計(jì)等方面。1則 i TSS = (Yi Y ) 2= (Yi Yi ) + (Yi Y ) 2= (Yi Yi ) 2 + 2(Yi Yi )(Y Y ) + (Yi Y ) 2一、擬合優(yōu)度檢驗(yàn)1、可決系數(shù)與調(diào)整的可決系數(shù)總離差平方和的分解2由于 (Yi Y )(Yi Y

2、) = ei (Yi Y )ki+ Y ei = 0 ei + 1 ei X 1i + + k ei X=0所以有：i TSS = (Yi Y ) 2 + (Yi Y ) 2 = RSS + ESS 注意：一個(gè)有趣的現(xiàn)象(Yi Y ) = (Yi Yi )+ (Yi Y )2 2i i i i2 2i i i i即：總體離差平方和可分解為回歸平方和與殘差平方和兩部分。(3.3.1)3R = = 1 因此，可用回歸平方和占總離差平方和的比重來(lái)衡量樣本回歸線對(duì)樣本觀測(cè)值的擬合程度：RSSTSS2 ESSTSS該統(tǒng)計(jì)量越接近于1，模型的擬合優(yōu)度越高。回歸平方和反映了總體離差平方和中可由樣本回歸線解釋

3、的部分。它越大，殘差平方和越小，表明樣本回歸線與樣本觀測(cè)值的擬合程度越高。(3.3.2)4【問(wèn)題】在應(yīng)用過(guò)程中發(fā)現(xiàn)，如果在模型中增加一個(gè)解釋變量， R2往往增大。這就給人一個(gè)錯(cuò)覺：要使得模型擬合得好，只要增加解釋變量即可。但是，現(xiàn)實(shí)情況往往是，由增加解釋變量個(gè)數(shù)引起的R2的增大與擬合好壞無(wú)關(guān)，R2需調(diào)整。5R = 1 調(diào)整的可決系數(shù)（adjusted coefficient of determination）在樣本容量一定的情況下，增加解釋變量必定使得自由度減少，所以調(diào)整的思路是:將殘差平方和與總離差平方和分別除以各自的自由度，以剔除變量個(gè)數(shù)對(duì)擬合優(yōu)度的影響:2RSS /(n k 1)TSS

4、/(n 1)其中：n-k-1為殘差平方和的自由度，n-1為總體平方和的自由度。(3.3.3)6R = 1 (1 R )2 2n 1n k 1(3.3.4)沒有絕對(duì)的標(biāo)準(zhǔn)，要看具體情況而定，模型的擬合優(yōu)度并不是判斷模型質(zhì)量的唯一標(biāo)磚，有時(shí)甚至為了追求模型的經(jīng)濟(jì)意義，可以犧牲一點(diǎn)擬合優(yōu)度。應(yīng)該說(shuō)這是很好的擬合結(jié)果了。27二、方程的顯著性檢驗(yàn)(F檢驗(yàn))方程的顯著性檢驗(yàn)，旨在對(duì)模型中被解釋變量與解釋變量之間的線性關(guān)系在總體上是否顯著成立作出推斷。1、方程顯著性的F檢驗(yàn)即檢驗(yàn)?zāi)Ｐ蚷=1,2, ,nYi=0+1X1i+2X2i+ +kXki+i中的參數(shù)j是否顯著不為0?？商岢鋈缦略僭O(shè)與備擇假設(shè)：H0：

5、0=1=2= =k=0H1： j不全為08F檢驗(yàn)的思想來(lái)自于總離差平方和的分解式：TSS=ESS+RSS由于回歸平方和 ESS = y i2 是解釋變量 X 的聯(lián)合體對(duì)被解釋變量 Y 的線性作用的結(jié)果，考慮比值ESS / RSS = y i2ei2如果這個(gè)比值較大，則X的聯(lián)合體對(duì)Y的解釋程度高，可認(rèn)為總體存在線性關(guān)系，反之總體上可能不存在線性關(guān)系。因此,可通過(guò)該比值的大小對(duì)總體線性關(guān)系進(jìn)行推斷。9根據(jù)數(shù)理統(tǒng)計(jì)學(xué)中的知識(shí)，在原假設(shè)H0成立的條件下，統(tǒng)計(jì)量ESS / kRSS /(n k 1)F =服從自由度為(k , n-k-1)的F分布給定顯著性水平，可得到臨界值F(k,n-k-1)，由樣本求

6、出統(tǒng)計(jì)量F的數(shù)值，通過(guò)F F(k,n-k-1) 或 FF(k,n-k-1)來(lái)拒絕或接受原假設(shè)H0，以判定原方程總體上的線性關(guān)系是否顯著成立。(3.3.7)10對(duì)于中國(guó)居民人均消費(fèi)支出的例子：可以計(jì)算得到F=2057.3給定顯著性水平 =0.05，查分布表，得到臨界值：F(2,19)=3.52（例中解釋變量數(shù)目為2，樣本容量為22）顯然有 F F(k,n-k-1)即二個(gè)模型的線性關(guān)系在95%的水平下顯著成立。112、關(guān)于擬合優(yōu)度檢驗(yàn)與方程顯著性檢驗(yàn)關(guān)系的討論擬合優(yōu)度檢驗(yàn)和方程總體線性的顯著性檢驗(yàn)是從不同原理出發(fā)的兩類檢驗(yàn)，擬合優(yōu)度檢驗(yàn)是從已經(jīng)得到估計(jì)的模型出發(fā)，檢驗(yàn)它對(duì)樣本觀測(cè)值的擬合程度；總體

7、線性的顯著性檢驗(yàn)是從樣本觀測(cè)值出發(fā)檢驗(yàn)?zāi)Ｐ涂傮w線性關(guān)系的顯著性；但是兩者又是關(guān)聯(lián)的，模型對(duì)樣本觀測(cè)值的擬合優(yōu)度高，模型總體線性關(guān)系的顯著性就強(qiáng)。12由 R = 1 R = 1 2RSS /(n k 1)TSS /(n 1)ESS / kRSS /(n k 1)n 1n k 1 + kF2與 F =可推出：或R 2 / k(1 R 2 ) /(n k 1)F =(3.3.8)(3.3.9)13在中國(guó)居民人均收入-消費(fèi)二元模型中，2不高，但是殊不知它的總體線性關(guān)系的顯著水平都達(dá)到 95。2需考察模型的經(jīng)濟(jì)關(guān)系是否合理。14三、變量的顯著性檢驗(yàn)（t檢驗(yàn)）方程的總體線性關(guān)系顯著每個(gè)解釋變量對(duì)被解釋變量

8、的影響都是顯著的因此，必須對(duì)每個(gè)解釋變量進(jìn)行顯著性檢驗(yàn)，以決定是否作為解釋變量被保留在模型中。這一檢驗(yàn)是由對(duì)變量的 t 檢驗(yàn)完成的。15Var ( j ) = c jj1、t統(tǒng)計(jì)量)由上一節(jié)可知參數(shù)估計(jì)量的方差為：Cov( = 2 (XX) 1以cjj表示矩陣(XX)-1 主對(duì)角線上的第j個(gè)元素，于是參數(shù)估計(jì)量的方差為：(3.3.10)易知 j 服從如下的正態(tài)分布，即 j N ( j , 2c jj ) N (0,1) j - j c jj將 j 做標(biāo)準(zhǔn)化變換：z j =2j = 1, 2, , k16 =c jj 其中2為隨機(jī)誤差項(xiàng)的方差，在實(shí)際計(jì)算時(shí)，用它的估計(jì)量代替:2= ei2n k

9、1e en k 1當(dāng)為大樣本時(shí)，用估計(jì)的參數(shù)標(biāo)準(zhǔn)誤差對(duì) j作標(biāo)準(zhǔn)化變換，所得Z統(tǒng)計(jì)量仍可視為服從正態(tài)分布。當(dāng)為小樣本時(shí)，用估計(jì)的參數(shù)標(biāo)準(zhǔn)誤差對(duì) j作標(biāo)準(zhǔn)化變換，所得t 統(tǒng)計(jì)量仍可視為服從t分布。因此，可構(gòu)造如下t 統(tǒng)計(jì)量 j jS jt = j jeen k 1該統(tǒng)計(jì)量即為用于變量顯著性檢驗(yàn)的t統(tǒng)計(jì)量。 t (n k 1)(3.3.11)172、t檢驗(yàn)設(shè)計(jì)原假設(shè)與備擇假設(shè)：H0：i=0（i=1,2k）H1：i0給定顯著性水平，可得到臨界值t/2(n-k-1)，由樣本求出統(tǒng)計(jì)量t的數(shù)值，通過(guò)|t| t/2(n-k-1) 或 |t|t/2(n-k-1)來(lái)拒絕或接受原假設(shè)H0，從而判定對(duì)應(yīng)的解釋變量

10、是否應(yīng)包括在模型中。注意：一元線性回歸中，t檢驗(yàn)與F檢驗(yàn)一致18 = e e (n 2)= n 2 xi2 e 2 1 = t 2(n 2) xi 一方面，t檢驗(yàn)與F檢驗(yàn)都是對(duì)相同的原假設(shè)H0：1=0 進(jìn)行檢驗(yàn);另一方面，兩個(gè)統(tǒng)計(jì)量之間有如下關(guān)系：222i2i2i2 1=y i2(n 2)F = e e2i112(n 2) x12 xi22i19在中國(guó)居民人均收入-消費(fèi)支出二元模型例中，由應(yīng)用軟件計(jì)算出參數(shù)的t值：t 2 = 2.651t1 = 3.630t 0 = 3.306給定顯著性水平=0.05，查得相應(yīng)臨界值：t0.025(19) =2.093?？梢?，計(jì)算的所有t值都大于該臨界值，所以

11、拒絕原假設(shè)。即:包括常數(shù)項(xiàng)在內(nèi)的3個(gè)解釋變量都在95%的水平下顯著，都通過(guò)了變量顯著性檢驗(yàn)。20cii四、參數(shù)的置信區(qū)間參數(shù)的置信區(qū)間用來(lái)考察：在一次抽樣中所估計(jì)的參數(shù)值離參數(shù)的真實(shí)值有多“近”。在變量的顯著性檢驗(yàn)中已經(jīng)知道： t (n k 1)t = i i i iS eein k 122P(t t t ) = 1 i isiP(t 2 t ) = 1 2 2 2P(i t si i i + t si ) = 1 21, j + t S j t S j j 容易推出：在(1-)的置信水平下i的置信區(qū)間是其中，t/2為顯著性水平為 、自由度為n-k-1的臨界值。 2 2 (3.3.12)22計(jì)算得參數(shù)的置信區(qū)間：0 ：(44.284, 197.116)1 ： (0.0937, 0.3489 )2 ：(0.0951, 0.8080) 0 = 120.701 = 0.2213 2 = 0.4515s 0 = 36.51s 1 = 0.061s 2 = 0.170在中國(guó)居民人均收入-消費(fèi)支出二元模型例中,給定=0.05，查表得臨界值：t0.025(19)=2.093從回歸計(jì)算中已得到：23如何才能縮小置信區(qū)間？增大樣本容量n，因?yàn)樵谕瑯拥臉颖救萘肯拢琻越大，t分布表中的臨界值越小，同時(shí)，增大樣本容量，還可使樣本參數(shù)估計(jì)量的標(biāo)準(zhǔn)差減??；提高模型的擬合優(yōu)度，因?yàn)闃?/p>