回歸方程及回歸系數(shù)的顯著性檢驗(yàn)

1、.3 回歸方程及回歸系數(shù)的顯著性檢驗(yàn)、回歸方程的顯著性檢驗(yàn)(1) 回歸平方和與剩余平方和建立回歸方程以后, 回歸效果如何呢？因變量與自變量是否確實(shí)存在線性關(guān)系呢？這是需要進(jìn)行統(tǒng)計(jì)檢驗(yàn)才能加以肯定或否定, 為此, 我們要進(jìn)一步研究因變量取值的變化規(guī)律。的每次取值是有波動(dòng)的, 這種波動(dòng)常稱為變差, 每次觀測(cè)值的變差大小, 常用該次觀側(cè)值與次觀測(cè)值的平均值的差(稱為離差)來(lái)表示, 而全部次觀測(cè)值的總變差可由總的離差平方和, 其中: 稱為回歸平方和, 是回歸值與均值之差的平方和, 它反映了自變量的變化所引起的的波動(dòng), 其自由度(為自變量的個(gè)數(shù))。稱為剩余平方和(或稱殘差平方和), 是實(shí)測(cè)值與回歸值之差

2、的平方和, 它是由試驗(yàn)誤差及其它因素引起的, 其自由度。總的離差平方和的自由度為。如果觀測(cè)值給定, 則總的離差平方和是確定的, 即是確定的, 因此大則小, 反之, 小則大, 所以與都可用來(lái)衡量回歸效果, 且回歸平方和越大則線性回歸效果越顯著, 或者說(shuō)剩余平方和越小回歸效果越顯著, 如果0, 則回歸超平面過(guò)所有觀測(cè)點(diǎn); 如果大, 則線性回歸效果不好。(2) 復(fù)相關(guān)系數(shù)為檢驗(yàn)總的回歸效果, 人們也常引用無(wú)量綱指標(biāo), (3.1)或, (3.2)稱為復(fù)相關(guān)系數(shù)。因?yàn)榛貧w平方和實(shí)際上是反映回歸方程中全部自變量的“方差貢獻(xiàn)”, 因此就是這種貢獻(xiàn)在總回歸平方和中所占的比例, 因此表示全部自變量與因變量的相關(guān)

3、程度。顯然。復(fù)相關(guān)系數(shù)越接近, 回歸效果就越好, 因此它可以作為檢驗(yàn)總的回歸效果的一個(gè)指標(biāo)。但應(yīng)注意, 與回歸方程中自變量的個(gè)數(shù)及觀測(cè)組數(shù)有關(guān), 當(dāng)相對(duì)于并不很大時(shí), 常有較大的值, 因此實(shí)際計(jì)算中應(yīng)注意與的適當(dāng)比例, 一般認(rèn)為應(yīng)取至少為的到10倍為宜。(3) 檢驗(yàn)要檢驗(yàn)與是否存在線性關(guān)系, 就是要檢驗(yàn)假設(shè), (3.3)當(dāng)假設(shè)成立時(shí), 則與無(wú)線性關(guān)系, 否則認(rèn)為線性關(guān)系顯著。檢驗(yàn)假設(shè)應(yīng)用統(tǒng)計(jì)量, (3.4)這是兩個(gè)方差之比, 它服從自由度為及的分布, 即, (3.5)用此統(tǒng)計(jì)量可檢驗(yàn)回歸的總體效果。如果假設(shè)成立, 則當(dāng)給定檢驗(yàn)水平下, 統(tǒng)計(jì)量應(yīng)有, (3.6)對(duì)于給定的置信度, 由分布表可查得

4、的值, 如果根據(jù)統(tǒng)計(jì)量算得的值為, 則拒絕假設(shè), 即不能認(rèn)為全部為O, 即個(gè)自變量的總體回歸效果是顯著的, 否則認(rèn)為回歸效果不顯著。利用檢驗(yàn)對(duì)回歸方程進(jìn)行顯著性檢驗(yàn)的方法稱為方差分析。上面對(duì)回歸效果的討論可歸結(jié)于一個(gè)方差分析表中, 如表3.1。表3.1 方差分析表來(lái) 源平方和自由度方 差方差比回 歸剩 余總 計(jì)根據(jù)與的定義, 可以導(dǎo)出與的以下關(guān)系: , 。利用這兩個(gè)關(guān)系式可以解決值多大時(shí)回歸效果才算是顯著的問(wèn)題。因?yàn)閷?duì)給定的檢驗(yàn)水平, 由分布表可查出的臨界值, 然后由即可求出的臨界值: , (3.7)當(dāng)時(shí), 則認(rèn)為回歸效果顯著。例3.1 利用方差分析對(duì)例2.1的回歸方程進(jìn)行顯著性檢驗(yàn)。方差分析

5、結(jié)果見(jiàn)表3.2。表3.2 來(lái) 源平方和自由度方 差方差比回 歸剩 余總 計(jì)取檢驗(yàn)水平0.05, 查分布表得, 而, 所以例2.1的回歸方程回歸效果是顯著的。、回歸系數(shù)的顯著性檢驗(yàn)前面討論了回歸方程中全部自變量的總體回歸效果, 但總體回歸效果顯著并不說(shuō)明每個(gè)自變量對(duì)因變量都是重要的, 即可能有某個(gè)自變量對(duì)并不起作用或者能被其它的的作用所代替, 因此對(duì)這種自變量我們希望從回歸方程中剔除, 這樣可以建立更簡(jiǎn)單的回歸方程。顯然某個(gè)自變量如果對(duì)作用不顯著, 則它的系數(shù)就應(yīng)取值為0, 因此檢驗(yàn)每個(gè)自變量是否顯著, 就要檢驗(yàn)假設(shè): , , (3.8)(1) 檢驗(yàn): 在假設(shè)下, 可應(yīng)用檢驗(yàn): , , (3.9

6、)其中為矩陣的對(duì)角線上第個(gè)元素。對(duì)給定的檢驗(yàn)水平, 從分布表中可查出與對(duì)應(yīng)的臨界值, 如果有, 則拒絕假設(shè), 即認(rèn)為與0有顯著差異, 這說(shuō)明對(duì)有重要作用不應(yīng)剔除; 如果有則接受假設(shè), 即認(rèn)為成立, 這說(shuō)明對(duì)不起作用, 應(yīng)予剔除。(2) 檢驗(yàn): 檢驗(yàn)假設(shè), 亦可用服從自由度分別為1與的分布的統(tǒng)計(jì)量, (3.10)其中為矩陣的主對(duì)角線上第個(gè)元素。對(duì)于給定的檢驗(yàn)水平, 從分布表中可查得臨界, 如果有, 則拒絕假設(shè), 認(rèn)為對(duì)有重要作用。如果, 則接受假設(shè), 即認(rèn)為自變量對(duì)不起重要作用, 可以剔除。一般一次檢驗(yàn)只剔除一個(gè)自變量, 且這個(gè)自變量是所有不顯著自變量中值最小者, 然后再建立回歸方程, 并繼續(xù)進(jìn)

7、行檢驗(yàn), 直到建立的回歸方程及各個(gè)自變量均顯著為止。最后指出, 上述對(duì)各自變量進(jìn)行顯著性檢驗(yàn)采用的兩種統(tǒng)計(jì)量與實(shí)際上是等價(jià)的, 因?yàn)橛?3.9)式及(3.10)式知, 有 (3.11)例3.2 對(duì)例2.1的回歸方程各系數(shù)進(jìn)行顯著性檢驗(yàn)。經(jīng)計(jì)算: , 于是, 其中0.002223, 0.004577。由(3.7)式知, , 查分布表得, , 因?yàn)? , 所以兩個(gè)自變量及都是顯著的。又由, 說(shuō)明體長(zhǎng)比胸圍對(duì)體重的影響更大。如果應(yīng)用檢驗(yàn), 查分布表有, 又由, , 因?yàn)? , 因此及都是顯著的, 均為重要變量, 應(yīng)保留在回歸方程中。(3) 偏回歸平方和檢驗(yàn)?zāi)骋蛔宰兞渴欠耧@著, 還可應(yīng)用偏回歸平方和進(jìn)行檢驗(yàn)。個(gè)自變量的回歸平方和為, 如果自個(gè)自變量中去掉, 則剩下的個(gè)自變量的回歸平方和設(shè)為, 并設(shè), 則就表示變量在回歸平方和中的貢獻(xiàn), 稱為的偏回歸平方和或貢獻(xiàn)?？梢宰C明, (3.12)偏回歸平方和越大, 說(shuō)明在回歸方程中越重要, 對(duì)的作用和影響越大, 或者說(shuō)對(duì)回歸方程的貢獻(xiàn)越大。因此偏回歸平方和也是用來(lái)衡量每個(gè)自變量在回歸方程中作用大小(貢獻(xiàn)大小)的