多元線性回歸模型擬合優(yōu)度假設(shè)檢驗

多元線性回歸模型擬合優(yōu)度假設(shè)檢驗第一頁，共三十頁，2022年，8月28日一、擬合優(yōu)度檢驗

1、可決系數(shù)與調(diào)整的可決系數(shù)則總離差平方和的分解第二頁，共三十頁，2022年，8月28日由于

=0所以有：

注意：一個有趣的現(xiàn)象-第三頁，共三十頁，2022年，8月28日

我們有：殘差殘差平方和：

為方便計算，我們也可以用矩陣形式表示R2而將上述結(jié)果代入R2的公式，得到：這就是決定系數(shù)R2的矩陣形式。第四頁，共三十頁，2022年，8月28日

判定系數(shù)該統(tǒng)計量越接近于1，模型的擬合優(yōu)度越高。

問題：在應(yīng)用過程中發(fā)現(xiàn)，如果在模型中增加一個解釋變量，R2往往增大（Why?)這就給人一個錯覺：要使得模型擬合得好，只要增加解釋變量即可?！牵F(xiàn)實情況往往是，由增加解釋變量個數(shù)引起的R2的增大與擬合好壞無關(guān)，R2需調(diào)整。第五頁，共三十頁，2022年，8月28日

調(diào)整的判定系數(shù)（adjustedcoefficientofdetermination）

在樣本容量一定的情況下，增加解釋變量必定使得自由度減少，所以調(diào)整的思路是：將殘差平方和與總離差平方和分別除以各自的自由度，以剔除變量個數(shù)對擬合優(yōu)度的影響:其中：n-k-1為殘差平方和的自由度，n-1為總體平方和的自由度。第六頁，共三十頁，2022年，8月28日我們有：（1）（2）僅當K=0時，等號成立。即（3）當K增大時，二者的差異也隨之增大（4）可能出現(xiàn)負值。是經(jīng)過自由度調(diào)整的決定系數(shù)，稱為修正決定系數(shù)。第七頁，共三十頁，2022年，8月28日例1

以前面的數(shù)據(jù)為例，Yt=1+2X2t+3X3t+u

t

設(shè)觀測數(shù)據(jù)為：Y：31835

X2：31524

X3：54646

試求。第八頁，共三十頁，2022年，8月28日解：我們有第九頁，共三十頁，2022年，8月28日第十頁，共三十頁，2022年，8月28日習(xí)題.

設(shè)n=20,k=3,R2=0.70，求。當n=10，n=5時，又是多少。

第十一頁，共三十頁，2022年，8月28日

例2.

設(shè)n=20,k=3,R2=0.70，求。解：

下面改變n的值，看一看的值如何變化。我們有若n=10，則=0.55若n=5，則=-0.20

由本例可看出，有可能為負值。這與R2不同（）。第十二頁，共三十頁，2022年，8月28日二、方程的顯著性檢驗(F檢驗)

方程的顯著性檢驗，旨在對模型中被解釋變量與解釋變量之間的線性關(guān)系在總體上是否顯著成立作出推斷。

1、方程顯著性的F檢驗

即檢驗?zāi)Ｐ蚘i=0+1X1i+2X2i++kXki+ii=1,2,,n中的參數(shù)j是否顯著不為0。

可提出如下原假設(shè)與備擇假設(shè)：H0：0=1=2==k=0H1：j不全為0第十三頁，共三十頁，2022年，8月28日F檢驗的思想來自于總離差平方和的分解式：

TSS=ESS+RSS

如果這個比值較大，則X的聯(lián)合體對Y的解釋程度高，可認為總體存在線性關(guān)系，反之總體上可能不存在線性關(guān)系。

因此,可通過該比值的大小對總體線性關(guān)系進行推斷。第十四頁，共三十頁，2022年，8月28日

根據(jù)數(shù)理統(tǒng)計學(xué)中的知識，在原假設(shè)H0成立的條件下，統(tǒng)計量

服從自由度為(k,n-k-1)的F分布

給定顯著性水平，可得到臨界值F(k,n-k-1)，由樣本求出統(tǒng)計量F的數(shù)值，通過F

F(k,n-k-1)或FF(k,n-k-1)來拒絕或接受原假設(shè)H0，以判定原方程總體上的線性關(guān)系是否顯著成立。第十五頁，共三十頁，2022年，8月28日對于中國居民人均消費支出的例子：一元模型：F=985.6616（P54）二元模型：F=560.5650（P72）給定顯著性水平=0.05，查分布表，得到臨界值：一元例：F(1,30)=4.17二元例：

F(2,28)=3.34顯然有F

F(k,n-k-1)

即二個模型的線性關(guān)系在95%的水平下顯著成立。第十六頁，共三十頁，2022年，8月28日

2、關(guān)于擬合優(yōu)度檢驗與方程顯著性檢驗關(guān)系的討論

由可推出：與或R2R2R2R2第十七頁，共三十頁，2022年，8月28日在中國居民人均收入-消費一元模型中，在中國居民人均收入-消費二元模型中，第十八頁，共三十頁，2022年，8月28日三、變量的顯著性檢驗（t檢驗）方程的總體線性關(guān)系顯著每個解釋變量對被解釋變量的影響都是顯著的

因此，必須對每個解釋變量進行顯著性檢驗，以決定是否作為解釋變量被保留在模型中。這一檢驗是由對變量的t檢驗完成的。第十九頁，共三十頁，2022年，8月28日1、t統(tǒng)計量

由于以cii表示矩陣(X’X)-1

主對角線上的第i個元素，于是參數(shù)估計量的方差為：

其中2為隨機誤差項的方差，在實際計算時，用它的估計量代替:

第二十頁，共三十頁，2022年，8月28日因此，可構(gòu)造如下t統(tǒng)計量

第二十一頁，共三十頁，2022年，8月28日

2、t檢驗設(shè)計原假設(shè)與備擇假設(shè)：

H1：i0

給定顯著性水平，可得到臨界值t/2(n-k-1)，由樣本求出統(tǒng)計量t的數(shù)值，通過|t|

t/2(n-k-1)或|t|t/2(n-k-1)來拒絕或接受原假設(shè)H0，從而判定對應(yīng)的解釋變量是否應(yīng)包括在模型中。

H0：i=0

（i=1,2…k）

第二十二頁，共三十頁，2022年，8月28日例：柯布-道格拉斯生產(chǎn)函數(shù)

用柯布和道格拉斯最初使用的數(shù)據(jù)（美國1899-1922年制造業(yè)數(shù)據(jù)）估計經(jīng)過線性變換的模型得到如下結(jié)果（括號內(nèi)數(shù)字為標準誤差）：請檢驗“斜率”系數(shù)和的顯著性。第二十三頁，共三十頁，2022年，8月28日解：(1)檢驗的顯著性

原假設(shè)H0：

=0

備擇假設(shè)H1：

≠0由回歸結(jié)果，我們有：t＝0.23/0.06=3.83用=24－3＝21查t表，5%顯著性水平下，tc

＝2.08.∵t＝3.83tc

＝2.08，故拒絕原假設(shè)H0。結(jié)論：顯著異于0。(2)檢驗的顯著性原假設(shè)H0：

=0

備擇假設(shè)H1：

≠0由回歸結(jié)果，我們有：t＝0.81/0.15=5.4∵t＝5.4tc＝2.08，故拒絕原假設(shè)H0

。結(jié)論：顯著異于0。第二十四頁，共三十頁，2022年，8月28日注意：一元線性回歸中，t檢驗與F檢驗一致

一方面，t檢驗與F檢驗都是對相同的原假設(shè)H0：1=0進行檢驗;

另一方面，兩個統(tǒng)計量之間有如下關(guān)系：

第二十五頁，共三十頁，2022年，8月28日在中國居民人均收入-消費支出二元模型例中，由應(yīng)用軟件計算出參數(shù)的t值：給定顯著性水平=0.05，查得相應(yīng)臨界值：t0.025(28)=2.048?？梢?，計算的所有t值都大于該臨界值，所以拒絕原假設(shè)。即:2個解釋變量都在95%的水平下顯著，都通過了變量顯著性檢驗。第二十六頁，共三十頁，2022年，8月28日四、參數(shù)的置信區(qū)間

參數(shù)的置信區(qū)間用來考察：在一次抽樣中所估計的參數(shù)值離參數(shù)的真實值有多“近”。在變量的顯著性檢驗中已經(jīng)知道：容易推出：在(1-)的置信水平下i的置信區(qū)間是

其中，t/2為顯著性水平為、自由度為n-k-1的臨界值。

第二十七頁，共三十頁，2022年，8月28日已知在二元模型例中,樣本容量為22，給定=0.05，計算得參數(shù)的置信區(qū)間：

且從回歸計算中已得到：第二十八頁，共三十頁，2022年，8月28日給定=0.05，查表得臨界值：t0.025(19)=2.093計算得參數(shù)的置信區(qū)間：

0：(44.284,197.116)

1：(0.0937,0.3489)

2：(0.0951,0.8080)