多元線性回歸模型

多元線性回歸模型第1頁，課件共24頁，創(chuàng)作于2023年2月1、方程的顯著性檢驗(yàn)(F檢驗(yàn))

擬合優(yōu)度檢驗(yàn)只能說明模型對(duì)樣本數(shù)據(jù)的近似情況。方程的顯著性檢驗(yàn)，旨在對(duì)模型中被解釋變量與解釋變量之間的線性關(guān)系在總體上是否顯著成立作出推斷。

方程顯著性的F檢驗(yàn)

即檢驗(yàn)?zāi)Ｐ?/p>

Yi=0+1X1i+2X2i++kXki+ii=1,2,,n

中的參數(shù)j是否顯著不為0。

可提出如下原假設(shè)與備擇假設(shè)：

H0：0=1=2==k=0H1：j不全為0第2頁，課件共24頁，創(chuàng)作于2023年2月

F檢驗(yàn)的思想來自于總離差平方和的分解式：

TSS=ESS+RSS

如果這個(gè)比值較大，則X的聯(lián)合體對(duì)Y的解釋程度高，可認(rèn)為總體存在線性關(guān)系，反之總體上可能不存在線性關(guān)系。

因此,可通過該比值的大小對(duì)總體線性關(guān)系進(jìn)行推斷。1、方程的顯著性檢驗(yàn)(F檢驗(yàn))

第3頁，課件共24頁，創(chuàng)作于2023年2月

根據(jù)數(shù)理統(tǒng)計(jì)學(xué)中的知識(shí)，在原假設(shè)H0成立的條件下，統(tǒng)計(jì)量

服從自由度為(k,n-k-1)的F分布

給定顯著性水平，可得到臨界值F(k,n-k-1)，由樣本求出統(tǒng)計(jì)量F的數(shù)值，通過

F

F(k,n-k-1)或FF(k,n-k-1)來拒絕或接受原假設(shè)H0，以判定原方程的線性關(guān)系是否顯著成立。1、方程的顯著性檢驗(yàn)(F檢驗(yàn))

第4頁，課件共24頁，創(chuàng)作于2023年2月關(guān)于擬合優(yōu)度檢驗(yàn)與方程顯著性檢驗(yàn)關(guān)系的討論

由可推出：與或1、方程的顯著性檢驗(yàn)(F檢驗(yàn))

第5頁，課件共24頁，創(chuàng)作于2023年2月1、方程的顯著性檢驗(yàn)(F檢驗(yàn))

第6頁，課件共24頁，創(chuàng)作于2023年2月2、變量的顯著性檢驗(yàn)（t檢驗(yàn)）方程的總體線性關(guān)系顯著每個(gè)解釋變量對(duì)被解釋變量的影響都是顯著的

因此，必須對(duì)每個(gè)解釋變量進(jìn)行顯著性檢驗(yàn)，以決定是否作為解釋變量被保留在模型中。這一檢驗(yàn)是由對(duì)變量的t檢驗(yàn)完成的。第7頁，課件共24頁，創(chuàng)作于2023年2月

t統(tǒng)計(jì)量

由于以cii表示矩陣(X’X)-1

主對(duì)角線上的第i個(gè)元素，于是參數(shù)估計(jì)量的方差為：

其中2為隨機(jī)誤差項(xiàng)的方差，在實(shí)際計(jì)算時(shí)，用它的估計(jì)量代替:

2、變量的顯著性檢驗(yàn)（t檢驗(yàn)）第8頁，課件共24頁，創(chuàng)作于2023年2月因此，可構(gòu)造如下t統(tǒng)計(jì)量

2、變量的顯著性檢驗(yàn)（t檢驗(yàn)）第9頁，課件共24頁，創(chuàng)作于2023年2月t檢驗(yàn)設(shè)計(jì)原假設(shè)與備擇假設(shè)：

H1：i0

給定顯著性水平，可得到臨界值t/2(n-k-1)，由樣本求出統(tǒng)計(jì)量t的數(shù)值，通過

|t|

t/2(n-k-1)或|t|t/2(n-k-1)來拒絕或接受原假設(shè)H0，從而判定對(duì)應(yīng)的解釋變量是否應(yīng)包括在模型中。

H0：i=0

（i=1,2…k）

2、變量的顯著性檢驗(yàn)（t檢驗(yàn)）第10頁，課件共24頁，創(chuàng)作于2023年2月注意：一元線性回歸中，t檢驗(yàn)與F檢驗(yàn)一致

在一元線性回歸中，由于解釋變量只有一個(gè)，不存在解釋變量聯(lián)合影響的整體檢驗(yàn)問題，也就用不著進(jìn)行F檢驗(yàn)。實(shí)際上二者在一元情形下是一致的：一方面，t檢驗(yàn)與F檢驗(yàn)都是對(duì)相同的原假設(shè)H0：1=0

進(jìn)行檢驗(yàn);

另一方面，兩個(gè)統(tǒng)計(jì)量之間有如下關(guān)系：

2、變量的顯著性檢驗(yàn)（t檢驗(yàn)）第11頁，課件共24頁，創(chuàng)作于2023年2月2、變量的顯著性檢驗(yàn)（t檢驗(yàn)）第12頁，課件共24頁，創(chuàng)作于2023年2月即F統(tǒng)計(jì)量等于t統(tǒng)計(jì)量的平方。給定顯著性水平，查F(1,n－2)與t（n－2），臨界值之間也存在這樣的關(guān)系。也就是說在一元情形下，對(duì)參數(shù)的顯著性檢驗(yàn)（t檢驗(yàn)）與對(duì)回歸總體線性的顯著性檢驗(yàn)（F檢驗(yàn)）是等價(jià)的。在多元線性回歸模型中，F(xiàn)檢驗(yàn)與t檢驗(yàn)是不同的。當(dāng)對(duì)參數(shù)檢驗(yàn)均顯著時(shí)，F(xiàn)檢驗(yàn)一定是顯著的。但是當(dāng)F檢驗(yàn)顯著時(shí)，并不意味著對(duì)每一個(gè)回歸系數(shù)的t檢驗(yàn)都是顯著的。2、變量的顯著性檢驗(yàn)（t檢驗(yàn)）第13頁，課件共24頁，創(chuàng)作于2023年2月3、參數(shù)的置信區(qū)間

參數(shù)的置信區(qū)間用來考察：在一次抽樣中所估計(jì)的參數(shù)值離參數(shù)的真實(shí)值有多“近”。在變量的顯著性檢驗(yàn)中已經(jīng)知道：容易推出：在(1-)的置信水平下i的置信區(qū)間是

其中，t/2為顯著性水平為、自由度為n-k-1的臨界值。

第14頁，課件共24頁，創(chuàng)作于2023年2月如何才能縮小置信區(qū)間？

增大樣本容量n，因?yàn)樵谕瑯拥臉颖救萘肯?，n越大，t分布表中的臨界值越小，同時(shí)，增大樣本容量，還可使樣本參數(shù)估計(jì)量的標(biāo)準(zhǔn)差減?。惶岣吣Ｐ偷臄M合優(yōu)度，因?yàn)闃颖緟?shù)估計(jì)量的標(biāo)準(zhǔn)差與殘差平方和呈正比，模型優(yōu)度越高，殘差平方和應(yīng)越小。提高樣本觀測值的分散度,一般情況下，樣本觀測值越分散，(X’X)-1的分母的|X’X|的值越大，致使區(qū)間縮小。3、參數(shù)的置信區(qū)間

第15頁，課件共24頁，創(chuàng)作于2023年2月第六節(jié)預(yù)測1、點(diǎn)預(yù)測2、區(qū)間預(yù)測第16頁，課件共24頁，創(chuàng)作于2023年2月1、點(diǎn)預(yù)測點(diǎn)預(yù)測：將解釋變量的一組特定值代入回歸方程式即可求出被解釋變量Y0的點(diǎn)預(yù)測.第17頁，課件共24頁，創(chuàng)作于2023年2月2、區(qū)間預(yù)測

一、E(Y0)的置信區(qū)間

二、Y0的置信區(qū)間第18頁，課件共24頁，創(chuàng)作于2023年2月對(duì)于模型

給定樣本以外的解釋變量的觀測值X0=(1,X10,X20,…,Xk0)，可以得到被解釋變量的預(yù)測值：它可以是總體均值E(Y0)或個(gè)值Y0的預(yù)測。但嚴(yán)格地說，這只是被解釋變量的預(yù)測值的估計(jì)值，而不是預(yù)測值。為了進(jìn)行科學(xué)預(yù)測，還需求出預(yù)測值的置信區(qū)間，包括E(Y0)和Y0的置信區(qū)間。

2、區(qū)間預(yù)測

第19頁，課件共24頁，創(chuàng)作于2023年2月一、E(Y0)的置信區(qū)間易知

2、區(qū)間預(yù)測

第20頁，課件共24頁，創(chuàng)作于2023年2月容易證明

于是，得到(1-)的置信水平下E(Y0)的置信區(qū)間：

其中，t/2為(1-)的置信水平下的臨界值。2、區(qū)間預(yù)測

第21頁，課件共24頁，創(chuàng)作于2023年2月二、Y0的置信區(qū)間

如果已經(jīng)知道實(shí)際的預(yù)測值Y0，那么預(yù)測誤差為：容易