多元線性回歸模型

1、多元線性回歸模型第1頁(yè)，共24頁(yè)，2022年，5月20日，13點(diǎn)37分，星期二1、方程的顯著性檢驗(yàn)(F檢驗(yàn)) 擬合優(yōu)度檢驗(yàn)只能說(shuō)明模型對(duì)樣本數(shù)據(jù)的近似情況。 方程的顯著性檢驗(yàn)，旨在對(duì)模型中被解釋變量與解釋變量之間的線性關(guān)系在總體上是否顯著成立作出推斷。 方程顯著性的F檢驗(yàn) 即檢驗(yàn)?zāi)Ｐ?Yi=0+1X1i+2X2i+ +kXki+i i=1,2, ,n 中的參數(shù)j是否顯著不為0。 可提出如下原假設(shè)與備擇假設(shè)： H0： 0=1=2= =k=0 H1： j不全為0第2頁(yè)，共24頁(yè)，2022年，5月20日，13點(diǎn)37分，星期二 F檢驗(yàn)的思想來(lái)自于總離差平方和的分解式： TSS=ESS+RSS 如果這個(gè)

2、比值較大，則X的聯(lián)合體對(duì)Y的解釋程度高，可認(rèn)為總體存在線性關(guān)系，反之總體上可能不存在線性關(guān)系。 因此,可通過(guò)該比值的大小對(duì)總體線性關(guān)系進(jìn)行推斷。1、方程的顯著性檢驗(yàn)(F檢驗(yàn)) 第3頁(yè)，共24頁(yè)，2022年，5月20日，13點(diǎn)37分，星期二 根據(jù)數(shù)理統(tǒng)計(jì)學(xué)中的知識(shí)，在原假設(shè)H0成立的條件下，統(tǒng)計(jì)量 服從自由度為(k , n-k-1)的F分布 給定顯著性水平，可得到臨界值F(k,n-k-1)，由樣本求出統(tǒng)計(jì)量F的數(shù)值，通過(guò) F F(k,n-k-1) 或 FF(k,n-k-1)來(lái)拒絕或接受原假設(shè)H0，以判定原方程的線性關(guān)系是否顯著成立。 1、方程的顯著性檢驗(yàn)(F檢驗(yàn)) 第4頁(yè)，共24頁(yè)，2022年，

3、5月20日，13點(diǎn)37分，星期二關(guān)于擬合優(yōu)度檢驗(yàn)與方程顯著性檢驗(yàn)關(guān)系的討論 由可推出：與或1、方程的顯著性檢驗(yàn)(F檢驗(yàn)) 第5頁(yè)，共24頁(yè)，2022年，5月20日，13點(diǎn)37分，星期二1、方程的顯著性檢驗(yàn)(F檢驗(yàn)) 第6頁(yè)，共24頁(yè)，2022年，5月20日，13點(diǎn)37分，星期二2、變量的顯著性檢驗(yàn)（t檢驗(yàn)）方程的總體線性關(guān)系顯著每個(gè)解釋變量對(duì)被解釋變量的影響都是顯著的 因此，必須對(duì)每個(gè)解釋變量進(jìn)行顯著性檢驗(yàn)，以決定是否作為解釋變量被保留在模型中。 這一檢驗(yàn)是由對(duì)變量的 t 檢驗(yàn)完成的。第7頁(yè)，共24頁(yè)，2022年，5月20日，13點(diǎn)37分，星期二 t統(tǒng)計(jì)量 由于 以cii表示矩陣(XX)-1

4、主對(duì)角線上的第i個(gè)元素，于是參數(shù)估計(jì)量的方差為： 其中2為隨機(jī)誤差項(xiàng)的方差，在實(shí)際計(jì)算時(shí)，用它的估計(jì)量代替: 2、變量的顯著性檢驗(yàn)（t檢驗(yàn)）第8頁(yè)，共24頁(yè)，2022年，5月20日，13點(diǎn)37分，星期二因此，可構(gòu)造如下t統(tǒng)計(jì)量 2、變量的顯著性檢驗(yàn)（t檢驗(yàn)）第9頁(yè)，共24頁(yè)，2022年，5月20日，13點(diǎn)37分，星期二t檢驗(yàn) 設(shè)計(jì)原假設(shè)與備擇假設(shè)： H1：i0 給定顯著性水平，可得到臨界值t/2(n-k-1)，由樣本求出統(tǒng)計(jì)量t的數(shù)值，通過(guò) |t| t/2(n-k-1) 或 |t|t/2(n-k-1)來(lái)拒絕或接受原假設(shè)H0，從而判定對(duì)應(yīng)的解釋變量是否應(yīng)包括在模型中。 H0：i=0 （i=1,2

5、k） 2、變量的顯著性檢驗(yàn)（t檢驗(yàn)）第10頁(yè)，共24頁(yè)，2022年，5月20日，13點(diǎn)37分，星期二注意：一元線性回歸中，t檢驗(yàn)與F檢驗(yàn)一致 在一元線性回歸中，由于解釋變量只有一個(gè)，不存在解釋變量聯(lián)合影響的整體檢驗(yàn)問(wèn)題，也就用不著進(jìn)行F檢驗(yàn)。實(shí)際上二者在一元情形下是一致的： 一方面，t檢驗(yàn)與F檢驗(yàn)都是對(duì)相同的原假設(shè)H0：1=0 進(jìn)行檢驗(yàn); 另一方面，兩個(gè)統(tǒng)計(jì)量之間有如下關(guān)系： 2、變量的顯著性檢驗(yàn)（t檢驗(yàn)）第11頁(yè)，共24頁(yè)，2022年，5月20日，13點(diǎn)37分，星期二2、變量的顯著性檢驗(yàn)（t檢驗(yàn)）第12頁(yè)，共24頁(yè)，2022年，5月20日，13點(diǎn)37分，星期二即F統(tǒng)計(jì)量等于t統(tǒng)計(jì)量的平方。給

6、定顯著性水平 ，查F(1,n2)與t（n2），臨界值之間也存在這樣的關(guān)系。也就是說(shuō)在一元情形下，對(duì)參數(shù)的顯著性檢驗(yàn)（t檢驗(yàn)）與對(duì)回歸總體線性的顯著性檢驗(yàn)（F檢驗(yàn)）是等價(jià)的。在多元線性回歸模型中，F(xiàn)檢驗(yàn)與t檢驗(yàn)是不同的。當(dāng)對(duì)參數(shù)檢驗(yàn)均顯著時(shí)，F(xiàn)檢驗(yàn)一定是顯著的。但是當(dāng)F檢驗(yàn)顯著時(shí)，并不意味著對(duì)每一個(gè)回歸系數(shù)的t檢驗(yàn)都是顯著的。2、變量的顯著性檢驗(yàn)（t檢驗(yàn)）第13頁(yè)，共24頁(yè)，2022年，5月20日，13點(diǎn)37分，星期二3、參數(shù)的置信區(qū)間 參數(shù)的置信區(qū)間用來(lái)考察：在一次抽樣中所估計(jì)的參數(shù)值離參數(shù)的真實(shí)值有多“近”。 在變量的顯著性檢驗(yàn)中已經(jīng)知道：容易推出：在(1-)的置信水平下i的置信區(qū)間是 其中

7、，t/2為顯著性水平為 、自由度為n-k-1的臨界值。 第14頁(yè)，共24頁(yè)，2022年，5月20日，13點(diǎn)37分，星期二如何才能縮小置信區(qū)間？ 增大樣本容量n，因?yàn)樵谕瑯拥臉颖救萘肯?，n越大，t分布表中的臨界值越小，同時(shí)，增大樣本容量，還可使樣本參數(shù)估計(jì)量的標(biāo)準(zhǔn)差減??；提高模型的擬合優(yōu)度，因?yàn)闃颖緟?shù)估計(jì)量的標(biāo)準(zhǔn)差與殘差平方和呈正比，模型優(yōu)度越高，殘差平方和應(yīng)越小。提高樣本觀測(cè)值的分散度,一般情況下，樣本觀測(cè)值越分散，(XX)-1的分母的|XX|的值越大，致使區(qū)間縮小。3、參數(shù)的置信區(qū)間 第15頁(yè)，共24頁(yè)，2022年，5月20日，13點(diǎn)37分，星期二第六節(jié) 預(yù)測(cè)1、點(diǎn)預(yù)測(cè)2、區(qū)間預(yù)測(cè)第16頁(yè)

8、，共24頁(yè)，2022年，5月20日，13點(diǎn)37分，星期二1、點(diǎn)預(yù)測(cè)點(diǎn)預(yù)測(cè)：將解釋變量 的一組特定值代入回歸方程式即可求出被解釋變量Y0的點(diǎn)預(yù)測(cè).第17頁(yè)，共24頁(yè)，2022年，5月20日，13點(diǎn)37分，星期二2、區(qū)間預(yù)測(cè) 一、E(Y0)的置信區(qū)間 二、Y0的置信區(qū)間第18頁(yè)，共24頁(yè)，2022年，5月20日，13點(diǎn)37分，星期二對(duì)于模型 給定樣本以外的解釋變量的觀測(cè)值X0=(1,X10,X20,Xk0)，可以得到被解釋變量的預(yù)測(cè)值： 它可以是總體均值E(Y0)或個(gè)值Y0的預(yù)測(cè)。 但嚴(yán)格地說(shuō)，這只是被解釋變量的預(yù)測(cè)值的估計(jì)值，而不是預(yù)測(cè)值。 為了進(jìn)行科學(xué)預(yù)測(cè)，還需求出預(yù)測(cè)值的置信區(qū)間，包括E(Y0)和Y0的置信區(qū)間。 2、區(qū)間預(yù)測(cè) 第19頁(yè)，共24頁(yè)，2022年，5月20日，13點(diǎn)37分，星期二 一、E(Y0)的置信區(qū)間易知 2、區(qū)間預(yù)測(cè) 第20頁(yè)，共24頁(yè)，2022年，5月20日，13點(diǎn)37分，星期二容易證明 于是，得到(1-)的置信水平下E(Y0)的置信區(qū)間： 其中，t/2為(1-)的置信水平下的臨界值。2、區(qū)間預(yù)測(cè) 第21頁(yè)，共24頁(yè)，2022年，5月20日，13點(diǎn)37分，星期二 二、Y0的置信區(qū)間 如果已經(jīng)知道實(shí)際的預(yù)測(cè)值Y0，那么預(yù)測(cè)誤差為：容易證明 2、區(qū)間預(yù)測(cè) 第22頁(yè)，共24頁(yè)，2022年