多元線性回歸模型

1、多元線性回歸模型第1頁，共24頁，2022年，5月20日，13點37分，星期二1、方程的顯著性檢驗(F檢驗) 擬合優(yōu)度檢驗只能說明模型對樣本數(shù)據的近似情況。 方程的顯著性檢驗，旨在對模型中被解釋變量與解釋變量之間的線性關系在總體上是否顯著成立作出推斷。 方程顯著性的F檢驗 即檢驗模型 Yi=0+1X1i+2X2i+ +kXki+i i=1,2, ,n 中的參數(shù)j是否顯著不為0。 可提出如下原假設與備擇假設： H0： 0=1=2= =k=0 H1： j不全為0第2頁，共24頁，2022年，5月20日，13點37分，星期二 F檢驗的思想來自于總離差平方和的分解式： TSS=ESS+RSS 如果這個

2、比值較大，則X的聯(lián)合體對Y的解釋程度高，可認為總體存在線性關系，反之總體上可能不存在線性關系。 因此,可通過該比值的大小對總體線性關系進行推斷。1、方程的顯著性檢驗(F檢驗) 第3頁，共24頁，2022年，5月20日，13點37分，星期二 根據數(shù)理統(tǒng)計學中的知識，在原假設H0成立的條件下，統(tǒng)計量 服從自由度為(k , n-k-1)的F分布 給定顯著性水平，可得到臨界值F(k,n-k-1)，由樣本求出統(tǒng)計量F的數(shù)值，通過 F F(k,n-k-1) 或 FF(k,n-k-1)來拒絕或接受原假設H0，以判定原方程的線性關系是否顯著成立。 1、方程的顯著性檢驗(F檢驗) 第4頁，共24頁，2022年，

3、5月20日，13點37分，星期二關于擬合優(yōu)度檢驗與方程顯著性檢驗關系的討論 由可推出：與或1、方程的顯著性檢驗(F檢驗) 第5頁，共24頁，2022年，5月20日，13點37分，星期二1、方程的顯著性檢驗(F檢驗) 第6頁，共24頁，2022年，5月20日，13點37分，星期二2、變量的顯著性檢驗（t檢驗）方程的總體線性關系顯著每個解釋變量對被解釋變量的影響都是顯著的 因此，必須對每個解釋變量進行顯著性檢驗，以決定是否作為解釋變量被保留在模型中。 這一檢驗是由對變量的 t 檢驗完成的。第7頁，共24頁，2022年，5月20日，13點37分，星期二 t統(tǒng)計量 由于 以cii表示矩陣(XX)-1

4、主對角線上的第i個元素，于是參數(shù)估計量的方差為： 其中2為隨機誤差項的方差，在實際計算時，用它的估計量代替: 2、變量的顯著性檢驗（t檢驗）第8頁，共24頁，2022年，5月20日，13點37分，星期二因此，可構造如下t統(tǒng)計量 2、變量的顯著性檢驗（t檢驗）第9頁，共24頁，2022年，5月20日，13點37分，星期二t檢驗 設計原假設與備擇假設： H1：i0 給定顯著性水平，可得到臨界值t/2(n-k-1)，由樣本求出統(tǒng)計量t的數(shù)值，通過 |t| t/2(n-k-1) 或 |t|t/2(n-k-1)來拒絕或接受原假設H0，從而判定對應的解釋變量是否應包括在模型中。 H0：i=0 （i=1,2

5、k） 2、變量的顯著性檢驗（t檢驗）第10頁，共24頁，2022年，5月20日，13點37分，星期二注意：一元線性回歸中，t檢驗與F檢驗一致 在一元線性回歸中，由于解釋變量只有一個，不存在解釋變量聯(lián)合影響的整體檢驗問題，也就用不著進行F檢驗。實際上二者在一元情形下是一致的： 一方面，t檢驗與F檢驗都是對相同的原假設H0：1=0 進行檢驗; 另一方面，兩個統(tǒng)計量之間有如下關系： 2、變量的顯著性檢驗（t檢驗）第11頁，共24頁，2022年，5月20日，13點37分，星期二2、變量的顯著性檢驗（t檢驗）第12頁，共24頁，2022年，5月20日，13點37分，星期二即F統(tǒng)計量等于t統(tǒng)計量的平方。給

6、定顯著性水平 ，查F(1,n2)與t（n2），臨界值之間也存在這樣的關系。也就是說在一元情形下，對參數(shù)的顯著性檢驗（t檢驗）與對回歸總體線性的顯著性檢驗（F檢驗）是等價的。在多元線性回歸模型中，F(xiàn)檢驗與t檢驗是不同的。當對參數(shù)檢驗均顯著時，F(xiàn)檢驗一定是顯著的。但是當F檢驗顯著時，并不意味著對每一個回歸系數(shù)的t檢驗都是顯著的。2、變量的顯著性檢驗（t檢驗）第13頁，共24頁，2022年，5月20日，13點37分，星期二3、參數(shù)的置信區(qū)間 參數(shù)的置信區(qū)間用來考察：在一次抽樣中所估計的參數(shù)值離參數(shù)的真實值有多“近”。 在變量的顯著性檢驗中已經知道：容易推出：在(1-)的置信水平下i的置信區(qū)間是 其中

7、，t/2為顯著性水平為 、自由度為n-k-1的臨界值。 第14頁，共24頁，2022年，5月20日，13點37分，星期二如何才能縮小置信區(qū)間？ 增大樣本容量n，因為在同樣的樣本容量下，n越大，t分布表中的臨界值越小，同時，增大樣本容量，還可使樣本參數(shù)估計量的標準差減??；提高模型的擬合優(yōu)度，因為樣本參數(shù)估計量的標準差與殘差平方和呈正比，模型優(yōu)度越高，殘差平方和應越小。提高樣本觀測值的分散度,一般情況下，樣本觀測值越分散，(XX)-1的分母的|XX|的值越大，致使區(qū)間縮小。3、參數(shù)的置信區(qū)間 第15頁，共24頁，2022年，5月20日，13點37分，星期二第六節(jié) 預測1、點預測2、區(qū)間預測第16頁

8、，共24頁，2022年，5月20日，13點37分，星期二1、點預測點預測：將解釋變量 的一組特定值代入回歸方程式即可求出被解釋變量Y0的點預測.第17頁，共24頁，2022年，5月20日，13點37分，星期二2、區(qū)間預測 一、E(Y0)的置信區(qū)間 二、Y0的置信區(qū)間第18頁，共24頁，2022年，5月20日，13點37分，星期二對于模型 給定樣本以外的解釋變量的觀測值X0=(1,X10,X20,Xk0)，可以得到被解釋變量的預測值： 它可以是總體均值E(Y0)或個值Y0的預測。 但嚴格地說，這只是被解釋變量的預測值的估計值，而不是預測值。 為了進行科學預測，還需求出預測值的置信區(qū)間，包括E(Y0)和Y0的置信區(qū)間。 2、區(qū)間預測 第19頁，共24頁，2022年，5月20日，13點37分，星期二 一、E(Y0)的置信區(qū)間易知 2、區(qū)間預測 第20頁，共24頁，2022年，5月20日，13點37分，星期二容易證明 于是，得到(1-)的置信水平下E(Y0)的置信區(qū)間： 其中，t/2為(1-)的置信水平下的臨界值。2、區(qū)間預測 第21頁，共24頁，2022年，5月20日，13點37分，星期二 二、Y0的置信區(qū)間 如果已經知道實際的預測值Y0，那么預測誤差為：容易證明 2、區(qū)間預測 第22頁，共24頁，2022年