實(shí)驗(yàn)優(yōu)化設(shè)計(jì)-多元線性回歸模型課件

1、 多元線性回歸模型多元線性回歸模型 多元線性回歸模型的參數(shù)估計(jì)多元線性回歸模型的參數(shù)估計(jì) 多元線性回歸模型的假設(shè)檢驗(yàn)多元線性回歸模型的假設(shè)檢驗(yàn) 實(shí)例實(shí)例一、多元線性回歸模型一、多元線性回歸模型 二、多元線性回歸模型的基本假定二、多元線性回歸模型的基本假定 多元線性回歸模型多元線性回歸模型:表現(xiàn)在線性回歸模型中的解釋變量有多個(gè)。 一般表現(xiàn)形式一般表現(xiàn)形式：ikikiiiXXXY 22110i=1,2,n其中:k為解釋變量的數(shù)目，j稱為回歸參數(shù)回歸參數(shù)（regression coefficient）。ikikiiiXXXY 22110總體回歸函數(shù)總體回歸函數(shù)為為:kikiikiiiiXXXXXXY

2、E 2211021),|(總體回歸函數(shù)的隨機(jī)表達(dá)形式為總體回歸函數(shù)的隨機(jī)表達(dá)形式為可以看到是對應(yīng)于一元線形回歸模型的，是一元線性回歸模型的可以看到是對應(yīng)于一元線形回歸模型的，是一元線性回歸模型的自然引申與擴(kuò)展！自然引申與擴(kuò)展！ j也被稱為偏回歸系數(shù)，偏回歸系數(shù)，表示在其他解釋變量保持不變的情況下，X j每變化1個(gè)單位時(shí)，Y的均值E(Y)的變化; 或者說j給出了X j的單位變化對Y均值的“直接”或“凈”（不含其他變量）影響。kikiiiiXXXY22110其其隨機(jī)表示式隨機(jī)表示式: : ikikiiiieXXXY22110 ei稱為殘差殘差或剩余項(xiàng)剩余項(xiàng)(residuals)，可看成是總體回歸函

3、數(shù)中隨機(jī)擾動(dòng)項(xiàng) i的近似替代。 用于估計(jì)總體回歸函數(shù)的樣本回歸函數(shù)是用于估計(jì)總體回歸函數(shù)的樣本回歸函數(shù)是 假設(shè)1，解釋變量是非隨機(jī)的或固定的，且各X之間互不相關(guān)（無多重共線性）。 假設(shè)2，隨機(jī)誤差項(xiàng)具有零均值、同方差及不序列相關(guān)性。0)(iE22)()(iiEVar0)(),(jijiECovnjiji, 2 , 1, 假設(shè)3，解釋變量與隨機(jī)項(xiàng)不相關(guān) 0),(ijiXCovkj,2 , 1 假設(shè)4，隨機(jī)項(xiàng)滿足正態(tài)分布 ), 0(2Ni 一、普通最小二乘估計(jì)一、普通最小二乘估計(jì) 二、參數(shù)估計(jì)量的性質(zhì)二、參數(shù)估計(jì)量的性質(zhì) 三、樣本容量問題三、樣本容量問題 四、估計(jì)實(shí)例四、估計(jì)實(shí)例 估計(jì)方法：估計(jì)方

4、法：OLS（普通最小二乘法）（普通最小二乘法） 對于隨機(jī)抽取的n組觀測值kjniXYjii, 2 , 1 , 0, 2 , 1),(如果樣本函數(shù)樣本函數(shù)的參數(shù)估計(jì)值已經(jīng)得到，則有： KikiiiiXXXY22110i=1,2n 根據(jù)最最小二乘原小二乘原理理，參數(shù)估計(jì)值應(yīng)該是右列方程組的解 0000210QQQQk其中2112)(niiiniiYYeQ2122110)(nikikiiiXXXY 于是得到關(guān)于待估參數(shù)估計(jì)值的正規(guī)方程組正規(guī)方程組： kiikikikiiiiikikiiiiiikikiiikikiiXYXXXXXYXXXXXYXXXXYXXX)()()()(2211022221101

5、12211022110 解該（k+1） 個(gè)方程組成的線性代數(shù)方程組，即可得到(k+1) 個(gè)待估參數(shù)的估計(jì)值$, , ,jj 012 。k隨機(jī)誤差項(xiàng)隨機(jī)誤差項(xiàng) 的方差的方差 的無偏估計(jì)的無偏估計(jì) 可以證明，隨機(jī)誤差項(xiàng)的方差的無偏估計(jì)量為： 在滿足基本假設(shè)的情況下，其結(jié)構(gòu)參數(shù) 的普通最小二乘估計(jì)具有： 線性性線性性、無偏性無偏性、有效性有效性。-也就是滿足高斯-馬爾柯夫定理 所謂“最小樣本容量最小樣本容量”，即從最小二乘原理和最大或然原理出發(fā)，欲得到參數(shù)估計(jì)量，不管其質(zhì)量如何，所要求的樣本容量的下限。 最小樣本容量最小樣本容量 樣本最小容量必須不少于模型中解釋變量樣本最小容量必須不少于模型中解釋變

6、量的數(shù)目（包括常數(shù)項(xiàng)）的數(shù)目（包括常數(shù)項(xiàng)）,即 n k+1 2 2、滿足基本要求的樣本容量、滿足基本要求的樣本容量 從統(tǒng)計(jì)檢驗(yàn)的角度從統(tǒng)計(jì)檢驗(yàn)的角度：n-k8時(shí), t分布較為穩(wěn)定 一般經(jīng)驗(yàn)認(rèn)為一般經(jīng)驗(yàn)認(rèn)為: 當(dāng)n30或者至少n3(k+1)時(shí)，才能說滿足模型估計(jì)的基本要求。 模型的良好性質(zhì)只有在大樣本下才能得到理模型的良好性質(zhì)只有在大樣本下才能得到理論上的證明論上的證明 一、擬合優(yōu)度檢驗(yàn)一、擬合優(yōu)度檢驗(yàn) 二、方程的顯著性檢驗(yàn)二、方程的顯著性檢驗(yàn)(F(F檢驗(yàn)檢驗(yàn)) ) 三、變量的顯著性檢驗(yàn)（三、變量的顯著性檢驗(yàn)（t t檢驗(yàn)）檢驗(yàn)） 四、參數(shù)的置信區(qū)間四、參數(shù)的置信區(qū)間 1、判定系數(shù)與調(diào)整的判定系數(shù)

7、、判定系數(shù)與調(diào)整的判定系數(shù)則2222)()(2)()()()(YYYYYYYYYYYYYYTSSiiiiiiiiii 總離差平方和的分解總離差平方和的分解由于: )()(YYeYYYYiiiiikiikiiieYXeXee110=0所以有： ESSRSSYYYYTSSiii22)()(注意：一個(gè)有趣的現(xiàn)象注意：一個(gè)有趣的現(xiàn)象 222222YYYYYYYYYYYYYYYYYYiiiiiiiiiiii 判定系數(shù)判定系數(shù)TSSRSSTSSESSR12該統(tǒng)計(jì)量越接近于1，模型的擬合優(yōu)度越高。 問題：問題：在應(yīng)用過程中發(fā)現(xiàn)，如果在模型中增加一個(gè)解釋變量， R2往往增大（Why?) 這就給人一個(gè)錯(cuò)覺一個(gè)錯(cuò)

8、覺：要使得模型擬合得好，要使得模型擬合得好，只要增加解釋變量即可只要增加解釋變量即可。 但是，現(xiàn)實(shí)情況往往是，由增加解釋變量個(gè)數(shù)引起的R2的增大與擬合好壞無關(guān)，R2需調(diào)整需調(diào)整。 調(diào)整的判定系數(shù)調(diào)整的判定系數(shù)（adjusted coefficient of determination） 在樣本容量一定的情況下，增加解釋變量必定使得自由度減少，所以調(diào)整的思路是:將殘差平將殘差平方和與總離差平方和分別除以各自的自由度，以方和與總離差平方和分別除以各自的自由度，以剔除變量個(gè)數(shù)對擬合優(yōu)度的影響剔除變量個(gè)數(shù)對擬合優(yōu)度的影響:) 1/() 1/(12nTSSknRSSR其中：n-k-1為殘差平方和的自由度

9、，n-1為總體平方和的自由度。 為了比較所含解釋變量個(gè)數(shù)不同的多元回歸模型的擬合優(yōu)度，常用的標(biāo)準(zhǔn)還有: 赤池信息準(zhǔn)則赤池信息準(zhǔn)則（Akaike information criterion, AIC）nknAIC) 1(2lnee施瓦茨準(zhǔn)則施瓦茨準(zhǔn)則（Schwarz criterion，SC） nnknAClnlnee 這兩準(zhǔn)則均要求這兩準(zhǔn)則均要求僅當(dāng)所增加的解釋變量能夠僅當(dāng)所增加的解釋變量能夠減少減少AICAIC值或值或ACAC值時(shí)才在原模型中增加該解釋變量值時(shí)才在原模型中增加該解釋變量。 方程的顯著性檢驗(yàn)，旨在對模型中被解釋變方程的顯著性檢驗(yàn)，旨在對模型中被解釋變量與解釋變量之間的線性關(guān)系量

10、與解釋變量之間的線性關(guān)系在總體上在總體上是否顯著是否顯著成立作出推斷。成立作出推斷。 1、方程顯著性的、方程顯著性的F檢驗(yàn)檢驗(yàn) 即檢驗(yàn)?zāi)Ｐ?Yi=0+1X1i+2X2i+ +kXki+i i=1,2, ,n中的參數(shù)j是否顯著不為0。 可提出如下原假設(shè)與備擇假設(shè)： H0： 0=1=2= =k=0 H1： j不全為0 F F檢驗(yàn)的思想檢驗(yàn)的思想來自于總離差平方和的分解式： TSS=ESS+RSS由于回歸平方和2iyESS是解釋變量X的聯(lián)合體對被解釋變量Y的線性作用的結(jié)果，考慮比值 22/iieyRSSESS 如果這個(gè)比值較大，則X的聯(lián)合體對Y的解釋程度高，可認(rèn)為總體存在線性關(guān)系，反之總體上可能不存

11、在線性關(guān)系。 因此因此, ,可通過該比值的大小對總體線性關(guān)系可通過該比值的大小對總體線性關(guān)系進(jìn)行推斷進(jìn)行推斷。 根據(jù)數(shù)理統(tǒng)計(jì)學(xué)中的知識，在原假設(shè)H0成立的條件下，統(tǒng)計(jì)量 （注：這里的k是在回歸元的個(gè)數(shù)而不是變量的個(gè)數(shù)，要注意k的具體含義）) 1/(/knRSSkESSF服從自由度為(k , n-k-1)的F分布。 給定顯著性水平，可得到臨界值F(k,n-k-1)，由樣本求出統(tǒng)計(jì)量F的數(shù)值，通過 F F(k,n-k-1) 或 FF(k,n-k-1)來拒絕或接受原假設(shè)H0，以判定原方程總體上總體上的線性關(guān)系是否顯著成立。 對于中國居民人均消費(fèi)支出的例子： 一元模型：F=285.92 二元模型：F=

12、2057.3給定顯著性水平 =0.05，查分布表，得到臨界值： 一元例：F(1,21)=4.32 二元例： F(2,19)=3.52顯然有 F F(k,n-k-1) ，即二個(gè)模型的線性關(guān)系在5%的顯著性水平下顯著成立。由) 1/() 1/(12nTSSknRSSR) 1/(/knRSSkESSF可推出：kFknnR1112與或) 1/()1 (/22knRkRF 注：課本上是F與R2的關(guān)系，因?yàn)榕卸ㄏ禂?shù)和校正的判定系數(shù)之間的關(guān)系，所以此三者的關(guān)系的推導(dǎo)是很顯然的。 方程的總體線性總體線性關(guān)系顯著 每個(gè)解釋變量每個(gè)解釋變量對被解釋變量的影響都是顯著的。 因此，必須對每個(gè)解釋變量進(jìn)行顯著性檢驗(yàn)，以

13、決定是否作為解釋變量被保留在模型中。 這一檢驗(yàn)是由對變量的這一檢驗(yàn)是由對變量的 t 檢驗(yàn)完成的。檢驗(yàn)完成的。 1、t統(tǒng)計(jì)量統(tǒng)計(jì)量 ),(2iiiicN因此，可構(gòu)造如下t統(tǒng)計(jì)量 2、t檢驗(yàn)檢驗(yàn) 設(shè)計(jì)原假設(shè)與備擇假設(shè)： H1：i0 給定顯著性水平，可得到臨界值t/2(n-k-1)，由樣本求出統(tǒng)計(jì)量t的數(shù)值，通過 |t| t/2(n-k-1) 或 |t|t/2(n-k-1)來拒絕或接受原假設(shè)H0，從而判定對應(yīng)的解釋變判定對應(yīng)的解釋變量是否應(yīng)包括在模型中。量是否應(yīng)包括在模型中。 H0：i=0 （i=1,2k） 注意：注意：一元線性回歸中，一元線性回歸中，t t檢驗(yàn)與檢驗(yàn)與F F檢驗(yàn)一致檢驗(yàn)一致 （不過

14、多元的就沒那么簡單的關(guān)系了?。?一方面一方面，t檢驗(yàn)與F檢驗(yàn)都是對相同的原假設(shè)H0： 1=0=0 進(jìn)行檢驗(yàn); 另一方面另一方面，兩個(gè)統(tǒng)計(jì)量之間有如下關(guān)系： 在中國居民人均收入中國居民人均收入-消費(fèi)支出消費(fèi)支出二元模型二元模型例中，由應(yīng)用軟件計(jì)算出參數(shù)的t值：651. 2630. 3306. 3210ttt 給定顯著性水平=0.05，查得相應(yīng)臨界值： t0.025(19) =2.093。 可見，計(jì)算的所有計(jì)算的所有t值都大于該臨界值值都大于該臨界值，所以拒絕原假設(shè)。即:包括常數(shù)項(xiàng)在內(nèi)的包括常數(shù)項(xiàng)在內(nèi)的3個(gè)解釋變量都在個(gè)解釋變量都在5%的顯著的顯著性水平下顯著，都通過了變量顯著性檢驗(yàn)。性水平下顯著

15、，都通過了變量顯著性檢驗(yàn)。 參數(shù)的置信區(qū)間參數(shù)的置信區(qū)間用來考察：在一次抽樣中所在一次抽樣中所估計(jì)的參數(shù)值離參數(shù)的真實(shí)值有多估計(jì)的參數(shù)值離參數(shù)的真實(shí)值有多“近近”。 在變量的顯著性檢驗(yàn)中已經(jīng)知道：在變量的顯著性檢驗(yàn)中已經(jīng)知道：容易推出容易推出：在(1-)的置信水平下i的置信區(qū)間是 ($,$)$iitstsii22 其中，t/2為顯著性水平為 、自由度為n-k-1的臨界值。 如何才能縮小置信區(qū)間？如何才能縮小置信區(qū)間？ 增大樣本容量增大樣本容量n n，因?yàn)樵谕瑯拥臉颖救萘肯?，n越大，t分布表中的臨界值越小，同時(shí)，增大樣本容量，還可使樣本參數(shù)估計(jì)量的標(biāo)準(zhǔn)差減小； 提高模型的擬合優(yōu)度提高模型的擬合優(yōu)

16、度，因?yàn)闃颖緟?shù)估計(jì)量的標(biāo)準(zhǔn)差與殘差平方和呈正比，模型優(yōu)度越高，殘差平方和應(yīng)越小。 提高樣本觀測值的分散度，也就是說變量必提高樣本觀測值的分散度，也就是說變量必須變化大。須變化大。鄒氏參數(shù)穩(wěn)定性檢驗(yàn)鄒氏參數(shù)穩(wěn)定性檢驗(yàn) 建立模型時(shí)往往希望模型的參數(shù)是穩(wěn)定的，即所謂的結(jié)構(gòu)不變結(jié)構(gòu)不變，這將提高模型的預(yù)測與分析功能。如何檢驗(yàn)？如何檢驗(yàn)？ 假設(shè)需要建立的模型需要建立的模型為kkXXY110在兩個(gè)連續(xù)的時(shí)間序列（1,2,，n1）與（n1+1,，n1+n2）中，相應(yīng)的模型分別為：1110kkXXY2110kkXXY因此，檢驗(yàn)的F統(tǒng)計(jì)量為：)1(2,)1(2/ )(2121knnkFknnRSSkRSSRS

17、SFUUR 記RSS1與RSS2為在兩時(shí)間段上分別回歸后所得的殘差平方和，容易驗(yàn)證，21RSSRSSRSSU于是)1(2,)1(2/)(/)(21212121knnkFknnRSSRSSkRSSRSSRSSFR參數(shù)穩(wěn)定性的檢驗(yàn)步驟：參數(shù)穩(wěn)定性的檢驗(yàn)步驟： （1）分別以兩連續(xù)時(shí)間序列作為兩個(gè)樣本進(jìn)行回歸，得到相應(yīng)的殘差平方： RSS1與RSS2 （2）將兩序列并為一個(gè)大樣本后進(jìn)行回歸，得到大樣本下的殘差平方和RSSR （3）計(jì)算F統(tǒng)計(jì)量的值，與臨界值比較： 若F值值大于臨界值臨界值，則拒絕原假設(shè)，認(rèn)為發(fā)生了結(jié)構(gòu)變化，參數(shù)是非穩(wěn)定的。的。 該檢驗(yàn)也被稱為鄒氏參數(shù)穩(wěn)定性檢驗(yàn)鄒氏參數(shù)穩(wěn)定性檢驗(yàn)（Chow test for parameter stability）。）。 例例3.6.2 中國城鎮(zhèn)居民食品人均消費(fèi)需求的鄒氏檢驗(yàn)。 1、參數(shù)穩(wěn)定性檢驗(yàn)、參數(shù)穩(wěn)定性檢驗(yàn)19811994：)ln(92. 0)ln(08. 0)ln(05. 163. 3)ln(01PPXQRSS1=0.003240 19952001：01ln71. 0ln06. 3ln55. 078.13lnPPXQ (9.96) (7.14) (-5.13) (1.81