第三章多元線性回歸ppt課件

1、 3.1 3.1 多元線性回歸模型多元線性回歸模型 3.2 3.2 多元線性回歸模型的參數(shù)估計(jì)多元線性回歸模型的參數(shù)估計(jì) 3.3 3.3 多元線性回歸模型的統(tǒng)計(jì)檢驗(yàn)多元線性回歸模型的統(tǒng)計(jì)檢驗(yàn) 3.4 3.4 多元線性回歸模型的預(yù)測多元線性回歸模型的預(yù)測 3.5 3.5 可線性化的多元非線性回歸模型可線性化的多元非線性回歸模型 3.6 3.6 受約束回歸受約束回歸一、模型方式一、模型方式二、根本假定二、根本假定 留意：留意：1 1解釋變量解釋變量X X的個(gè)數(shù)：的個(gè)數(shù)：k k 回歸系數(shù)回歸系數(shù) j j的個(gè)數(shù)：的個(gè)數(shù)：k k1 1 2 2j j：偏回歸系數(shù)，表示了：偏回歸系數(shù)，表示了XjXj對對Y

2、Y的凈影響的凈影響 3 3X X的第一個(gè)下標(biāo)的第一個(gè)下標(biāo) j j 區(qū)分變量區(qū)分變量j j1 1，2 2，k k 第二個(gè)下標(biāo)第二個(gè)下標(biāo) i i 區(qū)分觀測區(qū)分觀測i i1 1，2 2，nn1,2,in 011220100.(1)iiikkiikjjiijkjjiijYXXXXXX kikiikiiiiXXXXXXYE 2211021),|(kikiiiiXXXY22110ikikiiiieXXXY22110其中：其中：ei ei 稱為殘差稱為殘差 (residuals)(residuals)，可看成是隨機(jī)誤差項(xiàng)，可看成是隨機(jī)誤差項(xiàng) i i的近似替代。的近似替代。 XY)1(212221212111

3、111knknnnkkXXXXXXXXXX1)1(210kk121nn1321 nnYYYYY1231nnYYYYY k10neee21eXYeXYnnEE11)( 21121nnnEI22211100)var(),cov(),cov()var(nnn),(2I0N假設(shè)假設(shè)5 5：樣本容量趨于無窮時(shí)，各解釋變量的方差趨于有界常數(shù)，即：樣本容量趨于無窮時(shí)，各解釋變量的方差趨于有界常數(shù)，即n n時(shí)，時(shí)， jjjijiQXXnxn22)(11Qxxn1knnkxxxx1111x一、普通最小二乘估計(jì)一、普通最小二乘估計(jì)二、參數(shù)估計(jì)量的性質(zhì)二、參數(shù)估計(jì)量的性質(zhì)三、樣本容量問題三、樣本容量問題1 1、估計(jì)

4、目的：回歸系數(shù)、估計(jì)目的：回歸系數(shù)jj、隨機(jī)誤差項(xiàng)方差、隨機(jī)誤差項(xiàng)方差222 2、估計(jì)方法：、估計(jì)方法：OLSOLS、MLML或者或者M(jìn)MMM根本思想：殘差平方和最小根本思想：殘差平方和最小基于獲得最小值的條件獲得系數(shù)估計(jì)基于獲得最小值的條件獲得系數(shù)估計(jì) 2112)(niiiniiYYeQ2122110)(nikikiiiXXXY0000210QQQQkkiikikikiiiiikikiiiiiikikiiikikiiXYXXXXXYXXXXXYXXXXYXXX)()()()(221102222110112211022110nknkknkkiikikikiiiikiiYYYXXXXXXXXXX

5、XXXXXXn212111211102112111111YXX)X(YXXX1)(0)()(XYXY0)(XXXYYXYY0)2(XXXYYY0XXYXYXXX1)(XXYX對對稱稱陣陣）為為（nn(2)()(),(;),()2121 BBBAAaaaAABABnn 2()()iQeeeYXYX 53650000215002150010111111)(22121iiinnXXXnXXXXXXXX39468400156741112121iiinnYXYYYYXXXYX0735. 10003. 00003. 07226. 0)(1EXX7770. 0172.10339648400156740735

6、. 10003. 00003. 07226. 021E2 1122knkneiee(1)e enk 1 1、根本原理：樣本觀測值出現(xiàn)的概率最大。、根本原理：樣本觀測值出現(xiàn)的概率最大。2 2、似然函數(shù)：、似然函數(shù)：)()(21)(212122222211022)2(1)2(1),(),(XYXYeeYYYPLnXXXYnnnkikiiin),(2XiNYi3 3、最大似然估計(jì)、最大似然估計(jì)MLEMLE：YXXX1)(1 1、OLSOLS估計(jì)是經(jīng)過得到一個(gè)關(guān)于參數(shù)估計(jì)值的正規(guī)方程組估計(jì)是經(jīng)過得到一個(gè)關(guān)于參數(shù)估計(jì)值的正規(guī)方程組YXX)X(并對它進(jìn)展求解而完成的。并對它進(jìn)展求解而完成的。XYXXXYX

7、XX(YX)0XYX)(E0)1X(YXnYXXX0XYX)(EYX 高斯高斯馬爾可夫定理馬爾可夫定理(Gauss-Markov theorem):(Gauss-Markov theorem):在給定經(jīng)典線性回歸的假定下，最小二乘估計(jì)量是具有在給定經(jīng)典線性回歸的假定下，最小二乘估計(jì)量是具有最小方差的線性無偏估計(jì)量，即最正確線性無偏估計(jì)量最小方差的線性無偏估計(jì)量，即最正確線性無偏估計(jì)量BLUEBLUE。CYYXXX1)(XXXX XXXYXXX11)()()()()()(1EEEEYXXX1)(XXXXXXX11)()()(I2)(E)(,(12 XXN 2j(,)jjjNc 最小樣本容量最小樣

8、本容量滿足根本要求的樣本容量滿足根本要求的樣本容量所謂所謂“最小樣本容量，即從最小二乘原理和最大或然原理出發(fā)，最小樣本容量，即從最小二乘原理和最大或然原理出發(fā)，欲得到參數(shù)估計(jì)量，不論其質(zhì)量如何，所要求的樣本容量的下限。欲得到參數(shù)估計(jì)量，不論其質(zhì)量如何，所要求的樣本容量的下限。樣本最小容量必需不少于模型中解釋變量的數(shù)目包括常數(shù)項(xiàng)樣本最小容量必需不少于模型中解釋變量的數(shù)目包括常數(shù)項(xiàng), ,即：即：n n k+1 k+1由于，無多重共線性要求：秩由于，無多重共線性要求：秩(X)=k+1(X)=k+1一、擬合優(yōu)度檢驗(yàn)一、擬合優(yōu)度檢驗(yàn)二、方程顯著性檢驗(yàn)二、方程顯著性檢驗(yàn)三、變量顯著性檢驗(yàn)三、變量顯著性檢驗(yàn)

9、 目的：測定樣本回歸函數(shù)對樣本觀測值的擬合嚴(yán)密程度目的：測定樣本回歸函數(shù)對樣本觀測值的擬合嚴(yán)密程度 目的：目的：R2、Adj(R2)TSSRSSTSSESSR121 1、定義：、定義：)1/()1/(12nTSSknRSSR11)1 (122knnRR用于比較因變量一樣，解釋變量個(gè)數(shù)不同的多元回歸模型的擬合優(yōu)度用于比較因變量一樣，解釋變量個(gè)數(shù)不同的多元回歸模型的擬合優(yōu)度 赤池信息準(zhǔn)那么赤池信息準(zhǔn)那么Akaike information criterion, AICAkaike information criterion, AICnknAIC) 1(2lneennknAClnlnee目的：檢驗(yàn)?zāi)?/p>

10、的：檢驗(yàn)Y與一切與一切X的線性關(guān)系在總體上能否成立的線性關(guān)系在總體上能否成立方法：方法：F檢驗(yàn)檢驗(yàn))1/(/knRSSkESSF1 1提出原假設(shè)和備擇假設(shè)：提出原假設(shè)和備擇假設(shè)：2 2在在H0H0成立的條件下，計(jì)算檢驗(yàn)統(tǒng)計(jì)量的值：成立的條件下，計(jì)算檢驗(yàn)統(tǒng)計(jì)量的值：)1/(/knRSSkESSF3 3給定顯著性程度給定顯著性程度，可得到臨界值：，可得到臨界值：F F(k,n-k-1) (k,n-k-1) 4 4假設(shè)假設(shè) F F F F(k,n-k-1)(k,n-k-1)，回絕原假設(shè)，總體線性關(guān)系成立，回絕原假設(shè)，總體線性關(guān)系成立 假設(shè)假設(shè) F F F F(k,n-k-1)(k,n-k-1)，接受

11、原假設(shè)，總體線性關(guān)系不成立，接受原假設(shè)，總體線性關(guān)系不成立) 1/() 1/(12nTSSknRSSR) 1/(/knRSSkESSFkFknnR1112)1/()1 (/22knRkRF目的：檢驗(yàn)?zāi)康模簷z驗(yàn)Y與某個(gè)與某個(gè)Xj的線性關(guān)系在總體上能否成立或者的線性關(guān)系在總體上能否成立或者 說說Xj對對Y能否存在顯著影響能否存在顯著影響方法：方法： t檢驗(yàn)檢驗(yàn)1122knkneiee2(,0 , ,1 2,)jjjjNjck (1)1jjjjjjjtt n kSeecn k jjtS 1 1、在一元線性回歸模型中，變量的顯著性、在一元線性回歸模型中，變量的顯著性t t檢驗(yàn)與方程的檢驗(yàn)與方程的F F

12、檢驗(yàn)是一致的檢驗(yàn)是一致的 一方面，二者檢驗(yàn)的假設(shè)一致：一方面，二者檢驗(yàn)的假設(shè)一致：110 0 另一方面，從檢驗(yàn)統(tǒng)計(jì)量來看：另一方面，從檢驗(yàn)統(tǒng)計(jì)量來看：F Ft2t22 2、在多元線性回歸模型中，二者的作用不同，并不等價(jià)、在多元線性回歸模型中，二者的作用不同，并不等價(jià)3 3、在多元回歸模型中，對各個(gè)變量的進(jìn)展、在多元回歸模型中，對各個(gè)變量的進(jìn)展t t檢驗(yàn)時(shí)，顯著性程度應(yīng)該一致檢驗(yàn)時(shí)，顯著性程度應(yīng)該一致4 4、t t檢驗(yàn)未經(jīng)過，闡明在給定的顯著性程度下，變量對檢驗(yàn)未經(jīng)過，闡明在給定的顯著性程度下，變量對Y Y沒有顯著性影響，沒有顯著性影響，但不要簡單的剔除變量，關(guān)鍵依然是調(diào)查變量在經(jīng)濟(jì)關(guān)系上能否對

13、因變但不要簡單的剔除變量，關(guān)鍵依然是調(diào)查變量在經(jīng)濟(jì)關(guān)系上能否對因變量有影響以及變量在模型及運(yùn)用中的作用，顯著性檢驗(yàn)起到驗(yàn)證的作用量有影響以及變量在模型及運(yùn)用中的作用，顯著性檢驗(yàn)起到驗(yàn)證的作用(1)jjjtt nks Pttt()22122()1jjjPtts 22()1jjjjjPtsts 22(,)jjjjtsts 一、均值一、均值E(Y0)的置信區(qū)間的置信區(qū)間二、個(gè)值二、個(gè)值Y0的置信區(qū)間的置信區(qū)間點(diǎn)預(yù)測點(diǎn)預(yù)測區(qū)間預(yù)測區(qū)間預(yù)測XY0Y)()()()(00YEEEYEXXX000)()()(20()X(XXX0000EEYVar0102000)()()(XXXXX)(XX)(X00EEYVar),(020XX)X(XX100NY) 1(knt)E(YY00010XX)X(X010000100)()()(22XXXXXXXXtYYEtY假設(shè)曾經(jīng)知道假設(shè)曾經(jīng)知道X=X0X=X0處的實(shí)踐個(gè)值處的實(shí)踐個(gè)值Y0Y0，那么預(yù)測誤差為：，那么預(yù)測誤差為：000YYe0)()()()(100000000XXXXXXXEEEeE)(1 ()()()(01022100200XXXXXXXXEeEeVar)(1 (,0(01020XXXXNe)(1(010220XXXXe)1(000kntYYte010000100)(1)(