標(biāo)準(zhǔn)線性回歸模型PPT課件

1、標(biāo)準(zhǔn)線性回歸模型 第二章 標(biāo)準(zhǔn)線性回歸模型 標(biāo)準(zhǔn)線性回歸模型 n回歸（regression）的含義 英國統(tǒng)計學(xué)家Galton和其學(xué)生Pearson研究父母身高與 其子女身高的遺傳問題，觀察了1078對父母，以每對 父母身高為x，取他們一個成年兒子的身高為y，將結(jié) 果繪成散點圖，發(fā)現(xiàn)趨勢近乎一條直線（父母平均身 高68吋，成年兒子平均身高69吋）： y=33.73+0.516x 可以發(fā)現(xiàn)： x=72吋，y=70.89吋； x=64吋，y=66.75吋； 標(biāo)準(zhǔn)線性回歸模型 一、回歸模型的思想 n經(jīng)濟(jì)變量之間的關(guān)系有兩類： 確定性關(guān)系和非確定性關(guān)系，所謂確定 性關(guān)系是指一個變量的變化能完全決定 另一

2、個變量的變化： 價格一定時，銷量與銷售額 利息率一定，存入本金與到期本息 標(biāo)準(zhǔn)線性回歸模型 一、回歸模型的思想 標(biāo)準(zhǔn)線性回歸模型 一、回歸模型的思想 n更多出現(xiàn)的情況是：存在密切聯(lián)系但并 非完全決定 居民收入與消費密切相關(guān)，但不能完全 決定消費 廣告費支出與銷售額密切相關(guān)，但不能 完全決定銷售額 標(biāo)準(zhǔn)線性回歸模型 一、回歸模型的思想 n不完全決定的原因在于： v還有其他影響因素 標(biāo)準(zhǔn)線性回歸模型 一、回歸模型的思想 n將數(shù)據(jù)點的分布理解為如下機(jī)制所產(chǎn)生 的結(jié)果： 為隨機(jī)干擾項 為自變量或解釋變量 為因變量或被解釋變量 i i i iii u X Y uXY 10 標(biāo)準(zhǔn)線性回歸模型 一、回歸模型

3、的思想 n隨機(jī)干擾項的意義 將各種次要變量作了綜合處理，保證了 分析的可操作性 標(biāo)準(zhǔn)線性回歸模型 一、回歸模型的思想 n假定隨機(jī)干擾項的均值為0，則有： n回歸模型的目標(biāo)就是用樣本數(shù)據(jù)估計出 參數(shù)的值，據(jù)此就可以根據(jù)X的變化估計 Y的平均變化 iii ii XXYE XYE 10 10 | 標(biāo)準(zhǔn)線性回歸模型 一、回歸模型的思想 標(biāo)準(zhǔn)線性回歸模型 二、參數(shù)估計方法 標(biāo)準(zhǔn)線性回歸模型 二、參數(shù)估計方法 標(biāo)準(zhǔn)線性回歸模型 二、參數(shù)估計方法 n通常采用最小二乘法（Least Square Estimation）來得到參數(shù)的估計量 n其目標(biāo)函數(shù)是： ii iii XY XYEY 10 min |min

4、n i i n i ii e XY 0 2 , 0 2 10 , 10 10 min min 標(biāo)準(zhǔn)線性回歸模型 二、參數(shù)估計方法 ( (X Xn n , , Y Y n n) ) ( (X X1 1 , , Y Y 1 1) ) ( (X X2 2 , , Y Y 2 2) ) ( (X X i i , , Y Y i i ) ) iii YYe XY 10 Y X 標(biāo)準(zhǔn)線性回歸模型 二、參數(shù)估計方法 n滿足目標(biāo)函數(shù)的參數(shù)值記為 ： 10 ， n i iiXY n i iXX XXXY YYXXlXXl ll XY 11 2 1 10 , 標(biāo)準(zhǔn)線性回歸模型 二、參數(shù)估計方法 n多元回歸模型 n

5、nknnnn iikniii kn kn uXXXY uXXXY uXXXY uXXXY 22110 22110 2222221102 1112211101 標(biāo)準(zhǔn)線性回歸模型 二、參數(shù)估計方法 n模型的矩陣表示 111121 221222 12 01 12 1 1 1 k k nnnnk kn YXu YXXX YXXX YX YXXX u u u u 標(biāo)準(zhǔn)線性回歸模型 二、參數(shù)估計方法 YXXX 1 標(biāo)準(zhǔn)線性回歸模型 回歸模型 ii iii iii XY XXYE uXY 10 10 10 uXY YXXX XY XXYE 1 標(biāo)準(zhǔn)線性回歸模型 三、不確定性的測度 n不確定性知識 + 所含不

6、確定性量度的知識 = 可用的知識 C.R. Rao 標(biāo)準(zhǔn)線性回歸模型 三、不確定性的測度 標(biāo)準(zhǔn)線性回歸模型 三、不確定性的測度 標(biāo)準(zhǔn)線性回歸模型 三、不確定性的測度 1）無偏性 假設(shè)：X是非隨機(jī)的設(shè)計矩陣 n無偏性意味著估計量沒有高估或低估的 系統(tǒng)傾向 E 標(biāo)準(zhǔn)線性回歸模型 三、不確定性的測度 2）方差 n含義：估計量方差與隨機(jī)項方差、自變量取值 范圍、樣本量等有關(guān) 2 1 2 2 0 1 2 2 1 1 var var n i i n i i XX X n XX 標(biāo)準(zhǔn)線性回歸模型 三、不確定性的測度 1 2 cov XX 1 2 11 11 11 11 11 cov XX XXXuuEXXX

7、 XXXuuXXXE uXXXuXXXE uXXXXuXXXXE YXXXYXXXE E 標(biāo)準(zhǔn)線性回歸模型 三、不確定性的測度 假設(shè)：Gauss-Markov條件 2 2 2 00 00 00 cov u 0uE 標(biāo)準(zhǔn)線性回歸模型 三、不確定性的測度 2 10 2 2 00 2 11 cov 1 , , XX XX XX l X l X n N l N 標(biāo)準(zhǔn)線性回歸模型 三、不確定性的測度 對回歸系數(shù)進(jìn)行檢驗 n檢驗?zāi)繕?biāo)： n檢驗統(tǒng)計量為： 0 0 1 0 i i H H ： ： XX l N 2 11 , 2 / 1 nt ls t XX 標(biāo)準(zhǔn)線性回歸模型 三、不確定性的測度 F檢驗 總平方

8、和（SST）=殘差平方和（SSR） +回歸平方和（SSE） 0 0, 0, 0 1 210 ：不全為 ： H H k SSESSR YYYY YYYYYYYY YYYY YYSST iii iiiiii iii i 22 22 2 2 2 標(biāo)準(zhǔn)線性回歸模型 三、不確定性的測度 n如果隨機(jī)項滿足Gauss-Markov條件，則原 假設(shè)成立時有： 1 1 knkF knSSR kSSE F， 標(biāo)準(zhǔn)線性回歸模型 三、不確定性的測度 1 1 1 2 cov cov e eu P Pu P e eu Pu E e eE uIX X XXu xn E XXAn n E x Axtr AA E e etrI

9、X X XXu tr IX X XX 是投影陣 根據(jù)如下定理： 設(shè) 為 維隨機(jī)向量，期望和協(xié)方差存在，記 ，若 為常數(shù)陣，則 標(biāo)準(zhǔn)線性回歸模型 三、不確定性的測度 1 1 1 2 2 2 1 2 kn ee kn eeE kn XXXtrXtrIeeE 標(biāo)準(zhǔn)線性回歸模型 四、假設(shè)下估計量的最優(yōu)性質(zhì) 最小二乘估計量是所有對總體參數(shù)的線 性無偏估計量中方差最小的 但并不意味著就是方差最小的估計量 BLUE是 （Best Linear Unbiased Estimator） 標(biāo)準(zhǔn)線性回歸模型 四、假設(shè)下估計量的最優(yōu)性質(zhì) n證明 的最小二乘估計是維向量，是任一，其中無偏估計為 的最小方差的任一線性函數(shù)

10、時，假定 1 2 kcc cIYDXYE bXXXXbcXXcc bbbYDbYb cXb cXbYbE cYb 1 2 1 2 2 var var 又因為： 則有 有：則對一切的任一線性無偏估計，是設(shè) 標(biāo)準(zhǔn)線性回歸模型 四、假設(shè)下估計量的最優(yōu)性質(zhì) 0 varvar , varvar var var 2 1 1 2 1 2 1 2 2 cYb PPPPXXXXI bXXXXIbcYb bXXXXbcXXcc bbbYDbYb cXb cXbYbE cYb 投影矩陣為非負(fù)定陣 ）為投影矩陣（ 又因為： 則有 有：則對一切的任一線性無偏估計，是設(shè) 標(biāo)準(zhǔn)線性回歸模型 模型的基本假定 1）如果樣本量為n，解釋變量數(shù)量為k，則 2）自變量之間不存在密切的線性關(guān)系 存在完全線性關(guān)系 1 kn 0 ij XX 標(biāo)準(zhǔn)線性回歸模型 模型的基本假定 n要獲得估計，必須能夠求逆，要求： YXXX 1 1 1 1 ,min 1 0 kn kXrk kXXrk BrkArkABrk kXX XX 由 階滿秩矩陣為 標(biāo)準(zhǔn)線性回歸模型 模型的基本假定