第5章-多元線性回歸分析課件

1、第5章 多元線性回歸分析（ Multivariate Linear Regression Analysis） 1回歸分析的分類連續(xù)型因變量 (y) -線性或非線性回歸分析多個(gè)因變量(y1,y2yk)分類型因變量 (y) -Logistic 回歸分析時(shí)間序列因變量 (t) -時(shí)間序列分析生存時(shí)間因變量 (t) -生存風(fēng)險(xiǎn)回歸分析路徑分析結(jié)構(gòu)方程模型分析一個(gè)因變量 y2例如：各種回歸分析的比較3概念：多元線性回歸分析也稱復(fù)線性回歸分析（multiple linear regression analysis）,它研究一組自變量如何直接影響一個(gè)因變量。自變量（independent variable）

2、是指獨(dú)立自由變量的變量，用向量X表示；因變量（dependent variable)是指非獨(dú)立的、受其它變量影響的變量，用向量Y表示；由于模型僅涉及一個(gè)因變量，所以多元線性回歸分析也稱單變量線性回歸分析（univariate linear regression analysis）Multivariate linear regression4多元線性回歸分析的基本思想多元線性回歸分析：研究一個(gè)因變量與一組自變量的依存關(guān)系，即，研究一組自變量是如何直接影響一個(gè)因變量的。5一元線性回歸分析的數(shù)學(xué)模型模型： yi=+ xi + i (i=1,2n)i x y- 1 x1 y1 2 x2 y2 i xi

3、 yi n xn yn。xy0。一元線性回歸模型(xi, yi)iy =+x6模型： (i=1,2n)多元回歸分析數(shù)據(jù)格式編號(hào) 1X 2X jX mX Y 1 11X 12X jX1 mX1 1Y 2 21X 22X jX2 mX2 2Y i 1iX 2iX ijX imX iY n 1nX 2nX jnX mnX nY 注：樣本編號(hào)為i),2,1(niL=；變量個(gè)數(shù)為j),2,1(mjL= 7假定因變量Y與自變量 間存在如下關(guān)系：式中， 是常數(shù)項(xiàng)， 稱為偏回歸系數(shù)（partial regression coefficient）。 的含義為在其它自變量保持不變的條件下，自變量 改變一個(gè)單位時(shí)因

4、變量 的平均改變量。 為隨機(jī)誤差，又稱殘差（residual），它表示 的變化中不能由自變量 解釋的部分。多元線性回歸方程模型8二元線性回歸模型(觀察到的y)回歸面0ix1yx2(x1, x2)二元線性回歸分析的數(shù)學(xué)模型多元回歸方程9復(fù)相關(guān)系數(shù) 復(fù)相關(guān)系數(shù)又稱多重相關(guān)系數(shù)（multiple correlation coefficient），用于度量因變量的觀測(cè)值與預(yù)測(cè)值（計(jì)算值）之間的關(guān)系的強(qiáng)度，或者說(shuō)用于反映模型的總體擬合效果。復(fù)相關(guān)系數(shù)包含了所有自變量與因變量的相關(guān)信息，其定義類似于一元線性回歸中的相關(guān)系數(shù)，計(jì)算公式為多元回歸分析中的幾個(gè)相關(guān)系數(shù)10簡(jiǎn)單相關(guān)系數(shù) 簡(jiǎn)單相關(guān)系數(shù)（simple

5、 correlation coefficient）分別反映各個(gè)自變量與因變量的相關(guān)關(guān)系。對(duì)于二變量的情形，計(jì)算公式為11偏相關(guān)系數(shù) 簡(jiǎn)單相關(guān)系數(shù)旨在反映變量之間兩兩線性關(guān)系，但實(shí)際上，每一個(gè)簡(jiǎn)單相關(guān)系數(shù)不可能絕對(duì)不包括其他因素的相關(guān)成分。為了克服簡(jiǎn)單相關(guān)系數(shù)的間接相關(guān)信息，提出另一種檢驗(yàn)指標(biāo)偏相關(guān)系數(shù)（partial correlation coefficient）。偏相關(guān)系數(shù)旨在排除其它因素的影響，單純反映某個(gè)自變量與因變量之間的密切程度。對(duì)于二變量的情形，計(jì)算公式如下1213部分相關(guān)系數(shù) 復(fù)相關(guān)系數(shù)反映模型總體上的擬合效果，無(wú)法看出每個(gè)變量對(duì)擬合效果的貢獻(xiàn)大小。為了反映每個(gè)變量對(duì)模型擬合效

6、果的影響程度，人們定義了部分相關(guān)系數(shù)（part correlation coefficient）。部分相關(guān)系數(shù)的計(jì)算公式14式中 為相應(yīng)于xi的部分相關(guān)系數(shù)，Rm為復(fù)相關(guān)系數(shù)，即全部自變量參與回歸的總體相關(guān)系數(shù)，Rmxi 為去掉xi 的復(fù)相關(guān)系數(shù)。可見(jiàn)部分相關(guān)系數(shù)的平方是在總體擬合效果中扣除了其他變量綜合擬合效果之后剩余部分。1516 多元線性回歸模型 多元線性回歸模型及古典假定 多元線性回歸模型的估計(jì) 多元線性回歸模型的檢驗(yàn) 175.1多元線性回歸模型及古典假定 一、多元線性回歸模型的意義 二、多元線性回歸模型的矩陣表示 三、多元線性回歸中的基本假定 18一、多元線性回歸模型的意義例如:有兩

7、個(gè)解釋變量的電力消費(fèi)模型 其中: 為各地區(qū)電力消費(fèi)量； 為各地區(qū)國(guó)內(nèi)生產(chǎn)總值（GDP）； 為各地區(qū)電力價(jià)格變動(dòng)。模型中參數(shù)的意義是什么呢? 19多元線性回歸模型的一般形式一般形式：對(duì)于有 個(gè)解釋變量的線性回歸模型 模型中參數(shù) 是偏回歸系數(shù)，樣本容量為偏回歸系數(shù)：控制其它解釋量不變的條件下，第 個(gè)解釋變量的單位變動(dòng)對(duì)應(yīng)變量平均值的影響。20指對(duì)各個(gè)回歸系數(shù)而言是“線性”的，對(duì)變量則可是線性的，也可是非線性的例如：生產(chǎn)函數(shù)取自然對(duì)數(shù)多元線性回歸21 的總體條件均值表示為多個(gè)解釋變量的函數(shù) 總體回歸函數(shù)也可表示為: 多元總體回歸函數(shù)22 的樣本條件均值表示為多個(gè)解釋變量的函數(shù)或其中 回歸剩余（殘差）

8、：多元樣本回歸函數(shù)23二、多元線性回歸模型的矩陣表示 個(gè)解釋變量的多元線性回歸模型的 個(gè)觀測(cè)樣本，可表示為 24 用矩陣表示25總體回歸函數(shù) 或樣本回歸函數(shù) 或 其中： 都是有 個(gè)元素的列向量 是有 個(gè)元素的列向量 是第一列為1的 階解釋變量 數(shù)據(jù)矩陣 (截距項(xiàng)可視為解釋變量 取值為1)26三、多元線性回歸中的基本假定 假定1：零均值假定 或 假定2和假定3：同方差和無(wú)自相關(guān)假定 假定4：隨機(jī)擾動(dòng)項(xiàng)與解釋變量不相關(guān) 27假定5:無(wú)多重共線性假定 (多元中) 假定各解釋變量之間不存在線性關(guān)系，或各個(gè)解釋變量觀測(cè)值之間線性無(wú)關(guān)?；蚪忉屪兞坑^測(cè)值矩陣 列滿秩( 列)。 即 可逆假定6：正態(tài)性假定28

9、5.2多元線性回歸模型的估計(jì) 普通最小二乘法（OLS） OLS估計(jì)式的性質(zhì) OLS估計(jì)的分布性質(zhì) 隨機(jī)擾動(dòng)項(xiàng)方差 的估計(jì) 回歸系數(shù)的區(qū)間估計(jì) 29 一、普通最小二乘法（OLS）最小二乘原則 剩余平方和最?。?求偏導(dǎo),令其為0:30 即 注意到31 用矩陣表示因?yàn)闃颖净貧w函數(shù)為 兩邊左乘 有：因?yàn)?，則正規(guī)方程為：32 由正規(guī)方程 多元回歸中 二元回歸中 注意： 和 為 的離差 OLS估計(jì)式33二、OLS估計(jì)式的性質(zhì) OLS估計(jì)式 1.線性特征: 是 的線性函數(shù)，因 是非隨機(jī) 或取固定值的矩陣 2.無(wú)偏特性: 343.最小方差特性 在 所有的線性無(wú)偏估計(jì)中，OLS估計(jì) 具有最小方差 結(jié)論：在古典

10、假定下，多元線性回歸的 OLS估計(jì)式是最佳線性無(wú)偏估計(jì)式（BLUE）35三、OLS估計(jì)的分布性質(zhì)基本思想 是隨機(jī)變量，必須確定其分布性質(zhì)才可能進(jìn)行區(qū)間估計(jì)和假設(shè)檢驗(yàn) 是服從正態(tài)分布的隨機(jī)變量, 決定了 也是服從正態(tài)分布的隨機(jī)變量 是 的線性函數(shù)，決定了 也是服從正態(tài)分布的隨機(jī)變量36 的期望 (由無(wú)偏性) 的方差和標(biāo)準(zhǔn)誤差： 可以證明 的方差-協(xié)方差矩陣為 這里是 矩陣 中第 行第 列的元素37 四、隨機(jī)擾動(dòng)項(xiàng)方差 的估計(jì) 多元回歸中 的無(wú)偏估計(jì)為： 或表示為 將 作標(biāo)準(zhǔn)化變換： 38因 是未知的，可用 代替 去估計(jì)參數(shù) 的標(biāo)準(zhǔn)誤差: 當(dāng)為大樣本時(shí)，用估計(jì)的參數(shù)標(biāo)準(zhǔn)誤差對(duì) 作標(biāo)準(zhǔn)化變換，所得Z

11、統(tǒng)計(jì)量仍可視為服從正態(tài)分布當(dāng)為小樣本時(shí)，用估計(jì)的參數(shù)標(biāo)準(zhǔn)誤差對(duì) 作標(biāo)準(zhǔn)化變換，所得的t統(tǒng)計(jì)量服從t分布： 39五、回歸系數(shù)的區(qū)間估計(jì)由于給定 ，查t分布表的自由度為 的臨界值或:或表示為:40 5.3多元線性回歸模型的檢驗(yàn)本節(jié)基本內(nèi)容: 多元回歸的擬合優(yōu)度檢驗(yàn) 回歸方程的顯著性檢驗(yàn)（F檢驗(yàn)） 各回歸系數(shù)的顯著性檢驗(yàn)（t檢驗(yàn)）41一、多元回歸的擬合優(yōu)度檢驗(yàn)多重可決系數(shù)：在多元回歸模型中，由各個(gè)解釋變量聯(lián)合解釋了的 的變差，在 的總變差中占的比重，用 表示與簡(jiǎn)單線性回歸中可決系數(shù) 的區(qū)別只是 不同，多元回歸中多重可決系數(shù)也可表示為 42 特點(diǎn)：多重可決系數(shù)是模型中解釋變量個(gè)數(shù)的不減函數(shù)，這給對(duì)比不

12、同模型的多重可決系數(shù)帶來(lái)缺陷，所以需要修正。多重可決系數(shù)的矩陣表示43思想可決系數(shù)只涉及變差，沒(méi)有考慮自由度。如果用自由度去校正所計(jì)算的變差，可糾正解釋變量個(gè)數(shù)不同引起的對(duì)比困難。自由度統(tǒng)計(jì)量的自由度指可自由變化的樣本觀測(cè)值個(gè)數(shù)，它等于所用樣本觀測(cè)值的個(gè)數(shù)減去對(duì)觀測(cè)值的約束個(gè)數(shù)。修正的可決系數(shù)44可決系數(shù)的修正方法 總變差 自由度為 解釋了的變差 自由度為 剩余平方和 自由度為 修正的可決系數(shù)為 45 特點(diǎn) 可決系數(shù) 必定非負(fù)，但修正的可決系數(shù) 可能為負(fù)值，這時(shí)規(guī)定 修正的可決系數(shù) 與可決系數(shù) 的關(guān)系：46二、回歸方程顯著性檢驗(yàn)(F檢驗(yàn)) 方程的顯著性檢驗(yàn)，旨在對(duì)模型中被解釋變量與解釋變量之間

13、的線性關(guān)系在總體上是否顯著成立作出推斷。 F檢驗(yàn)的思想來(lái)自于總離差平方和的分解式： TSS=ESS+RSS47基本思想 在多元回歸中有多個(gè)解釋變量，需要說(shuō)明所有解釋變量聯(lián)合起來(lái)對(duì)應(yīng)變量影響的總顯著性,或整個(gè)方程總的聯(lián)合顯著性。對(duì)方程總顯著性檢驗(yàn)需要在方差分析的基礎(chǔ)上進(jìn)行F檢驗(yàn)。48總變差 自由度 模型解釋了的變差 自由度 剩余變差 自由度變差來(lái)源 平方和 自由度 方差歸于回歸模型歸于剩余總變差方差分析表49 原假設(shè) 備擇假設(shè) 不全為0 建立統(tǒng)計(jì)量(可以證明): 給定顯著性水平 ，查F分布表得臨界值 并通過(guò)樣本觀測(cè)值計(jì)算 值F檢驗(yàn)50如果 (小概率事件發(fā)生了) 則拒絕 ，說(shuō)明回歸模型有顯著意義，

14、即所有解釋變量聯(lián)合起來(lái)對(duì) 有顯著影響。如果 (大概率事件發(fā)生了) 則接受 ，說(shuō)明回歸模型沒(méi)有顯著意義，即所有解釋變量聯(lián)合起來(lái)對(duì) 沒(méi)有顯著影響。51可決系數(shù)與F檢驗(yàn)由方差分析可以看出，F(xiàn)檢驗(yàn)與可決系數(shù)有密切聯(lián)系，二者都建立在對(duì)應(yīng)變量變差分解的基礎(chǔ)上。F統(tǒng)計(jì)量也可通過(guò)可決系數(shù)計(jì)算：可看出：當(dāng) 時(shí)， 越大， 值也越大 當(dāng) 時(shí)， 結(jié)論：對(duì)方程聯(lián)合顯著性檢驗(yàn)的F檢驗(yàn)，實(shí)際上也是對(duì) 的顯著性檢驗(yàn)。 52 關(guān)于擬合優(yōu)度檢驗(yàn)與方程顯著性檢驗(yàn)關(guān)系的討論 可推出：與或由5354三、回歸系數(shù)的顯著性檢驗(yàn)（t檢驗(yàn)） 方程的總體線性關(guān)系顯著每個(gè)解釋變量對(duì)被解釋變量的影響都是顯著的。 因此，必須對(duì)每個(gè)解釋變量進(jìn)行顯著性檢

15、驗(yàn)，以決定是否作為解釋變量被保留在模型中。 這一檢驗(yàn)是由對(duì)變量的 t 檢驗(yàn)完成的。55 目的： 在多元回歸中，分別檢驗(yàn)當(dāng)其他解釋變量保持不變時(shí)，各個(gè)解釋變量 對(duì)應(yīng)變量 是否有顯著影響。 方法： 原假設(shè) 備擇假設(shè) 統(tǒng)計(jì)量為： 56t檢驗(yàn)的方法 給定顯著性水平 ，查自由度為 時(shí)t分布表的臨界值為 如果 就不拒絕 而拒絕 即認(rèn)為 所對(duì)應(yīng)的解釋變量 對(duì)應(yīng)變量 的影響不顯著。 57 如果 就拒絕 而不拒絕 即認(rèn)為 所對(duì)應(yīng)的解釋變量 對(duì)應(yīng)變量 的影響 是顯著的。 在多元回歸中，可分別對(duì)每個(gè)回歸系數(shù)逐個(gè)地進(jìn) 行t檢驗(yàn)。 注意:在一元回歸中F檢驗(yàn)與t檢驗(yàn)等價(jià),且 但在多元回歸中F檢驗(yàn)與t檢驗(yàn)作用不同。58案例

16、：中國(guó)稅收增長(zhǎng)的分析提出問(wèn)題 改革開(kāi)放以來(lái)，隨著經(jīng)濟(jì)體制改革的深化和經(jīng)濟(jì)的快速增長(zhǎng)，中國(guó)的財(cái)政收支狀況發(fā)生很大變化，為了研究影響中國(guó)稅收收入增長(zhǎng)的主要原因，分析中央和地方稅收收入的增長(zhǎng)規(guī)律，預(yù)測(cè)中國(guó)稅收未來(lái)的增長(zhǎng)趨勢(shì)，需要建立計(jì)量經(jīng)濟(jì)模型。59理論分析影響中國(guó)稅收收入增長(zhǎng)的主要因素可能有：（1）從宏觀經(jīng)濟(jì)看，經(jīng)濟(jì)整體增長(zhǎng)是稅收增長(zhǎng)的基本源泉。（2）社會(huì)經(jīng)濟(jì)的發(fā)展和社會(huì)保障等都對(duì)公共財(cái)政提出要求，公共財(cái)政的需求對(duì)當(dāng)年的稅收收入可能會(huì)有一定的影響。（3）物價(jià)水平。中國(guó)的稅制結(jié)構(gòu)以流轉(zhuǎn)稅為主，以現(xiàn)行價(jià)格計(jì)算的GDP和經(jīng)營(yíng)者的收入水平都與物價(jià)水平有關(guān)。（4）稅收政策因素。60 以各項(xiàng)稅收收入Y 作為被

17、解釋變量 以GDP表示經(jīng)濟(jì)整體增長(zhǎng)水平 以財(cái)政支出表示公共財(cái)政的需求 以商品零售價(jià)格指數(shù)表示物價(jià)水平 稅收政策因素較難用數(shù)量表示,暫時(shí)不予考慮建立模型61模型設(shè)定為:其中： 各項(xiàng)稅收收入（億元） 國(guó)內(nèi)生產(chǎn)總值（億元） 財(cái)政支出（億元） 商品零售價(jià)格指數(shù)（%）62數(shù)據(jù)來(lái)源：中國(guó)統(tǒng)計(jì)年鑒其中: 各項(xiàng)稅收收入（億元） 國(guó)內(nèi)生產(chǎn)總值（億元） 財(cái)政支出（億元） 商品零售價(jià)格指數(shù)（%）數(shù)據(jù)收集63假定模型中隨機(jī)項(xiàng)滿足基本假定，可用OLS法估計(jì)其參數(shù)。具體操作：用EViews軟件，估計(jì)結(jié)果為：參數(shù)估計(jì)64模型估計(jì)的結(jié)果可表示為 (940.6128) (0.0056) (0.0332) (8.7363) t=

18、 (-2.7459) (3.9566) (21.1247) (2.7449) 擬合優(yōu)度：可決系數(shù) 較高， 修正的可決系數(shù) 也較高， 表明模型擬合較好。模型檢驗(yàn)：65顯著性檢驗(yàn)F檢驗(yàn)： 針對(duì) , 取 查自由度為 和 的臨界值 。由于 , 應(yīng)拒絕 ，說(shuō)明回歸方程顯著，即“國(guó)內(nèi)生產(chǎn)總值”、“財(cái)政支出”、“商品零售物價(jià)指數(shù)”等變量聯(lián)合起來(lái)確實(shí)對(duì)“稅收收入”有顯著影響。 66t檢驗(yàn)：給定 ，查t分布表，在自由度為 時(shí)臨界值為 ，因?yàn)?的參數(shù)對(duì)應(yīng)的t統(tǒng)計(jì)量均大于2.080, 這說(shuō)明在5%的顯著性水平下，斜率系數(shù)均顯著不為零，表明國(guó)內(nèi)生產(chǎn)總值、財(cái)政支出、商品零售價(jià)格指數(shù)對(duì)財(cái)政收入分別都有顯著影響。 67本模型中所估計(jì)