第三章 多元線性回歸模型

多元線性回歸模型計(jì)量經(jīng)濟(jì)學(xué)第三章2引子:中國(guó)已成為世界汽車產(chǎn)銷第一大國(guó)中國(guó)社會(huì)科學(xué)院《中國(guó)汽車社會(huì)發(fā)展報(bào)告2012-2013》顯示，中國(guó)國(guó)內(nèi)汽車產(chǎn)銷量已近2000萬輛。從2000年開始，中國(guó)汽車市場(chǎng)進(jìn)入到黃金10年。汽車保有量從1600萬輛攀升到1億多輛。2010年成為全球第一大汽車市場(chǎng)，中國(guó)的汽車保有量已經(jīng)超過日本，成為僅低于美國(guó)的世界第二大汽車保有國(guó)。業(yè)內(nèi)預(yù)計(jì)，2020年我國(guó)汽車保有量將突破2億輛。是什么因素導(dǎo)致中國(guó)汽車數(shù)量的增長(zhǎng)?

影響中國(guó)汽車行業(yè)發(fā)展的因素并不是單一的，經(jīng)濟(jì)增長(zhǎng)、消費(fèi)趨勢(shì)、市場(chǎng)行情、業(yè)界心態(tài)、能源價(jià)格、道路發(fā)展、內(nèi)外環(huán)境，都會(huì)使中國(guó)汽車行業(yè)面臨機(jī)遇和挑戰(zhàn)。3分析中國(guó)汽車行業(yè)未來的趨勢(shì),應(yīng)具體分析這樣一些問題：中國(guó)汽車市場(chǎng)發(fā)展的狀況如何？（用銷售量觀測(cè)）影響中國(guó)汽車銷量的主要因素是什么？

（如收入、價(jià)格、費(fèi)用、道路狀況、能源、政策環(huán)境等）各種因素對(duì)汽車銷量影響的性質(zhì)怎樣？（正、負(fù)）各種因素影響汽車銷量的具體數(shù)量關(guān)系是什么？所得到的數(shù)量結(jié)論是否可靠？中國(guó)汽車行業(yè)今后的發(fā)展前景怎樣？應(yīng)當(dāng)如何制定汽車的產(chǎn)業(yè)政策？很明顯，只用一個(gè)解釋變量已很難分析汽車產(chǎn)業(yè)的發(fā)展,還需要尋求有更多個(gè)解釋變量情況的回歸分析方法。

怎樣分析多種因素的影響？4

本章主要討論:●多元線性回歸模型及古典假定●多元線性回歸模型的估計(jì)●多元線性回歸模型的檢驗(yàn)●多元線性回歸模型的預(yù)測(cè)5

第一節(jié)多元線性回歸模型及古典假定

一、多元線性回歸模型的意義

一般形式：對(duì)于有K-1個(gè)解釋變量的線性回歸模型

注意：模型中的（j=1,2,---k）是偏回歸系數(shù)樣本容量為n

偏回歸系數(shù)：

控制其它解釋量不變的條件下，第j個(gè)解釋變量的單位變動(dòng)對(duì)被解釋變量平均值的影響，即對(duì)Y平均值“直接”或“凈”的影響。

56多元線性回歸中的“線性”指對(duì)各個(gè)回歸系數(shù)而言是“線性”的，對(duì)變量則可以是線性的，也可以是非線性的例如：生產(chǎn)函數(shù)取對(duì)數(shù)這也是多元線性回歸模型，只是這時(shí)變量為lnY、lnL、lnK7

多元總體回歸函數(shù)

條件期望表現(xiàn)形式：將Y的總體條件期望表示為多個(gè)解釋變量的函數(shù)，如:注意：這時(shí)Y總體條件期望的軌跡是K維空間的一條線個(gè)別值表現(xiàn)形式：引入隨機(jī)擾動(dòng)項(xiàng)或表示為

8

多元樣本回歸函數(shù)

Y的樣本條件均值可表示為多個(gè)解釋變量的函數(shù)或回歸剩余（殘差）：

其中

9

二、多元線性回歸模型的矩陣表示

多個(gè)解釋變量的多元線性回歸模型的n組樣本觀測(cè)值，可表示為

用矩陣表示

910總體回歸函數(shù)或樣本回歸函數(shù)或

其中：都是有n個(gè)元素的列向量是有k個(gè)元素的列向量（

k=解釋變量個(gè)數(shù)+1）

是第一列為1的n×k階解釋變量數(shù)據(jù)矩陣，

(截距項(xiàng)可視為解釋變量總是取值為1)

矩陣表示方式11

三、多元線性回歸中的基本假定

假定1：零均值假定

（i=1，2，---n）或

E（u）=0

假定2和假定3：同方差和無自相關(guān)假定：

或用方差-協(xié)方差矩陣表示為:

（i=j）(i≠j)012假定5:無多重共線性假定

(多元中增加的)

假定各解釋變量之間不存在線性關(guān)系，或各個(gè)解釋變量觀測(cè)值之間線性無關(guān)?；蚪忉屪兞坑^測(cè)值

矩陣X的秩為K(注意X為n行K列)。

Ran(X)=k

Rak(X'X)=k

即(X'X)

可逆

假定6:正態(tài)性假定12假定4：隨機(jī)擾動(dòng)項(xiàng)與解釋變量不相關(guān)

第二節(jié)多元線性回歸模型的估計(jì)

一、普通最小二乘法（OLS）原則：尋求剩余平方和最小的參數(shù)估計(jì)式

即求偏導(dǎo)，并令其為0其中即1314用矩陣表示的正規(guī)方程偏導(dǎo)數(shù)因?yàn)闃颖净貧w函數(shù)為兩邊左乘根據(jù)最小二乘原則則正規(guī)方程為15OLS估計(jì)式

由正規(guī)方程多元回歸的OLS估計(jì)量為當(dāng)只有兩個(gè)解釋變量時(shí)為：注意：為X、Y的離差對(duì)比簡(jiǎn)單線性回歸中16OLS回歸線的數(shù)學(xué)性質(zhì)

(與簡(jiǎn)單線性回歸相同)

●回歸線通過樣本均值

●估計(jì)值的均值等于實(shí)際觀測(cè)值的均值

●剩余項(xiàng)的均值為零

●被解釋變量估計(jì)值與剩余項(xiàng)不相關(guān)

●解釋變量與剩余項(xiàng)不相關(guān)（j=1,2,---k）1617

二、OLS估計(jì)式的統(tǒng)計(jì)性質(zhì)

1、

線性特征

是Y的線性函數(shù)，因是非隨機(jī)或取固定值的矩陣

2、

無偏特性

(證明見教材P101附錄3.1)3、

最小方差特性

在所有的線性無偏估計(jì)中，OLS估計(jì)具有最小方差

(證明見教材P101或附錄3.2)

結(jié)論：在古典假定下，多元線性回歸的OLS估計(jì)式是最佳線性無偏估計(jì)式（BLUE）18

三、

OLS估計(jì)的分布性質(zhì)基本思想：

●是隨機(jī)變量，必須確定其分布性質(zhì)才可能進(jìn)行區(qū)間估計(jì)和假設(shè)檢驗(yàn)●是服從正態(tài)分布的隨機(jī)變量，決定了Y也是服從正態(tài)分布的隨機(jī)變量●是Y的線性函數(shù)，決定了也是服從正態(tài)分布的隨機(jī)變量19●的期望(由無偏性)

●的方差和標(biāo)準(zhǔn)誤差：可以證明的方差—協(xié)方差矩陣為（見下頁）

這里的

（其中是矩陣中第j行第j列的元素）所以（j=1,2,---k）

的期望與方差20其中：(由無偏性)(由同方差性)(由OLS估計(jì)式)20注意

是向量的方差-協(xié)方差21

四、隨機(jī)擾動(dòng)項(xiàng)方差的估計(jì)

一般未知，可證明多元回歸中的無偏估計(jì)為：(證明見P103附錄3.3)

或表示為

將作標(biāo)準(zhǔn)化變換：

21對(duì)比:一元回歸中22

未知時(shí)的標(biāo)準(zhǔn)化變換因是未知的，可用代替去估計(jì)參數(shù)的標(biāo)準(zhǔn)誤差:●當(dāng)為大樣本時(shí)，用估計(jì)的參數(shù)標(biāo)準(zhǔn)誤差對(duì)作標(biāo)準(zhǔn)化變換，所得Z統(tǒng)計(jì)量仍可視為服從正態(tài)分布●當(dāng)為小樣本時(shí)，用估計(jì)的參數(shù)標(biāo)準(zhǔn)誤差對(duì)作標(biāo)準(zhǔn)化變換，所得的t統(tǒng)計(jì)量服從t分布：2223五、回歸系數(shù)的區(qū)間估計(jì)

由于給定，查t分布表的自由度為n-k的臨界值或或表示為2324第三節(jié)

多元線性回歸模型的檢驗(yàn)

一、多元回歸的擬合優(yōu)度檢驗(yàn)

多重可決系數(shù)：在多元回歸模型中，由各個(gè)解釋變量聯(lián)合起來解釋了的Y的變差，在Y的總變差中占的比重，用表示

與簡(jiǎn)單線性回歸中可決系數(shù)的區(qū)別只是不同多元回歸中多重可決系數(shù)可表示為

(注意:紅色字體是與一元回歸不同的部分)2425

多重可決系數(shù)的矩陣表示

可用代數(shù)式表達(dá)為

特點(diǎn):多重可決系數(shù)是模型中解釋變量個(gè)數(shù)的不減函數(shù)，這給對(duì)比不同模型的多重可決系數(shù)帶來缺陷，所以需要修正。

26修正的可決系數(shù)思想：可決系數(shù)只涉及變差，沒有考慮自由度。如果用自由度去校正所計(jì)算的變差，可糾正解釋變量個(gè)數(shù)不同引起的對(duì)比困難?；仡?

自由度：統(tǒng)計(jì)量的自由度指可自由變化的樣本觀測(cè)值個(gè)數(shù)，它等于所用樣本觀測(cè)值的個(gè)數(shù)減去對(duì)觀測(cè)值的約束個(gè)數(shù)。27可決系數(shù)的修正方法

總變差TSS自由度為n-1

解釋了的變差ESS自由度為k-1

剩余平方和RSS自由度為n-k

修正的可決系數(shù)為

28修正的可決系數(shù)與可決系數(shù)的關(guān)系

已經(jīng)導(dǎo)出：

注意：

可決系數(shù)必定非負(fù)，但所計(jì)算的修正可決系數(shù)有可能為負(fù)值

解決辦法：若計(jì)算的，規(guī)定取值為0

2929二、回歸方程的顯著性檢驗(yàn)（F檢驗(yàn)）基本思想：

在多元回歸中包含多個(gè)解釋變量，它們與被解釋變量是否有顯著關(guān)系呢？

當(dāng)然可以分別檢驗(yàn)各個(gè)解釋變量對(duì)被解釋變量影響的顯著性。

但是我們首先關(guān)注的是所有解釋變量聯(lián)合起來對(duì)被解釋變量影響的顯著性,或整個(gè)方程總的聯(lián)合顯著性，需要對(duì)方程的總顯著性在方差分析的基礎(chǔ)上進(jìn)行F檢驗(yàn)。3030在討論可決系數(shù)時(shí)已經(jīng)分析了被解釋變量總變差TSS的分解及自由度：

TSS=ESS+RSS注意:Y的樣本方差=總變差/自由度即顯然，Y的樣本方差也可分解為兩部分，可用方差分析表分解301.方差分析31總變差

TSS=自由度n－1

模型解釋了的變差

ESS=自由度k－1

剩余變差

RSS=

自由度n－k

變差來源平方和自由度方差歸于回歸模型ESS=k-1歸于剩余RSS=n-k總變差TSS=n-1基本思想:

如果多個(gè)解釋變量聯(lián)合起來對(duì)被解釋變量的影響不顯著,“歸于回歸的方差“比“歸于剩余的方差”顯著地小應(yīng)是大概率事件。方差分析表

322.F檢驗(yàn)

原假設(shè):（所有解釋變量聯(lián)合起來對(duì)被解釋變量的影響不顯著）備擇假設(shè):

不全為0建立統(tǒng)計(jì)量(可以證明):

給定顯著性水平，查F分布表中自由度為k-1和n-k的臨界值，并通過樣本觀測(cè)值計(jì)算F值3233F檢驗(yàn)方式

▼如果計(jì)算的F值大于臨界值，則拒絕，說明回歸模型有顯著意義，

即所有解釋變量聯(lián)合起來對(duì)Y確有顯著影響。▼如果計(jì)算的F值小于臨界值，則不拒絕，說明回歸模型沒有顯著

意義，即所有解釋變量聯(lián)合起來對(duì)Y沒有顯著影響。343.可決系數(shù)的顯著性

擬合優(yōu)度與F檢驗(yàn)是從不同原理出發(fā)的兩類檢驗(yàn)，但有內(nèi)在聯(lián)系。擬合優(yōu)度：從估計(jì)的模型出發(fā)，檢驗(yàn)對(duì)樣本觀測(cè)值的擬合程度。F檢驗(yàn)：從樣本觀測(cè)值出發(fā)，檢驗(yàn)?zāi)Ｐ驼w關(guān)系的顯著性。密切關(guān)系：二者都建立在對(duì)被解釋變量變差分解的基礎(chǔ)上，都與自由度有關(guān)。實(shí)際上F統(tǒng)計(jì)量與可決系數(shù)可相互計(jì)算：可以看出：當(dāng)=0時(shí)，F(xiàn)=0;當(dāng)=1時(shí),F→∞;當(dāng)越大時(shí)，F(xiàn)值也越大，F(xiàn)與同方向變化。結(jié)論：F檢驗(yàn)等價(jià)于對(duì)的顯著性檢驗(yàn)（不能只看

，更看F值)35三、各回歸系數(shù)的假設(shè)檢驗(yàn)（t檢驗(yàn)）

注意:

在一元回歸中F檢驗(yàn)與t檢驗(yàn)等價(jià),且

(見教材P88證明)但在多元回歸中，F(xiàn)檢驗(yàn)顯著，不一定每個(gè)解釋變量都對(duì)Y有顯著影響。還需要分別檢驗(yàn)當(dāng)其他解釋變量保持不變時(shí)，各個(gè)解釋變量X對(duì)被解釋變量Y是否有顯著影響。

方法：

原假設(shè)（j=1,2,……k）備擇假設(shè)統(tǒng)計(jì)量t為：

36給定顯著性水平α，查t分布表的臨界值為如果

就不拒絕，而拒絕即認(rèn)為所對(duì)應(yīng)的解釋變量對(duì)被解釋變量Y的影響不顯著。如果

就拒絕而不拒絕即認(rèn)為所對(duì)應(yīng)的解釋變量對(duì)被解釋變量Y的影響是顯著的。討論：在多元回歸中，可以作F檢驗(yàn)，也可以分別對(duì)每個(gè)回歸系數(shù)逐個(gè)地進(jìn)行t檢驗(yàn)。

F

檢驗(yàn)與t檢驗(yàn)的關(guān)系是什么？對(duì)各回歸系數(shù)假設(shè)檢驗(yàn)的作法37第四節(jié)

多元線性回歸模型的預(yù)測(cè)

一、被解釋變量平均值預(yù)測(cè)1.Y平均值的點(diǎn)預(yù)測(cè)

方法：將解釋變量預(yù)測(cè)值代入估計(jì)的方程：多元回歸時(shí)：

或注意:預(yù)測(cè)期的是第一個(gè)元素為1的行向量,不是矩陣,也不是列向量

38

2.Y平均值的區(qū)間預(yù)測(cè)

基本思想：（與簡(jiǎn)單線性回歸時(shí)相同）

●由于存在抽樣波動(dòng)，預(yù)測(cè)的平均值不一定等于真實(shí)平均值，還需要對(duì)作區(qū)間估計(jì)。●為了對(duì)Y作區(qū)間預(yù)測(cè)，必須確定平均值預(yù)測(cè)值的抽樣分布?！?/p>

必須找出與和都有關(guān)的統(tǒng)計(jì)量,

并要明確其概率分布性質(zhì)。3839區(qū)間預(yù)測(cè)的具體作法當(dāng)未知時(shí)，只得用代替，這時(shí)簡(jiǎn)單線性回歸中(回顧簡(jiǎn)單線性回歸)40

多元回歸時(shí)，與預(yù)測(cè)的平均值和真實(shí)平均值

都有關(guān)的是二者的偏差：服從正態(tài)分布，可證明用代替，可構(gòu)造t統(tǒng)計(jì)量區(qū)間預(yù)測(cè)的具體作法（多元時(shí)）41或者

服從正態(tài)分布，可證明

即標(biāo)準(zhǔn)化當(dāng)用代替時(shí)，可構(gòu)造t統(tǒng)計(jì)量4142

給定顯著性水平α，查t分布表，得自由度為n-k的臨界值，則或區(qū)間預(yù)測(cè)的具體作法43二、被解釋變量個(gè)別值預(yù)測(cè)

基本思想：（與簡(jiǎn)單線性回歸時(shí)相同）

●由于存在隨機(jī)擾動(dòng)的影響，Y的平均值并不等于Y的個(gè)別值。●為了對(duì)Y的個(gè)別值作區(qū)間預(yù)測(cè)，需要尋找與預(yù)測(cè)值

和個(gè)別值有關(guān)的統(tǒng)計(jì)量，并要明確其概率分布性質(zhì)。44

已知剩余項(xiàng)是與預(yù)測(cè)值和個(gè)別值都有關(guān)的變量并且已知服從正態(tài)分布，且多元回歸時(shí)可證明

當(dāng)用代替時(shí)，對(duì)標(biāo)準(zhǔn)化的變量t為：

個(gè)別值區(qū)間預(yù)測(cè)具體作法給定顯著性水平，查t分布表得自由度為n-k的臨界值則

因此，多元回歸時(shí)Y的個(gè)別值的置信度1-α的預(yù)測(cè)區(qū)間的上下限為4546第五節(jié)案例分析研究的目的要求為了研究影響中國(guó)地方財(cái)政教育支出差異的主要原因，分析地方財(cái)政教育支出增長(zhǎng)的數(shù)量規(guī)律，預(yù)測(cè)中國(guó)地方財(cái)政教育支出的增長(zhǎng)趨勢(shì)，需要建立計(jì)量經(jīng)濟(jì)模型。研究范圍：2011年31個(gè)省市區(qū)的數(shù)據(jù)為樣本理論分析：影響中國(guó)地方財(cái)政教育支出的主要的因素有：（1）由地區(qū)經(jīng)濟(jì)規(guī)模決定的地方整體財(cái)力；（2）地區(qū)人口數(shù)量不同決定各地教育規(guī)模不同；（3）人民對(duì)教育質(zhì)量的需求對(duì)以政府教育投入為代表的公共財(cái)政的需求會(huì)有相當(dāng)?shù)挠绊憽＃?）物價(jià)水平，影響地方財(cái)政對(duì)教育的支出。（5）地方政府對(duì)教育投入的能力與意愿模型設(shè)定選擇地方財(cái)政教育支出為被解釋變量。選擇“地區(qū)生產(chǎn)總值（GDP）”作為地區(qū)經(jīng)濟(jì)規(guī)模的代表；選擇各地區(qū)的“年末人口數(shù)量”作為各地區(qū)居民對(duì)教育規(guī)模的需求的代表；選擇“居民平均每人教育現(xiàn)金消費(fèi)”作為代表居民對(duì)教育質(zhì)量的需求；選擇居民教育消費(fèi)價(jià)格指數(shù)作為價(jià)格變動(dòng)影響的因素；由于地方政府教育投入的能力與意愿難以直接量化，選擇“教育支出在地方財(cái)政支出中的比重”作為其代表。探索將模型設(shè)定為線性回歸模型形式：

48樣本數(shù)據(jù)：2011年各地區(qū)地方財(cái)政教育支出及主要影響因素地區(qū)地方財(cái)政教育支出（億元）地區(qū)生產(chǎn)總值（億元）年末人口數(shù)（萬人）居民平均每人教育現(xiàn)金消費(fèi)（元/人）居民教育消費(fèi)價(jià)格指數(shù)教育支出在地方財(cái)政支出中的比重%YX2X3X4X5X6北京520.0816251.932018.61171.28101.1540.1603天津302.3211307.281355780.85100.22480.1683河北652.1124515.767240.51523.54100.88150.1843山西421.7911237.553593722.92102.81310.1784內(nèi)蒙古390.6914359.882481.71740.41101.34710.1307遼寧544.0922226.74383757.94101.20310.1393吉林319.8210568.832749.41739.14100.48680.1453黑龍江373.83125823834598.7102.08620.1338上海549.2419195.692347.461285.61101.76470.1403江蘇1093.2249110.277898.81005.65102.30580.1757浙江751.4232318.8554631332.6399.826730.1956安徽564.7115300.655968776.9100.62230.1710福建406.7317560.183720629.1199.340250.1850江西474.4311702.824488.437610.69101.32770.1872山東1047.945361.859637656.83100.76610.2095河南857.1426931.039388544.6101.79410.201749地區(qū)地方財(cái)政教育支出（億元）地區(qū)生產(chǎn)總值（億元）年末人口數(shù)（萬人）居民平均每人教育現(xiàn)金消費(fèi)（元/人）居民教育消費(fèi)價(jià)格指數(shù)教育支出在地方財(cái)政支出中的比重%YX2X3X4X5X6湖北488.1619632.265757.5690.86101.02190.1519湖南540.8319669.566595.6626.86102.56550.1536廣東1227.8753210.2810504.85929.03101.29250.1829廣西456.8911720.874645561.81102.80540.1795海南127.272522.66877.34565.08100.89380.1634重慶318.710011.372919460.09101.84850.1240四川684.6621026.688050534.18101.59560.1465貴州376.865701.843468.72487.36101.41190.1675云南4838893.124630.8462.02102.31860.1649西藏77.81605.83303.3227.79100.62020.1026陜西529.4612512.33742.6873.23101.65740.1807甘肅284.335020.372564.19447.01104.37240.1587青海130.111670.44568.17328.25103.26310.1345寧夏103.022102.21639.45566.71102.21490.1459新疆399.86610.052208.71514.57102.81530.175050

三、估計(jì)參數(shù)模型估計(jì)的結(jié)果為：

(935.8816)(0.0018)(0.0080)(0.0517)（9.0867）(470.3214)t=(-2.5820)(6.3167)(4.9643)(2.8267)(2.5109)(1.8422)F=181.7539n=3151模型檢驗(yàn)：1、經(jīng)濟(jì)意義檢驗(yàn)：在假定其它變量不變的情況下，地區(qū)生產(chǎn)總值(GDP)每增長(zhǎng)1億元，平均說來地方財(cái)政教育支出將增長(zhǎng)0.0112億元；地區(qū)年末人口每增長(zhǎng)1萬人，平均說來地方財(cái)政教育支出會(huì)增長(zhǎng)0.0395億元；當(dāng)居民平均每人教育現(xiàn)金消費(fèi)增加1元，平均說來地方財(cái)政教育支出會(huì)增長(zhǎng)0.1460億元；當(dāng)居民教育消費(fèi)價(jià)格指數(shù)增加1個(gè)百分點(diǎn)，平均說來地方財(cái)政教育支出會(huì)增長(zhǎng)22.8162億元。當(dāng)教育支