第二章 多元線性回歸模型

第二章多元線性回歸模型學(xué)習(xí)目標(biāo)：熟悉多元線性回歸模型的設(shè)定掌握多元線性回歸的普通最小二乘估計(jì)法和極大似然估計(jì)法的原理掌握多元線性回歸參數(shù)估計(jì)量的性質(zhì)和模型的各種統(tǒng)計(jì)檢驗(yàn)方法了解多元線性回歸模型的置信區(qū)間的計(jì)算方法熟悉受約束回歸的檢驗(yàn)方法與檢驗(yàn)步驟熟悉EViews軟件進(jìn)行多元線性回歸模型估計(jì)的詳細(xì)步驟2.1多元線性回歸模型及假定2.2多元線性回歸模型的參數(shù)估計(jì)2.3多元線性回歸模型的統(tǒng)計(jì)檢驗(yàn)2.4多元線性回歸模型的置信區(qū)間2.5受約束回歸2.6案例分析第二章多元線性回歸模型一、多元線性回歸模型其一般形式為：

其中K是解釋變量的數(shù)目，其他變量和符號的含義與一元線性回歸模型相同。由于習(xí)慣上把常數(shù)項(xiàng)看成為一個(gè)虛變量的系數(shù)，在參數(shù)估計(jì)過程中該虛變量的樣本觀測值始終取1。這樣，模型中解釋變量的數(shù)目為（K+1）。代表眾多影響變化的微小因素。

2.1多元線性回歸模型及假定當(dāng)給定一個(gè)樣本時(shí)，上述模型表示為經(jīng)濟(jì)意義：與存在線性關(guān)系,是的重要解釋變量。代數(shù)意義：與存在線性關(guān)系。幾何意義：表示一個(gè)多維平面。2.1多元線性回歸模型及假定多元總體回歸函數(shù)：的總體條件均值表示為多個(gè)解釋變量的函數(shù)；該方程被稱為條件期望函數(shù)或總體回歸函數(shù)或簡稱總體回歸。它僅僅表明在給定下的分布的均值與存在著函數(shù)關(guān)系。簡言之，它說出了的均值或平均對應(yīng)值是怎樣地隨而變化的。2.1多元線性回歸模型及假定多元線性回歸模型表示的n個(gè)隨機(jī)方程的矩陣表達(dá)式為：其中，

2.1多元線性回歸模型及假定以上多元線性回歸模型也可表示向量表達(dá)式的形式其中，2.1多元線性回歸模型及假定二、多元線性回歸模型的若干假定假定1：解釋變量是非隨機(jī)的，即在重復(fù)抽樣中，解釋變量取固定值，且相互之間互不相關(guān)。這表明模型中的解釋變量和隨機(jī)干擾項(xiàng)對被解釋變量的影響是完全獨(dú)立的。假定2：隨機(jī)干擾項(xiàng)與解釋變量之間不相關(guān)。這個(gè)假定說明與隨機(jī)干擾項(xiàng)相互獨(dú)立，互不相關(guān)，它們對被解釋變量的影響同樣也是獨(dú)立的。2.1多元線性回歸模型及假定假定3：隨機(jī)干擾項(xiàng)服從零均值，同方差，零協(xié)方差。用矩陣形式表示就是隨機(jī)干擾項(xiàng)的方差—協(xié)方差矩陣形如：2.1多元線性回歸模型及假定假定4：隨機(jī)干擾項(xiàng)服從正態(tài)分布。即假定5：正確設(shè)定回歸模型。與一元回歸模型一樣，多元回歸模型的正確設(shè)定也有三個(gè)方面的要求：

1.選擇了正確的變量進(jìn)入模型；

2.對模型的形式進(jìn)行正確的設(shè)定；

3.對模型的解釋變量、被解釋變量以及隨機(jī)干擾項(xiàng)做了正確的假定。上述假定條件稱為多元線性回歸模型的經(jīng)典假定。2.1多元線性回歸模型及假定2.2.1普通最小二乘法2.2.2極大似然法估計(jì)2.2.3參數(shù)估計(jì)量的性質(zhì)2.2多元線性回歸模型的參數(shù)估計(jì)一普通最小二乘估計(jì)對于多元線性回歸模型，利用最小二乘法估計(jì)模型的參數(shù)，同樣應(yīng)該使殘差平方和達(dá)到最小，即取最小值。根據(jù)多元函數(shù)的極值原理，分別對求一階偏導(dǎo)數(shù)，并令其為零，即：。得到下列方程組：

2.2.1普通最小二乘法可寫成矩陣形式：得出叫做正規(guī)方程組；

因而，這就是向量的估計(jì)值。2.2.1普通最小二乘法二隨機(jī)干擾項(xiàng)方差估計(jì)值的普通最小二乘估計(jì)隨機(jī)干擾項(xiàng)的方差的無偏估計(jì)為，

其中，為自由度，這是因?yàn)樵诠烙?jì)時(shí)，必須先求出，即消耗了個(gè)自由度。2.2.1普通最小二乘法對于多元線性回歸模型于是，的概率函數(shù)為2.2.2極大似然法估計(jì)因?yàn)槭窍嗷オ?dú)立的，所以是隨機(jī)抽取的n組樣本觀測值的聯(lián)合概率，即似然函數(shù)為:2.2.2極大似然法估計(jì)由于是的單調(diào)函數(shù)，使極大的參數(shù)值也將使極大，即，所以對數(shù)似然函數(shù)為：可以求出和的估計(jì)參數(shù)2.2.2極大似然法估計(jì)（一）線性性參數(shù)估計(jì)量是線性估計(jì)量，即是隨機(jī)變量的線性函數(shù)。由于可見，參數(shù)估計(jì)量是被解釋變量的線性組合。2.2.3參數(shù)估計(jì)量的性質(zhì)（二）無偏性將代入，得

2.2.3參數(shù)估計(jì)量的性質(zhì)（三）最小方差性由于，為單位矩陣。2.2.3參數(shù)估計(jì)量的性質(zhì)（四）隨機(jī)干擾項(xiàng)方差估計(jì)量的性質(zhì)由于被解釋變量的估計(jì)值與觀察值之間的殘差于是隨機(jī)干擾項(xiàng)方差的估計(jì)量為

2.2.3參數(shù)估計(jì)量的性質(zhì)2.3.1模型的擬合優(yōu)度檢驗(yàn)2.3.2回歸方程的顯著性檢驗(yàn)2.3.3顯著性檢驗(yàn)2.3多元線性回歸模型的統(tǒng)計(jì)檢驗(yàn)（一）檢驗(yàn)1、總離差平方和的分解對于有k個(gè)解釋變量的多元線性回歸模型其對應(yīng)的回歸方程為：

將與其平均值之間的離差分解如下：

2.3.1模型的擬合優(yōu)度檢驗(yàn)

為總離差平方和，為回歸平方和，為殘差平方和，則即總離差平方和分解為回歸平方和與殘差平方和兩部分。2.3.1模型的擬合優(yōu)度檢驗(yàn)2、多元樣本決定系數(shù)與擬合優(yōu)度檢驗(yàn)多元樣本決定系數(shù):

可用回歸平方和占總離差平方和的比重來衡量樣本回歸線對樣本觀測值的擬合同程度。，所以總有。的數(shù)值越接近1，表明中總離差平方和中可由樣本回歸線解釋的部分越大，殘差平方和越小，樣本回歸線與樣本觀測值的擬合程度越高；反之則擬合得越差。2.3.1模型的擬合優(yōu)度檢驗(yàn)3、修正樣本決定系數(shù)的大小與模型中解釋變量的數(shù)目有關(guān)，解釋變量的個(gè)數(shù)越多，它的值就越大，在實(shí)際運(yùn)用中需要對其進(jìn)行調(diào)整。

調(diào)整的思想是將殘差平方和與總離差平方和之比的分子分母分別用各自的自由度去除，變成均方差之比，以剔除解釋變量個(gè)數(shù)對擬合優(yōu)度的影響。于是，修正的樣本決定系數(shù)為2.3.1模型的擬合優(yōu)度檢驗(yàn)調(diào)整的可決系數(shù)與未經(jīng)調(diào)整的可決系數(shù)之間存在如下關(guān)系：或僅僅說明了在給定的樣本條件下，估計(jì)的回歸方程對于樣本觀測值的似合優(yōu)度。在實(shí)際應(yīng)用中，或究竟要多大才算模型通過了檢驗(yàn)，沒有絕對的標(biāo)準(zhǔn)，要視具體情況而定。模型的擬合優(yōu)度并不是評價(jià)模型優(yōu)劣的唯一標(biāo)準(zhǔn)，有時(shí)為了追求模型的經(jīng)濟(jì)意義寧可犧牲一點(diǎn)擬合優(yōu)度。

2.3.1模型的擬合優(yōu)度檢驗(yàn)（二）赤池信息準(zhǔn)則和施瓦茨準(zhǔn)則赤池信息準(zhǔn)則施瓦茨準(zhǔn)則這兩個(gè)準(zhǔn)則均要求僅當(dāng)所增加的解釋變量能夠減少AIC值或SC值時(shí)才在原模型中增加該解釋變量。2.3.1模型的擬合優(yōu)度檢驗(yàn)（一）回歸方程的顯著性檢驗(yàn)

回歸方程的顯著性檢驗(yàn)是指在一定的顯著性水平下，從總體上對模型中被解釋變量與解釋變量之間的線性關(guān)系是否顯著成立而進(jìn)行的一種統(tǒng)計(jì)檢驗(yàn)。對于多元線性回歸模型為了從總體上檢驗(yàn)?zāi)Ｐ椭斜唤忉屪兞颗c解釋變量之間的線性關(guān)系是否顯著，必須對其進(jìn)行顯著性檢驗(yàn)。2.3.2回歸方程的顯著性檢驗(yàn)檢驗(yàn)的原假設(shè)與備擇假設(shè)分別為：檢驗(yàn)的思想來自于總離差平方和的分解式：ESS是解釋變量的聯(lián)合對被解釋變量的線性作用的結(jié)果,可通過該比值ESS/RSS的大小對總體線性關(guān)系進(jìn)行推斷。

2.3.2回歸方程的顯著性檢驗(yàn)

根據(jù)數(shù)理統(tǒng)計(jì)學(xué)中的定義，在成立的條件下，構(gòu)造一個(gè)統(tǒng)計(jì)量：則該統(tǒng)計(jì)量服從自由度為的分布。根據(jù)變量的樣本觀測值和估計(jì)值，計(jì)算統(tǒng)計(jì)量的數(shù)值；給定一個(gè)顯著性水平，查分布表，得到一個(gè)臨界值。如果，則在顯著性水平下拒絕原假設(shè)，即模型的線性關(guān)系顯著不成立，模型未通過方程顯著性檢驗(yàn)。2.3.2回歸方程的顯著性檢驗(yàn)（二）擬合優(yōu)度檢驗(yàn)與方程總體線性的顯著性檢驗(yàn)之間的關(guān)系擬合優(yōu)度檢驗(yàn)與方程總體線性的顯著性檢驗(yàn)之間有如下關(guān)系：

檢驗(yàn)可用于度量總體回歸直線的顯著性，也可用于檢驗(yàn)的顯著性。2.3.2回歸方程的顯著性檢驗(yàn)（一）解釋變量的顯著性檢驗(yàn)解釋變量的顯著性檢驗(yàn)，是指在一定的顯著性水平下，檢驗(yàn)?zāi)Ｐ偷慕忉屪兞渴欠駥Ρ唤忉屪兞坑酗@著影響的一種統(tǒng)計(jì)檢驗(yàn)。檢驗(yàn)的原假設(shè)與備擇假設(shè)分別為：構(gòu)造如下的檢驗(yàn)統(tǒng)計(jì)量：2.3.3顯著性檢驗(yàn)（二）檢驗(yàn)的步驟

1.提出假設(shè)；提出原假設(shè)備擇假設(shè)

2.計(jì)算統(tǒng)計(jì)量；在假設(shè)成立的條件下，計(jì)算統(tǒng)計(jì)量2.3.3顯著性檢驗(yàn)3.查臨界值；在給定顯著性水平下，查自由度為的分布表，得到臨界值。

4.判斷；若，則在水平下拒絕原假設(shè)，接受備擇假設(shè)，即對應(yīng)的解釋變量是顯著的；若，則在水平下接受原假設(shè)，即對應(yīng)的解釋變量是不顯著的。

2.3.3顯著性檢驗(yàn)2.4.1點(diǎn)估計(jì)值2.4.2

參數(shù)估計(jì)量的置信區(qū)間2.4.3預(yù)測值的置信區(qū)間2.4多元線性回歸模型的置信區(qū)間點(diǎn)估計(jì)值就是求解釋變量對應(yīng)的被解釋變量的估計(jì)值。

預(yù)測值與實(shí)際值之間存在的誤差為：

2.4.1點(diǎn)估計(jì)值

要判斷樣本參數(shù)的估計(jì)值在多大程度上可以近似地替代總體參數(shù)的真值，往往需要通過構(gòu)造一個(gè)以樣本參數(shù)的估計(jì)值為中心的區(qū)間來考察它以多大的概率包含著真實(shí)的參數(shù)值。這種方法就是參數(shù)檢驗(yàn)的置信區(qū)間估計(jì)。因?yàn)榉植嫉姆植记€對稱于縱坐標(biāo)軸，所以在給定的置信水平下，我們選取對稱于原點(diǎn)的區(qū)間使得，

2.4.2參數(shù)估計(jì)量的置信區(qū)間2.4.2參數(shù)估計(jì)量的置信區(qū)間于是得到：參數(shù)估計(jì)量的置信水平為的置信區(qū)間為：（一）的預(yù)測區(qū)間是服從正態(tài)分布的，將隨機(jī)干擾項(xiàng)的方差用其無偏估計(jì)量代替，可構(gòu)造如下統(tǒng)計(jì)量：于是，得到置信度為下的置信區(qū)間：2.4.3預(yù)測值的置信區(qū)間（二）的預(yù)測區(qū)間設(shè)是實(shí)際預(yù)測值與預(yù)測值之差：將上式中的用它的估計(jì)值代替，則得到的標(biāo)準(zhǔn)差估計(jì)值其中，2.4.3預(yù)測值的置信區(qū)間

構(gòu)造統(tǒng)計(jì)量：對于給定的顯著性水平，可以從分布表中查得臨界值。于是，對于給定的置信水平，預(yù)測值的置信區(qū)間為：

2.4.3預(yù)測值的置信區(qū)間2.5.1模型參數(shù)的線性約束2.5.2

對回歸模型增加或減少解釋變量2.5.3

參數(shù)的穩(wěn)定性2.5.4三大經(jīng)典的非線性約束檢驗(yàn)2.5受約束回歸在建立回歸模型時(shí)，有時(shí)根據(jù)經(jīng)濟(jì)理論需要對模型中變量的參數(shù)施加一定的約束條件。例如，在估計(jì)柯布-道格拉斯生產(chǎn)函數(shù)（分別為勞動和資本的放出彈性）時(shí)，如果規(guī)模報(bào)酬不變，即每一同比例的投入變化有同比例的產(chǎn)出變化，則函數(shù)有約束。

模型施加約束條件后進(jìn)行回歸，稱受約束回歸，與此對應(yīng)，不加任何約束的回歸稱為無約束回歸。2.5受約束回歸對模型施加約束得然而，對所考查的具體問題能否施加約束條件，需進(jìn)一步進(jìn)行相應(yīng)的檢驗(yàn)。常用的檢驗(yàn)有：檢驗(yàn)、檢驗(yàn)與檢驗(yàn)，這里主要介紹檢驗(yàn)。2.5.1模型參數(shù)的線性約束在同一樣本數(shù)據(jù)下，記無約束樣本回歸模型為，受約束樣本回歸為。于是，得到受約束樣本回歸模型的殘差平方和為于是，其中，為無約束樣本回歸模型的殘差平方和。

2.5.1模型參數(shù)的線性約束

受約束與無約束模型都有相同的，受約束樣本回歸模型的殘差平方和大于或等于無約束樣本回歸模型的殘差平方和；于是，受約束樣本回歸模型的回歸平方和大于或等于無約束樣本回歸模型的回歸平方和。這意味著，通常情況下，對模型施加約束條件會降低模型的解釋能力。2.5.1模型參數(shù)的線性約束

即約束條件為真即不可施加約束條件。如果約束條件為真，則受約束回歸模型與無約束回歸模型具有相同的解釋能力，與的差異變小。于是，可用的大小來檢驗(yàn)約束的真實(shí)性。根據(jù)數(shù)理統(tǒng)計(jì)學(xué)的知識：2.5.1模型參數(shù)的線性約束于是，如果約束條件無效，與的差異較大，計(jì)算的值也較大。于是，可用計(jì)算的統(tǒng)計(jì)量的值與所給定的顯著性水平下的臨界值作比較，對約束條件的真實(shí)性進(jìn)行檢驗(yàn)。其中，分別為無約束與受約束回歸模型的解釋變量的個(gè)數(shù)，恰為約束條件的個(gè)數(shù)。

2.5.1模型參數(shù)的線性約束考慮如下兩個(gè)回歸模型：相應(yīng)的統(tǒng)計(jì)量為：2.5.2對回歸模型增加或減少解釋變量

統(tǒng)計(jì)量的另一個(gè)等價(jià)式：如果約束條件為真，即額外的變量沒有解釋能力，則統(tǒng)計(jì)量較?。环駝t，約束條件為假，意味著額外的變量對有較強(qiáng)的解釋能力，則統(tǒng)計(jì)量較大。因此，可通過的計(jì)算值與臨界值的比較，來判斷額外變量是否應(yīng)包括在模型中。

2.5.2對回歸模型增加或減少解釋變量

對于時(shí)間序列數(shù)據(jù)，因變量和解釋變量之間的關(guān)系可能會發(fā)生結(jié)構(gòu)變化，這可能是由經(jīng)濟(jì)系統(tǒng)的需求或供給沖擊帶來的，也可能是制度轉(zhuǎn)變的結(jié)果。例如我國改革開放后經(jīng)濟(jì)關(guān)系方方面面都逐漸發(fā)生了改變，市場經(jīng)濟(jì)體制的逐步建立也使得經(jīng)濟(jì)關(guān)系不斷調(diào)整。因此，建立模型時(shí)往往希望模型的參數(shù)和設(shè)定關(guān)系是穩(wěn)定的，即所謂的結(jié)構(gòu)不變，那么如何檢驗(yàn)結(jié)構(gòu)變化？2.5.3參數(shù)的穩(wěn)定性（一）鄒氏參數(shù)穩(wěn)定性檢驗(yàn)

假設(shè)需要建立的模型為：在兩個(gè)連續(xù)的時(shí)間序列與中，相應(yīng)的模型分別為：2.5.3參數(shù)的穩(wěn)定性合并兩個(gè)時(shí)間序列為，則可寫出如下無約束回歸模型：如果，表示沒有發(fā)生結(jié)構(gòu)變化，因此可針對如下假設(shè)進(jìn)行檢驗(yàn)：對上式施加上述約束后變換為受約束回歸模型：2.5.3參數(shù)的穩(wěn)定性因此，檢驗(yàn)的統(tǒng)計(jì)量為：參數(shù)穩(wěn)定性的檢驗(yàn)步驟：1.分別以兩連續(xù)時(shí)間序列作為兩個(gè)樣本進(jìn)行回歸，得到相應(yīng)的殘差平方：與；2.將兩序列并為一個(gè)大樣本后進(jìn)行回歸，得到大樣本下的殘差平方和；3.計(jì)算統(tǒng)計(jì)量的值，與臨界值比較:

若值大于臨界值，則拒絕原假設(shè)，認(rèn)為發(fā)生了結(jié)構(gòu)變化，參數(shù)是非穩(wěn)定的。該檢驗(yàn)也被稱為鄒氏參數(shù)穩(wěn)定性檢驗(yàn)

。2.5.3參數(shù)的穩(wěn)定性（二）鄒氏預(yù)測檢驗(yàn)鄒氏預(yù)測檢驗(yàn)的基本思想：先用前一時(shí)間段個(gè)樣本估計(jì)原模型，再用估計(jì)出的參數(shù)進(jìn)行后一時(shí)間段個(gè)樣本的預(yù)測。如果預(yù)測誤差較大，則說明參數(shù)發(fā)生了變化，否則說明參數(shù)是穩(wěn)定的。2.5.3參數(shù)的穩(wěn)定性分別以、表示第一與第二時(shí)間段的參數(shù)，則矩陣式為：如果參數(shù)沒有發(fā)生變化，則，矩陣式簡化為2.5.3參數(shù)的穩(wěn)定性

檢驗(yàn):鄒氏預(yù)測檢驗(yàn)步驟：1.在兩時(shí)間段的合成大樣本下做OLS回歸，得受約束模型的殘差平方和；2.對前一時(shí)間段的個(gè)子樣做回歸，得殘差平方和；3.計(jì)算檢驗(yàn)的統(tǒng)計(jì)量，做出判斷。給定顯著性水平，查分布表，得臨界值