經(jīng)典線性回歸模型雙變量線性回歸模型.ppt

第二章 經(jīng)典線性回歸模型： 雙變量線性回歸模型,回歸分析概述 雙變量線性回歸模型的參數(shù)估計 雙變量線性回歸模型的假設(shè)檢驗 雙變量線性回歸模型的預(yù)測 實例,2.1 回歸分析概述,一、變量間的關(guān)系及回歸分析的基本概念 二、總體回歸函數(shù)（PRF） 三、隨機(jī)擾動項 四、樣本回歸函數(shù)（SRF）,一、變量間的關(guān)系及回歸分析的基本概念,1. 變量間的關(guān)系 （1）確定性關(guān)系或函數(shù)關(guān)系：研究的是確定現(xiàn)象非隨機(jī)變量間的關(guān)系。,（2）統(tǒng)計依賴或相關(guān)關(guān)系：研究的是非確定現(xiàn)象隨機(jī)變量間的關(guān)系。,2. 回歸分析的基本概念 回歸分析(regression analysis)是研究一個變量關(guān)于另一個（些）變量的具體依賴關(guān)系的計算方法和理論。 其目的在于通過后者的已知或設(shè)定值，去估計和（或）預(yù)測前者的（總體）均值。 被解釋變量（Explained Variable）或應(yīng)變量（Dependent Variable）。 解釋變量（Explanatory Variable）或自變量（Independent Variable）。,回歸分析構(gòu)成計量經(jīng)濟(jì)學(xué)的方法論基礎(chǔ)，其主要內(nèi)容包括： （1）根據(jù)樣本觀察值對經(jīng)濟(jì)計量模型參數(shù)進(jìn)行估計，求得回歸方程； （2）對回歸方程、參數(shù)估計值進(jìn)行顯著性檢驗； （3）利用回歸方程進(jìn)行分析、評價及預(yù)測。,二、總體回歸函數(shù),回歸分析關(guān)心的是根據(jù)解釋變量的已知或給定值，考察被解釋變量的總體均值，即當(dāng)解釋變量取某個確定值時，與之統(tǒng)計相關(guān)的被解釋變量所有可能出現(xiàn)的對應(yīng)值的平均值。,例2.1：一個假想的社區(qū)有100戶家庭組成，要研究該社區(qū)每月家庭消費(fèi)支出Y與每月家庭可支配收入X的關(guān)系。 即如果知道了家庭的月收入，能否預(yù)測該社區(qū)家庭的平均月消費(fèi)支出水平。 為達(dá)到此目的，將該100戶家庭劃分為組內(nèi)收入差不多的10組，以分析每一收入組的家庭消費(fèi)支出。,由于不確定因素的影響，對同一收入水平X，不同家庭的消費(fèi)支出不完全相同； 但由于調(diào)查的完備性，給定收入水平X的消費(fèi)支出Y的分布是確定的，即以X的給定值為條件的Y的條件分布（Conditional distribution）是已知的，例如：P(Y=561|X=800）=1/4。,因此，給定收入X的值Xi，可得消費(fèi)支出Y的條件均值（conditional mean）或條件期望（conditional expectation）：E(Y|X=Xi)。 該例中：E(Y | X=800)=605 描出散點圖發(fā)現(xiàn)：隨著收入的增加，消費(fèi)“平均地說”也在增加，且Y的條件均值均落在一根正斜率的直線上。這條直線稱為總體回歸線。,在給定解釋變量Xi條件下被解釋變量Yi的期望軌跡稱為總體回歸線（population regression line），或更一般地稱為總體回歸曲線（population regression curve）。,稱為（雙變量）總體回歸函數(shù)（population regression function, PRF）。,相應(yīng)的函數(shù)：,含義：回歸函數(shù)（PRF）說明被解釋變量Y的平均狀態(tài)（總體條件期望）隨解釋變量X變化的規(guī)律。,函數(shù)形式：可以是線性或非線性的。,例2.1中，將居民消費(fèi)支出看成是其可支配收入的線性函數(shù)時:,為一線性函數(shù)。其中，0，1是未知參數(shù)，稱為回歸系數(shù)（regression coefficients）。,三、隨機(jī)擾動項,總體回歸函數(shù)說明在給定的收入水平Xi下，該社區(qū)家庭平均的消費(fèi)支出水平。 但對某一個別的家庭，其消費(fèi)支出可能與該平均水平有偏差。 稱為觀察值圍繞它的期望值的離差（deviation），是一個不可觀測的隨機(jī)變量，又稱為隨機(jī)干擾項（stochastic disturbance）或隨機(jī)誤差項（stochastic error）。,例2.1中，給定收入水平Xi ,個別家庭的支出可表示為兩部分之和：（1）該收入水平下所有家庭的平均消費(fèi)支出E(Y|Xi)，稱為系統(tǒng)性（systematic）或確定性（deterministic)部分；（2）其他隨機(jī)或非確定性（nonsystematic)部分i。,稱為總體回歸函數(shù)（PRF）的隨機(jī)設(shè)定形式。表明被解釋變量除了受解釋變量的系統(tǒng)性影響外，還受其他因素的隨機(jī)性影響。由于方程中引入了隨機(jī)項，成為計量經(jīng)濟(jì)學(xué)模型，因此也稱為總體回歸模型。,隨機(jī)誤差項主要包括下列因素： 在解釋變量中被忽略的因素的影響； 變量觀測值的觀測誤差的影響； 模型關(guān)系的設(shè)定誤差的影響； 其他隨機(jī)因素的影響。 產(chǎn)生并設(shè)計隨機(jī)誤差項的主要原因： 理論的含糊性； 數(shù)據(jù)的欠缺； 節(jié)省原則。,四、樣本回歸函數(shù)（SRF）,問題：能從一次抽樣中獲得總體的近似的信息嗎？如果可以，如何從抽樣中獲得總體的近似信息？ 例2.2：在例2.1的總體中有如下一個樣本，能否從該樣本估計總體回歸函數(shù)PRF？,回答：能,該樣本的散點圖（scatter diagram)：,畫一條直線以盡好地擬合該散點圖，由于樣本取自總體，可以該直線近似地代表總體回歸線。該直線稱為樣本回歸線（sample regression lines）。,記樣本回歸線的函數(shù)形式為：,稱為樣本回歸函數(shù)（sample regression function，SRF）。,注意：這里將樣本回歸線看成總體回歸線的近似替代,則,樣本回歸函數(shù)的隨機(jī)形式/樣本回歸模型：,同樣地，樣本回歸函數(shù)也有如下的隨機(jī)形式：,由于方程中引入了隨機(jī)項，成為計量經(jīng)濟(jì)模型，因此也稱為樣本回歸模型（sample regression model）。,回歸分析的主要目的：根據(jù)樣本回歸函數(shù)SRF，估計總體回歸函數(shù)PRF。,即，根據(jù),估計,注意：這里PRF可能永遠(yuǎn)無法知道。,2.2 雙變量線性回歸模型的參數(shù)估計,一、雙變量線性回歸模型的基本假設(shè) 二、參數(shù)的普通最小二乘估計（OLS） 三、最小二乘估計量的性質(zhì) 四、參數(shù)估計量的概率分布及隨機(jī)干 擾項方差的估計,回歸分析的主要目的是要通過樣本回歸函數(shù)（模型）SRF盡可能準(zhǔn)確地估計總體回歸函數(shù)（模型）PRF。 估計方法有多種，其中最廣泛使用的是普通最小二乘法（ordinary least squares, OLS）。 為保證參數(shù)估計量具有良好的性質(zhì)，通常對模型提出若干基本假設(shè)。 實際這些假設(shè)與所采用的估計方法緊密相關(guān)。,一、線性回歸模型的基本假設(shè)-P99-100-105,假設(shè)1. 解釋變量X是確定性變量，不是隨機(jī)變量； 假設(shè)2. 隨機(jī)誤差項具有零均值、同方差和無自相關(guān)： E(i)=0 i=1,2, ,n Var (i)=2 i=1,2, ,n Cov(i, j)=0 ij i,j= 1,2, ,n,異方差,序列自相關(guān),X,假設(shè)3. 隨機(jī)誤差項與解釋變量X之間不相關(guān)： Cov(Xi, i)=0 i=1,2, ,n 假設(shè)4. 服從零均值、同方差、零協(xié)方差的正態(tài)分布 iN(0, 2 ) i=1,2, ,n,如果假設(shè)1、2滿足，則假設(shè)3也滿足; 如果假設(shè)4滿足，則假設(shè)2也滿足。,注意：,以上假設(shè)也稱為線性回歸模型的經(jīng)典假設(shè)或高斯（Gauss）假設(shè)，滿足該假設(shè)的線性回歸模型，也稱為經(jīng)典線性回歸模型（Classical Linear Regression Model, CLRM）。,二、參數(shù)的普通最小二乘估計（OLS）,給定一組樣本觀測值（Xi, Yi）（i=1,2,n）要求樣本回歸函數(shù)盡可能好地擬合這組值. 普通最小二乘法（Ordinary least squares, OLS）給出的判斷標(biāo)準(zhǔn)是：二者之差的平方和,最小。,最小二乘法的思路,為了精確地描述Y與X之間的關(guān)系，必須使用這兩個變量的每一對觀察值（n組觀察值），才不至于以點概面（做到全面）。 Y與X之間是否是直線關(guān)系（用協(xié)方差或相關(guān)系數(shù)判斷）？若是，可用一條直線描述它們之間的關(guān)系。 在Y與X的散點圖上畫出直線的方法很多。 找出一條能夠最好地描述Y與X（代表所有點）之間的直線。問題是：怎樣算“最好”？ 最好指的是找一條直線使得所有這些點到該直線的縱向距離的和（平方和）最小。,最小二乘法的思路,最小二乘法的思路,縱向距離是Y的實際值與擬合值之差，差異大擬合不好，差異小擬合好，所以稱為殘差、擬合誤差或剩余。 將所有縱向距離平方后相加，即得誤差平方和，“最好”直線就是使誤差平方和最小的直線。擬合直線在總體上最接近實際觀測點。 于是可以運(yùn)用求極值的原理，將求最好擬合直線問題轉(zhuǎn)換為求誤差平方和最小的問題。,數(shù)學(xué)形式,最小二乘法的數(shù)學(xué)原理,縱向距離是Y的實際值與擬合值之差，差異大擬合不好，差異小擬合好，所以又稱為擬合誤差或殘差。 將所有縱向距離平方后相加，即得誤差平方和，“最好”直線就是使誤差平方和最小的直線。 于是可以運(yùn)用求極值的原理，將求最好擬合直線問題轉(zhuǎn)換為求誤差平方和最小。,得到的參數(shù)估計量可以寫成：,稱為OLS估計量的離差形式（deviation form）。 由于參數(shù)的估計結(jié)果是通過最小二乘法得到 的，故稱為普通最小二乘估計量（ordinary least squares estimators）。,例2.2.1：在上述家庭可支配收入-消費(fèi)支出例中，對于所抽出的一組樣本數(shù)，參數(shù)估計的計算可通過下面的表2.2.1進(jìn)行。,計量經(jīng)濟(jì)學(xué)與電腦,必須指出，模型的建立和實際使用，離開了電腦幾乎是不可能的。 目前，已有很多計量經(jīng)濟(jì)學(xué)軟件包，可以完成計量經(jīng)濟(jì)學(xué)模型的參數(shù)估計、模型檢驗、預(yù)測等基本運(yùn)算。 幾種常見計量軟件SAS,SPSS,ET,ESP,GAUSS,MATLAB,MICROTSP,STATA, MINITAB,SYSTAT,SHAZAM,EViews,DATA-FIT。 本課程采用國家教委推薦的EViews進(jìn)行案例教學(xué)。 要求同學(xué)們掌握EViews，比較熟練地使用它，并掌握EViews與其它Windows軟件共享信息。,學(xué)習(xí)計量軟件的要求,鼯鼠五能，不如烏賊一技！,因此，由該樣本估計的回歸方程為：,四、最小二乘估計量的性質(zhì),當(dāng)模型參數(shù)估計出后，需考慮參數(shù)估計值的精度，即是否能代表總體參數(shù)的真值，或者說需考察參數(shù)估計量的統(tǒng)計性質(zhì)。,一個用于考察總體的估計量，可從如下幾個方面考察其優(yōu)劣性： （1）線性，即它是否是另一隨機(jī)變量的線性函數(shù)；,（2）無偏性，即它的均值或期望值是否等于總體的真實值； （3）有效性，即它是否在所有線性無偏估計量中具有最小方差。 這三個準(zhǔn)則也稱作估計量的小樣本性質(zhì)。 擁有這類性質(zhì)的估計量稱為最佳線性無偏估計量（best liner unbiased estimator, BLUE）。,（4）漸近無偏性，即樣本容量趨于無窮大時，是否它的均值序列趨于總體真值； （5）一致性，即樣本容量趨于無窮大時，它是否依概率收斂于總體的真值； （6）漸近有效性，即樣本容量趨于無窮大時，是否它在所有的一致估計量中具有最小的漸近方差。,當(dāng)不滿足小樣本性質(zhì)時，需進(jìn)一步考察估計量的大樣本或漸近性質(zhì)：,OLS參數(shù)估計量的有效性指的是：在一切線性、無偏估計量中，OLS參數(shù)估計量的方差最小。,高斯馬爾可夫定理(Gauss-Markov theorem) 在給定經(jīng)典線性回歸的假定下，最小二乘估計量是具有最小方差的線性無偏估計量。,五、參數(shù)估計量的概率分布及隨機(jī)干擾項方差的估計,2. 隨機(jī)誤差項的方差2的估計,2又稱為總體方差。,由于隨機(jī)項i不可觀測，只能從i的估計殘差ei出發(fā)，對總體方差進(jìn)行估計。 可以證明， 2的最小二乘估計量為,它是關(guān)于2的無偏估計量。,2.3 雙變量線性回歸模型的統(tǒng)計檢驗,一、擬合優(yōu)度檢驗 二、變量的顯著性檢驗 三、參數(shù)的置信區(qū)間,如果Yi=i 即實際觀測值落在樣本回歸“線”上，則擬合最好。,對于所有樣本點，則需考慮這些點與樣本均值離差的平方和,可以證明：,TSS=ESS+RSS,記,總體平方和（Total Sum of Squares）,回歸平方和（Explained Sum of Squares）,殘差平方和（Residual Sum of Squares ）,Y的觀測值圍繞其均值的總離差(total variation)可分解為兩部分：一部分來自回歸線(ESS)，另一部分則來自隨機(jī)勢力(RSS)。,在給定樣本中，TSS不變， 如果實際觀測點離樣本回歸線越近，則ESS在TSS中占的比重越大，因此 擬合優(yōu)度：回歸平方和ESS/Y的總離差TSS,2、判定系數(shù)R2統(tǒng)計量,稱 R2 為（樣本）判定系數(shù)/可決系數(shù)（coefficient of determination)。,判定系數(shù)的取值范圍：0，1 R2越接近1，說明實際觀測點離樣本線越近，擬合優(yōu)度越高。,在例2.1.1的收入消費(fèi)支出例中，,注：判定系數(shù)是一個非負(fù)的統(tǒng)計量。它也是隨著抽樣的不同而不同。為此，對判定系數(shù)的統(tǒng)計可靠性也應(yīng)進(jìn)行檢驗，這將在以后進(jìn)行。,R2的其他表示方法,擬合優(yōu)度（或稱判定系數(shù)、決定系數(shù)）,判定系數(shù)只是說明列入模型的所有解釋變量對應(yīng)變量的聯(lián)合的影響程度，不說明模型中單個解釋變量的影響程度。 對時間序列數(shù)據(jù)，判定系數(shù)達(dá)到0.9以上是很平常的；但是，對截面數(shù)據(jù)而言，能夠有0.5就不錯了。,判定系數(shù)達(dá)到多少為宜？,沒有一個統(tǒng)一的明確界限值； 若建模的目的是預(yù)測應(yīng)變量值，一般需考慮有較高的判定系數(shù)。 若建模的目的是結(jié)構(gòu)分析，就不能只追求高的判定系數(shù)，而是要得到總體回歸系數(shù)的可信任的估計量。判定系數(shù)高并不一定每個回歸系數(shù)都可信任；,二、變量的顯著性檢驗,回歸分析是要判斷解釋變量X是否是被解釋變量Y的一個顯著性的影響因素。 在雙變量線性模型中，就是要判斷X是否對Y具有顯著的線性性影響。這就需要進(jìn)行變量的顯著性檢驗。,變量的顯著性檢驗所應(yīng)用的方法是數(shù)理統(tǒng)計學(xué)中的假設(shè)檢驗。 計量經(jīng)濟(jì)學(xué)中，主要是針對變量的參數(shù)真值是否為零來進(jìn)行顯著性檢驗的。,1、假設(shè)檢驗,所謂假設(shè)檢驗，就是事先對總體參數(shù)或總體分布形式作出一個假設(shè)，然后利用樣本信息來判斷原假設(shè)是否合理，即判斷樣本信息與原假設(shè)是否有顯著差異，從而決定是否接受或否定原假設(shè)。,假設(shè)檢驗采用的邏輯推理方法是反證法 先假定原假設(shè)正確，然后根據(jù)樣本信息，觀察由此假設(shè)而導(dǎo)致的結(jié)果是否合理，從而判斷是否接受原假設(shè)。 判斷結(jié)果合理與否，是基于“小概率事件不易發(fā)生”這一原理的,2、變量的顯著性檢驗,檢驗步驟：,（1）對總體參數(shù)提出假設(shè) H0： 1=0， H1：10,（2）以原假設(shè)H0構(gòu)造t統(tǒng)計量，并由樣本計算其值,（3）給定顯著性水平，查t分布表得臨界值t /2(n-2),(4) 比較，判斷 若 |t| t /2(n-2)，則拒絕H0 ，接受H1 ； 若 |t| t /2(n-2)，則拒絕H1 ，接受H0 ； 對于雙變量線性回歸方程中的0，可構(gòu)造如下t統(tǒng)計量進(jìn)行顯著性檢驗：,在上述收入消費(fèi)支出例中，首先計算2的估計值,t統(tǒng)計量的計算結(jié)果分別為：,給定顯著性水平=0.05，查t分布表得臨界值 t 0.05/2(8)=2.306 |t1|2.306，說明家庭可支配收入在0.05的顯著性水平下顯著，即是消費(fèi)支出的主要解釋變量； |t0|2.306,表明在0.05的顯著性水平下不顯著，無法拒絕截距項為零的假設(shè)。,假設(shè)檢驗可以通過一次抽樣的結(jié)果檢驗總體參數(shù)可能的假設(shè)值的范圍（如是否為零），但它并沒有指出在一次抽樣中樣本參數(shù)值到底離總體參數(shù)的真值有多“近”。,三、參數(shù)的置信區(qū)間,要判斷樣本參數(shù)的估計值在多大程度上可以“近似”地替代總體參數(shù)的真值，往往需要通過構(gòu)造一個以樣本參數(shù)的估計值為中心的“區(qū)間”，來考察它以多大的可能性（概率）包含著真實的參數(shù)值。這種方法就是參數(shù)的區(qū)間估計。,如果存在這樣一個區(qū)間，稱之為置信區(qū)間（confidence interval）； 1-稱為置信系數(shù)（置信度）（confidence coefficient）， 稱為顯著性水平（level of significance）；置信區(qū)間的端點稱為置信限（confidence limit）或臨界值（critical values）。,對區(qū)間估計的形象比喻,我們經(jīng)常說某甲的成績“大概80分左右”，可以看成一個區(qū)間估計。（某甲的成績?yōu)楸还烙嫷膮?shù)） P(1 2 )=大概的準(zhǔn)確程度（ 1-） 如：P(75 85 )=95%=1-5%,圖示如下,雙變量線性模型中，i (i=1，2）的置信區(qū)間:,在變量的顯著性檢驗中已經(jīng)知道：,意味著，如果給定置信度（1-），從分布表中查得自由度為(n-2)的臨界值，那么t值處在(-t/2, t/2)的概率是(1- )。表示為：,即,于是得到:(1-)的置信度下, i的置信區(qū)間是,在上述收入-消費(fèi)支出例中，如果給定 =0.01，查表得：,由于,于是，1、0的置信區(qū)間分別為： （0.6345,0.9195) （-433.32,226.98）,由于置信區(qū)間一定程度地給出了樣本參數(shù)估計值與總體參數(shù)真值的“接近”程度，因此置信區(qū)間越小越好。 要縮小置信區(qū)間，需要 （1）增大樣本容量n。因為在同樣的置信水平下，n越大，t分布表中的臨界值越??；同時，增大樣本容量，還可使樣本參數(shù)估計量的標(biāo)準(zhǔn)差減??；,（2）提高模型的擬合優(yōu)度。因為樣本參數(shù)估計量的標(biāo)準(zhǔn)差與殘差平方和呈正比，模型擬合優(yōu)度越高，殘差平方和應(yīng)越小。 由于置信區(qū)間一定程度地給出了樣本參數(shù)估計值與總體參數(shù)真值的“接近”程度，因此置信區(qū)間越小越好。,2.4 雙變量線性回歸分析的應(yīng)用：預(yù)測問題,一、0是條件均值E(Y|X=X0)或個值Y0的一個無偏估計 二、總體條件均值與個值預(yù)測值的置信區(qū)間-（選學(xué)內(nèi)容）,對于雙變量線性回歸模型,給定樣本以外的解釋變量的觀測值X0，可以得到被解釋變量的預(yù)測值0 ，可以此作為其條件均值E(Y|X=X0)或個別值Y0的一個近似估計。,嚴(yán)格地說，這只是被解釋變量的預(yù)測值的估計值，而不是預(yù)測值。原因: （1）參數(shù)估計量不確定； （2）隨機(jī)項的影響,說 明,二、總體條件均值與個值預(yù)測值的置信區(qū)間,1、總體均值預(yù)測值的置信區(qū)間,由于,于是,可以證明,因此,故,于是，在1-的置信度下，總體均值E(Y|X0)的置信區(qū)間為,其中,2、總體個值預(yù)測值的預(yù)測區(qū)間,由 Y0=0+1X0+ 知:,于是,式中 :,從而在1-的置信度下， Y0的置信區(qū)間為,在上述收入消費(fèi)支出例中，得到的樣本回歸函數(shù)為:,則在 X0=1000處， 0 = 103.172+0.7771000=673.84,而,因此，總體均值E(Y|X=1000)的95%的置信區(qū)間為： 673.84-2.30661.05 E(Y|X=1000) 673.84+2.30661.05 或 （533.05, 814.62） 同樣地，對于Y在X=1000的個體值，其95%的置信區(qū)間為： 673.84 - 2.30661.05Yx=1000 673.84 + 2.30661.05 或 (372.03, 975.65),總體回歸函數(shù)的置信帶（域）（confidence band）-教材P120 個體的置信帶（域）,對于Y的總體均值E(Y|X)與個體值的預(yù)測區(qū)間（置信區(qū)間）:,（1）樣本容量n越大，預(yù)測精度越高，反之預(yù)測精度越低； （2）樣本容量一定時，置信帶的寬度當(dāng)在X均值處最小，其附近進(jìn)行預(yù)測（插值預(yù)測）精度越大；X越遠(yuǎn)離其均值，置信帶越寬，預(yù)測可信度下降。,2.5 實例：時間序列問題,一、中國居民人均消費(fèi)模型 二、我國固定資產(chǎn)投資總額與GDP的關(guān)系,一、中國居民人均消費(fèi)模型,例2.5.1 考察中國居民收入與消費(fèi)支出的關(guān)系。,GDPP： 人均國內(nèi)生產(chǎn)總值（1990年不變價） CONSP：人均居民消費(fèi)（以居民消費(fèi)價格指數(shù)（1990=100）縮減）。,1. 建立模型 擬建立如下雙變量回歸模型,采用Eviews軟件進(jìn)行回歸分析的結(jié)果見下表,該兩組數(shù)據(jù)是19782000年的時間序列數(shù)據(jù)（time series data）； 前述收入消費(fèi)支出例中的數(shù)據(jù)是截面數(shù)據(jù)（cross-sectional data）。,一般可寫出如下回歸分析結(jié)果：,(13.51) (53.47) R2=0.9927 F=2859.23 DW-d=0.5503,R2=0.9927 T值：C：13.51， GDPP：53.47 臨界值: t0.05/2(21)=2.08 斜率項：