復(fù)旦大學(xué) 經(jīng)濟(jì)學(xué)院 謝識予 計量經(jīng)濟(jì)學(xué) 第三章 兩變量線性回歸.ppt

1、1,第三章 兩變量線性回歸,2,本章主要內(nèi)容,第一節(jié) 兩變量線性回歸模型 第二節(jié) 參數(shù)估計 第三節(jié) 最小二乘估計量的性質(zhì) 第四節(jié) 回歸擬合度評價和決定系數(shù) 第五節(jié) 統(tǒng)計推斷 第六節(jié) 預(yù)測,3,引言,本章介紹兩變量線性回歸分析。兩變量線性回歸分析的對象是兩變量單向因果關(guān)系，模型的核心是兩變量線性函數(shù)，分析方法是回歸分析。兩變量線性回歸分析是經(jīng)典計量經(jīng)濟(jì)分析的基礎(chǔ)，掌握兩變量線性回歸分析的原理和技術(shù)，對進(jìn)一步學(xué)習(xí)多元回歸和其他計量經(jīng)濟(jì)分析方法都有幫助。,4,第一節(jié) 兩變量線性回歸模型,一、模型的建立 二、模型的假設(shè),5,一、模型的建立,變量和函數(shù)式 變量關(guān)系的隨機(jī)性,6,變量和函數(shù)式,兩變量線性因

2、果關(guān)系：Y = + X Y被解釋變量 X解釋變量 、待定參數(shù),7,1、模型根據(jù)：,（1）研究問題的需要； （2）經(jīng)濟(jì)理論和觀點(diǎn)； （3）利用經(jīng)驗和數(shù)據(jù)分布情況； （4）非線性函數(shù)和線性變換。,8,2、例子：,（1）上海經(jīng)濟(jì)消費(fèi)函數(shù)研究 P66； （2）科布道格拉斯生產(chǎn)函數(shù) P68；,9,例3-1 上海經(jīng)濟(jì)的消費(fèi)規(guī)律研究,10,例3-1 上海經(jīng)濟(jì)的消費(fèi)規(guī)律研究,11,變量關(guān)系的隨機(jī)性,1、在經(jīng)濟(jì)問題中精確的因果關(guān)系實際上不存在。 人類經(jīng)濟(jì)行為本身的隨機(jī)性；兩變量線性關(guān)系 通常只是抓了主要矛盾，而忽略的其他眾多因素的影響。 2、正確的計量經(jīng)濟(jì)模型應(yīng)該是隨機(jī)模型： Y = + X + ； 為隨機(jī)擾動

3、項。,12,二、模型的假設(shè),1、特定的方法適用的模型是有條件的，因此必須對模型先作設(shè)定。 2、六條假設(shè) （1）變量間存在隨機(jī)函數(shù)關(guān)系Y= + X + ； （2）誤差項均值為0； （3）誤差序列同方差； （4）誤差序列不相關(guān)； （5）X是確定性的，非隨機(jī)變量； （6）誤差項服從正態(tài)分布。,13,對假設(shè)的進(jìn)一步分析,1、前五條假設(shè)是古典線性回歸模型的基本假定； 2、假設(shè)（2）是反映線性回歸模型本質(zhì)的基本假設(shè) ； 3、假設(shè)（3）的意義是對應(yīng)不同觀測數(shù)據(jù)組誤差項分布的發(fā)散趨勢相同，或有相同形狀的概率密度函數(shù)； 4、假設(shè)（4）的意義是對應(yīng)不同觀測值的誤差項之間沒有相關(guān)性； 5、假設(shè)（5）和（6）都是為了

4、回歸分析和統(tǒng)計推斷的方便而要求的，人為性較大的假設(shè) 。,14,第二節(jié) 參數(shù)估計,一、最小二乘估計 二、消費(fèi)函數(shù)參數(shù)估計,15,一、最小二乘估計,建立兩變量線性回歸模型后，根據(jù)樣本數(shù)據(jù)估計模型的參數(shù)，是線性回歸分析的核心步驟。 對滿足模型假設(shè)兩變量線性回歸模型的參數(shù)，最有效的估計方法是最小二乘法。,16,最小二乘法是根據(jù)隨機(jī)變量理論值和實際值的擬合程度估計參數(shù)的。 線性回歸模型的理論值可以用樣本回歸直線上點(diǎn)的坐標(biāo)表示，實際值就是樣本觀測數(shù)據(jù)， 因此線性回歸模型理論值與實際值的擬合，就是樣本回歸直線對觀測數(shù)據(jù)的擬合。,17,若兩變量線性回歸模型為： 參數(shù)估計的思路就是找到能很好擬合樣本數(shù)據(jù)的樣本回

5、歸直線，近似模型總體回歸直線E(Y ) =+ X，從而得到和 的估計a和b。,18,判斷擬合程度最基本的標(biāo)準(zhǔn)是樣本點(diǎn)與回歸直線的偏差 ，稱為“回歸殘差”或“殘差” 。 越小回歸直線離樣本點(diǎn)越近，如果所有樣本點(diǎn)的回歸殘差都較小，回歸直線對樣本趨勢的擬合當(dāng)然最好。 一般采用殘差平方和 = 作為判斷回歸直線對樣本數(shù)據(jù)擬合程度的標(biāo)準(zhǔn)，殘差平方和越小就認(rèn)為擬合程度越好。,19,核心：殘差平方和 最小。,20,參數(shù)估計值,21,若兩變量線性回歸模型無常數(shù)項，即模型為 ，這時只有一個需要估計的參數(shù)，上述最小二乘估計的方法仍然是一致的。 最小二乘估計的殘差平方和為 令該殘差平方和對b的偏導(dǎo)數(shù)等于0，不難求得：

6、 b =,22,二、消費(fèi)函數(shù)參數(shù)估計,以例31建立的消費(fèi)函數(shù)模型為例，具體說明如何用最小二乘法估計模型中的參數(shù)。,23,例3-3上海經(jīng)濟(jì)的消費(fèi)規(guī)律研究,24,例3-3 上海經(jīng)濟(jì)的消費(fèi)規(guī)律研究,Estimation Command: = LS Y C X Estimation Equation: = Y = C(1) + C(2)*X Substituted Coefficients: = Y = 237.5 + 0.75*X,25,例3-3 上海經(jīng)濟(jì)的消費(fèi)規(guī)律研究,Dependent Variable: Y Method: Least Squares Date: 10/04/04 Time:

7、20:14 Sample: 1981 2002 Included observations: 18 - Variable CoefficientStd. Error t-Statistic Prob. C 237.5 35.50781 4.074556 0.0009 X 0.75 0.008022 98.45858 0.0000 - R-squared 0.998352 Mean dependent var 2807.444 Adjusted R-squared 0.998249 S.D. dependent var 2333.000 S.E. of regression 97.61747 A

8、kaike info criterion 12.10443 Sum squared resid 152466.7 Schwarz criterion12.20336 Log likelihood-106.9399 F-statistic9694.092 Durbin-Watson stat1.082919 Prob(F-statistic)0.000000,26,第三節(jié) 最小二乘估計量的性質(zhì),一、最小二乘估計的線性性 二、最小二乘估計的均值和無偏性 三、最小二乘估計的方差和最小方差性 四、最小二乘估計的一致性,27,一、最小二乘估計的線性性：,參數(shù)估計量可以表示為被解釋變量觀測值的線性組合。

9、b的線性性 b,28,若把每項因子 記為 ，就得到： b = ，這表明b是隨機(jī)變量Y 的線性組合。 a 的線性性： ,29,令 = V ，得a = 這表明a同樣是隨機(jī)變量Y 的線性組合。 線性性對于確定最小二乘估計量服從什么分布非常重要。由于解釋變量X是確定性的，與最小二乘估計量的分布性質(zhì)無關(guān)，因此最小二乘估計量可以表示為被解釋變量觀測值Y的線性組合，就與Y有相同類型的概率分布。,30,和V 兩個指標(biāo)的性質(zhì),0， 1， 1， 0,31,二、最小二乘估計的均值和無偏性,定義：參數(shù)估計量的均值就是真實值： b的無偏性的證明,32,a的無偏性同理可證。 意義：參數(shù)估計量是以參數(shù)真實值為分布中心的隨機(jī)

10、變量，反復(fù)抽樣估計可得真實值。這是重要的分布性質(zhì)，是推斷分析的基礎(chǔ)。 因為同時具有線性性和無偏性，因此最小二乘估計量是線性無偏估計量。,33,三、最小二乘估計的方差和最小方差性,在參數(shù)估計是無偏估計、線性無偏估計的基礎(chǔ)上，方差較小的則意味著參數(shù)估計的精確程度較高，統(tǒng)計推斷的效果也較好。 b的方差： a的方差：,34,在所有可能的線性無偏估計中，最小二乘估計a和b的方差最小。 這個性質(zhì)稱為最小方差性，也稱為有效性。 最小二乘估計是參數(shù)真實值的最小方差線性無偏估計，也稱為最優(yōu)線性無偏估計或BLUE估計。,35,四、最小二乘估計的一致性,定義：參數(shù)估計量的概率極限等于參數(shù)真實值。 意義：屬于大樣本性

11、質(zhì)。保證增加樣本容量可以逼近參數(shù)真實值。 最小二乘估計在模型假設(shè)下是一致估計。,36,第四節(jié) 回歸擬合度評價和決定系數(shù),一、擬合度評價的意義 二、離差分解和決定系數(shù),37,一、擬合度評價的意義,評價回歸分析、參數(shù)估計優(yōu)劣的根本標(biāo)準(zhǔn)，是回歸直線對樣本數(shù)據(jù)的吻合程度，也稱為“擬合度”或“回歸擬合度”。 回歸擬合度是判斷和檢驗參數(shù)估計方法的方法之一。 回歸擬合度也是檢驗?zāi)Ｐ妥兞筷P(guān)系真實性，判斷模型假設(shè)是否成立的重要方法。,38,二、離差分解和決定系數(shù),殘差平方和不適用作為擬合度的評價指標(biāo)。 用Y 的離差被回歸值或X 的離差決定的程度作為評價擬合度的標(biāo)準(zhǔn)。 離差分解 SST = SSR + SSE （

12、式33）。,39,1、離差分解,總離差平方和 SST= 其中 稱為“回歸平方和”，記為SSR 。 殘差平方和 記為SSE。,+,40,（3-3）式表明被解釋變量Y的離差平方和可以分解為兩部分，一部分是回歸平方和，另一部分則是殘差平方和。 前一部分SSR相對后一部分SSE越大，說明回歸擬合程度越好，Y與X之間的線性決定關(guān)系越明顯。,41,2、決定系數(shù),為了突出這幾部分之間的相對關(guān)系，將（3-3）式兩邊同除以SST 得到： 1= + 式中的 正是反映解釋變量（或回歸直線）對被解釋變量決定程度的指標(biāo)，稱為“決定系數(shù)”，通常用R 表示。,42,R 的數(shù)值在0到1之間，是一個相對比重指標(biāo)，可以避免樣本數(shù)

13、量和樣本數(shù)值、單位的影響，因此在不同模型和不同樣本的回歸分析中具有可比性，是比殘差平方和更合理的回歸擬合度指標(biāo)。,43,第五節(jié) 統(tǒng)計推斷,一、最小二乘估計的分布和標(biāo)準(zhǔn)化 二、誤差項方差的估計 三、參數(shù)的置信區(qū)間和假設(shè)檢驗,44,一、最小二乘估計的分布和標(biāo)準(zhǔn)化,線性回歸模型的統(tǒng)計推斷需要以參數(shù)估計量的概率分布為基礎(chǔ)。 根據(jù)對最小二乘估計量性質(zhì)的分析，已知最小二乘估計量服從以參數(shù)真實值為中心，以誤差項方差的一個比例為方差的正態(tài)分布。,45,參數(shù)最小二乘估計量的這種分布性質(zhì)，使得參數(shù)估計量與真實值通過概率分布聯(lián)系在一起，從而可以通過參數(shù)估計量的分布性質(zhì)推斷參數(shù)真實值的情況等 。 在利用正態(tài)分布隨機(jī)變

14、量進(jìn)行統(tǒng)計推斷分析之前，需要先把它們變換為服從標(biāo)準(zhǔn)正態(tài)分布的統(tǒng)計量。對于b可以通過下列變換轉(zhuǎn)化為服從標(biāo)準(zhǔn)正態(tài)分布的隨機(jī)變量,46,二、誤差項方差的估計,標(biāo)準(zhǔn)狀態(tài)分布中包含未知參數(shù) ,必須先估計出來。 本身也是線性回歸模型的重要組成部分，是反映這一部分情況的基本參數(shù)。 因為 因此 是 的無偏估計。,47,稱“殘差的標(biāo)準(zhǔn)差”。 用 代 ，得到的統(tǒng)計量服從t分布，而不是正態(tài)分布。如： 服從自由度為n-2的t分布。,48,三、參數(shù)的置信區(qū)間和假設(shè)檢驗,1、參數(shù)的置信區(qū)間 2、模型參數(shù)的顯著性檢驗 3、其他假設(shè)檢驗,49,1、參數(shù)的置信區(qū)間（以參數(shù) 為例）,假設(shè)要求的置信度是95%，也就是顯著性水平 根

15、據(jù)t分布的意義，有： 整理該式得到：,50,這就是參數(shù) 的置信度為95%的置信區(qū)間，或者說區(qū)間估計。 構(gòu)造參數(shù)的置信區(qū)間是非常重要的。置信區(qū)間限定了參數(shù)估計量與參數(shù)真實值的偏差程度，使我們對變量關(guān)系的了解更加深入和明確，對經(jīng)濟(jì)規(guī)律的可靠程度和適用情況更有把握。區(qū)間估計常常比點(diǎn)估計更加重要。,51,2、模型參數(shù)的顯著性檢驗,模型參數(shù)的顯著性檢驗，即檢驗?zāi)Ｐ蛥?shù)是否顯著異于0，是其中基本的一種假設(shè)檢驗。 兩變量線性回歸模型的基本出發(fā)點(diǎn)就是兩個變量之間存在因果關(guān)系，認(rèn)為解釋變量是影響被解釋變量變化的主要因素，而這種變量關(guān)系是否確實存在或者是否明顯，會在參數(shù)中反映出來。,52,檢驗的具體方法如下：作原

16、假設(shè) 備擇假設(shè) 仍然選擇95%置信度，那么95%的可能性 應(yīng)該滿足,53,如果原假設(shè) 成立，也就是說可以認(rèn)為 是等于0的，那么就意味著： 95%的可能性會成立。 如果結(jié)果該不等式不成立，應(yīng)該拒絕接受原假設(shè)，認(rèn)為參數(shù)是顯著的，變量關(guān)系是存在的。如果該不等式不成立，就不能拒絕接受原假設(shè)，只能認(rèn)為沒有顯著性，變量關(guān)系并不明顯存在。,54,第六節(jié) 預(yù)測,一、點(diǎn)預(yù)測 二、點(diǎn)預(yù)測的性質(zhì) 三、區(qū)間預(yù)測,55,一、點(diǎn)預(yù)測,預(yù)測就是以估計出參數(shù)的線性回歸模型為基礎(chǔ)，對對應(yīng)解釋變量特定水平、未來值的被解釋變量水平進(jìn)行估計判斷。 檢驗?zāi)Ｐ蜁r通常把觀測數(shù)據(jù)分成兩部分，一部分用來進(jìn)行回歸估計參數(shù)，一部分用來進(jìn)行預(yù)測和評估模型的預(yù)測效果。,56,點(diǎn)預(yù)測公式 預(yù)測殘差（誤差）： 由于 未知，因此預(yù)測誤差也未知。,57,二、點(diǎn)預(yù)測的性質(zhì),1、線性性 是一個線性預(yù)測，線性性的意義仍然是可以表示為 的線性組合。 ,58,2、無偏性,的第二個性質(zhì)是無偏性，即是 的無偏預(yù)測， 或 。 這個性質(zhì)也很容易證明，因為 0,59,3、預(yù)測方差和最小方差