第2章回歸概要(計(jì)量經(jīng)濟(jì)學(xué)-中南財(cái)經(jīng)政法大學(xué),向書(shū)堅(jiān))

第1節(jié)回歸分析的性質(zhì)第2節(jié)雙變量回歸分析的基本概念第3節(jié)雙變量回歸模型的估計(jì)問(wèn)題第4節(jié)正態(tài)性假定：經(jīng)典正態(tài)線性回歸模型第2章回歸分析概要2/3/20231§2.1.1“回歸”一詞的歷史淵源§2.1.2回歸的現(xiàn)代釋義§2.1.3統(tǒng)計(jì)關(guān)系與確定性關(guān)系§2.1.4回歸與因果關(guān)系§2.1.5回歸與相關(guān)第1節(jié)回歸分析的性質(zhì)2/3/20232第1節(jié)回歸分析的性質(zhì)§2.1.1“回歸”一詞的歷史淵源英國(guó)統(tǒng)計(jì)學(xué)家F.高爾頓(F.Galton:1822~1911)。高爾頓和他的學(xué)生K.皮爾遜(K.Pearson:1856~1936)在研究父母身高與其子女身高的遺傳問(wèn)題時(shí)，觀察了1078對(duì)夫婦，以每對(duì)夫婦的平均身高作為x，而取他們的一個(gè)成年兒子的身高作為y，將結(jié)果在平面直角坐標(biāo)系上繪成散點(diǎn)圖，發(fā)現(xiàn)趨勢(shì)近乎一條直線。計(jì)算出的回歸直線方程為2/3/20233通俗地說(shuō):一群特高個(gè)子父輩的兒子們?cè)谕g人中平均僅為高個(gè)子一群高個(gè)子父輩的兒子們?cè)谕g人中平均僅為略高個(gè)子一群特矮個(gè)子父輩的兒子們?cè)谕g人中平均僅為矮個(gè)子一群矮個(gè)子父輩的兒子們?cè)谕g人中平均僅為略矮個(gè)子，即子代的平均高度向中心回歸了正是因?yàn)樽哟纳砀哂谢氐酵g人平均身高的這種趨勢(shì)，才使人類(lèi)的身高在一定時(shí)間相對(duì)穩(wěn)定，沒(méi)有出現(xiàn)父輩個(gè)子高其子女更高，父輩個(gè)子矮其子女更矮的兩極分化現(xiàn)象。正是為了描述這種有趣的現(xiàn)象，高爾頓引進(jìn)了“回歸”這個(gè)名詞來(lái)描述父輩身高x與子代身高y的關(guān)系2/3/20234§2.1.2回歸的現(xiàn)代釋義回歸分析是用來(lái)研究一個(gè)變量(稱(chēng)之為被解釋變量(explainedvariable)或應(yīng)變量(dependentvariable))與另一個(gè)或多個(gè)變量(稱(chēng)為解釋變量(explanatoryvariable)或自變量(independentvariable))之間的關(guān)系?；貧w分析是關(guān)于研究一個(gè)應(yīng)變量對(duì)另一個(gè)或多個(gè)解釋變量的依賴(lài)關(guān)系，其用意在于通過(guò)后者（在重復(fù)抽樣中）的已知或設(shè)定值去估計(jì)或預(yù)測(cè)前者的（總體）均值。2/3/202352/3/202362/3/202372/3/20238§2.1.3統(tǒng)計(jì)關(guān)系與確定性關(guān)系社會(huì)經(jīng)濟(jì)與自然科學(xué)等現(xiàn)象之間的相互聯(lián)系和制約是一個(gè)普遍規(guī)律★要認(rèn)識(shí)和掌握客觀經(jīng)濟(jì)規(guī)律就必須探求經(jīng)濟(jì)現(xiàn)象間經(jīng)濟(jì)變量的變化規(guī)律，變量間的統(tǒng)計(jì)關(guān)系是經(jīng)濟(jì)變量變化規(guī)律的重要特征★互有聯(lián)系的經(jīng)濟(jì)現(xiàn)象及經(jīng)濟(jì)變量間關(guān)系的緊密程度各不一樣◎一種極端的情況是一個(gè)變量的變化能完全決定另一個(gè)變量的變化2/3/20239高檔消費(fèi)品的銷(xiāo)售量與城鎮(zhèn)居民收入之間的關(guān)系

糧食產(chǎn)量與施肥量之間的關(guān)系儲(chǔ)蓄額與居民收入之間的關(guān)系廣告支出與商品銷(xiāo)售額工業(yè)增加值與能源消耗量數(shù)學(xué)成績(jī)與統(tǒng)計(jì)學(xué)成績(jī)◎以上變量間關(guān)系的一個(gè)共同特征是它們之間有密切關(guān)系，但它們是一種非確定性關(guān)系確定性關(guān)系：圓的面積（）毆姆定律（電流C=V/k,V為電壓）2/3/202310§2.1.4回歸與因果關(guān)系回歸分析研究的一個(gè)變量對(duì)另一個(gè)變量的依賴(lài)關(guān)系可以是一種因果關(guān)系，但也可能不是因果關(guān)系。統(tǒng)計(jì)關(guān)系本身不可能意味著任何因果關(guān)系2/3/202311§2.1.5回歸與相關(guān)回歸分析和相關(guān)分析都是研究變量間關(guān)系的統(tǒng)計(jì)學(xué)課題

兩者的主要差別：

回歸分析中需要區(qū)別自變量和因變量；相關(guān)分析中則不需要區(qū)分

相關(guān)分析中所涉及的變量y與x全是隨機(jī)變量。而回歸分析中，因變量y是隨機(jī)變量，自變量x可以是隨機(jī)變量，也可以是非隨機(jī)的確定變量

相關(guān)分析的研究主要是為刻畫(huà)兩類(lèi)變量間線性相關(guān)的密切程度。而回歸分析不僅可以揭示變量X對(duì)變量y的影響大小，還可以由回歸方程進(jìn)行預(yù)測(cè)和控制2/3/202312§2.2.1.一個(gè)人為的例子§2.2.2總體回歸函數(shù)（PRF）的概念§2.2.3“線性”一詞的含義§2.2.4PRF的隨機(jī)設(shè)定§2.2.5隨機(jī)誤差項(xiàng)的意義§2.2.6樣本回歸函數(shù)（SRF)第2節(jié)雙變量回歸分析的基本概念2/3/202313§2.2.1.一個(gè)人為的例子假如一個(gè)國(guó)家的人口總體有60戶(hù)家庭組成研究每周家庭消費(fèi)支出Y與每周家庭可支配收入X的關(guān)系如果知道了家庭的每周收入，預(yù)測(cè)每周消費(fèi)支出的平均水平根據(jù)表2.1理解：

①條件分布；②條件概率；③條件期望第2節(jié)雙變量回歸分析的基本概念2/3/2023142/3/2023152/3/2023162/3/2023172/3/202318§2.2.2總體回歸函數(shù)（PRF）的概念(PopulationRegressionFunction)每一個(gè)條件均值E(Y/Xi)都是Xi的一個(gè)函數(shù)(2.2.1)其中f(Xi)表示解釋變量Xi某個(gè)函數(shù)(2.2.1)稱(chēng)為雙變量總體回歸函數(shù)或簡(jiǎn)稱(chēng)總體回歸.它表明在給定Xi下的Y分布的總體均值與Xi有函數(shù)關(guān)系如果X與Y之間存在現(xiàn)行關(guān)系，PRF則為2/3/202319§2.2.3“線性”一詞的含義對(duì)變量為線性：Y的條件期望值是X的線性函數(shù)，如非線性如：對(duì)參數(shù)為線性：Y的條件期望值是各參數(shù)β的線性函數(shù)，如：非線性如：本課程研究的“線性”主要針對(duì)參數(shù)而言，包含兩種情況：①對(duì)參數(shù)和變量均為線性；

②對(duì)參數(shù)為線性而對(duì)變量X則為非線性2/3/202320§2.2.4PRF的隨機(jī)設(shè)定隨著家庭收入的增加，家庭消費(fèi)支出平均地說(shuō)也增加，但對(duì)某一個(gè)家庭而言，兩者的關(guān)系如何？由于受隨機(jī)因素的影響，對(duì)各個(gè)家庭而言Yi變化趨勢(shì)并不相同，消費(fèi)支出圍繞其條件期望上下波動(dòng)此時(shí)，Yi可以表示如下：系統(tǒng)性systematic

或確定性deterministic

成份隨機(jī)干擾或隨機(jī)誤差項(xiàng)，非系統(tǒng)性成份nonsystematic(2.4.1)(2.4.2)2/3/202321當(dāng)X=80時(shí)，各家庭消費(fèi)支出可表達(dá)為：（2.4.3）2/3/202322§2.2.5隨機(jī)誤差項(xiàng)的意義干擾項(xiàng)是從模型中省略下來(lái)的而又集體影響著Y的全部變量的替代物，代表除解釋變量X以外其他所有沒(méi)有列出的變量對(duì)因變量的影響。理論的含糊性（影響Y的其他變量要么不知要么知而不確）數(shù)據(jù)的欠缺（缺乏研究問(wèn)題所需要的數(shù)據(jù)）核心變量與周邊變量（周邊變量影響的聯(lián)合效應(yīng)?。┤祟?lèi)行為的內(nèi)在隨機(jī)性糟糕的替代變量節(jié)省原則（解釋變量并不是越多越好）錯(cuò)誤的函數(shù)形式（如果函數(shù)的形式不是十分清楚，寧愿用隨機(jī)誤差項(xiàng)代替其他變量）為什么設(shè)置隨機(jī)誤差項(xiàng)？2/3/202323§2.2.6樣本回歸函數(shù)（SRF)YX7080651009012095140110160115180120200140220155240150260YX5580881009012080140118160120180145200135220145240175260表2.1總體的一個(gè)隨機(jī)樣本表2.1總體的一個(gè)隨機(jī)樣本2/3/2023242/3/202325樣本回歸函數(shù)（SampleRegressionFunction,SRF)(2.6.1)一個(gè)估計(jì)量（estimator)也稱(chēng)統(tǒng)計(jì)量（statistic)是指一種公式或方法，告訴人們?cè)鯓永檬种袠颖舅峁┑男畔⑷ス烙?jì)總體參數(shù)。在一項(xiàng)應(yīng)用中，有估計(jì)量算出的一個(gè)具體數(shù)值，稱(chēng)為估計(jì)值（Estimate)。樣本回歸函數(shù)的隨機(jī)形式：對(duì)總體而言叫參數(shù)；

對(duì)樣本而言叫統(tǒng)計(jì)量(2.6.2)2/3/2023262/3/202327回歸分析的主要目的就是根據(jù)

樣本回歸函數(shù)估計(jì)總體回歸函數(shù)2/3/202328§2.3.1普通最小二乘法§2.3.2經(jīng)典線性回歸模型的基本假定§2.3.3最小二乘估計(jì)的精度或標(biāo)準(zhǔn)差§2.3.4最小二乘估計(jì)量的性質(zhì)：

高斯-馬爾可夫定理§2.3.5判定系數(shù)r2：“擬合優(yōu)度”的一個(gè)度量§2.3.6一個(gè)數(shù)值的例子§2.3.7兩個(gè)說(shuō)明性例子第3節(jié)雙變量回歸模型的估計(jì)問(wèn)題2/3/202329第3節(jié)雙變量回歸模型的估計(jì)問(wèn)題為了由樣本數(shù)據(jù)得到回歸參數(shù)理想估計(jì)值，我們將使用普通最小二乘估計(jì)(OrdinaryleastSquareEstimation，OLSE)。對(duì)每一個(gè)樣本觀測(cè)值,最小二乘法考慮觀測(cè)值與其回歸值的離差越小越好，綜合地考慮n個(gè)離差值，定義離差平方和為

§2.3.1普通最小二乘法2/3/202330稱(chēng)為的回歸擬合值，簡(jiǎn)稱(chēng)回歸值或擬合值，稱(chēng)為的殘差

2/3/202331經(jīng)整理后，得正規(guī)方程組：2/3/202332=02/3/202333最小二乘估計(jì)所得樣本回歸線的性質(zhì)(1)樣本回歸線通過(guò)Y和X的樣本均值(2)估計(jì)的Y均值等于實(shí)測(cè)的Y均值(3)殘差ei的均值為零(4)殘差ei和預(yù)測(cè)的Yi不相關(guān)(5)殘差ei和Xi不相關(guān)2/3/2023342/3/2023352/3/202336§2.3.2經(jīng)典線性回歸模型的基本假定

假定1:線性回歸模型，即回歸模型對(duì)參數(shù)而言是線性的假定2:在重復(fù)抽樣中X值是固定的，即假設(shè)X是非隨機(jī)的假定3:隨機(jī)誤差項(xiàng)的均值為零，即假定4:同方差性或ui的方差相等2/3/202337假定5:各個(gè)隨機(jī)誤差項(xiàng)之間無(wú)自相關(guān)假定6:ui與Xi的協(xié)方差為零假定7:觀測(cè)次數(shù)n必須大于待估計(jì)的參數(shù)個(gè)數(shù)，換言之，觀測(cè)次數(shù)n必須大于解釋變量的個(gè)數(shù)假定8:X值要具有變異性假定9:正確地設(shè)定了回歸模型，即在經(jīng)驗(yàn)分析中所用的模型沒(méi)有設(shè)定偏差假定10：沒(méi)有完全的多重共線性，即解釋變量之間沒(méi)有完全的線性關(guān)系2/3/202338假定3隨機(jī)誤差項(xiàng)的均值為零2/3/2023392/3/2023402/3/202341§2.3.3最小二乘估計(jì)的精度或標(biāo)準(zhǔn)差(3.3.1）(3.3.9）(3.3.4）(3.3.3）(3.3.2）方差：標(biāo)準(zhǔn)差：方差：標(biāo)準(zhǔn)差：協(xié)方差：2/3/202342由于總體方差σ2通常未知，需要利用下式估算：估計(jì)標(biāo)準(zhǔn)誤差則為：（n-2)是指當(dāng)有ｎ個(gè)數(shù)據(jù)點(diǎn)時(shí)，斜率和截距的估計(jì)會(huì)給數(shù)據(jù)加上兩個(gè)約束條件，使得在估計(jì)殘差方差時(shí)還剩下(n-2)個(gè)不受約束的觀測(cè)值。(n-2)表示自由度的個(gè)數(shù)2/3/202343的方差具有如下特點(diǎn)（3）由于是估計(jì)量，它們不僅從一個(gè)樣本變到另一個(gè)樣本，而且對(duì)給定的一個(gè)樣本，它們還可能相互依賴(lài)，即兩者的協(xié)方差不為零。2/3/202344§2.3.4最小二乘估計(jì)量的性質(zhì)：

高斯-馬爾可夫定理1.線性：即是隨機(jī)變量Yi的線性函數(shù)2.無(wú)偏性：即的均值或期望值等于真值同理可證：2/3/2023452/3/2023463.在所有這樣的線性無(wú)偏估計(jì)量中，最小二乘估計(jì)量具有最小方差。有最小方差的估計(jì)量稱(chēng)為有效估計(jì)量高斯-馬爾可夫定理：在給定經(jīng)典線性回歸模型的假定下，最小二乘估計(jì)量在無(wú)偏線性估計(jì)量一類(lèi)中具有最小方差，即為最佳線性無(wú)偏估計(jì)或叫最小方差線性無(wú)偏估計(jì)?！綛estLinearUnbiasedEstimator,BLUE】2/3/202347§2.3.5判定系數(shù)r2：“擬合優(yōu)度”的一個(gè)度量對(duì)等式兩邊平方求和：總平方和回歸平方和殘差平方和(3.5.4)2/3/202348定義r2為：r2測(cè)度了在Y的總變異中由回歸模型解釋的那個(gè)部分所占的比例或百分比。r2的兩個(gè)性質(zhì)：①它是一個(gè)非負(fù)值；②取值范圍：0≤r2≤1r2的其他計(jì)算方法可以參閱教材P62～63的各個(gè)公式。由于采用統(tǒng)計(jì)軟件可以直接得出r2的值，不需要死記這些公式。2/3/202349樣本相關(guān)系數(shù)r:根據(jù)定義計(jì)算樣本相關(guān)系數(shù)的公式：2/3/202350樣本相關(guān)系數(shù)的性質(zhì)1、r可正可負(fù)，其符號(hào)與分子即兩變量的協(xié)變異的符號(hào)相同；2、取值范圍：-1≤r≤1；3、r具有對(duì)稱(chēng)性，即X與Y的相關(guān)系數(shù)和Y與X的相關(guān)系數(shù)相同；4、r與原點(diǎn)和計(jì)量單位沒(méi)有關(guān)系；5、如果X與Y在統(tǒng)計(jì)上獨(dú)立，則它們的相關(guān)系數(shù)為零；但反過(guò)來(lái)，r=0并不等于說(shuō)兩個(gè)變量是獨(dú)立的，零相關(guān)并不一定意味著獨(dú)立；6、r僅是線性相關(guān)的一個(gè)度量值，不能用于描述非線性關(guān)系；7、r并不反映兩個(gè)變量之間一定具有因果關(guān)系。2/3/2023512/3/202352§2.3.6一個(gè)數(shù)值的例子每周家庭消費(fèi)支出Y和每周家庭收入X的假設(shè)數(shù)據(jù)YX70806510090120951401101601151801202001402201552401502602/3/2023532/3/2023542/3/2023552/3/2023562/3/202357§2.3.7兩個(gè)說(shuō)明性例子咖啡消費(fèi)量與咖啡價(jià)格的關(guān)系2/3/2023582/3/202359美國(guó)歷年個(gè)人消費(fèi)支出與GDP的數(shù)據(jù)2/3/2023602/3/202361第4節(jié)正態(tài)性假定：

經(jīng)典正態(tài)線性回歸模型§2.4.1正態(tài)分布性假定經(jīng)典正態(tài)線性回歸假定每個(gè)ui都是正態(tài)分布的，且其均值為零，方差不變，即：2/3/202362對(duì)兩個(gè)正態(tài)分布變量而言，零協(xié)方差或零相關(guān)則意味著兩個(gè)變量相互獨(dú)立。在正態(tài)性假定下，不僅說(shuō)明ui與uj不相關(guān)，而且說(shuō)它們是獨(dú)立分布的，即獨(dú)立同分布：Normallyandindependentlydistribution2/3/202363（1）u代表回歸模型中為明顯引進(jìn)的許多自變量的總影響。期望這些影響微小而且是隨機(jī)的。根據(jù)中心極限定理，如果存在大量獨(dú)立且同分布的隨機(jī)變量，那么，除了少數(shù)例外情形，隨著這些變量的個(gè)數(shù)無(wú)限增大，它們的總和將趨向正態(tài)分布。（2）中心極限定理的另一解釋?zhuān)词棺兞總€(gè)數(shù)并不很大或這些變量還不是嚴(yán)格獨(dú)立的，它們的總和仍可視同正態(tài)分布；（3）正態(tài)分布的一個(gè)性質(zhì)是，正態(tài)分布變量的任何線性函數(shù)都是正態(tài)分布的。在正態(tài)性假定下，容易到處OLS估計(jì)量的概率分布（4）正態(tài)分布是一個(gè)比較簡(jiǎn)單的，僅涉及兩個(gè)參數(shù)（均值和方差）的分布，它為人們所熟知，其理論性質(zhì)曾在數(shù)理統(tǒng)計(jì)中得到廣泛研究。為何提出正態(tài)性假定？2/3/202364§2.4.2正態(tài)性假定下

OLS估計(jì)量的性質(zhì)（1）它們是無(wú)偏估計(jì)量：（2）它們有最小方差，即是有效估計(jì)量（3）具有一致性，即隨著樣本容量無(wú)限增大，估計(jì)量將收斂到它們的真值。（4）服從正態(tài)分布2/3/202365（5）遵循n-2個(gè)自由度的卡方分布（6）的分布獨(dú)立于（7）在整個(gè)無(wú)偏估計(jì)類(lèi)中，無(wú)論是線性或非線性估計(jì)，都有最小方差，即是最優(yōu)無(wú)偏估計(jì)量如果假定u服從上述的正態(tài)分布，則Y本身也遵循正態(tài)分布，2/3/202366§2.4.3最大似然估計(jì)法（MaximumLikelihood，簡(jiǎn)稱(chēng)ML）

最小二乘估計(jì)是指當(dāng)從模型總體隨機(jī)抽取ｎ組樣本觀測(cè)值后，最合理的參數(shù)估計(jì)量應(yīng)該使得模型能最好地?cái)M合樣本數(shù)據(jù)。而最大似然估計(jì)量是指當(dāng)從模型總體隨機(jī)抽取ｎ組樣本觀測(cè)值后，最合理的參數(shù)估計(jì)量應(yīng)該使得從中抽取該ｎ組樣本觀測(cè)值的概率最大2/3/202367或然函數(shù)樣本觀測(cè)值的聯(lián)合概率函數(shù)稱(chēng)為變