線性回歸的基本思想：雙變量模型

線性回歸的基本思想：雙變量模型第二章線性回歸的基本思想：雙變量模型共54頁，您現(xiàn)在瀏覽的是第1頁!2.1回歸的含義

回歸一詞最先由F.加爾頓(FrancisGalton)引入,在一篇著名的論文中，加爾頓指出，雖然有一個(gè)趨勢，父母高，兒女也高；父母矮，兒女也矮，但給定父母的身高，兒女輩的平均身高卻趨向于或者“回歸”到全體人口的平均身高。線性回歸的基本思想：雙變量模型共54頁，您現(xiàn)在瀏覽的是第2頁!K．皮爾遜(KarlPearson)證實(shí)了加爾頓的普遍回歸定律皮爾遜收集過一些家庭群體的1千多名成員的身高記錄。他發(fā)現(xiàn)，對(duì)于一個(gè)父親高的群體，兒輩的平均身高低于他們父輩的身高，而對(duì)于一個(gè)父親矮的群體，兒輩的平均身高則高于其父輩的身高。這樣就把高的和矮的兒輩一同“回歸”到所有男子的平均身高。用加爾頓的話說，這是“回歸到中等”。2.1回歸的含義線性回歸的基本思想：雙變量模型共54頁，您現(xiàn)在瀏覽的是第3頁!對(duì)變量間統(tǒng)計(jì)依賴關(guān)系的考察主要是通過相關(guān)分析(correlationanalysis)和回歸分析(regressionanalysis)來完成的：例如：

函數(shù)關(guān)系：統(tǒng)計(jì)依賴關(guān)系/統(tǒng)計(jì)相關(guān)關(guān)系：2.1回歸的含義線性回歸的基本思想：雙變量模型共54頁，您現(xiàn)在瀏覽的是第4頁!

回歸的現(xiàn)代解釋

回歸分析是關(guān)于研究一個(gè)叫做應(yīng)變量（被解釋變量）的變量對(duì)另一個(gè)或多個(gè)叫做自變量（解釋變量）的變量的依賴關(guān)系，其用意在于通過后者的已知或設(shè)定值，去估計(jì)和(或)預(yù)測前者的(總體)均值。統(tǒng)一符號(hào):Y代表被解釋變量（應(yīng)變量或因變量）

X代表解釋變量（自變量）2.1回歸的含義線性回歸的基本思想：雙變量模型共54頁，您現(xiàn)在瀏覽的是第5頁!2.

經(jīng)濟(jì)學(xué)家也許想研究個(gè)人消費(fèi)支出對(duì)稅后或可支配實(shí)際個(gè)人收入的依賴關(guān)系。這種分析會(huì)有助于估計(jì)邊際消費(fèi)傾向(MPC)，就是實(shí)際收入每美元價(jià)值的變化所引起的消費(fèi)支出的平均變化。2.1回歸的含義線性回歸的基本思想：雙變量模型共54頁，您現(xiàn)在瀏覽的是第6頁!4.由貨幣經(jīng)濟(jì)學(xué)中得知，其他條件不變，通貨膨脹率越愈高，人們愿意以貨幣形式保存的收入比例愈低，對(duì)這種關(guān)系作一數(shù)量分析，將使貨幣經(jīng)濟(jì)學(xué)家能夠?qū)Ω鞣N通貨膨脹率預(yù)測人們愿意以貨幣形式保存的收入比例。2.1回歸的含義線性回歸的基本思想：雙變量模型共54頁，您現(xiàn)在瀏覽的是第7頁!回歸分析的基本思想技巧，就是在研究這種變量之間的依從關(guān)系的基礎(chǔ)上，分析一個(gè)叫做應(yīng)變量的變量，對(duì)另一個(gè)或多個(gè)叫做解釋變量的變化的統(tǒng)計(jì)依賴性，這種分析的目的，是要在解釋變量已知或固定值的基礎(chǔ)上，估計(jì)和預(yù)測應(yīng)變量的均值。

2.1回歸的含義線性回歸的基本思想：雙變量模型共54頁，您現(xiàn)在瀏覽的是第8頁!2.1回歸的含義回歸分析的目的：根據(jù)自變量的取值，估計(jì)應(yīng)變量的均值。檢驗(yàn)（建立在經(jīng)濟(jì)理論基礎(chǔ)之上的）假設(shè)。根據(jù)樣本外自變量的取值，預(yù)測應(yīng)變量的均值?？赏瑫r(shí)進(jìn)行上述各項(xiàng)分析。線性回歸的基本思想：雙變量模型共54頁，您現(xiàn)在瀏覽的是第9頁!圖2-1家庭年收入與數(shù)學(xué)S.A.T分?jǐn)?shù)

線性回歸的基本思想：雙變量模型共54頁，您現(xiàn)在瀏覽的是第10頁!2.2總體歸函數(shù)（PRF）：假想一例描出散點(diǎn)圖發(fā)現(xiàn)：隨著收入的增加，成績“平均地說”也在增加，且Y的條件均值均落在一根正斜率的直線上。這條直線稱為總體回歸線。線性回歸的基本思想：雙變量模型共54頁，您現(xiàn)在瀏覽的是第11頁!2.2總體歸函數(shù)（PRF）：假想一例由于變量間關(guān)系的隨機(jī)性，回歸分析關(guān)心的是根據(jù)解釋變量的已知或給定值，考察被解釋變量的總體均值，即當(dāng)解釋變量取某個(gè)確定值時(shí)，與之統(tǒng)計(jì)相關(guān)的被解釋變量所有可能出現(xiàn)的對(duì)應(yīng)值的平均值。嚴(yán)格說，回歸分析是條件回歸分析（conditionalregressionannlysis)線性回歸的基本思想：雙變量模型共54頁，您現(xiàn)在瀏覽的是第12頁!稱i為觀察值Yi圍繞它的期望值E(Y|Xi)的離差（deviation），是一個(gè)不可觀測的隨機(jī)變量，又稱為隨機(jī)干擾項(xiàng)（stochasticdisturbance）或隨機(jī)誤差項(xiàng)（stochasticerror）。記隨機(jī)擾動(dòng)項(xiàng)

總體回歸函數(shù)說明在給定的家庭年收入水平Xi下，學(xué)生平均數(shù)學(xué)成績水平。但對(duì)某一個(gè)別的家庭，其孩子數(shù)學(xué)成績可能與該平均水平有偏差。2.3總體回歸函數(shù)的統(tǒng)計(jì)或隨機(jī)設(shè)定線性回歸的基本思想：雙變量模型共54頁，您現(xiàn)在瀏覽的是第13頁!2.3總體回歸函數(shù)的統(tǒng)計(jì)或隨機(jī)設(shè)定線性回歸的基本思想：雙變量模型共54頁，您現(xiàn)在瀏覽的是第14頁!

問題：能從一次抽樣中獲得總體的近似的信息嗎？如果可以，如何從抽樣中獲得總體的近似信息？

總體的信息往往無法掌握，現(xiàn)實(shí)的情況只能是在一次觀測中得到總體的一個(gè)樣本。（2-1）2.5樣本回歸函數(shù)線性回歸的基本思想：雙變量模型共54頁，您現(xiàn)在瀏覽的是第15頁!2.5樣本回歸函數(shù)線性回歸的基本思想：雙變量模型共54頁，您現(xiàn)在瀏覽的是第16頁!樣本回歸函數(shù)的隨機(jī)形式/樣本回歸模型：同樣地，樣本回歸函數(shù)也有如下的隨機(jī)形式：

由于方程中引入了隨機(jī)項(xiàng)，成為計(jì)量經(jīng)濟(jì)模型，因此也稱為樣本回歸模型（sampleregressionmodel）。

（2-4）2.5樣本回歸函數(shù)殘差項(xiàng)線性回歸的基本思想：雙變量模型共54頁，您現(xiàn)在瀏覽的是第17頁!2.5樣本回歸函數(shù)線性回歸的基本思想：雙變量模型共54頁，您現(xiàn)在瀏覽的是第18頁!回歸分析的主要目的是要通過樣本回歸函數(shù)（模型）SRF盡可能準(zhǔn)確地估計(jì)總體回歸函數(shù)（模型）PRF。估計(jì)方法有多種，其種最廣泛使用的是普通最小二乘法（ordinaryleastsquares,OLS）。為保證參數(shù)估計(jì)量具有良好的性質(zhì)，通常對(duì)模型提出若干基本假設(shè)。2.5樣本回歸函數(shù)線性回歸的基本思想：雙變量模型共54頁，您現(xiàn)在瀏覽的是第19頁!2.6“線性”回歸的特殊含義我們研究“線性”回歸一詞是指對(duì)參數(shù)為線性的一種回歸(即參數(shù)只以它的1次方出現(xiàn))；對(duì)解釋變量X則可以是或不是線性的

線性回歸的基本思想：雙變量模型共54頁，您現(xiàn)在瀏覽的是第20頁!2.8參數(shù)估計(jì)：普通最小二乘法在回歸分析中，使用最廣泛、最有效、最流行的方法：普通最小二乘法。選擇B1、B2的估計(jì)量b1、b2，使得全部觀察值的殘差平方和(RSS)最小。線性回歸的基本思想：雙變量模型共54頁，您現(xiàn)在瀏覽的是第21頁!2.8參數(shù)估計(jì)：普通最小二乘法(2-15)(2-14)其中，n為樣本容量，這些聯(lián)立方程稱為（最小二乘的）正規(guī)方程（normalequation)線性回歸的基本思想：雙變量模型共54頁，您現(xiàn)在瀏覽的是第22頁!2.8參數(shù)估計(jì)：普通最小二乘法普通最小二乘估計(jì)量的一些重要性質(zhì)1.用OLS法得出的樣本回歸線經(jīng)過樣本均值點(diǎn)，即：2.殘差的均值（）總為0。3.對(duì)殘差與解釋變量的積求和，其值為零；即這兩個(gè)變量不相關(guān)。

(2-19)這條性質(zhì)也可用來檢查最小二乘法計(jì)算結(jié)果。4.對(duì)殘差與（估計(jì)的）的積求和，其值為0；即為0（見習(xí)題2.25）。

(2-18)線性回歸的基本思想：雙變量模型共54頁，您現(xiàn)在瀏覽的是第23頁!對(duì)數(shù)學(xué)S.A.T分?jǐn)?shù)回歸結(jié)果的解釋(2-20)線性回歸的基本思想：雙變量模型共54頁，您現(xiàn)在瀏覽的是第24頁!例2.2奧肯定律

=失業(yè)率的變化（百分?jǐn)?shù)）=實(shí)際產(chǎn)出的增長率（百分?jǐn)?shù)，用實(shí)際GDP度量）2.5=美國長期產(chǎn)出增長率。(2-22)線性回歸的基本思想：雙變量模型共54頁，您現(xiàn)在瀏覽的是第25頁!(2-24)(2-25)(2-23)例2.3股票價(jià)格與利率線性回歸的基本思想：雙變量模型共54頁，您現(xiàn)在瀏覽的是第26頁!(2-26)其中，Y----中等房價(jià)（1000美元）；X----30年固定貸款利率（%）。例2.4美國中等房價(jià)與抵押貸款利率（1980-2007）

線性回歸的基本思想：雙變量模型共54頁，您現(xiàn)在瀏覽的是第27頁!課堂練習(xí)判斷正誤并說明理由隨機(jī)誤差項(xiàng)ui和殘差項(xiàng)ei是一回事?？傮w回歸函數(shù)給出了對(duì)應(yīng)于每一個(gè)自變量的因變量的值。線性回歸模型意味著變量是線性的。在線性回歸模型中，解釋變量是原因，被解釋變量是結(jié)果。隨機(jī)變量的條件均值與非條件均值是一回事。線性回歸的基本思想：雙變量模型共54頁，您現(xiàn)在瀏覽的是第28頁!

（1）確定性關(guān)系或函數(shù)關(guān)系：研究的是確定現(xiàn)象非隨機(jī)變量間的關(guān)系。（2）統(tǒng)計(jì)依賴或相關(guān)關(guān)系：研究的是非確定現(xiàn)象隨機(jī)變量間的關(guān)系。經(jīng)濟(jì)變量之間的關(guān)系，大體可分為兩類：2.1回歸的含義線性回歸的基本思想：雙變量模型共54頁，您現(xiàn)在瀏覽的是第29頁!

①不線性相關(guān)并不意味著不相關(guān)；②有相關(guān)關(guān)系并不意味著一定有因果關(guān)系；③回歸分析/相關(guān)分析研究一個(gè)變量對(duì)另一個(gè)（些）變量的統(tǒng)計(jì)依賴關(guān)系，但它們并不意味著一定有因果關(guān)系。④相關(guān)分析對(duì)稱地對(duì)待任何（兩個(gè)）變量，兩個(gè)變量都被看作是隨機(jī)的?；貧w分析對(duì)變量的處理方法存在不對(duì)稱性，即區(qū)分應(yīng)變量（被解釋變量）和自變量（解釋變量）：前者是隨機(jī)變量，后者不是?！⒁猓?.1回歸的含義線性回歸的基本思想：雙變量模型共54頁，您現(xiàn)在瀏覽的是第30頁!幾個(gè)簡單的例子闡述回歸的基本思想

1.加爾頓的興趣在于發(fā)現(xiàn)為什么人口身高分布有一種穩(wěn)定性。但從現(xiàn)代的觀點(diǎn)考慮，我們并不關(guān)心這種解釋。我們關(guān)心的，卻是給定父輩身高的情形下找出兒輩平均身高的變化。

2.1回歸的含義線性回歸的基本思想：雙變量模型共54頁，您現(xiàn)在瀏覽的是第31頁!3.一位勞工經(jīng)濟(jì)學(xué)家也許要研究貨幣工資變化率對(duì)失業(yè)率的關(guān)系。橫坐標(biāo)為失業(yè)率，縱坐標(biāo)為貨幣工資變化率建立著名的菲利普斯曲線。這樣的分析能使勞工經(jīng)濟(jì)學(xué)家預(yù)測在給定某個(gè)失業(yè)率下貨幣工資的平均變化。

2.1回歸的含義線性回歸的基本思想：雙變量模型共54頁，您現(xiàn)在瀏覽的是第32頁!5.農(nóng)業(yè)經(jīng)濟(jì)學(xué)家想研究作物(比方說小麥)收成對(duì)氣溫、降雨量、陽光量和施肥量的依賴關(guān)系。這種依賴性分析能使他對(duì)給定的解釋變量的信息預(yù)測或預(yù)報(bào)作物的平均收成。

2.1回歸的含義線性回歸的基本思想：雙變量模型共54頁，您現(xiàn)在瀏覽的是第33頁!

回歸并不意味著存在因果關(guān)系！

自變量并不意味是原因應(yīng)變量也并不見得是結(jié)果自變量與應(yīng)變量的關(guān)系的判定或推斷必須經(jīng)過實(shí)踐檢驗(yàn)的相關(guān)理論2.1回歸的含義線性回歸的基本思想：雙變量模型共54頁，您現(xiàn)在瀏覽的是第34頁!2.2總體歸函數(shù)（PRF）：假想一例線性回歸的基本思想：雙變量模型共54頁，您現(xiàn)在瀏覽的是第35頁!2.2總體歸函數(shù)（PRF）：假想一例

（1）由于不確定因素的影響，對(duì)同一收入水平X，不同學(xué)生的成績不完全相同；（2）但由于調(diào)查的完備性，給定收入水平X的分?jǐn)?shù)Y的分布是確定的，即以X的給定值為條件的Y的條件分布（Conditionaldistribution）是已知的，如：P(Y=460|X=5000）=1/5。因此，給定收入X的值Xi，可得分?jǐn)?shù)Y的條件均值（conditionalmean）或條件期望（conditionalexpectation）：

E(Y|X=Xi)分析：線性回歸的基本思想：雙變量模型共54頁，您現(xiàn)在瀏覽的是第36頁!總體回歸直線—可用函數(shù)(PRF)表示

和為未知然而固定的參數(shù)，稱為回歸系數(shù)；也分別稱為截距和斜率系數(shù)。方程本身則稱線性總體回歸函數(shù)。（2-1）2.2總體歸函數(shù)（PRF）：假想一例線性回歸的基本思想：雙變量模型共54頁，您現(xiàn)在瀏覽的是第37頁!2.2總體歸函數(shù)（PRF）：假想一例在給定解釋變量Xi條件下被解釋變量Yi的期望軌跡稱為總體回歸線（populationregressionline），或更一般地稱為總體回歸曲線（populationregressioncurve）。相應(yīng)的函數(shù)：稱為（雙變量）總體回歸函數(shù)（populationregressionfunction,PRF）。線性回歸的基本思想：雙變量模型共54頁，您現(xiàn)在瀏覽的是第38頁!例2.1中，個(gè)別學(xué)生的數(shù)學(xué)成績?yōu)椋?/p>

（2-2）式稱為隨機(jī)(stochastic)或統(tǒng)計(jì)總體回歸函數(shù)（statisticalPRF）。表明被解釋變量除了受解釋變量的系統(tǒng)性影響外，還受其他因素的隨機(jī)性影響。

（1）該收入水平下所有家庭孩子的平均數(shù)學(xué)成績?yōu)镋(Y|Xi)，稱為系統(tǒng)性（systematic）或確定性（deterministic)部分。（2）其他隨機(jī)或非確定性（nonsystematic)部分i。即，給定收入水平Xi,個(gè)別家庭孩子的數(shù)學(xué)成績可表示為兩部分之和:（2-2）2.3總體回歸函數(shù)的統(tǒng)計(jì)或隨機(jī)設(shè)定線性回歸的基本思想：雙變量模型共54頁，您現(xiàn)在瀏覽的是第39頁!2.4隨機(jī)誤差項(xiàng)的性質(zhì)1．誤差項(xiàng)代表了未納入模型變量的影響。2．即使模型中包括了決定數(shù)學(xué)分?jǐn)?shù)的所有變量，其內(nèi)在隨機(jī)性也不可避免，這是做任何努力都無法解釋的。3．還代表了度量誤差。4．“奧卡姆剃刀原則”——即描述應(yīng)該盡可能簡單，只要不遺漏重要的信息。線性回歸的基本思想：雙變量模型共54頁，您現(xiàn)在瀏覽的是第40頁!2.5樣本回歸函數(shù)線性回歸的基本思想：雙變量模型共54頁，您現(xiàn)在瀏覽的是第41頁!

樣本散點(diǎn)圖近似于一條直線，畫一條直線以盡好地?cái)M合該散點(diǎn)圖，由于樣本取自總體，可以該線近似地代表總體回歸線。該線稱為樣本回歸線（sampleregressionlines,SRL）。

記樣本回歸線的函數(shù)形式：稱為樣本回歸函數(shù)（sampleregressionfunction，SRF）。

（2-3）2.5樣本回歸函數(shù)線性回歸的基本思想：雙變量模型共54頁，您現(xiàn)在瀏覽的是第42頁!

注意：（2-5）2.5樣本回歸函數(shù)線性回歸的基本思想：雙變量模型共54頁，您現(xiàn)在瀏覽的是第43頁!2.5樣本回歸函數(shù)（2-6）（2-7）線性回歸的基本思想：雙變量模型共54頁，您現(xiàn)在瀏覽的是第44頁!2.6“線性”回歸的特殊含義變量線性：線性的種、也是最“本質(zhì)”的含義是應(yīng)變量的條件均值是自變量的線性函數(shù)。

參數(shù)線性：線性的第二種解釋是應(yīng)變量的條件均值是參數(shù)的線性函數(shù)，而變量之間并不一定是線性的。線性回歸的基本思想：雙變量模型共54頁，您現(xiàn)在瀏覽的是第45頁!2.7從雙變量回歸到多元線性回歸

(2-11)(2-12)線性回歸的基本思想：雙變量模