線性回歸的基本思想

線性回歸的基本思想第一頁(yè)，共三十頁(yè)，編輯于2023年，星期三6.1回歸的含義6.2總體回歸函數(shù)6.3總體回歸函數(shù)的統(tǒng)計(jì)或隨機(jī)設(shè)定6.4隨機(jī)誤差項(xiàng)的性質(zhì)6.5樣本回歸函數(shù)6.6“線性”回歸的特殊含義6.7從雙變量回歸到多元線性回歸6.8參數(shù)估計(jì)：普通最小二乘法6.9綜合6.10一些例子6.11總結(jié)第二頁(yè)，共三十頁(yè)，編輯于2023年，星期三6.1

回歸的含義回歸分析是用來(lái)研究一個(gè)變量（稱之為被解釋變量explainedvariable或應(yīng)變量dependentvariable）與另一個(gè)或多個(gè)變量（稱之為解釋變量explanatoryvariable或自變量independentvariable）之間關(guān)系的一種分析方法。例如研究商品的需求量與該商品的價(jià)格、消費(fèi)者的收入以及其他同類商品的價(jià)格之間的關(guān)系。通常我們用Y表示應(yīng)變量，用X表示自變量。第三頁(yè)，共三十頁(yè)，編輯于2023年，星期三

回歸分析是用來(lái)處理一個(gè)應(yīng)變量與另一個(gè)或多個(gè)自變量的關(guān)系，但它并不一定表明因果關(guān)系的存在。兩個(gè)變量是否存在因果關(guān)系，哪一個(gè)是應(yīng)變量，哪一個(gè)是自變量是由正確的經(jīng)濟(jì)理論決定的。

需要注意的是具有因果關(guān)系的變量之間一定具有數(shù)學(xué)上的相關(guān)關(guān)系，而具有相關(guān)關(guān)系的變量之間并不一定具有因果關(guān)系。

例如：中國(guó)的國(guó)內(nèi)生產(chǎn)總值與印度的人口之間具有較強(qiáng)的相關(guān)性（相關(guān)系數(shù)較高），因?yàn)槎叨家暂^快的速度增長(zhǎng)，但顯然二者之間不具有因果關(guān)系。第四頁(yè)，共三十頁(yè)，編輯于2023年，星期三回歸分析的應(yīng)用（1）通過(guò)已知變量的值來(lái)估計(jì)應(yīng)變量的均值（2）根據(jù)經(jīng)濟(jì)理論建立適當(dāng)?shù)募僭O(shè)并對(duì)其進(jìn)行檢驗(yàn)（3）根據(jù)自變量的值對(duì)應(yīng)變量的均值進(jìn)行預(yù)測(cè)（4）上述多個(gè)目標(biāo)的綜合第五頁(yè)，共三十頁(yè)，編輯于2023年，星期三6.2

總體回歸函數(shù):假想一例下面我們通過(guò)一個(gè)具體例子說(shuō)明回歸分析的用途。表6-1每周博彩支出和每周個(gè)人可支配收入個(gè)人可支配收入每周博彩支出

消費(fèi)者1501752002252502753003253503751283335363840424345462273131343637393539403252930313332343133344332728293030313030315232426272829302927286152022262527293330327181820232325263228308121517212222243032319131416182018253132331015101916183223253431均值20.922.124.426.127.329.230.331.933.033.6第六頁(yè)，共三十頁(yè)，編輯于2023年，星期三分析步驟：（1）以個(gè)人可支配收入X為橫軸，每周博彩支出量Y為縱軸，對(duì)表中數(shù)據(jù)作散點(diǎn)圖。（2）分析兩變量間的關(guān)系（3）做出總體回歸直線見(jiàn)Excel文件。第七頁(yè)，共三十頁(yè)，編輯于2023年，星期三總體回歸函數(shù)PRFB1和B2是參數(shù)(parameters)，也稱回歸系數(shù)(regressioncoefficients)。B1又稱為截距(intercept)，B2又稱為斜率(slope)。斜率度量了X每變動(dòng)一個(gè)單位，Y的均值的變化率。Y的條件期望，可簡(jiǎn)寫為E(Y)注意：回歸分析是條件回歸分析(conditionalregressionanalysis)。(6-1)第八頁(yè)，共三十頁(yè)，編輯于2023年，星期三}u6.3

總體回歸函數(shù)的統(tǒng)計(jì)或隨機(jī)設(shè)定

隨機(jī)總體回歸方程(stochasticPRF)ui表示隨機(jī)誤差項(xiàng)(randomerrorterm)，簡(jiǎn)稱誤差項(xiàng)。0150300XY每周個(gè)人可支配收入（美元）每周博彩支出（美元）20.902530.324.0}u...(6-2)第九頁(yè)，共三十頁(yè)，編輯于2023年，星期三6.4

隨機(jī)誤差項(xiàng)的性質(zhì)

（1）在解釋變量中被忽略的因素的影響；（2）變量觀測(cè)值的觀測(cè)誤差的影響；（3）模型關(guān)系的設(shè)定誤差的影響；（4）其它隨機(jī)因素的影響包括人類行為中的一些內(nèi)在隨機(jī)性；（5）奧卡姆的剃刀原則——“簡(jiǎn)單優(yōu)于復(fù)雜”。第十頁(yè)，共三十頁(yè)，編輯于2023年，星期三6.5樣本回歸函數(shù)如何估計(jì)總體回歸函數(shù)，即求參數(shù)B1、B2呢？前面我們已經(jīng)介紹了：總體回歸函數(shù)PRF隨機(jī)總體回歸方程(stochasticPRF)(6-1)(6-2)如果已知整個(gè)總體的數(shù)據(jù)，如上例，問(wèn)題就比較簡(jiǎn)單，但在實(shí)際中，我們往往不能得到整個(gè)總體的數(shù)據(jù)，只有來(lái)自總體的某一個(gè)樣本數(shù)據(jù)，我們?cè)撛趺醋?？第十一?yè)，共三十頁(yè)，編輯于2023年，星期三Y18242623302734353340X150175200225250275300325350375Y23182425282731293334表6-2、6-3來(lái)自表6-1總體的兩個(gè)隨機(jī)樣本X150175200225250275300325350375做散點(diǎn)圖及估計(jì)樣本回歸直線見(jiàn)Excel文件表6-2表6-3第十二頁(yè)，共三十頁(yè)，編輯于2023年，星期三樣本回歸直線可用樣本回歸函數(shù)SRF來(lái)表示：(6-3)(6-1)隨機(jī)的樣本函數(shù)：(6-4)(6-2)第十三頁(yè)，共三十頁(yè)，編輯于2023年，星期三樣本回歸函數(shù)隨機(jī)樣本回歸函數(shù)總體回歸函數(shù)隨機(jī)總體回歸方程觀察值可表示為(6-3)(6-4)(6-1)(6-2)(6-6)(6-7)線性O(shè)LS總結(jié)第十四頁(yè)，共三十頁(yè)，編輯于2023年，星期三圖6-4

總體回歸線與樣本回歸線......e1u1Y1AenunXY0需求量?jī)r(jià)格第十五頁(yè)，共三十頁(yè)，編輯于2023年，星期三6.6“線性”回歸的特殊含義解釋變量線性與參數(shù)線性圖6-5

線性和非線性需求曲線非線性舉例：1.解釋變量線性例如：2.參數(shù)線性非線性舉例：例如：第十六頁(yè)，共三十頁(yè)，編輯于2023年，星期三圖6-5線性和非線性需求曲線1111XXYY價(jià)格價(jià)格需求量a)線性需求曲線b)非線性需求曲線第十七頁(yè)，共三十頁(yè)，編輯于2023年，星期三6.7從雙變量回歸到多元線性回歸多元線性回歸：如果博彩支出是收入(X2)、財(cái)富(X3)和年齡(X4)的函數(shù)，則擴(kuò)展的博彩支出函數(shù)如下：個(gè)體博彩支出函數(shù)（即隨機(jī)總體回歸函數(shù)）為：（6-11）（6-12）第十八頁(yè)，共三十頁(yè)，編輯于2023年，星期三6.8參數(shù)估計(jì)：普通最小二乘法普通最小二乘法(OLS)最小二乘原理總體回歸方程：樣本回歸函數(shù)：因而[利用(6-3)]最小二乘原理就是選擇合適參數(shù)使得全部觀察值的殘差平方和(RSS)最小，數(shù)學(xué)形式為：

(6-13)第十九頁(yè)，共三十頁(yè)，編輯于2023年，星期三普通最小二乘法就是尋找使RSS達(dá)到最小時(shí)的參數(shù)作為參數(shù)估計(jì)值的一種方法。利用極值原理可以得到：(6-16)(6-17)正規(guī)方程(6-14)(6-15)求解得到：第二十頁(yè)，共三十頁(yè)，編輯于2023年，星期三普通最小二乘估計(jì)量的一些性質(zhì)：（1）（2）（3）（4）第二十一頁(yè)，共三十頁(yè)，編輯于2023年，星期三6.9綜合解得：利用OLS方法估計(jì)樣本回歸方程，具體計(jì)算步驟如表6-4：見(jiàn)Excel文件。第二十二頁(yè)，共三十頁(yè)，編輯于2023年，星期三斜率：截矩：表6-4博彩一例的原始數(shù)據(jù)及OLS計(jì)算步驟（來(lái)自表6-2）YiXiXiYiXi平方xiyiyi平方xi平方xiyiYi估計(jì)值eiei平方eiXi18150270022500-112.5-1112112656.25123819.8364-1.836433.372-275.464824175420030625-87.5-5257656.25437.521.87282.127194.525372.258826200520040000-62.5-393906.25187.523.90912.090824.372418.163623225517550625-37.5-6361406.2522525.9455-2.945568.676-662.750330250750062500-12.511156.25-12.527.98192.018074.073504.51702727574257562512.5-24156.25-2530.0183-3.018319.110-830.034434300102009000037.55251406.25187.532.05461.945323.784583.5954353251137510562562.56363906.2537534.09100.908940.826295.4065333501155012250087.54167656.2535036.1274-3.127439.781-1094.60124037515000140625112.51112112656.25123838.16381.836193.372688.5724合計(jì)2902625803257406250039451562.54200290.00-0.00119

51.891-0.3371第二十三頁(yè)，共三十頁(yè)，編輯于2023年，星期三對(duì)博彩支出回歸結(jié)果的解釋對(duì)博彩支出的估計(jì)結(jié)果解釋如下：斜率系數(shù)0.08145表示，在其他條件保持不變的情況下，PDI每增加一美元，每周平均博彩支出將增加約8每分。截距7.6182表示，當(dāng)PDI為0時(shí)，博彩的平均支出為7.62美元。截距一般沒(méi)有什么特殊的經(jīng)濟(jì)含義。第二十四頁(yè)，共三十頁(yè)，編輯于2023年，星期三6.10一些例子例6-1：受教育年限與平均小時(shí)工資根據(jù)由528個(gè)觀察值組成的樣本，表6-5給出了平均小時(shí)工資Y和受教育年限X的數(shù)據(jù)。根據(jù)勞動(dòng)經(jīng)濟(jì)學(xué)中的人力資本理論，預(yù)期平均工資隨受教育年限的增加而增加，二者正相關(guān)。數(shù)據(jù)的回歸結(jié)果如下：

回歸結(jié)果表明，在其他條件不變的情況下，受教育年限每增加一年，平均小時(shí)工資增加72美分。前面已經(jīng)提到過(guò)，在大多數(shù)情況下，截距沒(méi)有什么明顯的經(jīng)濟(jì)含義，本例亦如此。第二十五頁(yè)，共三十頁(yè)，編輯于2023年，星期三例6-2：奧肯定律：布魯金斯學(xué)會(huì)主席，前總統(tǒng)經(jīng)濟(jì)顧問(wèn)委員會(huì)主席奧肯（ArthurOkun）根據(jù)美國(guó)1947-1960年的數(shù)據(jù)，得到如下回歸方程，稱之為奧肯定律：其中，Yt表示失業(yè)率的變動(dòng)（百分?jǐn)?shù)），Xt表示實(shí)際產(chǎn)出的增長(zhǎng)率（百分率），用實(shí)際GNP度量，2.5是對(duì)美國(guó)歷史的觀察得到的長(zhǎng)期產(chǎn)出增長(zhǎng)率。在上面方程中，截距為零，斜率為-0.4。奧肯定律是說(shuō)實(shí)際GNP的增長(zhǎng)每超過(guò)2.5%一個(gè)百分點(diǎn)，失業(yè)率將降低0.4個(gè)百分點(diǎn)。奧肯定律被用來(lái)預(yù)測(cè)失業(yè)率減少到一定的百分點(diǎn)而所需的實(shí)際GNP的增長(zhǎng)率。當(dāng)實(shí)際GNP增長(zhǎng)率為5%時(shí)，將使失業(yè)率減少一個(gè)百分點(diǎn)，或者說(shuō)若使增長(zhǎng)率達(dá)到7.5%，則減少失業(yè)率2個(gè)百分點(diǎn)。第二十六頁(yè)，共三十頁(yè)，編輯于2023年，星期三例6-3：股票價(jià)格與利率股票價(jià)格和利率是重要的經(jīng)濟(jì)指標(biāo)。利用S&P500綜合指數(shù)(1941～1943年＝10)度量股票價(jià)格，三月期國(guó)債利率(％)度量利率。表6-13給出了1980～1999年這些變量的數(shù)據(jù)。根據(jù)散點(diǎn)圖（見(jiàn)Excel文