回歸分析基本方法

1、關(guān)于回歸分析基本方法第一張，PPT共四十九頁，創(chuàng)作于2022年6月2.1 回歸分析概述一、變量間的關(guān)系及回歸分析的基本概念 二、一元總體回歸函數(shù)三、隨機(jī)擾動(dòng)項(xiàng)四、一元樣本回歸函數(shù)（SRF）第二張，PPT共四十九頁，創(chuàng)作于2022年6月2.1 回歸分析概述 （1）確定性關(guān)系或函數(shù)關(guān)系：研究的是確定現(xiàn)象非隨機(jī)變量間的關(guān)系。 （2）統(tǒng)計(jì)依賴或相關(guān)關(guān)系：研究的是非確定現(xiàn)象隨機(jī)變量間的關(guān)系。一、變量間的關(guān)系及回歸分析的基本概念 1、變量間的關(guān)系 經(jīng)濟(jì)變量之間的關(guān)系，大體可分為兩類：第三張，PPT共四十九頁，創(chuàng)作于2022年6月對變量間統(tǒng)計(jì)依賴關(guān)系的考察主要是通過相關(guān)分析(correlation anal

2、ysis)或回歸分析(regression analysis)來完成的：例如： 函數(shù)關(guān)系：統(tǒng)計(jì)依賴關(guān)系/統(tǒng)計(jì)相關(guān)關(guān)系：第四張，PPT共四十九頁，創(chuàng)作于2022年6月 不線性相關(guān)并不意味著不相關(guān)； 有相關(guān)關(guān)系并不意味著一定有因果關(guān)系； 回歸分析/相關(guān)分析研究一個(gè)變量對另一個(gè)（些）變量的統(tǒng)計(jì)依賴關(guān)系，但它們并不意味著一定有因果關(guān)系。 相關(guān)分析對稱地對待任何（兩個(gè)）變量，兩個(gè)變量都被看作是隨機(jī)的。回歸分析對變量的處理方法存在不對稱性，即區(qū)分應(yīng)變量（被解釋變量）和自變量（解釋變量）：前者是隨機(jī)變量，后者不是。注意：第五張，PPT共四十九頁，創(chuàng)作于2022年6月 回歸分析(regression anal

3、ysis)是研究一個(gè)變量關(guān)于另一個(gè)（些）變量的具體依賴關(guān)系的計(jì)算方法和理論。 其用意：在于通過后者的已知或設(shè)定值，去估計(jì)和（或）預(yù)測前者的（總體）均值。 這里：前一個(gè)變量被稱為被解釋變量（Explained Variable）或應(yīng)變量（Dependent Variable），后一個(gè)（些）變量被稱為解釋變量（Explanatory Variable）或自變量（Independent Variable）。2、回歸分析的基本概念 回歸分析構(gòu)成計(jì)量經(jīng)濟(jì)學(xué)的方法論基礎(chǔ)，其主要內(nèi)容包括： （1）根據(jù)樣本觀察值對經(jīng)濟(jì)計(jì)量模型參數(shù)進(jìn)行估計(jì)，求得回歸方程；（2）對回歸方程、參數(shù)估計(jì)值進(jìn)行顯著性檢驗(yàn)；（3）利用回

4、歸方程進(jìn)行分析、評價(jià)及預(yù)測。第六張，PPT共四十九頁，創(chuàng)作于2022年6月 回歸分析關(guān)心的是根據(jù)解釋變量的已知或給定值，考察被解釋變量的總體均值，即當(dāng)解釋變量取某個(gè)確定值時(shí)，與之統(tǒng)計(jì)相關(guān)的被解釋變量所有可能出現(xiàn)的對應(yīng)值的平均值。 二、一元總體回歸函數(shù)第七張，PPT共四十九頁，創(chuàng)作于2022年6月概念： 在給定解釋變量Xi條件下被解釋變量Yi的期望軌跡稱為一元總體回歸線（population regression line），或更一般地稱為一元總體回歸曲線（population regression curve）。稱為（雙變量）一元總體回歸函數(shù)（population regression fun

5、ction, PRF）。 相應(yīng)的函數(shù)：第八張，PPT共四十九頁，創(chuàng)作于2022年6月 回歸函數(shù)（PRF）說明被解釋變量Y的平均狀態(tài)（總體條件期望）隨解釋變量X變化的規(guī)律。含義： 函數(shù)形式： 可以是線性或非線性的。為一線性函數(shù)。其中，0，1是未知參數(shù)，稱為回歸系數(shù)（regression coefficients）。 。第九張，PPT共四十九頁，創(chuàng)作于2022年6月 三、隨機(jī)擾動(dòng)項(xiàng) 稱i為觀察值Yi圍繞它的期望值E(Y|Xi)的離差（deviation），是一個(gè)不可觀測的隨機(jī)變量，又稱為隨機(jī)干擾項(xiàng)（stochastic disturbance）或隨機(jī)誤差項(xiàng)（stochastic error）。 記

6、第十張，PPT共四十九頁，創(chuàng)作于2022年6月 （*）式稱為一元總體回歸函數(shù)（方程）PRF的隨機(jī)設(shè)定形式。表明被解釋變量除了受解釋變量的系統(tǒng)性影響外，還受其他因素的隨機(jī)性影響。(*) 由于方程中引入了隨機(jī)項(xiàng)，成為計(jì)量經(jīng)濟(jì)學(xué)模型，因此也稱為一元總體回歸模型。第十一張，PPT共四十九頁，創(chuàng)作于2022年6月隨機(jī)誤差項(xiàng)主要包括下列因素的影響：1）在解釋變量中被忽略的因素的影響；2）變量觀測值的觀測誤差的影響；3）模型關(guān)系的設(shè)定誤差的影響；4）其它隨機(jī)因素的影響。產(chǎn)生并設(shè)計(jì)隨機(jī)誤差項(xiàng)的主要原因：1）理論的含糊性；2）數(shù)據(jù)的欠缺；3）節(jié)省原則。第十二張，PPT共四十九頁，創(chuàng)作于2022年6月 四、一元樣

7、本回歸函數(shù)（SRF） 問題：能從一次抽樣中獲得總體的近似的信息嗎？如果可以，如何從抽樣中獲得總體的近似信息？ 總體的信息往往無法掌握，現(xiàn)實(shí)的情況只能是在一次觀測中得到總體的一個(gè)樣本。第十三張，PPT共四十九頁，創(chuàng)作于2022年6月該樣本的散點(diǎn)圖（scatter diagram)： 樣本散點(diǎn)圖近似于一條直線，畫一條直線以盡好地?cái)M合該散點(diǎn)圖，由于樣本取自總體，可以該線近似地代表總體回歸線。該線稱為一元樣本回歸線（sample regression lines）。 記樣本回歸線的函數(shù)形式為：稱為一元樣本回歸函數(shù)（sample regression function，SRF）。 第十四張，PPT共四十

8、九頁，創(chuàng)作于2022年6月 這里將樣本回歸線看成總體回歸線的近似替代則 注意：第十五張，PPT共四十九頁，創(chuàng)作于2022年6月 樣本回歸函數(shù)的隨機(jī)形式/樣本回歸模型：同樣地，樣本回歸函數(shù)也有如下的隨機(jī)形式： 由于方程中引入了隨機(jī)項(xiàng)，成為計(jì)量經(jīng)濟(jì)模型，因此也稱為一元樣本回歸模型（sample regression model）。 第十六張，PPT共四十九頁，創(chuàng)作于2022年6月 回歸分析的主要目的：根據(jù)樣本回歸函數(shù)SRF，估計(jì)總體回歸函數(shù)PRF。注意：這里PRF可能永遠(yuǎn)無法知道。即，根據(jù) 估計(jì)第十七張，PPT共四十九頁，創(chuàng)作于2022年6月2.2 線性回歸模型 一、多元線性回歸模型 二、多元線性

9、回歸模型的基本假定 第十八張，PPT共四十九頁，創(chuàng)作于2022年6月 一、多元線性回歸模型 多元線性回歸模型:表現(xiàn)在線性回歸模型中的解釋變量有多個(gè)。 一般表現(xiàn)形式：i=1,2,n其中:k為解釋變量的數(shù)目，j稱為回歸參數(shù)（regression coefficient）。 習(xí)慣上：把常數(shù)項(xiàng)看成為一虛變量的系數(shù)，該虛變量的樣本觀測值始終取1。這樣： 模型中解釋變量的數(shù)目為（k+1） 第十九張，PPT共四十九頁，創(chuàng)作于2022年6月也被稱為總體回歸函數(shù)的隨機(jī)表達(dá)形式。它 的非隨機(jī)表達(dá)式為: 方程表示：各變量X值固定時(shí)Y的平均響應(yīng)。 j也被稱為偏回歸系數(shù)，表示在其他解釋變量保持不變的情況下，Xj每變化1

10、個(gè)單位時(shí)，Y的均值E(Y)的變化; 或者說j給出了Xj的單位變化對Y均值的“直接”或“凈”（不含其他變量）影響。第二十張，PPT共四十九頁，創(chuàng)作于2022年6月總體回歸模型n個(gè)隨機(jī)方程的矩陣表達(dá)式為 其中第二十一張，PPT共四十九頁，創(chuàng)作于2022年6月樣本回歸函數(shù)：用來估計(jì)總體回歸函數(shù)其隨機(jī)表示式: ei稱為殘差或剩余項(xiàng)(residuals)，可看成是總體回歸函數(shù)中隨機(jī)擾動(dòng)項(xiàng)i的近似替代。 樣本回歸函數(shù)的矩陣表達(dá): 或其中：第二十二張，PPT共四十九頁，創(chuàng)作于2022年6月二、多元線性回歸模型的基本假定 假設(shè)1，解釋變量是非隨機(jī)的或固定的，且各X之間互不相關(guān)（無多重共線性）。 假設(shè)2，隨機(jī)誤

11、差項(xiàng)具有零均值、同方差及不序列相關(guān)性 假設(shè)3，解釋變量與隨機(jī)項(xiàng)不相關(guān) 假設(shè)4，隨機(jī)項(xiàng)滿足正態(tài)分布 第二十三張，PPT共四十九頁，創(chuàng)作于2022年6月上述假設(shè)的矩陣符號(hào)表示 式： 假設(shè)1，n(k+1)矩陣X是非隨機(jī)的，且X的秩=k+1，即X滿秩。 假設(shè)2， 假設(shè)3，E(X)=0，即 第二十四張，PPT共四十九頁，創(chuàng)作于2022年6月假設(shè)4，向量 服從多維正態(tài)分布，即 同一元回歸一樣，多元回歸還具有如下兩個(gè)重要假設(shè)： 假設(shè)5，樣本容量趨于無窮時(shí)，各解釋變量的方差趨于有界常數(shù)，即n時(shí)， 或 其中：Q為一非奇異固定矩陣，矩陣x是由各解釋變量的離差為元素組成的nk階矩陣 假設(shè)6，回歸模型的設(shè)定是正確的。

12、 第二十五張，PPT共四十九頁，創(chuàng)作于2022年6月2.3 線性回歸模型的參數(shù)估計(jì) 估計(jì)方法：OLS、ML 一、普通最小二乘估計(jì) 二、最大似然估計(jì) 三、參數(shù)估計(jì)量的性質(zhì) 四、樣本容量問題 五、估計(jì)實(shí)例 第二十六張，PPT共四十九頁，創(chuàng)作于2022年6月一、普通最小二乘估計(jì)對于隨機(jī)抽取的n組觀測值如果樣本函數(shù)的參數(shù)估計(jì)值已經(jīng)得到，則有： i=1,2n根據(jù)最小二乘原理，參數(shù)估計(jì)值應(yīng)該是下列方程組的解 其中第二十七張，PPT共四十九頁，創(chuàng)作于2022年6月于是得到關(guān)于待估參數(shù)估計(jì)值的正規(guī)方程組： 第二十八張，PPT共四十九頁，創(chuàng)作于2022年6月正規(guī)方程組的矩陣形式即由于XX滿秩，故有 第二十九張，

13、PPT共四十九頁，創(chuàng)作于2022年6月將上述過程用矩陣表示如下： 即求解方程組：得到： 于是：第三十張，PPT共四十九頁，創(chuàng)作于2022年6月正規(guī)方程組 的另一種寫法對于正規(guī)方程組 于是 或 (*)或（*）是多元線性回歸模型正規(guī)方程組的另一種寫法 (*)(*)第三十一張，PPT共四十九頁，創(chuàng)作于2022年6月樣本回歸函數(shù)的離差形式i=1,2n其矩陣形式為 其中 ：在離差形式下，參數(shù)的最小二乘估計(jì)結(jié)果為 第三十二張，PPT共四十九頁，創(chuàng)作于2022年6月隨機(jī)誤差項(xiàng)的方差的無偏估計(jì) 可以證明，隨機(jī)誤差項(xiàng)的方差的無偏估計(jì)量為 第三十三張，PPT共四十九頁，創(chuàng)作于2022年6月二、最大似然估計(jì) 對于多

14、元線性回歸模型易知 Y的隨機(jī)抽取的n組樣本觀測值的聯(lián)合概率即為變量Y的似然函數(shù) 第三十四張，PPT共四十九頁，創(chuàng)作于2022年6月對數(shù)似然函數(shù)為對對數(shù)似然函數(shù)求極大值，也就是對 求極小值。 因此，參數(shù)的最大似然估計(jì)為結(jié)果與參數(shù)的普通最小二乘估計(jì)相同第三十五張，PPT共四十九頁，創(chuàng)作于2022年6月 三、參數(shù)估計(jì)量的性質(zhì) 在滿足基本假設(shè)的情況下，其結(jié)構(gòu)參數(shù)的普通最小二乘估計(jì)、最大似然估計(jì)及矩估計(jì)仍具有： 線性性、無偏性、有效性。 同時(shí)，隨著樣本容量增加，參數(shù)估計(jì)量具有： 漸近無偏性、漸近有效性、一致性。 1、線性性 其中,C=(XX)-1 X 為一僅與固定的X有關(guān)的行向量 第三十六張，PPT共四

15、十九頁，創(chuàng)作于2022年6月 2、無偏性 這里利用了假設(shè): E(X)=0 3、有效性（最小方差性） 第三十七張，PPT共四十九頁，創(chuàng)作于2022年6月其中利用了 和第三十八張，PPT共四十九頁，創(chuàng)作于2022年6月 四、樣本容量問題 所謂“最小樣本容量”，即從最小二乘原理和最大或然原理出發(fā)，欲得到參數(shù)估計(jì)量，不管其質(zhì)量如何，所要求的樣本容量的下限。 最小樣本容量 樣本最小容量必須不少于模型中解釋變量的數(shù)目（包括常數(shù)項(xiàng)）,即 n k+1因?yàn)?，無多重共線性要求：秩(X)=k+1第三十九張，PPT共四十九頁，創(chuàng)作于2022年6月 2、滿足基本要求的樣本容量 從統(tǒng)計(jì)檢驗(yàn)的角度： n30 時(shí)，Z檢驗(yàn)才能

16、應(yīng)用； n-k8時(shí), t分布較為穩(wěn)定 一般經(jīng)驗(yàn)認(rèn)為: 當(dāng)n30或者至少n3(k+1)時(shí)，才能說滿足模型估計(jì)的基本要求。 模型的良好性質(zhì)只有在大樣本下才能得到理論上的證明第四十張，PPT共四十九頁，創(chuàng)作于2022年6月五、線性回歸模型的參數(shù)估計(jì)實(shí)例第四十一張，PPT共四十九頁，創(chuàng)作于2022年6月 1、中國居民人均消費(fèi)模型 例2.3.2 考察中國居民收入與消費(fèi)支出的關(guān)系。GDPP： 人均國內(nèi)生產(chǎn)總值（1990年不變價(jià)）CONSP：人均居民消費(fèi)（以居民消費(fèi)價(jià)格指數(shù)（1990=100）縮減）。 表2.3.1 中國居民人均消費(fèi)支出與人均GDP（元/人） 年份 人均居民消費(fèi) CONSP 人均GDP GD

17、PP 年份 人均居民消費(fèi) CONSP 人均GDP GDPP 1978 395.8 675.1 1990 797.1 1602.3 1979 437.0 716.9 1991 861.4 1727.2 1980 464.1 763.7 1992 966.6 1949.8 1981 501.9 792.4 1993 1048.6 2187.9 1982 533.5 851.1 1994 1108.7 2436.1 1983 572.8 931.4 1995 1213.1 2663.7 1984 635.6 1059.2 1996 1322.8 2889.1 1985 716.0 1185.2 19

18、97 1380.9 3111.9 1986 746.5 1269.6 1998 1460.6 3323.1 1987 788.3 1393.6 1999 1564.4 3529.3 1988 836.4 1527.0 2000 1690.8 3789.7 1989 779.7 1565.9 第四十二張，PPT共四十九頁，創(chuàng)作于2022年6月 該兩組數(shù)據(jù)是19782000年的時(shí)間序列數(shù)據(jù)（time series data）； 建立模型 擬建立如下一元回歸模型 采用Eviews軟件進(jìn)行回歸分析的結(jié)果見下表 第四十三張，PPT共四十九頁，創(chuàng)作于2022年6月一般可寫出如下回歸分析結(jié)果： (13.51

19、) (53.47) R2=0.9927 F=2859.23 DW=0.5503 表2.3.2 中國居民人均消費(fèi)支出對人均GDP的回歸（19782000） LS / Dependent Variable is CONSP Sample: 1978 2000 Included observations: 23 Variable Coefficient Std. Error t-Statistic Prob. C 201.1071 14.88514 13.51060 0.0000 GDPP 0.386187 0.007222 53.47182 0.0000 R-squared 0.992709 Mean dependent var 905.3331 Adjusted R-squared 0.992362 S.D. dependent var 380.6428 S.E. of regression 33.26711 Akaike info criterion 7.092079 Sum squared resid 23240.71 Schwarz criterion 7.190818 Log likelihood -112.1945 F-statistic