第二章 一元線性回歸模型

第二章一元線性回歸模型

學(xué)習(xí)目標(biāo)：熟悉回歸分析和一元回歸分析的相關(guān)概念。理解總體回歸方程與樣本回歸方程的相關(guān)概念。掌握一元線性回歸模型的設(shè)定和普通最小二乘法的原理及其估計(jì)量的性質(zhì)。掌握一元線性回歸模型的極大似然估計(jì)法的基本原理和方法。能夠運(yùn)用EViews軟件解決線性回歸模型的實(shí)際問(wèn)題。第一節(jié)一元線性回歸模型第二節(jié)一元線性回歸的基本概念第三節(jié)一元線性回歸模型的參數(shù)估計(jì)第四節(jié)一元線性回歸模型的統(tǒng)計(jì)檢驗(yàn)第五節(jié)一元線性回歸模型的預(yù)測(cè)第六節(jié)案例分析第一節(jié)一元線性回歸模型計(jì)量經(jīng)濟(jì)學(xué)的主要問(wèn)題之一就是要探尋各種經(jīng)濟(jì)變量之間的相互聯(lián)系程度、聯(lián)系方式及其運(yùn)動(dòng)規(guī)律。而經(jīng)典計(jì)量經(jīng)濟(jì)學(xué)方法的核心是采用回歸分析的方法解釋變量之間的具體的依存關(guān)系?；貧w分析是建立計(jì)量經(jīng)濟(jì)學(xué)模型中一個(gè)十分重要的概念。在了解回歸分析的概念之前，首先需要對(duì)相關(guān)關(guān)系與因果關(guān)系作簡(jiǎn)要的說(shuō)明。相關(guān)關(guān)系：是指兩個(gè)以上的變量的樣本觀測(cè)值序列之間表現(xiàn)出來(lái)的隨機(jī)數(shù)學(xué)關(guān)系，用相關(guān)系數(shù)來(lái)衡量。因果關(guān)系：是指兩個(gè)或兩個(gè)以上變量在行為機(jī)制上的依賴性，作為結(jié)果的變量是由作為原因的變量所決定的，原因變量的變化引起結(jié)果變量的變化。因果關(guān)系有單向因果關(guān)系和互為因果關(guān)系之分。相關(guān)分析：是判斷變量之間是否具有相關(guān)關(guān)系的數(shù)學(xué)方法?；貧w分析：是研究一個(gè)變量關(guān)于另一個(gè)變量的依賴關(guān)系的計(jì)算方法和理論。其目的在于通過(guò)后者的已知或設(shè)定值，去估計(jì)和預(yù)測(cè)前者的均值。前一個(gè)變量稱為被解釋變量或因變量，后一個(gè)變量被稱為解釋變量或自變量?；貧w分析的主要內(nèi)容包括：

（1）根據(jù)樣本觀測(cè)值對(duì)參數(shù)進(jìn)行估計(jì)，求得回歸方程； （2）對(duì)回歸方程參數(shù)估計(jì)進(jìn)行顯著性檢驗(yàn)；（3）利用回歸方程進(jìn)行分析、評(píng)價(jià)及預(yù)測(cè)。第二節(jié)一元線性回歸的基本概念一、散點(diǎn)圖線性關(guān)系的確定常?？梢酝ㄟ^(guò)兩類(lèi)方法：一類(lèi)是根據(jù)實(shí)際問(wèn)題所對(duì)應(yīng)的理論分析；另一種直觀的方法是分別以被解釋變量y和解釋變量x在二維平面上繪制的散點(diǎn)圖來(lái)初步確認(rèn)（如圖2-1）。散點(diǎn)圖表示因變量隨自變量而變化的大致趨勢(shì)，據(jù)此可以選擇合適的函數(shù)對(duì)數(shù)據(jù)點(diǎn)進(jìn)行擬合。

圖2-1:散點(diǎn)圖示意圖二、總體回歸函數(shù)在全部解釋變量已知的條件下得到的全部被解釋變量的一個(gè)期望稱為總體回歸曲線，可用下面的函數(shù)來(lái)表示

這樣一個(gè)函數(shù)，我們稱之為總體回歸函數(shù)。至于總體回歸函數(shù)的具體函數(shù)形式，在實(shí)際應(yīng)用過(guò)程中，是由總體特征來(lái)決定的。

只有一個(gè)解釋變量的線性回歸模型為一元線性回歸函數(shù)。其具體形式可寫(xiě)為

在回歸分析中，我們的主要目的，是通過(guò)所取得的樣本觀測(cè)值去估計(jì)回歸系數(shù)的值，以達(dá)到預(yù)測(cè)經(jīng)濟(jì)現(xiàn)象的目的。

三、隨機(jī)干擾項(xiàng)一般由數(shù)據(jù)繪制的散點(diǎn)圖上的點(diǎn)并不在一條直線上，而是在直線的周?chē)?。即與總體期望值是有一些差別的，稱這個(gè)差別為離差，用函數(shù)表示為

其中表示第i個(gè)被解釋變量的具體觀測(cè)值，是用于表示離差的一個(gè)隨機(jī)變量，在計(jì)量經(jīng)濟(jì)學(xué)中，我們稱之為隨機(jī)干擾項(xiàng)?？傮w回歸模型：（1）稱為系統(tǒng)性部分或

確定性部分；（2）隨機(jī)干擾項(xiàng)則稱為隨機(jī)性部分或非系統(tǒng)性部分。

隨機(jī)誤差項(xiàng)主要包括下列因素的影響：（1）包含了被遺漏的影響因素。由于考察總體認(rèn)識(shí)上不可能達(dá)到絕對(duì)的精確，有部分未知的因素是不可避免的無(wú)法歸入模型。（2）包含了無(wú)法取得數(shù)據(jù)的影響因素。有一些影響因素也許對(duì)被解釋變量有相當(dāng)?shù)挠绊懥Γ@些因素的數(shù)據(jù)很難獲取,甚至無(wú)法獲取。所以在建立模型時(shí)我們不得不將這一影響因素省略掉，歸入隨機(jī)干擾項(xiàng)中。（3）包含了模型設(shè)定上的誤差。建立回歸模型的時(shí)候，為了便于檢驗(yàn)和預(yù)測(cè)，一般都力圖讓模型盡可能的簡(jiǎn)單明了，因此會(huì)刻意的在模型中減少一些影響因素。（4）包含數(shù)據(jù)測(cè)量誤差。由于某些主客觀原因，數(shù)據(jù)在測(cè)量或觀測(cè)時(shí)出現(xiàn)了誤差，使其偏于實(shí)際值，這種誤差只能歸入中。（5）包含變量?jī)?nèi)在的隨機(jī)性。模型變量本身具有其內(nèi)在的隨機(jī)性，會(huì)對(duì)被解釋變量產(chǎn)生隨機(jī)性的影響。

四、樣本回歸函數(shù)

在現(xiàn)實(shí)問(wèn)題的計(jì)量經(jīng)濟(jì)學(xué)研究中，總體的信息往往無(wú)法全部獲得。這種情況下，總體回歸函數(shù)是無(wú)法估計(jì)的。在實(shí)際應(yīng)用中，往往是

通過(guò)抽樣，得到總體的樣本，再通樣本數(shù)據(jù)做

回歸分析來(lái)估計(jì)總體回歸函數(shù)。

假設(shè)表2-1中的數(shù)據(jù)是從一個(gè)總體中隨機(jī)抽取的一個(gè)樣本，根據(jù)表2-1的數(shù)據(jù)做散點(diǎn)圖，如圖2-2所示。我們的任務(wù)就是：能否從所抽取的樣本去預(yù)測(cè)整個(gè)總體呢？表2-1總體中抽取一個(gè)隨機(jī)樣本

圖2-2總體中隨機(jī)抽取的一個(gè)樣本的散點(diǎn)圖根據(jù)圖2-2，該樣本的散點(diǎn)圖可通過(guò)一條直線盡可能的擬合。由于此樣本是取自于總體。所以這條直線可以近似地代表總體回歸線。這樣一條直線，我們稱之為樣本回歸線。

樣本回歸線，它的函數(shù)形式可以用

表示。這個(gè)函數(shù)稱作樣本回歸函數(shù)。

樣本回歸函數(shù)也可以表示為如下的隨機(jī)形式：由于殘差的引入，樣本回歸函數(shù)從一個(gè)確定性的數(shù)學(xué)模型成為一個(gè)具有隨機(jī)性的計(jì)量經(jīng)濟(jì)學(xué)模型，我們稱之為樣本回歸模型。

樣本回歸模型具有的性質(zhì):

（1）參數(shù)估計(jì)由樣本信息所形成；（2）這二個(gè)估計(jì)稱為點(diǎn)估計(jì),即給定一組樣本,可得到相應(yīng)的參數(shù)估計(jì)值,它們是對(duì)于總體參數(shù)的一個(gè)點(diǎn)估計(jì),不同的樣本,

得到的估計(jì)可能不完全相同。但不同的樣本所得到的估計(jì)均是對(duì)總體的一個(gè)點(diǎn)估計(jì)?；貧w分析的主要目的：根據(jù)樣本回歸函數(shù)SRF，估計(jì)總體回歸函數(shù)PRF。圖2-3樣本和總體回歸線的關(guān)系示意圖第三節(jié)一元線性回歸模型的參數(shù)估計(jì)一、最小二乘估計(jì)法的經(jīng)典假定二、普通最小二法（OLS）三、最小二乘估計(jì)量的性質(zhì)四、極大似然法(ML)一、最小二乘估計(jì)法的經(jīng)典假定假定1：解釋變量是非隨機(jī)的，即在重復(fù)抽樣中，解釋變量取固定值。假定2：隨機(jī)干擾項(xiàng)與解釋變量之間不相關(guān)，即假定3：隨機(jī)干擾項(xiàng)服從零均值，同方差，零協(xié)方差，即假定4：隨機(jī)干擾項(xiàng)服從零均值，同方差的正態(tài)分布，即假定5：正確設(shè)定了回歸模型。正確設(shè)定有三個(gè)方面的要求:1.選擇了正確的變量進(jìn)入模型；2.

對(duì)模型的形式進(jìn)行正確的設(shè)定；3.對(duì)模型的解釋變量、被解釋變量以及隨機(jī)干擾項(xiàng)做了正確的假定。二、最小二乘法（OLS）

給定一組樣本觀測(cè)值（Xi,Yi）（i=1,2,…n）要求樣本回歸函數(shù)盡可能好地?cái)M合這組值。普通最小二乘法（OLS）給出的判斷標(biāo)準(zhǔn)是：二者之差的平方和最小。即在給定樣本觀測(cè)值之下，選擇出能使與之差的平方和最小。求Q對(duì)的偏導(dǎo)數(shù)并令其等于零，得整理可得n是樣本容量，該方程組被稱作正規(guī)方程組。

解得通過(guò)上面的方法得到的、的估計(jì)結(jié)果是從最小二乘原理得到的，因此稱作普通最小二乘估計(jì)量。三、最小二乘估計(jì)量的性質(zhì)利用普通最小二乘法計(jì)算出的是樣本觀測(cè)值的函數(shù)，所以同一總體的不同樣本就會(huì)計(jì)算出不同的。用樣本回歸直線去代表總體回歸直線，其實(shí)用性和準(zhǔn)確性是依靠這兩個(gè)參數(shù)的。所以，必須了解估計(jì)量的性質(zhì)。（一）線性性是指一個(gè)變量是否是另一個(gè)變量的線性函數(shù)。

OLS估計(jì)量均為隨機(jī)觀測(cè)值和離差的線性函數(shù)。

證明：（二）無(wú)偏性是指估計(jì)量的均值或期望等于總體真實(shí)值。

OLS估計(jì)量的均值等于總體參數(shù)值，即證明：（三）有效性也稱最小方差性，指估計(jì)量在所有線性無(wú)偏估計(jì)量中有最小方差。

OLS估計(jì)量具有最小方差。它們的方差分別為：其中，代表隨機(jī)干擾項(xiàng)的方差，即

OLS估計(jì)量的這三個(gè)性質(zhì)也稱作估計(jì)量的小樣本性質(zhì)。而擁有這類(lèi)性質(zhì)的估計(jì)量，我們稱作最佳線性無(wú)偏估量。在實(shí)際樣本估計(jì)應(yīng)用中，當(dāng)參數(shù)估計(jì)量不滿足小樣本性質(zhì)時(shí)，要考慮擴(kuò)大樣本容量，考察參數(shù)估計(jì)量的大樣本性質(zhì)。

當(dāng)不滿足小樣本性質(zhì)時(shí)，需進(jìn)一步考察估計(jì)量的

大樣本或漸近性質(zhì)：

(4)一致性：指樣本容量趨于無(wú)窮大時(shí)，參數(shù)估計(jì)量依概率收斂于總體真值。

(5)漸進(jìn)無(wú)偏性：指樣本容量趨于無(wú)窮大時(shí)，參數(shù)估計(jì)量的均值趨向于總體真值。

(6)漸進(jìn)有效性：指樣本容量趨于無(wú)窮大時(shí)，參數(shù)的一致估計(jì)量具有最小的漸進(jìn)方差。這三個(gè)性質(zhì)，我們稱作估計(jì)量的大樣本性質(zhì)。四、極大似然法是不同于最小二乘法的另一種參數(shù)估計(jì)方法，是從最大或然原理出發(fā)發(fā)展起來(lái)的其它估計(jì)方法的基礎(chǔ)。基本原理：對(duì)于最大或然法，當(dāng)從模型總體隨機(jī)抽取n組樣本觀測(cè)值后，最合理的參數(shù)估計(jì)量應(yīng)該使得從模型中抽取該n組樣本觀測(cè)值的概率最大。極大似然估計(jì)法一般可分為四個(gè)步驟：（1）寫(xiě)出似然函數(shù)；（2）對(duì)似然函數(shù)取對(duì)數(shù)并整理；（3）關(guān)于參數(shù)求偏導(dǎo)數(shù)；（4）求解似然方程。

以正態(tài)分布的總體為例：假設(shè)一元線性回歸模型滿足經(jīng)典假定，且是服從均值為，方差為的正態(tài)分布，所以因?yàn)槭仟?dú)立的，所以樣本觀測(cè)值的聯(lián)合概率函數(shù)，即似然函數(shù)為為求得模型參數(shù)的極大似然估計(jì)量，將上式極大化。又因?yàn)樗迫缓瘮?shù)的極大化與似然函數(shù)的對(duì)數(shù)極大化是等價(jià)的，所以取對(duì)數(shù)似然函數(shù)如下。

解：解得模型參數(shù)估計(jì)量如下：由上式可知，在滿足經(jīng)典假定下，使用最大似然估計(jì)法得出的模型參數(shù)估計(jì)量等于使用普通最小二乘估計(jì)法得出的模型參數(shù)估計(jì)量。第四節(jié)一元線性回歸模型的統(tǒng)計(jì)檢驗(yàn)一、對(duì)模型的經(jīng)濟(jì)意義的檢驗(yàn)二、擬合優(yōu)度檢驗(yàn)

三、回歸系數(shù)估計(jì)量的假設(shè)檢驗(yàn)一、對(duì)模型的經(jīng)濟(jì)意義的檢驗(yàn)對(duì)模型的經(jīng)濟(jì)意義檢驗(yàn)主要檢驗(yàn)?zāi)Ｐ蛥?shù)估計(jì)量在經(jīng)濟(jì)意義上的合理性。主要方法是將模型參數(shù)的估計(jì)量與預(yù)先擬定的理論期望值進(jìn)行比較，包括參數(shù)估計(jì)量的符號(hào)、大小、相互之間的關(guān)系以判斷其合理性。如果估計(jì)值的這兩個(gè)方面明顯與常識(shí)經(jīng)驗(yàn)或經(jīng)濟(jì)學(xué)理論等相背離，就說(shuō)明它不能很好的解釋客觀事實(shí)。

對(duì)模型參數(shù)估計(jì)量的經(jīng)濟(jì)意義檢驗(yàn)是回歸檢驗(yàn)的第一步，也是非常重要的一步。如果估計(jì)值出現(xiàn)不合理的情況，可能是樣本容量過(guò)小，沒(méi)有足夠的代表性，也可能是模型的設(shè)定出現(xiàn)了錯(cuò)誤等。

二、擬合優(yōu)度檢驗(yàn)擬合優(yōu)度檢驗(yàn)：對(duì)樣本回歸直線與樣本觀測(cè)值之間擬合程度的檢驗(yàn)。判斷樣本回歸模型擬合程度優(yōu)劣，常用的指標(biāo)是可決系數(shù)用表示。

圖2-5樣本回歸線對(duì)樣本點(diǎn)的擬合比較

總離差平方和的分解：兩邊平方求和得是指實(shí)測(cè)的值圍繞其均值的總體離差，稱為總離差平方和。是指估計(jì)的值圍繞其均值的離差，稱為回歸平方和。是指未被解釋的因素導(dǎo)致回歸線的變異，稱為殘差平方和。總體離差平方和可分解為兩部分，一部分來(lái)自回歸線，另一部分來(lái)自殘差所代表的隨機(jī)因素?？梢杂脕?lái)自回歸的回歸平方和與總離差平方和的比例來(lái)判斷觀測(cè)點(diǎn)是否都很好被樣本回歸線擬合。定義判斷樣本回歸模型擬合程度優(yōu)劣的可決系數(shù)為：測(cè)度了總體離差中由回歸模型解釋那部分所占的比例。這部分比例越大，來(lái)自殘差那部分占總體離差的比例就越小。那么樣本點(diǎn)就越靠近回歸線，回歸線對(duì)樣本點(diǎn)就擬合的越好。所以越大，模型的擬合優(yōu)度就越高。三、回歸系數(shù)估計(jì)量的假設(shè)檢驗(yàn)考察了擬合程度之后，還需要對(duì)回歸模型中解釋變量與被解釋變量之間的線性關(guān)系是否顯著成立做檢驗(yàn)，即檢驗(yàn)所選擇解釋變量與截距項(xiàng)是否對(duì)被解釋變量有顯著的線性影響。在假設(shè)檢驗(yàn)的基礎(chǔ)上，有兩個(gè)互為補(bǔ)充的方法，分別是變量的顯著性檢驗(yàn)和置信區(qū)間。下面我們著重介紹這兩種方法。（一）顯著性檢驗(yàn)法（t檢驗(yàn)）顯著性檢驗(yàn)指的是利用樣本結(jié)果，來(lái)證實(shí)一個(gè)原假設(shè)真?zhèn)蔚囊环N檢驗(yàn)程序?；貧w方程的參數(shù)估計(jì)量服從正態(tài)分布因?yàn)檎鎸?shí)的未知，所以用的估計(jì)量替代;綜上，構(gòu)造如下統(tǒng)計(jì)量檢驗(yàn)步驟：（１）對(duì)總體參數(shù)給出假設(shè)

H0：

1=0，H1：

10（２）以原假設(shè)H0構(gòu)造t統(tǒng)計(jì)量，并由樣本計(jì)算其值（３）給定顯著性水平，查t分布表，得臨界值（４）比較，判斷若＜，則接受原假設(shè)；若＞，則拒絕原假設(shè)；（二）回歸系數(shù)、的置信區(qū)間用OLS得到的回歸方程參數(shù)估計(jì)值只是一個(gè)點(diǎn)估計(jì)，雖然根據(jù)OLS的無(wú)偏性可知，在重復(fù)抽樣中參數(shù)估計(jì)值的期望會(huì)等于參數(shù)的真實(shí)值，但不能說(shuō)明這個(gè)參數(shù)估計(jì)是一個(gè)可靠的估計(jì)。

方差只是說(shuō)明了估計(jì)值和其均值的離散程度，并不能說(shuō)明參數(shù)真實(shí)值的分布范圍。所以須確定一個(gè)區(qū)間，使得在左右的這個(gè)區(qū)間范圍內(nèi)可能包含了，并且確定這樣的范圍包含參數(shù)真實(shí)值的概率是多少，這就是參數(shù)的區(qū)間估計(jì)。進(jìn)行區(qū)間估計(jì)，首先選定一個(gè)概率（0＜＜1),并確定一個(gè)正數(shù)，使得隨機(jī)區(qū)間包含參數(shù)的概率為，用公式表示為：≤≤,區(qū)間稱之為置信區(qū)間，稱為置信度，稱為顯著性水平。置信區(qū)間的端點(diǎn)稱為置信限。在臨界值中，較小的端點(diǎn)被稱為置信下限，較