最小二乘法和線性回歸及很好的總結(jié)

關(guān)于最小二乘法和線性回歸及很好的總結(jié)12第一節(jié)最小二乘法的基本屬性一、有關(guān)回歸的基本介紹金融、經(jīng)濟(jì)變量之間的關(guān)系，大體上可以分為兩種：（1）函數(shù)關(guān)系：Y=f(X1,X2,….,XP)，其中Y的值是由Xi（i=1,2….p）所唯一確定的。（2）相關(guān)關(guān)系:Y=f(X1,X2,….,XP)，這里Y的值不能由Xi（i=1,2….p）精確的唯一確定。第2頁(yè),共92頁(yè)，2024年2月25日，星期天3圖2-1貨幣供應(yīng)量和GDP散點(diǎn)圖第3頁(yè),共92頁(yè)，2024年2月25日，星期天4圖2-1表示的是我國(guó)貨幣供應(yīng)量M2（y）與經(jīng)過(guò)季節(jié)調(diào)整的GDP（x）之間的關(guān)系（數(shù)據(jù)為1995年第一季度到2004年第二季度的季度數(shù)據(jù)）。第4頁(yè),共92頁(yè)，2024年2月25日，星期天5但有時(shí)候我們想知道當(dāng)x變化一單位時(shí)，y平均變化多少，可以看到，由于圖中所有的點(diǎn)都相對(duì)的集中在圖中直線周圍，因此我們可以以這條直線大致代表x與y之間的關(guān)系。如果我們能夠確定這條直線，我們就可以用直線的斜率來(lái)表示當(dāng)x變化一單位時(shí)y的變化程度，由圖中的點(diǎn)確定線的過(guò)程就是回歸。

第5頁(yè),共92頁(yè)，2024年2月25日，星期天6對(duì)于變量間的相關(guān)關(guān)系，我們可以根據(jù)大量的統(tǒng)計(jì)資料，找出它們?cè)跀?shù)量變化方面的規(guī)律（即“平均”的規(guī)律），這種統(tǒng)計(jì)規(guī)律所揭示的關(guān)系就是回歸關(guān)系（regressiverelationship）,所表示的數(shù)學(xué)方程就是回歸方程（regressionequation）或回歸模型（regressionmodel）。第6頁(yè),共92頁(yè)，2024年2月25日，星期天7圖2-1中的直線可表示為

（2.1）

根據(jù)上式，在確定α、β的情況下，給定一個(gè)x值，我們就能夠得到一個(gè)確定的y值，然而根據(jù)式（2.1）得到的y值與實(shí)際的y值存在一個(gè)誤差（即圖2-1中點(diǎn)到直線的距離）。第7頁(yè),共92頁(yè)，2024年2月25日，星期天8如果我們以ｕ表示誤差，則方程（2.1）變?yōu)椋?/p>

即：

其中t（=1,2,3,…..,T）表示觀測(cè)數(shù)。（2.2）（2.3）式（2.3）即為一個(gè)簡(jiǎn)單的雙變量回歸模型（因其僅具有兩個(gè)變量x,y）的基本形式。第8頁(yè),共92頁(yè)，2024年2月25日，星期天9其中yt被稱作因變量（dependentvariable）、被解釋變量（explainedvariable）、結(jié)果變量（effectvariable）；xt被稱作自變量（independentvariable）、解釋變量（explanatoryvariable）、原因變量（causalvariable）第9頁(yè),共92頁(yè)，2024年2月25日，星期天10α、β為參數(shù)（parameters）,或稱回歸系數(shù)（regressioncoefficients）；ｕt通常被稱為隨機(jī)誤差項(xiàng)（stochasticerrorterm）,或隨機(jī)擾動(dòng)項(xiàng)（randomdisturbanceterm）,簡(jiǎn)稱誤差項(xiàng)，在回歸模型中它是不確定的，服從隨機(jī)分布（相應(yīng)的，yt也是不確定的，服從隨機(jī)分布）。第10頁(yè),共92頁(yè)，2024年2月25日，星期天11為什么將ｕt

包含在模型中？（1）有些變量是觀測(cè)不到的或者是無(wú)法度量的，又或者影響因變量yt的因素太多；（2）在yt的度量過(guò)程中會(huì)發(fā)生偏誤，這些偏誤在模型中是表示不出來(lái)的；（3）外界隨機(jī)因素對(duì)yt的影響也很難模型化，比如：恐怖事件、自然災(zāi)害、設(shè)備故障等。第11頁(yè),共92頁(yè)，2024年2月25日，星期天12二、參數(shù)的最小二乘估計(jì)(一)方法介紹本章所介紹的是普通最小二乘法（ordinaryleastsquares,簡(jiǎn)記OLS）;最小二乘法的基本原則是：最優(yōu)擬合直線應(yīng)該使各點(diǎn)到直線的距離的和最小，也可表述為距離的平方和最小。假定根據(jù)這一原理得到的α、β估計(jì)值為、，則直線可表示為。第12頁(yè),共92頁(yè)，2024年2月25日，星期天13直線上的yt值，記為，稱為擬合值（fittedvalue）,實(shí)際值與擬合值的差，記為，稱為殘差（residual），可以看作是隨機(jī)誤差項(xiàng)的估計(jì)值。

根據(jù)OLS的基本原則，使直線與各散點(diǎn)的距離的平方和最小，實(shí)際上是使殘差平方和（residualsumofsquares,簡(jiǎn)記RSS）最小，即最小化：RSS==（2.4）

第13頁(yè),共92頁(yè)，2024年2月25日，星期天14根據(jù)最小化的一階條件，將式2.4分別對(duì)、求偏導(dǎo)，并令其為零，即可求得結(jié)果如下:（2.5）

（2.6）第14頁(yè),共92頁(yè)，2024年2月25日，星期天15（二）一些基本概念1.總體（thepopulation）和樣本（thesample）總體是指待研究變量的所有數(shù)據(jù)集合，可以是有限的，也可以是無(wú)限的；而樣本是總體的一個(gè)子集。2、總體回歸方程（thepopulationregressionfunction，簡(jiǎn)記PRF），樣本回歸方程（thesampleregressionfunction，簡(jiǎn)記SRF）。第15頁(yè),共92頁(yè)，2024年2月25日，星期天16總體回歸方程（PRF）表示變量之間的真實(shí)關(guān)系，有時(shí)也被稱為數(shù)據(jù)生成過(guò)程（DGP），PRF中的α、β值是真實(shí)值，方程為：+

（2.7）樣本回歸方程（SRF）是根據(jù)所選樣本估算的變量之間的關(guān)系函數(shù)，方程為：注意：SRF中沒(méi)有誤差項(xiàng)，根據(jù)這一方程得到的是總體因變量的期望值（2.8）第16頁(yè),共92頁(yè)，2024年2月25日，星期天17于是方程（2.7）可以寫為：（2.9）總體y值被分解為兩部分：模型擬合值（）和殘差項(xiàng)（）。第17頁(yè),共92頁(yè)，2024年2月25日，星期天183.線性關(guān)系對(duì)線性的第一種解釋是指：y是x的線性函數(shù)，比如，y=。對(duì)線性的第二種解釋是指：y是參數(shù)的一個(gè)線性函數(shù)，它可以不是變量x的線性函數(shù)。比如，y=就是一個(gè)線性回歸模型，但則不是。在本課程中，線性回歸一詞總是對(duì)指參數(shù)β為線性的一種回歸（即參數(shù)只以一次方出現(xiàn)），對(duì)解釋變量x則可以是或不是線性的。第18頁(yè),共92頁(yè)，2024年2月25日，星期天19有些模型看起來(lái)不是線性回歸，但經(jīng)過(guò)一些基本代數(shù)變換可以轉(zhuǎn)換成線性回歸模型。例如，

（2.10）

可以進(jìn)行如下變換：

（2.11）令、、，則方程（2.11）變?yōu)椋海?.12）

可以看到，模型2.12即為一線性模型。

第19頁(yè),共92頁(yè)，2024年2月25日，星期天204.估計(jì)量（estimator）和估計(jì)值（estimate）估計(jì)量是指計(jì)算系數(shù)的方程；而估計(jì)值是指估計(jì)出來(lái)的系數(shù)的數(shù)值。第20頁(yè),共92頁(yè)，2024年2月25日，星期天21三、最小二乘估計(jì)量的性質(zhì)和分布（一）經(jīng)典線性回歸模型的基本假設(shè)（1），即殘差具有零均值；（2）var<∞,即殘差具有常數(shù)方差，且對(duì)于所有x值是有限的；（3）cov，即殘差項(xiàng)之間在統(tǒng)計(jì)意義上是相互獨(dú)立的；（4）cov，即殘差項(xiàng)與變量x無(wú)關(guān)；（5）ｕt~N,即殘差項(xiàng)服從正態(tài)分布第21頁(yè),共92頁(yè)，2024年2月25日，星期天22（二）最小二乘估計(jì)量的性質(zhì)如果滿足假設(shè)(1)－(4)，由最小二乘法得到的估計(jì)量、具有一些特性，它們是最優(yōu)線性無(wú)偏估計(jì)量（BestLinearUnbiasedEstimators，簡(jiǎn)記BLUE）。第22頁(yè),共92頁(yè)，2024年2月25日，星期天23估計(jì)量（estimator）：意味著、是包含著真實(shí)α、β值的估計(jì)量；線性（linear）：意味著、與隨機(jī)變量y之間是線性函數(shù)關(guān)系；無(wú)偏（unbiased）：意味著平均而言，實(shí)際得到的、值與其真實(shí)值是一致的；最優(yōu)（best）：意味著在所有線性無(wú)偏估計(jì)量里，OLS估計(jì)量具有最小方差。第23頁(yè),共92頁(yè)，2024年2月25日，星期天24(三)OLS估計(jì)量的方差、標(biāo)準(zhǔn)差和其概率分布1.OLS估計(jì)量的方差、標(biāo)準(zhǔn)差。給定假設(shè)(1)－(4)，估計(jì)量的標(biāo)準(zhǔn)差計(jì)算方程如下:其中，是殘差的估計(jì)標(biāo)準(zhǔn)差。（2.21）（2.22）第24頁(yè),共92頁(yè)，2024年2月25日，星期天25參數(shù)估計(jì)量的標(biāo)準(zhǔn)差具有如下的性質(zhì)：（1）樣本容量T越大，參數(shù)估計(jì)值的標(biāo)準(zhǔn)差越小；（2）和都取決于s2。s2是殘差的方差估計(jì)量。s2越大，殘差的分布就越分散，這樣模型的不確定性也就越大。如果s2很大，這意味著估計(jì)直線不能很好地?cái)M合散點(diǎn)；第25頁(yè),共92頁(yè)，2024年2月25日，星期天26（3）參數(shù)估計(jì)值的方差與成反比。其值越小，散點(diǎn)越集中，這樣就越難準(zhǔn)確地估計(jì)擬合直線；相反，如果越大，散點(diǎn)越分散，這樣就可以容易地估計(jì)出擬合直線，并且可信度也大得多。比較圖2－2就可以清楚地看到這點(diǎn)。第26頁(yè),共92頁(yè)，2024年2月25日，星期天27圖2－2直線擬合和散點(diǎn)集中度的關(guān)系第27頁(yè),共92頁(yè)，2024年2月25日，星期天28（4）項(xiàng)只影響截距的標(biāo)準(zhǔn)差，不影響斜率的標(biāo)準(zhǔn)差。理由是：衡量的是散點(diǎn)與y軸的距離。越大，散點(diǎn)離y軸越遠(yuǎn)，就越難準(zhǔn)確地估計(jì)出擬合直線與y軸的交點(diǎn)（即截距）；反之，則相反。第28頁(yè),共92頁(yè)，2024年2月25日，星期天292．OLS估計(jì)量的概率分布給定假設(shè)條件(5)，即～，則也服從正態(tài)分布系數(shù)估計(jì)量也是服從正態(tài)分布的：（2.30）

（2.31）第29頁(yè),共92頁(yè)，2024年2月25日，星期天30需要注意的是：如果殘差不服從正態(tài)分布，即假設(shè)(5)不成立，但只要CLRM的其他假設(shè)條件還成立，且樣本容量足夠大，則通常認(rèn)為系數(shù)估計(jì)量還是服從正態(tài)分布的。其標(biāo)準(zhǔn)正態(tài)分布為：

（2.32）

（2.33）第30頁(yè),共92頁(yè)，2024年2月25日，星期天31但是，總體回歸方程中的系數(shù)的真實(shí)標(biāo)準(zhǔn)差是得不到的，只能得到樣本的系數(shù)標(biāo)準(zhǔn)差（、）。用樣本的標(biāo)準(zhǔn)差去替代總體標(biāo)準(zhǔn)差會(huì)產(chǎn)生不確定性，并且

、將不再服從正態(tài)分布，而服從自由度為T-2的t分布，其中T為樣本容量

即：~(2.34)

~

(2.35)第31頁(yè),共92頁(yè)，2024年2月25日，星期天323.正態(tài)分布和t分布的關(guān)系圖2-3正態(tài)分布和t分布形狀比較第32頁(yè),共92頁(yè)，2024年2月25日，星期天33

從圖形上來(lái)看，t分布的尾比較厚，均值處的最大值小于正態(tài)分布。隨著t分布自由度的增大，其對(duì)應(yīng)臨界值顯著減小，當(dāng)自由度趨向于無(wú)窮時(shí)，t分布就服從標(biāo)準(zhǔn)正態(tài)分布了。所以正態(tài)分布可以看作是t分布的一個(gè)特例。第33頁(yè),共92頁(yè)，2024年2月25日，星期天34第二節(jié)一元線性回歸模型的統(tǒng)計(jì)檢驗(yàn)

一、擬合優(yōu)度(goodnessoffitstatistics)檢驗(yàn)

擬合優(yōu)度可用R2表示：模型所要解釋的是y相對(duì)于其均值的波動(dòng)性，即（總平方和，thetotalsumofsquares，簡(jiǎn)記TSS），這一平方和可以分成兩部分：

第34頁(yè),共92頁(yè)，2024年2月25日，星期天35=+（2.36）

是被模型所解釋的部分，稱為回歸平方和（theexplainedsumofsquares，簡(jiǎn)記ESS）；是不能被模型所解釋的殘差平方和（RSS）,即=第35頁(yè),共92頁(yè)，2024年2月25日，星期天36TSS、ESS、RSS的關(guān)系以下圖來(lái)表示更加直觀一些：

圖2－4TSS、ESS、RSS的關(guān)系第36頁(yè),共92頁(yè)，2024年2月25日，星期天37擬合優(yōu)度＝因?yàn)門SS=ESS+RSS所以R2＝（2.39）

（2.37）

（2.38）

R2越大，說(shuō)明回歸線擬合程度越好；R2越小，說(shuō)明回歸線擬合程度越差。由上可知，通過(guò)考察R2的大小，我們就能粗略地看出回歸線的優(yōu)劣。第37頁(yè),共92頁(yè)，2024年2月25日，星期天38但是，R2作為擬合優(yōu)度的一個(gè)衡量標(biāo)準(zhǔn)也存在一些問(wèn)題：

（1）如果模型被重新組合，被解釋變量發(fā)生了變化，那么R2也將隨之改變，因此具有不同被解釋變量的模型之間是無(wú)法來(lái)比較R2的大小的。第38頁(yè),共92頁(yè)，2024年2月25日，星期天39

（2）增加了一個(gè)解釋變量以后，R2只會(huì)增大而不會(huì)減小，除非增加的那個(gè)解釋變量之前的系數(shù)為零，但在通常情況下該系數(shù)是不為零的，因此只要增加解釋變量，R2就會(huì)不斷的增大，這樣我們就無(wú)法判斷出這些解釋變量是否應(yīng)該包含在模型中。

（3）R2的值經(jīng)常會(huì)很高，達(dá)到0.9或更高，所以我們無(wú)法判斷模型之間到底孰優(yōu)孰劣。第39頁(yè),共92頁(yè)，2024年2月25日，星期天40為了解決上面第二個(gè)問(wèn)題，我們通常用調(diào)整過(guò)的R2來(lái)代替未調(diào)整過(guò)的R2

。對(duì)R2進(jìn)行調(diào)整主要是考慮到在引進(jìn)一個(gè)解釋變量時(shí)，會(huì)失去相應(yīng)的自由度。調(diào)整過(guò)的R2用來(lái)表示，公式為：其中T為樣本容量，K為自變量個(gè)數(shù)（2.40）第40頁(yè),共92頁(yè)，2024年2月25日，星期天41二、假設(shè)檢驗(yàn)假設(shè)檢驗(yàn)的基本任務(wù)是根據(jù)樣本所提供的信息，對(duì)未知總體分布某些方面的假設(shè)做出合理解釋假設(shè)檢驗(yàn)的程序是，先根據(jù)實(shí)際問(wèn)題的要求提出一個(gè)論斷，稱為零假設(shè)（nullhypothesis）或原假設(shè)，記為H0（一般并列的有一個(gè)備擇假設(shè)（alternativehypothesis）,記為H1

）然后根據(jù)樣本的有關(guān)信息，對(duì)H0的真?zhèn)芜M(jìn)行判斷，做出拒絕H0或不能拒絕H0的決策。第41頁(yè),共92頁(yè)，2024年2月25日，星期天42假設(shè)檢驗(yàn)的基本思想是概率性質(zhì)的反證法。概率性質(zhì)的反證法的根據(jù)是小概率事件原理。該原理認(rèn)為“小概率事件在一次實(shí)驗(yàn)中幾乎是不可能發(fā)生的”。在原假設(shè)H0下構(gòu)造一個(gè)事件（即檢驗(yàn)統(tǒng)計(jì)量），這個(gè)事件在“原假設(shè)H0是正確的”的條件下是一個(gè)小概率事件，如果該事件發(fā)生了，說(shuō)明“原假設(shè)H0是正確的”是錯(cuò)誤的，因?yàn)椴粦?yīng)該出現(xiàn)的小概率事件出現(xiàn)了，應(yīng)該拒絕原假設(shè)H0

。第42頁(yè),共92頁(yè)，2024年2月25日，星期天43假設(shè)檢驗(yàn)有兩種方法：置信區(qū)間檢驗(yàn)法（confidenceintervalapproach）和顯著性檢驗(yàn)法（testofsignificanceapproach）。顯著性檢驗(yàn)法中最常用的是t檢驗(yàn)和F檢驗(yàn)，前者是對(duì)單個(gè)變量系數(shù)的顯著性檢驗(yàn)，后者是對(duì)多個(gè)變量系數(shù)的聯(lián)合顯著性檢驗(yàn)。第43頁(yè),共92頁(yè)，2024年2月25日，星期天44（一）t檢驗(yàn)下面我們具體介紹對(duì)方程（2.3）的系數(shù)進(jìn)行t檢驗(yàn)的主要步驟。（1）用OLS方法回歸方程（2.3），得到β的估計(jì)值及其標(biāo)準(zhǔn)差。（2）假定我們建立的零假設(shè)是：，備則假設(shè)是（這是一個(gè)雙側(cè)檢驗(yàn))。第44頁(yè),共92頁(yè)，2024年2月25日，星期天45則我們建立的統(tǒng)計(jì)量服從自由度為T-2的t分布。（3）選擇一個(gè)顯著性水平（通常是5%）,我們就可以在t分布中確定拒絕區(qū)域和非拒絕區(qū)域，如圖2-5。如果選擇顯著性水平為5%，則表明有5%的分布將落在拒絕區(qū)域第45頁(yè),共92頁(yè)，2024年2月25日，星期天46

圖2-5雙側(cè)檢驗(yàn)拒絕區(qū)域和非拒絕區(qū)域分布第46頁(yè),共92頁(yè)，2024年2月25日，星期天47（4）選定顯著性水平后，我們就可以根據(jù)t分布表求得自由度為T-2的臨界值，當(dāng)檢驗(yàn)統(tǒng)計(jì)值的絕對(duì)值大于臨界值時(shí)，它就落在拒絕區(qū)域，因此我們拒絕的原假設(shè)，而接受備則假設(shè)。反之則相反?？梢钥吹?，t檢驗(yàn)的基本原理是如果參數(shù)的假設(shè)值與估計(jì)值差別很大，就會(huì)導(dǎo)致小概率事件的發(fā)生，從而導(dǎo)致我們拒絕參數(shù)的假設(shè)值。第47頁(yè),共92頁(yè)，2024年2月25日，星期天48(二）置信區(qū)間法仍以方程2.3的系數(shù)β為例，置信區(qū)間法的基本思想是建立圍繞估計(jì)值

的一定的限制范圍，推斷總體參數(shù)β是否在一定的置信度下落在此區(qū)間范圍內(nèi)。

置信區(qū)間檢驗(yàn)的主要步驟（所建立的零假設(shè)同t檢驗(yàn)）。第48頁(yè),共92頁(yè)，2024年2月25日，星期天49（1）用OLS法回歸方程（2.3），得到β的估計(jì)值及其標(biāo)準(zhǔn)差。（2）選擇一個(gè)顯著性水平（通常為5%），這相當(dāng)于選擇95%的置信度。查t分布表，獲得自由度為T-2的臨界值。（3）所建立的置信區(qū)間為（，）（2.41）第49頁(yè),共92頁(yè)，2024年2月25日，星期天50（4）如果零假設(shè)值落在置信區(qū)間外，我們就拒絕的原假設(shè)；反之，則不能拒絕。需要注意的是，置信區(qū)間檢驗(yàn)都是雙側(cè)檢驗(yàn)，盡管在理論上建立單側(cè)檢驗(yàn)也是可行的。第50頁(yè),共92頁(yè)，2024年2月25日，星期天51

（三）t檢驗(yàn)與置信區(qū)間檢驗(yàn)的關(guān)系在顯著性檢驗(yàn)法下，當(dāng)?shù)慕^對(duì)值小于臨界值時(shí)，即：（2.42）時(shí)，我們不能拒絕原假設(shè)。對(duì)式（2.41）變形，我們可以得到：（2.43）可以看到，式（2.43）恰好是置信區(qū)間法的置信區(qū)間式（2.41），因此，實(shí)際上t檢驗(yàn)法與置信區(qū)間法提供的結(jié)果是完全一樣的。第51頁(yè),共92頁(yè)，2024年2月25日，星期天52

（四）第一類錯(cuò)誤和第二類錯(cuò)誤如果有一個(gè)零假設(shè)在5％的顯著性水平下被拒絕了，有可能這個(gè)拒絕是不正確的，這種錯(cuò)誤被稱為第一類錯(cuò)誤，它發(fā)生的概率為5％。另外一種情況是，我們得到95％的一個(gè)置信區(qū)間，落在這個(gè)區(qū)間的零假設(shè)我們都不能拒絕，當(dāng)我們接受一個(gè)零假設(shè)的時(shí)候也可能犯錯(cuò)誤，因?yàn)榛貧w系數(shù)的真實(shí)值可能是該區(qū)間內(nèi)的另外一個(gè)值，這一錯(cuò)誤被稱為第二類錯(cuò)誤。在選擇顯著性水平時(shí)人們面臨抉擇：降低犯第一類錯(cuò)誤的概率就會(huì)增加犯第二類錯(cuò)誤的概率。第52頁(yè),共92頁(yè)，2024年2月25日，星期天53（五）P值P值是計(jì)量經(jīng)濟(jì)結(jié)果對(duì)應(yīng)的精確的顯著性水平。P值度量的是犯第一類錯(cuò)誤的概率，即拒絕正確的零假設(shè)的概率。P值越大，錯(cuò)誤地拒絕零假設(shè)的可能性就越大；p值越小，拒絕零假設(shè)時(shí)就越放心?，F(xiàn)在許多統(tǒng)計(jì)軟件都能計(jì)算各種統(tǒng)計(jì)量的p值，如Eviews、Stata等。第53頁(yè),共92頁(yè)，2024年2月25日，星期天54第三節(jié)多變量線性回歸模型的統(tǒng)計(jì)檢驗(yàn)一、多變量模型的簡(jiǎn)單介紹考察下面這個(gè)方程：

t=1,2,3….T(2.44)對(duì)y產(chǎn)生影響的解釋變量共有k-1（x2t,x3t…,xkt）個(gè)，系數(shù)（β1’β2’…..βk）分別衡量了解釋變量對(duì)因變量y的邊際影響的程度。第54頁(yè),共92頁(yè)，2024年2月25日，星期天55方程（2.44）的矩陣形式為

這里：y是T×1矩陣，X是T×k矩陣，β是k×1矩陣，u是T×1矩陣（2.46）第55頁(yè),共92頁(yè)，2024年2月25日，星期天56在多變量回歸中殘差向量為：（2.47）

殘差平方和為：

（2.48）第56頁(yè),共92頁(yè)，2024年2月25日，星期天57可以得到多變量回歸系數(shù)的估計(jì)表達(dá)式

（2.49）同樣我們可以得到多變量回歸模型殘差的樣本方差（2.50）參數(shù)的協(xié)方差矩陣（2.51）第57頁(yè),共92頁(yè)，2024年2月25日，星期天58二、擬合優(yōu)度檢驗(yàn)在多變量模型中，我們想知道解釋變量一起對(duì)因變量y變動(dòng)的解釋程度。我們將度量這個(gè)信息的量稱為多元判定系數(shù)R2。在多變量模型中，下面這個(gè)等式也成立：TSS=ESS+RSS（2.52）其中，TSS為總離差平方和；ESS為回歸平方和；RSS為殘差平方和。第58頁(yè),共92頁(yè)，2024年2月25日，星期天59與雙變量模型類似，定義如下：即，R2是回歸平方和與總離差平方和的比值；與雙變量模型唯一不同的是，ESS值與多個(gè)解釋變量有關(guān)。R2的值在0與1之間，越接近于1，說(shuō)明估計(jì)的回歸直線擬合得越好。（2.53）第59頁(yè),共92頁(yè)，2024年2月25日，星期天60可以證明：（2.54）因此，（2.55）第60頁(yè),共92頁(yè)，2024年2月25日，星期天61三、假設(shè)檢驗(yàn)（一）、t檢驗(yàn)在多元回歸模型中，t統(tǒng)計(jì)量為：……（2.56）

均服從自由度為（n-k）的t分布。下面的檢驗(yàn)過(guò)程跟雙變量線性回歸模型的檢驗(yàn)過(guò)程一樣。第61頁(yè),共92頁(yè)，2024年2月25日，星期天62（二）、F檢驗(yàn)F檢驗(yàn)的第一個(gè)用途是對(duì)所有的回歸系數(shù)全為0的零假設(shè)的檢驗(yàn)。第二個(gè)用途是用來(lái)檢驗(yàn)有關(guān)部分回歸系數(shù)的聯(lián)合檢驗(yàn)，就方法而言，兩種用途是完全沒(méi)有差別的，下面我們將以第二個(gè)用途為例，對(duì)F檢驗(yàn)進(jìn)行介紹。第62頁(yè),共92頁(yè)，2024年2月25日，星期天63為了解聯(lián)合檢驗(yàn)是如何進(jìn)行的，考慮如下多元回歸模型：

（2.57）這個(gè)模型稱為無(wú)約束回歸模型（unrestrictedregression），因?yàn)殛P(guān)于回歸系數(shù)沒(méi)有任何限制。第63頁(yè),共92頁(yè)，2024年2月25日，星期天64假設(shè)我們想檢驗(yàn)其中q個(gè)回歸系數(shù)是否同時(shí)為零，為此改寫公式（2.57），將所有變量分為兩組，第一組包含k-q個(gè)變量（包括常項(xiàng)），第二組包含q個(gè)變量：

（2.58）第64頁(yè),共92頁(yè)，2024年2月25日，星期天65如果假定所有后q個(gè)系數(shù)都為零，即建立零假設(shè)：，則修正的模型將變?yōu)橛屑s束回歸模型（restrictedregression）（零系數(shù)條件）：

（2.59）第65頁(yè),共92頁(yè)，2024年2月25日，星期天66關(guān)于上述零假設(shè)的檢驗(yàn)很簡(jiǎn)單。若從模型中去掉這q個(gè)變量，對(duì)有約束回歸方程（2.59）進(jìn)行估計(jì)的話，得到的誤差平方和肯定會(huì)比相應(yīng)的無(wú)約束回歸方程的誤差平方和大。如果零假設(shè)正確，去掉這q個(gè)變量對(duì)方程的解釋能力影響不大。當(dāng)然，零假設(shè)的檢驗(yàn)依賴于限制條件的數(shù)目，即被設(shè)定為零的系數(shù)個(gè)數(shù)，以及無(wú)約束回歸模型的自由度。第66頁(yè),共92頁(yè)，2024年2月25日，星期天67檢驗(yàn)的統(tǒng)計(jì)量為：

（2.60）在這里，分子是誤差平方和的增加與零假設(shè)所隱含的參數(shù)限制條件的個(gè)數(shù)之比；分母是模型的誤差平方和與無(wú)條件模型的自由度之比。如果零假設(shè)為真，式（2.60）中的統(tǒng)計(jì)量將服從分子自由度為q，分母自由度為N-K的F分布。第67頁(yè),共92頁(yè)，2024年2月25日，星期天68對(duì)回歸系數(shù)的子集的F檢驗(yàn)與對(duì)整個(gè)回歸方程的F檢驗(yàn)做法一樣。選定顯著性水平，比如1％或5％，然后將檢驗(yàn)統(tǒng)計(jì)量的值與F分布的臨界值進(jìn)行比較。如果統(tǒng)計(jì)量的值大于臨界值，我們拒絕零假設(shè)，認(rèn)為這組變量在統(tǒng)計(jì)上是顯著的。一般的原則是，必須對(duì)兩個(gè)方程分別進(jìn)行估計(jì)，以便正確地運(yùn)用這種F檢驗(yàn)。第68頁(yè),共92頁(yè)，2024年2月25日，星期天69F檢驗(yàn)與R2有密切的聯(lián)系?；叵?則，（2.61）兩個(gè)統(tǒng)計(jì)量具有相同的因變量，因此將上面的兩個(gè)方程代入（2.60），檢驗(yàn)的統(tǒng)計(jì)量可以寫成：（2.62）第69頁(yè),共92頁(yè)，2024年2月25日，星期天70第四節(jié)預(yù)測(cè)一、預(yù)測(cè)的概念和類型（一）預(yù)測(cè)的概念金融計(jì)量學(xué)中，所謂預(yù)測(cè)就是根據(jù)金融經(jīng)濟(jì)變量的過(guò)去和現(xiàn)在的發(fā)展規(guī)律，借助計(jì)量模型對(duì)其未來(lái)的發(fā)展趨勢(shì)和狀況進(jìn)行描述、分析，形成科學(xué)的假設(shè)和判斷。第70頁(yè),共92頁(yè)，2024年2月25日，星期天71（二）預(yù)測(cè)原理?xiàng)l件期望（conditionalexpectations），在t期Y的t+1期的條件期望值記作，它表示的是在所有已知的t期的信息的條件下，Y在t+1期的期望值。假定在t期，我們要對(duì)因變量Y的下一期（即t+1期）值進(jìn)行預(yù)測(cè)，則記作。

第71頁(yè),共92頁(yè)，2024年2月25日，星期天72

在t期對(duì)Y的下一期的所有預(yù)測(cè)值中，Y的條件期望值是最優(yōu)的（即具有最小方差），因此，我們有：

（2.65）第72頁(yè),共92頁(yè)，2024年2月25日，星期天73（三）預(yù)測(cè)的類型：（1）無(wú)條件預(yù)測(cè)和有條件預(yù)測(cè)所謂無(wú)條件預(yù)測(cè)，是指預(yù)測(cè)模型中所有的解釋變量的值都是已知的，在此條件下所進(jìn)行的預(yù)測(cè)。所謂有條件預(yù)測(cè)，是指預(yù)測(cè)模型中某些解釋變量的值是未知的，因此想要對(duì)被解釋變量進(jìn)行預(yù)測(cè)，必須首先預(yù)測(cè)解釋變量的值。第73頁(yè),共92頁(yè)，2024年2月25日，星期天74（2）樣本內(nèi)（in-sample）預(yù)測(cè)和樣本外（out-of-sample）預(yù)測(cè)所謂樣本內(nèi)預(yù)測(cè)是指用全部觀測(cè)值來(lái)估計(jì)模型，然后用估計(jì)得到的模型對(duì)其中的一部分觀測(cè)值進(jìn)行預(yù)測(cè)。樣本外預(yù)測(cè)是指將全部觀測(cè)值分為兩部分，一部分用來(lái)估計(jì)模型，然后用估計(jì)得到的模型對(duì)另一部分?jǐn)?shù)據(jù)進(jìn)行預(yù)測(cè)。第74頁(yè),共92頁(yè)，2024年2月25日，星期天75（3）事前預(yù)測(cè)和事后模擬顧名思義，事后模擬就是我們已經(jīng)獲得要預(yù)測(cè)的值的實(shí)際值，進(jìn)行預(yù)測(cè)是為了評(píng)價(jià)預(yù)測(cè)模型的好壞。事前預(yù)測(cè)是我們?cè)诓恢酪蜃兞空鎸?shí)值的情況下對(duì)其的預(yù)測(cè)。第75頁(yè),共92頁(yè)，2024年2月25日，星期天76（4）一步向前（one-step-ahead）預(yù)測(cè)和多步向前（multi-step-ahead）預(yù)測(cè)所謂一步向前預(yù)測(cè)，是指僅對(duì)下一期的變量值進(jìn)行預(yù)測(cè)，例如在t期對(duì)t+1期的值進(jìn)行預(yù)測(cè)，在t+1期對(duì)t+2期的值進(jìn)行的預(yù)測(cè)等。多步向前預(yù)測(cè)則不僅是對(duì)下一期的值進(jìn)行預(yù)測(cè)，也對(duì)更下期值進(jìn)行預(yù)測(cè)，例如在t期對(duì)t+1期、t+2期、…t+r期的值進(jìn)行預(yù)測(cè)。第76頁(yè),共92頁(yè)，2024年2月25日，星期天77二、預(yù)測(cè)的評(píng)價(jià)標(biāo)準(zhǔn)１、平均預(yù)測(cè)誤差平方和（meansquarederror，簡(jiǎn)記MSE）平均預(yù)測(cè)誤差絕對(duì)值（meanabsoluteerror,簡(jiǎn)記MAE）。變量的MSE定義為：MSE=（2.66）其中―的預(yù)測(cè)值，―實(shí)際值，T―時(shí)段數(shù)第77頁(yè),共92頁(yè)，2024年2月25日，星期天78變量的MAE定義如下：

MAE=，變量的定義同前（2.67）可以看到，MSE和MAE度量的是誤差的絕對(duì)大小，只能通過(guò)與該變量平均值的比較來(lái)判斷誤差的大小，誤差越大，說(shuō)明模型的預(yù)測(cè)效果越不理想。第78頁(yè),共92頁(yè)，2024年2月25日，星期天792、Theil不相等系數(shù)其定義為：（2.68）注意，U的分子就是MSE的平方根，而分母使得U總在0與1之間。如果U=0，則對(duì)所有的t，完全擬合；如果U=1，則模型的預(yù)測(cè)能力最差。因此，Theil不等系數(shù)度量的是誤差的相對(duì)大小。第79頁(yè),共92頁(yè)，2024年2月25日，星期天80Theil不等系數(shù)可以分解成如下有用的形式：其中分別是序列和的平均值和標(biāo)準(zhǔn)差，是它們的相關(guān)系數(shù)，即：

（2.69）

第80頁(yè),共92頁(yè)，2024年2月25日，星期天81定義不相等比例如下：（2.70）

（2.71）

（2.72）第81頁(yè),共92頁(yè)，2024年2月25日，星期天82偏誤比例表示系統(tǒng)誤差，因?yàn)樗攘康氖悄M序列與實(shí)際序列之間的偏離程度。方差比例表示的是模型中的變量重復(fù)其實(shí)際變化程度的能力。協(xié)方差比例度量的是非系統(tǒng)誤差，即反映的是考慮了與平均值的離差之后剩下的誤差。理想的不相等比例的分布是。比例分別稱為U的偏誤比例，方差比例，協(xié)方差比例。它們是將模型誤差按特征來(lái)源分解的有效方法（）。第82頁(yè),共92頁(yè)，2024年2月25日，星期天83第五節(jié)：模型選擇一、“好”模型具有的特性1、節(jié)省性（parsimony）一個(gè)好的模型應(yīng)在相對(duì)精確反應(yīng)現(xiàn)實(shí)的基礎(chǔ)上盡可能的簡(jiǎn)單。2、可識(shí)別性（identifiability）對(duì)于給定的一組數(shù)據(jù)，估計(jì)的參數(shù)要有唯一確定值。第83頁(yè),共92頁(yè)，2024年2月25日，星期天843、高擬合性（goodnessoffit）回歸分析的基本思想是用模型中包含的變量來(lái)解釋被解釋變量的變化，因此解釋能力的高低就成為衡量模型好壞的重要的標(biāo)準(zhǔn)。4、理論一致性（theoreticalconsistency）即使模型的擬合性很高，但是如果模型中某一變量系數(shù)的估計(jì)值符號(hào)與經(jīng)濟(jì)理論不符，那么這個(gè)模型就是失敗的。第84頁(yè),共92頁(yè)，2024年2月25日，星期天85