統(tǒng)計學(xué)線性回歸分析

統(tǒng)計學(xué)線性回歸分析第1頁，共36頁，2023年，2月20日，星期六

變量之間的關(guān)系有兩種：確定型的函數(shù)關(guān)系不確定型的函數(shù)關(guān)系

這里主要研究不確定型的函數(shù)關(guān)系，如收入與受教育程度之間的關(guān)系，等等問題。但它們之間存在明顯的相互關(guān)系（稱為相關(guān)關(guān)系），又是不確定的?；貧w分析是研究隨機變量之間相關(guān)關(guān)系的統(tǒng)計方法。其研究一個被解釋變量（因變量）與一個或多個解釋變量（自變量）之間的統(tǒng)計關(guān)系。第2頁，共36頁，2023年，2月20日，星期六例：人均收入X與人均食品消費支出Y的散點圖的關(guān)系如圖。

1.一元線性回歸是研究一個自變量與一個因變量的統(tǒng)計關(guān)系。一.一元線性回歸人均收入X人均食品支出Y第3頁，共36頁，2023年，2月20日，星期六這兩個變量之間的不確定關(guān)系，可以用下式表示：式中，人均食品消費支出Y是被解釋變量，人均收入X

是解釋變量，1，2是待估計參數(shù)；u

是隨機干擾項，且與X無關(guān)，它反映了Y被X解釋的不確定性。如果隨機干擾項u的均值為0，對上式求條件均值，有反映出從“平均”角度看，是確定性關(guān)系。第4頁，共36頁，2023年，2月20日，星期六例：地區(qū)的多孩率與人均國民收入的散點圖如下：人均收入X多孩率Y這兩個變量之間的不確定關(guān)系，大致可以用下式表示：設(shè)Z=LnX，可將上式線性關(guān)系為：第5頁，共36頁，2023年，2月20日，星期六線性回歸的任務(wù)：就是用恰當?shù)姆椒?，估計出參?shù)1，2

，并且使估計出來的參數(shù)具有良好的統(tǒng)計特征，所以，回歸問題從某種視角看，視同參數(shù)估計問題。如果把X，Y的樣本觀測值代到線性回歸方程中，就得到i=1,2,…,n,n為樣本容量.從重復(fù)抽樣的角度看，Xi，Yi也可以視為隨機變量。第6頁，共36頁，2023年，2月20日，星期六2.高斯基本假設(shè)對于線性回歸模型i=1,2,…,n,n為樣本容量.高斯基本假設(shè)如下:ui

為隨機變量(本假設(shè)成立,因為我們研究就是不確定關(guān)系).E(ui)=0,隨機干擾項的期望值等于零(本假設(shè)成立,如果其均值不是零,可以把它并入到1

中).Var(ui)=2u

,隨機干擾項的方差等于常數(shù)(本假設(shè)有可能不成立,以后討論不成立時如何處理).

E(uiuj)=0(ij)隨機干擾項協(xié)方差等于零(本假設(shè)第7頁，共36頁，2023年，2月20日，星期六有可能不成立,以后討論不成立時如何處理).(5)ui

服從N(0,2u

)分布;(6)E(Xiuj)=0,對Xi

的性質(zhì)有兩種解釋:a.Xi

視為隨機變量,但與uj無關(guān),所以(6)成立.b.Xi

視為確定型變量,所以(6)也成立.第8頁，共36頁，2023年，2月20日，星期六3.普通最小二乘法(OLS)設(shè)線性回歸模型其中為1，2

的估計值,則Y的計算值?,可以用下式表達:所要求出待估參數(shù),要使Y與其計算值?之間的“誤差平方和”最小.即：使得最小.為此,分別求Q對的偏導(dǎo),并令其為零:第9頁，共36頁，2023年，2月20日，星期六由上兩式,就可求出待估參數(shù)的值.4.所求參數(shù)的計算公式的另一個表達式為:第10頁，共36頁，2023年，2月20日，星期六例:：在上述家庭可支配收入-消費支出例中，對于所抽出的一組樣本數(shù)，參數(shù)估計的計算可通過下面的表進行。

參數(shù)估計的計算表

iX

iY

ix

iy

iiyx

2ix

2iy

2iX

2iY

1

800

594

-1350

-973

1314090

1822500

947508

640000

352836

2

1100

638

-1050

-929

975870

1102500

863784

1210000

407044

3

1400

1122

-750

-445

334050

562500

198381

1960000

1258884

4

1700

1155

-450

-412

185580

202500

170074

2890000

1334025

5

2000

1408

-150

-159

23910

22500

25408

4000000

1982464

6

2300

1595

150

28

4140

22500

762

5290000

2544025

7

2600

1969

450

402

180720

202500

161283

6760000

3876961

8

2900

2078

750

511

382950

562500

260712

8410000

4318084

9

3200

2585

1050

1018

1068480

1102500

1035510

10240000

6682225

10

3500

2530

1350

963

1299510

1822500

926599

12250000

6400900

求和

21500

15674

5769300

7425000

4590020

53650000

29157448

平均

2150

1567

第11頁，共36頁，2023年，2月20日，星期六因此，由該樣本估計的回歸方程為：

第12頁，共36頁，2023年，2月20日，星期六5.幾何解釋殘差向量

e=Y–?=(Y-Y)-(?-Y)=y-?向量y,?,e

三者之間關(guān)系如圖所示,普通最小二乘法要使殘差平方和e2i

最小,也就是要使e的長度盡可能小,等價于在幾何上e

x.或者說,?的長度應(yīng)當是y在x上的投影長度.yxe第13頁，共36頁，2023年，2月20日，星期六二.多元線性回歸

本節(jié)要研究一個被解釋變量(因變量),多個解釋變量(自變量)的線性模型,即1.基本假設(shè)

u為隨機變量向量；

E(u)=0；

cov(u)=E(u

uT)=2uIn(包含了兩個其本假設(shè)：一是不存在序列相關(guān)，即ij時,cov(ui,uj)=E(uiuj)=0;二是具有同方差性(齊次方差性),即Var(ui)=2u).第14頁，共36頁，2023年，2月20日，星期六(4)u~N(0,2uIn)

(5)E(XTu)=0,或者,X為確定矩陣(6)秩(X)=k,(k<n)第15頁，共36頁，2023年，2月20日，星期六2.普通最小二乘法估計式在模型中,代入樣本觀測值之后,可得用矩陣方式表達為

Y=X+u其中,Y=(Y1,Y2,…,Yn)T

u=(u1,u2,…,un)T

=(

1,

2,…,k)T第16頁，共36頁，2023年，2月20日，星期六若估計出,則有所以于是有兩邊左乘XT,得由幾何解釋XT

e,故有XTe

=0,所以可以求出:這就是普通最小二乘法估計系數(shù)公式.第17頁，共36頁，2023年，2月20日，星期六3.估計系數(shù)的性質(zhì)高斯-馬爾柯夫定理:在模型的基本假設(shè)下,所估計的參數(shù)值是最優(yōu)的.即,滿足最小方差性,線性的、無偏的,且有4.的方差及分布表示矩陣的對角線元素,簡記cjj.（注：為向量）第18頁，共36頁，2023年，2月20日，星期六所以,可以證明：（1）（2）5.干擾項方差的無偏估計得到回歸系數(shù)后,就可以得到Y(jié)的計算值如下:第19頁，共36頁，2023年，2月20日，星期六從而有殘差值ei向量e由

ei組成

,稱為殘差平方和,記為Q.且為的無偏估計量。第20頁，共36頁，2023年，2月20日，星期六R2稱為判定系數(shù),它反映了回歸效果的好壞.其定義可以從線性回歸的幾何解釋中引出.

多元回歸的幾何解釋的圖形與一元回歸的幾何解釋圖形完全相同,只是橫坐標x不再表示一個變量,而是表示k-1個變量.6.判定系數(shù)R2判定系數(shù)R2的定義為:eyx式中,,其經(jīng)濟解釋為第21頁，共36頁，2023年，2月20日，星期六已解釋變差占總變差的百分比.判定系數(shù)R2的另一種表達:7.回歸效果的F檢驗檢驗回歸效果的F統(tǒng)計量的定義式為:服從F(k-1,n-k)分布.F越大越好.當計算出的統(tǒng)計值f>f(k-1,n-k),就表示回歸第22頁，共36頁，2023年，2月20日，星期六效果是好的,在水平下,已解釋方差(Y的變化中已經(jīng)解釋的部分)明顯大于未解釋方差(Y的變化中尚未解釋的部分).8.F與R2的關(guān)系F統(tǒng)計量與R2的統(tǒng)計量的關(guān)系,可以從下式的推演中看到:推演中用到勾股定理：。第23頁，共36頁，2023年，2月20日，星期六一個二元線性回歸的例子銷售額、人口數(shù)和年人均收入數(shù)據(jù)地區(qū)編號銷售額（萬元）y人口數(shù)(萬人)x1年人均收入(元)x21234567891033.335.527.630.431.953.135.629.035.134.532.429.126.331.229.240.729.823.028.226.91250165014501310131015801490152016201570【例】一家百貨公司在10個地區(qū)設(shè)有經(jīng)銷分公司。公司認為商品銷售額與該地區(qū)的人口數(shù)和年人均收入有關(guān)，并希望建立它們之間的數(shù)量關(guān)系式，以預(yù)測銷售額。有關(guān)數(shù)據(jù)如下表。試確定銷售額對人口數(shù)和年人均收入的線性回歸方程，并分析回歸方程的擬合程度，對線性關(guān)系和回歸系數(shù)進行顯著性檢驗(=0.05)。第24頁，共36頁，2023年，2月20日，星期六一個二元線性回歸的例子

(Excel輸出的結(jié)果)第25頁，共36頁，2023年，2月20日，星期六一個二元線性回歸的例子

(計算機輸出結(jié)果解釋)銷售額與人口數(shù)和年人均收入的二元回歸方程為多重判定系數(shù)R2=0.9373；調(diào)整后的R2=0.9194

回歸方程的顯著性檢驗F=52.3498F>F0.05(2,7)=4.74，回歸方程顯著回歸系數(shù)的顯著性檢驗t=9.3548>t=0.3646，；t2=4.7962>t=2.3646；兩個回歸系數(shù)均顯著一個含有四個變量的回歸第26頁，共36頁，2023年，2月20日，星期六9.校正的判定系數(shù)（AdjustedR2）統(tǒng)計量R2中不含有自由度。所謂校正的判定系數(shù)，就是指“考慮了自由度的判定系數(shù)R2adj”。其定義如下：這樣，R2adj剔除了自由度的影響。10.回歸系數(shù)的T檢驗假設(shè)Ho:j=0;備擇假設(shè)H1:j0(即Ho不成立).第27頁，共36頁，2023年，2月20日，星期六用統(tǒng)計量:服從t(n-k),可以完成上述假設(shè)檢驗.當時,H1成立,即j顯著異于0.(n5時,若取=0.05,則當t2時,有H1

成立,即j顯著異于0)

針對回歸系數(shù)的t統(tǒng)計量的顯著性檢驗,決定了相應(yīng)的變量能否作為解釋變量進入回歸方程.注意:第28頁，共36頁，2023年，2月20日，星期六11.回歸系數(shù)的置信區(qū)間得到區(qū)間為水平上的置信區(qū)間.例:=0.05,則給定一置信水平,用統(tǒng)計量即第29頁，共36頁，2023年，2月20日，星期六12.偏相關(guān)系數(shù)的另一種幾何解釋定義:偏相關(guān)系數(shù)是在其他變量不變的情況下,任意兩個變量之間的相關(guān)系數(shù).例如:已知偏相關(guān)系數(shù)表示排除X3,···,Xk影響后的Y和X2之間的相關(guān)關(guān)系,其計算過程如下:(1)求中心化數(shù)據(jù)y

對中心化數(shù)據(jù)x3,···,xk的OLS估計值:第30頁，共36頁，2023年，2月20日，星期六要求出上式結(jié)果,需經(jīng)兩個步驟:a.用中心化數(shù)據(jù)y

對中心化數(shù)據(jù)x3,···,xk

回歸,求出回歸系數(shù)b.依托已經(jīng)求出的回歸系數(shù)和由樣本得到的中心化數(shù)據(jù),計算.(2)令(從

yi

中剔除x3,···,xk

的影響).(3)求x2對x3,···,xk的最小二乘估計值:要求出上式結(jié)果,同樣需經(jīng)兩個步驟:先用x2對x3,···,xk第31頁，共36頁，2023年，2月20日，星期六回歸,求出回歸系數(shù),然后求出