基礎(chǔ)多元回歸分析

基礎(chǔ)多元回歸分析第一頁，共三十二頁，編輯于2023年，星期五多元線性回歸模型第二頁，共三十二頁，編輯于2023年，星期五多元線性回歸模型

（概念要點）一個因變量與兩個及兩個以上自變量之間的回歸描述因變量y如何依賴于自變量x1

，x2

，…，

xp

和誤差項

的方程稱為多元線性回歸模型涉及p個自變量的多元線性回歸模型可表示為

b0

，b1，b2

，，bp是參數(shù)

是被稱為誤差項的隨機變量

y是x1,，x2

，，xp

的線性函數(shù)加上誤差項

說明了包含在y里面但不能被p個自變量的線性關(guān)系所解釋的變異性第三頁，共三十二頁，編輯于2023年，星期五多元線性回歸模型

（概念要點）對于n組實際觀察數(shù)據(jù)(yi;xi1,，xi2

，，xip)，(i=1,2,…,n)，多元線性回歸模型可表示為y1

=b0+b1x11+b2x12

++

bpx1p

+e1y2=b0+b1x21

+b2x22

++

bpx2p

+e2

yn=b0+b1xn1

+b2xn2

++

bpxnp

+en{……第四頁，共三十二頁，編輯于2023年，星期五多元線性回歸模型

（基本假定）自變量x1，x2，…，xp是確定性變量，不是隨機變量隨機誤差項ε的期望值為0，且方差σ2都相同誤差項ε是一個服從正態(tài)分布的隨機變量，即ε~N(0,σ2)，且相互獨立第五頁，共三十二頁，編輯于2023年，星期五多元線性回歸方程

（概念要點）描述y的平均值或期望值如何依賴于x1，x1

，…，xp的方程稱為多元線性回歸方程多元線性回歸方程的形式為

E(y)=0+1x1

+2x2

+…+

pxp

b1，b2，，bp稱為偏回歸系數(shù)

bi

表示假定其他變量不變，當(dāng)xi

每變動一個單位時，y的平均平均變動值第六頁，共三十二頁，編輯于2023年，星期五多元線性回歸方方程的直觀解釋二元線性回歸模型(觀察到的y)回歸面0ix1yx2(x1,x2)}第七頁，共三十二頁，編輯于2023年，星期五多元線性回歸的估計(經(jīng)驗)方程總體回歸參數(shù)是未知的，利用樣本數(shù)據(jù)去估計用樣本統(tǒng)計量代替回歸方程中的未知參數(shù)

即得到估計的回歸方程是估計值是y

的估計值第八頁，共三十二頁，編輯于2023年，星期五參數(shù)的最小二乘估計第九頁，共三十二頁，編輯于2023年，星期五參數(shù)的最小二乘法

（要點）根據(jù)最小二乘法的要求，可得求解各回歸參數(shù)的標準方程如下使因變量的觀察值與估計值之間的離差平方和達到最小來求得

。即第十頁，共三十二頁，編輯于2023年，星期五回歸方程的顯著性檢驗第十一頁，共三十二頁，編輯于2023年，星期五多重樣本決定系數(shù)

（多重判定系數(shù)R2

）回歸平方和占總離差平方和的比例反映回歸直線的擬合程度取值范圍在[0,1]之間

R21，說明回歸方程擬合的越好；R20，說明回歸方程擬合的越差等于多重相關(guān)系數(shù)的平方，即R2=(R)2第十二頁，共三十二頁，編輯于2023年，星期五修正的多重樣本決定系數(shù)

（修正的多重判定系數(shù)R2

）由于增加自變量將影響到因變量中被估計的回歸方程所解釋的變異性的數(shù)量，為避免高估這一影響，需要用自變量的數(shù)目去修正R2的值用n表示觀察值的數(shù)目，p表示自變量的數(shù)目，修正的多元判定系數(shù)的計算公式可表示為第十三頁，共三十二頁，編輯于2023年，星期五回歸方程的顯著性檢驗

（線性關(guān)系的檢驗

）檢驗因變量與所有的自變量和之間的是否存在一個顯著的線性關(guān)系，也被稱為總體的顯著性檢驗檢驗方法是將回歸離差平方和(SSR)同剩余離差平方和(SSE)加以比較，應(yīng)用F檢驗來分析二者之間的差別是否顯著如果是顯著的，因變量與自變量之間存在線性關(guān)系如果不顯著，因變量與自變量之間不存在線性關(guān)系第十四頁，共三十二頁，編輯于2023年，星期五回歸方程的顯著性檢驗

（步驟）提出假設(shè)H0：12p=0線性關(guān)系不顯著H1：1，2，，p至少有一個不等于02.計算檢驗統(tǒng)計量F3.確定顯著性水平和分子自由度p、分母自由度n-p-1找出臨界值F4.作出決策：若FF，拒絕H0；若F<F，接受H0第十五頁，共三十二頁，編輯于2023年，星期五回歸系數(shù)的顯著性檢驗

（要點）如果F檢驗已經(jīng)表明了回歸模型總體上是顯著的，那么回歸系數(shù)的檢驗就是用來確定每一個單個的自變量xi

對因變量y的影響是否顯著對每一個自變量都要單獨進行檢驗應(yīng)用t

檢驗在多元線性回歸中，回歸方程的顯著性檢驗不再等價于回歸系數(shù)的顯著性檢驗第十六頁，共三十二頁，編輯于2023年，星期五回歸系數(shù)的顯著性檢驗

（步驟）提出假設(shè)H0：bi=0(自變量xi與

因變量y沒有線性關(guān)系)H1：bi

0(自變量xi與

因變量y有線性關(guān)系)計算檢驗的統(tǒng)計量t確定顯著性水平，并進行決策tt，拒絕H0；t<t，接受H0第十七頁，共三十二頁，編輯于2023年，星期五一個二元線性回歸的例子銷售額、人口數(shù)和年人均收入數(shù)據(jù)地區(qū)編號銷售額（萬元）y人口數(shù)(萬人)x1年人均收入(元)x21234567891033.335.527.630.431.953.135.629.035.134.532.429.126.331.229.240.729.823.028.226.91250165014501310131015801490152016201570【例】一家百貨公司在10個地區(qū)設(shè)有經(jīng)銷分公司。公司認為商品銷售額與該地區(qū)的人口數(shù)和年人均收入有關(guān)，并希望建立它們之間的數(shù)量關(guān)系式，以預(yù)測銷售額。有關(guān)數(shù)據(jù)如下表。試確定銷售額對人口數(shù)和年人均收入的線性回歸方程，并分析回歸方程的擬合程度，對線性關(guān)系和回歸系數(shù)進行顯著性檢驗(=0.05)。第十八頁，共三十二頁，編輯于2023年，星期五一個二元線性回歸的例子

(Excel輸出的結(jié)果)第十九頁，共三十二頁，編輯于2023年，星期五一個二元線性回歸的例子

(計算機輸出結(jié)果解釋)銷售額與人口數(shù)和年人均收入的二元回歸方程為多重判定系數(shù)R2=0.9373；調(diào)整后的R2=0.9194

回歸方程的顯著性檢驗F=52.3498F>F0.05(2,7)=4.74，回歸方程顯著回歸系數(shù)的顯著性檢驗t=9.3548>t=0.3646，；t2=4.7962>t=2.3646；兩個回歸系數(shù)均顯著一個含有四個變量的回歸第二十頁，共三十二頁，編輯于2023年，星期五第三節(jié)可化為線性回歸的

曲線回歸基本概念非線性模型及其線性化方法第二十一頁，共三十二頁，編輯于2023年，星期五非線性回歸1. 因變量y與x之間不是線性關(guān)系2. 可通過變量代換轉(zhuǎn)換成線性關(guān)系用最小二乘法求出參數(shù)的估計值并非所有的非線性模型都可以化為線性模型第二十二頁，共三十二頁，編輯于2023年，星期五幾種常見的非線性模型指數(shù)函數(shù)線性化方法兩端取對數(shù)得：lny

=ln+x令：y'=lny，則有y'

=ln+x基本形式：圖像第二十三頁，共三十二頁，編輯于2023年，星期五幾種常見的非線性模型冪函數(shù)線性化方法兩端取對數(shù)得：lgy=lg+lgx令：y'=lgy，x'=lgx，則y'

=lg+x'基本形式：圖像0<<11=1-1<<0<-1=-1第二十四頁，共三十二頁，編輯于2023年，星期五幾種常見的非線性模型雙曲線函數(shù)線性化方法令：y'=1/y，x'=1/x,則有y'

=+x'基本形式：圖像<0>0第二十五頁，共三十二頁，編輯于2023年，星期五幾種常見的非線性模型對數(shù)函數(shù)線性化方法x'=lgx,則有y'

=+x'基本形式：圖像0<0第二十六頁，共三十二頁，編輯于2023年，星期五幾種常見的非線性模型S型曲線線性化方法令：y'=1/y，x'=e-x,則有y'

=+x'基本形式：圖像第二十七頁，共三十二頁，編輯于2023年，星期五非線性回歸

（實例）

【例】為研究生產(chǎn)率與廢品率之間的關(guān)系，記錄數(shù)據(jù)如下表。試擬合適當(dāng)?shù)哪Ｐ?。廢品率與生產(chǎn)率的關(guān)系生產(chǎn)率（周/單位)x1000200030003500400045005000廢品率（%）y5.26.56.88.110.210.313.0第二十八頁，共三十二頁，編輯于2023年，星期五非線性回歸

（實例）生產(chǎn)率與廢品率的散點圖第二十九頁，共三十二頁，編輯于2023年，星期五非線性回歸

（實例）用線性模型：y

=01x+，有

y=2.671+0.0018x用指數(shù)模型：y=x

，有

y

=4.0