應(yīng)用統(tǒng)計第五章

應(yīng)用統(tǒng)計第五章第一頁，共六十八頁，2022年，8月28日主要內(nèi)容1一元線性回歸的基本思路和步驟2多元線性回歸3SPSS的線性回歸操作第二頁，共六十八頁，2022年，8月28日第一節(jié)一元線性回歸背景介紹自然界各種關(guān)系的分類：一類是確定性關(guān)系，也稱函數(shù)關(guān)系；另一類是相關(guān)關(guān)系，也稱統(tǒng)計關(guān)系?；貧w分析:通過試驗或觀測得到的對應(yīng)數(shù)據(jù),尋找隱藏在變量間相關(guān)關(guān)系的一種統(tǒng)計學(xué)方法.

相關(guān)關(guān)系更具有普遍性,

工程中確定性關(guān)系往往通過相關(guān)關(guān)系表現(xiàn)出來.第三頁，共六十八頁，2022年，8月28日從樣本數(shù)據(jù)出發(fā)，確定變量的數(shù)學(xué)關(guān)系式；對關(guān)系式的可信程度進行統(tǒng)計檢驗，找到影響某一特定變量顯著因素；根據(jù)變量的取值來預(yù)測或控制另一個特定變量的取值，并給出這種預(yù)測或控制的精確程度；回歸分析定義(Regression)第四頁，共六十八頁，2022年，8月28日回歸分析的一般步驟重點內(nèi)容第五頁，共六十八頁，2022年，8月28日第六頁，共六十八頁，2022年，8月28日一元線性回歸涉及一個自變量的回歸；因變量y與自變量x之間為線性關(guān)系；因變量(dependentvariable)：被預(yù)測或被解釋的變量，用y表示。自變量(independentvariable)：預(yù)測或解釋因變量的一個或多個變量，用x表示。因變量與自變量之間的關(guān)系用一條線性方程來表示；第七頁，共六十八頁，2022年，8月28日一元回歸的例子人均收入是否會顯著影響人均食品消費支出；貸款余額是否會影響到不良貸款；航班正點率是否對顧客投訴次數(shù)有顯著影響；廣告費用支出是否對銷售額有顯著影響；第八頁，共六十八頁，2022年，8月28日第九頁，共六十八頁，2022年，8月28日一元線性回歸模型描述因變量y如何依賴于自變量x和誤差項

的方程稱為回歸模型一元線性回歸模型：

y=b0+b1x+ey是x的線性函數(shù)(部分)加上誤差項線性部分反映了由于x的變化引起的y的變化誤差項

是隨機變量反映了除x和y之間線性關(guān)系之外的隨機因素對y的影響是不能由x和y之間的線性關(guān)系所解釋的變異性0和1稱為模型的參數(shù)第十頁，共六十八頁，2022年，8月28日一元線性回歸模型

(基本假定)

誤差項ε是期望值為0的隨機變量，即E(ε)=0。對于一個給定的x值，y的期望值為

E(y)=0+

1x對于所有的x值，ε的方差σ2都相同誤差項協(xié)方差等于零，即εi和εj相互獨立（i≠j）；誤差項ε是服從正態(tài)分布的隨機變量，且相互獨立。即ε~N(0,σ2)第十一頁，共六十八頁，2022年，8月28日回歸方程(regressionequation)描述y的平均值或期望值如何依賴于x的方程稱為回歸方程；一元線性回歸方程的形式如下：

E(y)=0+1x方程表示一條直線，也稱為直線回歸方程；0是回歸直線在y軸上的截距，是當(dāng)x=0時y的期望值；1是直線的斜率，稱為回歸系數(shù)，表示當(dāng)x每變動一個單位時，y的平均變動值；第十二頁，共六十八頁，2022年，8月28日估計的回歸方程

(estimatedregressionequation)一元線性回歸中估計的回歸方程為：用樣本統(tǒng)計量和代替回歸方程中的未知參數(shù)和，就得到了估計的回歸方程；總體回歸參數(shù)和

是未知的，必須利用樣本數(shù)據(jù)去估計；其中：是估計的回歸直線在y

軸上的截距，是直線的斜率，它表示對于一個給定的x

的值，是y

的估計值，也表示x

每變動一個單位時，y的平均變動值。第十三頁，共六十八頁，2022年，8月28日普通最小二乘法估計

（OLS：OrdinaryLeastSquare)使因變量的觀察值與估計值之間的離差平方和達到最小來求得和的方法。即用最小二乘法擬合的直線來代表x與y之間的關(guān)系與實際數(shù)據(jù)的誤差比其他任何直線都小第十四頁，共六十八頁，2022年，8月28日最小二乘估計

(圖示)

xy(xn,yn)(x1,y1)(x2,y2)(xi,yi)｝ei=yi-yi＾第十五頁，共六十八頁，2022年，8月28日最小二乘法

(

和的計算公式)

根據(jù)最小二乘法的要求，可得求解和的公式如下第十六頁，共六十八頁，2022年，8月28日第十七頁，共六十八頁，2022年，8月28日統(tǒng)計檢驗的主要內(nèi)容第十八頁，共六十八頁，2022年，8月28日第十九頁，共六十八頁，2022年，8月28日變差因變量

y取值的波動稱為變差變差來源于兩個方面：由于自變量x的取值不同造成；除x以外的其他因素(如測量誤差等)的影響；對一個具體的觀測值來說，變差的大小可以通過該實際觀測值與其均值之差來表示。第二十頁，共六十八頁，2022年，8月28日變差的分解

(圖示)

xyy{}}第二十一頁，共六十八頁，2022年，8月28日離差平方和的分解

(三個平方和的意義)總平方和(SST)反映因變量的n個觀察值與其均值的總離差；回歸平方和(SSR)反映自變量x的變化對因變量y取值變化的影響，是由于x與y之間的線性關(guān)系引起的y的取值變化，也稱為可解釋的平方和；殘差平方和(SSE)反映除x以外的其他因素對y取值的影響，也稱為不可解釋的平方和或剩余平方和；第二十二頁，共六十八頁，2022年，8月28日離差平方和的分解

(三個平方和的關(guān)系)

SST=SSR+SSE總平方和(SST){回歸平方和(SSR)殘差平方和(SSE){{第二十三頁，共六十八頁，2022年，8月28日判定系數(shù)R2

(coefficientofdetermination)回歸平方和占總離差平方和的比例反映回歸方程的擬合程度；取值范圍在[0,1]之間；

R21，說明回歸方程擬合的越好；R20，說明回歸方程擬合的越差；一元線性回歸中，判定系數(shù)等于y和x相關(guān)系數(shù)的平方，即R2＝(r)2；第二十四頁，共六十八頁，2022年，8月28日第二十五頁，共六十八頁，2022年，8月28日線性關(guān)系的檢驗檢驗所有自變量與因變量之間的線性關(guān)系是否顯著；將均方回歸(MSR)同均方殘差(MSE)加以比較，應(yīng)用F檢驗來分析二者之間的差別是否顯著；均方回歸：回歸平方和SSR除以相應(yīng)的自由度(自變量的個數(shù)K)；均方殘差：殘差平方和SSE除以相應(yīng)的自由度(n-k-1)。第二十六頁，共六十八頁，2022年，8月28日線性關(guān)系的檢驗提出假設(shè)H0：1=0所有回歸系數(shù)與零無顯著差異，y與全體x的線性關(guān)系不顯著計算檢驗統(tǒng)計量F確定顯著性水平，并根據(jù)分子自由度1和分母自由度n-2找出臨界值F作出決策：若F>F,拒絕H0；若F<F,不能拒絕H0第二十七頁，共六十八頁，2022年，8月28日線性關(guān)系的檢驗(sig值檢驗)Sig值小于顯著性水平a，拒絕零假設(shè)認為所有回歸系數(shù)與零存在顯著差異，被解釋變量y與解釋變量x的線性關(guān)系顯著，可以用線性模型描述它們之間的關(guān)系；Sig值大于顯著性水平a，不應(yīng)拒絕零假設(shè)說明用線性模型描述x和y之間的關(guān)系是不恰當(dāng)?shù)摹５诙隧?，共六十八頁?022年，8月28日第二十九頁，共六十八頁，2022年，8月28日檢驗回歸方程中的每個解釋變量x與被解釋變量y之間是否存在顯著的線性關(guān)系；確定解釋變量能否保留在線性回歸方程中?；貧w系數(shù)的顯著性檢驗第三十頁，共六十八頁，2022年，8月28日回歸系數(shù)的檢驗

(樣本統(tǒng)計量的分布)

是根據(jù)最小二乘法求出的樣本統(tǒng)計量，服從正態(tài)分布；的分布具有如下性質(zhì)數(shù)學(xué)期望：標(biāo)準(zhǔn)差：由于未知，需用其估計量se來代替得到的估計標(biāo)準(zhǔn)差第三十一頁，共六十八頁，2022年，8月28日回歸系數(shù)的檢驗

(檢驗步驟)

提出假設(shè)H0:b1=0(沒有線性關(guān)系)H1:b1

0(有線性關(guān)系)計算檢驗的統(tǒng)計量

確定顯著性水平，并進行決策t>t，拒絕H0；t<t，不能拒絕H0Sig值小于a，拒絕H0第三十二頁，共六十八頁，2022年，8月28日第三十三頁，共六十八頁，2022年，8月28日利用回歸方程進行估計和預(yù)測根據(jù)自變量x

的取值估計或預(yù)測因變量y的取值估計或預(yù)測的類型點估計y的平均值的點估計y的個別值的點估計區(qū)間估計y的平均值的置信區(qū)間估計y的個別值的預(yù)測區(qū)間估計第三十四頁，共六十八頁，2022年，8月28日第二節(jié)多元線性回歸一個因變量與兩個及兩個以上自變量的回歸；描述因變量y如何依賴于自變量x1

，x2

，…，

xk

和誤差項

的方程，稱為多元回歸模型；涉及p個自變量的多元回歸模型可表示為

b0

，b1，b2

，，bk是參數(shù)

是被稱為誤差項的隨機變量

y是x1,，x2

，，xk

的線性函數(shù)加上誤差項

是y不能被k個自變量的線性關(guān)系所解釋的變異性第三十五頁，共六十八頁，2022年，8月28日多元回歸模型

(基本假定)

誤差項ε是一個期望值為0的隨機變量，即E()=0；對于自變量x1，x2，…，xk的所有值，的方差2都相同；誤差項ε是一個服從正態(tài)分布的隨機變量，即ε~N(0,2)，且相互獨立；第三十六頁，共六十八頁，2022年，8月28日多元回歸方程

(multipleregressionequation)描述因變量y的平均值或期望值如何依賴于自變量x1，x2

，…，xk的方程多元線性回歸方程的形式為

E(y)=0+1x1

+2x2

+…+

kxkb1，b2，，bk稱為偏回歸系數(shù)

bi

表示假定其他變量不變，當(dāng)xi

每變動一個單位時，y的平均變動值第三十七頁，共六十八頁，2022年，8月28日第三十八頁，共六十八頁，2022年，8月28日調(diào)整的多重判定系數(shù)

(adjustedmultiplecoefficientofdetermination)

用樣本容量n和自變量的個數(shù)k去修正R2得到計算公式為避免增加自變量而高估R2意義與R2類似數(shù)值小于R2第三十九頁，共六十八頁，2022年，8月28日第四十頁，共六十八頁，2022年，8月28日線性關(guān)系檢驗提出假設(shè)H0：12k=0線性關(guān)系不顯著H1：1，2，，k至少有一個不等于0計算檢驗統(tǒng)計量F確定顯著性水平和分子自由度k、分母自由度n-k-1找出臨界值F作出決策：若F>F，拒絕H0第四十一頁，共六十八頁，2022年，8月28日第四十二頁，共六十八頁，2022年，8月28日回歸系數(shù)的檢驗

(步驟)提出假設(shè)H0：bi=0(自變量xi與

因變量y沒有線性關(guān)系)H1：bi

0(自變量xi與

因變量y有線性關(guān)系)計算檢驗的統(tǒng)計量t

確定顯著性水平，并進行決策t>t，拒絕H0；t<t，不能拒絕H0第四十三頁，共六十八頁，2022年，8月28日多元回歸分析中的其他問題第四十四頁，共六十八頁，2022年，8月28日多重共線性(multicollinearity)回歸模型中兩個或兩個以上的自變量彼此相關(guān)的現(xiàn)象。多重共線性帶來的問題有回歸系數(shù)估計值的不穩(wěn)定性增強；回歸系數(shù)假設(shè)檢驗的結(jié)果不顯著等。多重共線性檢驗的主要方法容忍度方差膨脹因子（VIF）第四十五頁，共六十八頁，2022年，8月28日容忍度容忍度Ri是解釋變量Xi與方程中其他解釋變量間的復(fù)相關(guān)系數(shù)；容忍度在0~1之間，越接近于0，表示多重共線性越強，越接近于1，表示多重共線性越弱。第四十六頁，共六十八頁，2022年，8月28日方差膨脹因子方差膨脹因子是容忍度的倒數(shù)VIFi越大，特別是大于等于10，說明解釋變量xi與方程中其他解釋變量之間有嚴(yán)重的多重共線性；VIFi越接近1，表明解釋變量Xi和其他解釋變量之間的多重共線性越弱。第四十七頁，共六十八頁，2022年，8月28日變量的篩選問題回歸方程中到底引入多少解釋變量x變量的篩選策略向前篩選策略（Forward）；向后篩選策略（Backward）；逐步篩選策略（Stepwise）。第四十八頁，共六十八頁，2022年，8月28日向前篩選策略（Forward）解釋變量x不斷進入回歸方程的過程；首先，選擇與y具有最高線性相關(guān)系數(shù)的變量進入方程，進行回歸方程的各種檢驗；然后，在剩余變量中尋找與當(dāng)前解釋變量偏相關(guān)系數(shù)最高且通過檢驗的變量進入方程；該過程一直重復(fù)，直到用盡所有的自變量。第四十九頁，共六十八頁，2022年，8月28日向后篩選策略（Backward）變量不斷剔除出回歸方程的過程；首先，所有自變量全部引入回歸方程，對回歸方程進行檢驗；然后，在回歸系數(shù)顯著性不高的變量中，剔除t檢驗值最小的自變量，重新檢驗新的回歸方程；如果新建回歸方程中所有變量的回歸系數(shù)檢驗都顯著，則回歸方程建立結(jié)束。否則重復(fù)第二步，直到再沒有可剔除的變量。第五十頁，共六十八頁，2022年，8月28日逐步篩選策略（Stepwise）也叫逐步回歸在向前篩選策略的基礎(chǔ)上，結(jié)合向后篩選策略，在每個變量進入方程后再次判斷是否存在應(yīng)該剔除出方程的變量。第五十一頁，共六十八頁，2022年，8月28日第三節(jié)SPSS的線性回歸操作第五十二頁，共六十八頁，2022年，8月28日一元回歸：自變量強行

進入的回歸使用SPSS的“Analyze→Regression→linear”模塊分析數(shù)據(jù)文件：例第五十三頁，共六十八頁，2022年，8月28日研究假設(shè)：各項貸款余額x是影響不良貸款y的關(guān)鍵因素

因變量被解釋變量Y自變量解釋變量X解釋變量的篩選策略Enter所選變量強行進入回歸方程；Stepwise逐步回歸策略；Remove從回歸方程中剔除所選變量；Backward向后篩選策略；Forward向前篩選策略；輸出回歸系數(shù)、回歸系數(shù)標(biāo)準(zhǔn)誤差、標(biāo)準(zhǔn)化回歸系數(shù)、回歸系數(shù)顯著性檢驗一元回歸的擬合優(yōu)度R2第五十四頁，共六十八頁，2022年，8月28日一元回歸只需要看此項即可擬合優(yōu)度為0.712，模型的總體擬合情況較好第五十五頁，共六十八頁，2022年，8月28日SSTSSESSRSig值小于顯著性水平，拒絕回歸方程顯著性檢驗的零假設(shè)，認為各回歸系數(shù)不同時為零。第五十六頁，共六十八頁，2022年，8月28日非標(biāo)準(zhǔn)化的回歸系數(shù)回歸系數(shù)的標(biāo)準(zhǔn)誤差第五十七頁，共六十八頁，2022年，8月28日標(biāo)準(zhǔn)化回歸系數(shù)第五十八頁，共六十八頁，2022年，8月28日解釋變量“各項貸款余額”的sig值小于顯著性水平a，表明該解釋變量的回歸系數(shù)與零有顯著差異；非標(biāo)準(zhǔn)化回歸方程：標(biāo)準(zhǔn)化回歸方程：第五十九頁，共六