統(tǒng)計學第三章多元回歸分析詳解演示文稿

統(tǒng)計學第三章多元回歸分析詳解演示文稿當前1頁，總共61頁。優(yōu)選統(tǒng)計學第三章多元回歸分析當前2頁，總共61頁。多元線性回歸模型、回歸方程與估計的回歸方程回歸方程的擬合優(yōu)度與顯著性檢驗多重共線性問題及其處理利用回歸方程進行預測虛擬自變量的回歸用Excel和SPSS進行回歸分析2023/3/93學習目標當前3頁，總共61頁。42023/3/9身高受那些因素影響？決定身高的因素是什么？父母遺傳、生活環(huán)境、體育鍛煉，還是以上各因素的共同作用2004年12月，中國人民大學國民經濟管理系02級的兩位學生，對人大在校生進行了問卷調查。問卷采取隨機發(fā)放、當面提問當場收回調查的樣本量為98人，男性55人，女性43人。調查內容包括被調查者的身高(單位：cm)、性別、其父母身高、是否經常參加體育鍛煉、家庭所在地是在南方還是在北方等等。部分數據如下頁的表所示(1代表男性，0代表女性)父親身高、母親身高、性別是不是影響子女身高的主要因素呢？如果是，子女身高與這些因素之間能否建立一個線性關系方程，并根據這一方程對身高做出預測？這就是本章將要討論的多元線性回歸問題當前4頁，總共61頁。子女身高父親身高母親身高子女性別子女身高父親身高母親身高子女性別171166158115516515701741711581161182165017717916811661661560178174160117017816001801731621158173160018117016011601701650159168153116017115001691681531162167158017017016711651751600170170160116817216202023/3/95調查數據單位：cm0：女1：男當前5頁，總共61頁。第一節(jié)多元線性回歸模型

一、回歸模型與回歸方程二、參數的最小二乘估計2023/3/96當前6頁，總共61頁。一、回歸模型與回歸方程2023/3/97當前7頁，總共61頁。一個因變量與兩個及兩個以上自變量的回歸描述因變量y如何依賴于自變量x1

，x2

，…，

xk

和誤差項

的方程，稱為多元回歸模型涉及k個自變量的多元線性回歸模型可表示為2023/3/98多元回歸模型

(multiplelinearregressionmodel)

b0

，b1，b2

，，bk是參數

是被稱為誤差項的隨機變量

y是x1，x2

，，xk

的線性函數加上誤差項

包含在y里面但不能被k個自變量的線性關系所解

釋的變異性當前8頁，總共61頁。正態(tài)性。誤差項ε是一個服從正態(tài)分布的隨機變量，且期望值為0，即ε~N(0,2)方差齊性。對于自變量x1，x2，…，xk的所有值，的方差2都相同獨立性。對于自變量x1，x2，…，xk的一組特定值，它所對應的與任意一組其他值所對應的不相關2023/3/99多元回歸模型的基本假定

當前9頁，總共61頁。1.描述因變量y的平均值或期望值如何依賴于自變量x1，x2

，…，xk的方程2.多元線性回歸方程的形式為

E(y)=0+1x1

+2x2

+…+

k

xk2023/3/910多元線性回歸方程(multiplelinearregressionequation)

b1，b2，，bk稱為偏回歸系數

bi

表示假定其他變量不變，當xi

每變動一個單位

時，y的平均變動值當前10頁，總共61頁。用樣本統(tǒng)計量

估計回歸方程中的參數時得到的方程由最小二乘法求得一般形式為2023/3/911估計的多元線性回歸方程

(estimatedmultiplelinearregressionequation)

是估計值是y

的估計值當前11頁，總共61頁。二、

參數的最小二乘估計2023/3/912當前12頁，總共61頁。2023/3/913參數的最小二乘估計求解各回歸參數的標準方程如下使因變量的觀察值與估計值之間的離差平方和達到最小來求得

。即當前13頁，總共61頁。2023/3/914參數的最小二乘法(例題分析)【例】一家大型商業(yè)銀行在多個地區(qū)設有分行，為弄清楚不良貸款形成的原因，抽取了該銀行所屬的25家分行2002年的有關業(yè)務數據。試建立不良貸款y與貸款余額x1、累計應收貸款x2、貸款項目個數x3和固定資產投資額x4的線性回歸方程，并解釋各回歸系數的含義

用Excel進行回歸當前14頁，總共61頁。2023/3/915數據表當前15頁，總共61頁。2023/3/916參數的最小二乘估計

(例題分析)F檢驗t檢驗偏回歸系數當前16頁，總共61頁。第二節(jié)

擬合優(yōu)度和顯著性檢驗一、回歸方程的擬合二、顯著性檢驗2023/3/917當前17頁，總共61頁。一、回歸方程的擬合優(yōu)度2023/3/918當前18頁，總共61頁。2023/3/919變差分解xy}}來自回歸（系統(tǒng)影響）來自殘差（隨機影響）當前19頁，總共61頁。2023/3/920變差平方和關系平方和關系：SST=SSR+SSE自由度關系：n-1=k+(n-k-1)總平方和(SST)自由度：n-1{回歸平方(SSR)自由度：k殘差平方和(SSE)自由度：n-k-1{{當前20頁，總共61頁?；貧w平方和占總平方和的比例計算公式為因變量取值的變差中，能被估計的多元回歸方程所解釋的比例2023/3/921多重判定系數(multiplecoefficientofdetermination)

當前21頁，總共61頁。用樣本量n和自變量的個數k去修正R2得到計算公式為避免增加自變量而高估R2意義與R2類似數值小于R22023/3/922修正多重判定系數(adjustedmultiplecoefficientofdetermination)

用Excel進行回歸當前22頁，總共61頁。2023/3/923多重相關系數

(multiplecorrelationcoefficient)

多重判定系數的平方根R反映因變量y與k個自變量之間的相關程度實際上R度量的是因變量的觀測值與由多元回歸方程得到的預測值之間的關系強度，即多重相關系數R等于因變量的觀測值與估計值之間的簡單相關系數即：

(一元相關系數r也是如此，

即。讀者自己去驗證)當前23頁，總共61頁。對誤差項的標準差的一個估計值衡量多元回歸方程的擬合優(yōu)度計算公式為2023/3/924估計標準誤差Se

用Excel進行回歸當前24頁，總共61頁。二、顯著性檢驗2023/3/925當前25頁，總共61頁。檢驗因變量與所有自變量之間的線性關系是否顯著也被稱為總體的顯著性檢驗檢驗方法是將回歸均方(MSR)同殘差均方(MSE)加以比較，運用F檢驗來分析二者之間的差別是否顯著如果是顯著的，因變量與自變量之間存在線性關系如果不顯著，因變量與自變量之間不存在線性關系2023/3/926線性關系檢驗當前26頁，總共61頁。1.提出假設H0：12k=0線性關系不顯著H1：1，2，k至少有一個不等于02023/3/927線性關系檢驗2.計算檢驗統(tǒng)計量F3.確定顯著性水平和分子自由度k、分母自由度n-k-1找出臨

界值F

4.作出決策：若F>F

，拒絕H0當前27頁，總共61頁。線性關系檢驗通過后，對各個回歸系數有選擇地進行一次或多次檢驗究竟要對哪幾個回歸系數進行檢驗，通常需要在建立模型之前作出決定對回歸系數檢驗的個數進行限制，以避免犯過多的第Ⅰ類錯誤(棄真錯誤)對每一個自變量都要單獨進行檢驗應用t檢驗統(tǒng)計量2023/3/928回歸系數的檢驗當前28頁，總共61頁。1.提出假設H0：(自變量xi

與

因變量y沒有線性關系)H1：(自變量xi

與

因變量y有線性關系)2.計算檢驗的統(tǒng)計量t2023/3/929回歸系數的檢驗(步驟)3.確定顯著性水平，并進行決策t>t，拒絕H0；

t<t，不拒絕H0當前29頁，總共61頁。回歸系數在(1-)%置信水平下的置信區(qū)間為

2023/3/930回歸系數的推斷(置信區(qū)間)回歸系數的抽樣標準差自由度當前30頁，總共61頁。第三節(jié)

多重共線性及其處理一、多重共線性及其識別二、變量選擇與逐步回歸2023/3/931當前31頁，總共61頁。一、多重共線性及其識別2023/3/932當前32頁，總共61頁。1.回歸模型中兩個或兩個以上的自變量彼此相關2.多重共線性帶來的問題有可能會使回歸的結果造成混亂，甚至會把分析引入歧途，F檢驗顯著，t檢驗不顯著可能對參數估計值的正負號產生影響，特別是各回歸系數的正負號有可能同預期的正負號相反參數估計量的方差變大，參數檢驗有可能失效，有些回歸系數通不過顯著性檢驗2023/3/933多重共線性(multicollinearity)當前33頁，總共61頁。1.檢測多重共線性的最簡單的一種辦法是計算模型中各對自變量之間的相關系數，并對各相關系數進行顯著性檢驗若有一個或多個相關系數顯著，就表示模型中所用的自變量之間相關，存在著多重共線性2.如果出現下列情況，暗示存在多重共線性（經驗判斷）模型中各對自變量之間顯著相關當模型的線性關系檢驗(F檢驗)顯著時，幾乎所有回歸系數的t檢驗卻不顯著回歸系數的正負號與預期的相反2023/3/934多重共線性的識別當前34頁，總共61頁。1.將一個或多個相關的自變量從模型中剔除，使保

留的自變量盡可能不相關2.如果要在模型中保留所有的自變量，則應避免根據t統(tǒng)計量對單個參數進行檢驗對因變量值的推斷(估計或預測)限定在自變量樣本值的范圍內2023/3/935多重共線性的處理當前35頁，總共61頁。1.在建立多元線性回歸模型時，不要試圖引入

更多的自變量，除非確實有必要2.在社會科學的研究中，由于所使用的大多數

數據都是非試驗性質的，因此，在某些情況

下，得到的結果往往并不令人滿意，但這不

一定是選擇的模型不合適，而是數據的質量

不好，或者是由于引入的自變量不合適2023/3/936提示當前36頁，總共61頁。1.模型選擇可遵循奧克姆剃刀的基本原理最好的科學模型往往最簡單，且能解釋所觀察到的事實2.對于線性模型來說，奧克姆剃刀可表示成簡約原

則一個模型應包括擬合數據所必需的最少變量3.如果一個模型只包含數據擬合所必需的變量，這

個模型就稱為簡約模型(parsimoniousmodel)實際中的許多多元回歸模型都是對簡約模型的擴展2023/3/937奧克姆剃刀(Occam’sRazor)當前37頁，總共61頁。二、變量選擇與逐步回歸2023/3/938當前38頁，總共61頁。在建立回歸模型時，對自變量進行篩選選擇自變量的原則是對統(tǒng)計量進行顯著性檢驗將一個或一個以上的自變量引入到回歸模型中時，是否使得殘差平方和(SSE)有顯著地減少。如果增加一個自變量使SSE的減少是顯著的，則說明有必要將這個自變量引入回歸模型，否則，就沒有必要將這個自變量引入回歸模型確定引入自變量是否使SSE有顯著減少的方法，就是使用F統(tǒng)計量的值作為一個標準，以此來確定是在模型中增加一個自變量，還是從模型中剔除一個自變量變量選擇的方法主要有：向前選擇、向后剔除、逐步回歸等2023/3/939變量選擇過程當前39頁，總共61頁。從模型中沒有自變量開始對k個自變量分別擬合對因變量的一元線性回歸模型，共有k個，然后找出F統(tǒng)計量的值最高的模型及其自變量(P值最小的)，并將其首先引入模型分別擬合引入模型外的k-1個自變量的線性回歸模型如此反復進行，直至模型外的自變量均無統(tǒng)計顯著性為止特點：引入模型中的變量肯定會被保留2023/3/940向前選擇

(forwardselection)當前40頁，總共61頁。先對因變量擬合包括所有k個自變量的回歸模型。然后考察p(p<k)個去掉一個自變量的模型(這些模型中的每一個都有k-1個自變量)，使模型的SSE值減小最少的自變量被挑選出來并從模型中剔除考察p-1個再去掉一個自變量的模型(這些模型中每一個都有k-2個的自變量)，使模型的SSE值減小最少的自變量被挑選出來并從模型中剔除如此反復進行，一直將自變量從模型中剔除，直至剔除一個自變量不會使SSE顯著減小為止2023/3/941向后剔除

(backwardelimination)當前41頁，總共61頁。YX1X2X3sse=40YX2X3sse=30YX1X3sse=20YX1X2sse=10向后剔除(backwardelimination)回歸變量（解釋變量）選擇X1X2X3特點：被剔除的變量將不再進入模型當前42頁，總共61頁。將向前選擇和向后剔除兩種方法結合起來篩選自變量在增加了一個自變量后，它會對模型中所有的變量進行考察，看看有沒有可能剔除某個自變量。如果在增加了一個自變量后，前面增加的某個自變量對模型的貢獻變得不顯著，這個變量就會被剔除按此方法不停地增加變量并考慮剔除以前增加的變量的可能性，直至增加變量已經不能導致SSE顯著減少在前面步驟中增加的自變量在后面的步驟中有可能被剔除，而在前面步驟中剔除的自變量在后面的步驟中也可能重新進入到模型中2023/3/943逐步回歸

(stepwiseregression)當前43頁，總共61頁。2023/3/944參數的最小二乘法(逐步回歸)【例】根據例3.1的數據，用逐步回歸方法建立不良貸款y與貸款余額x1、累計應收貸款x2、貸款項目個數x3和固定資產投資額x4的線性回歸方程，并求出不良貸款的置信區(qū)間和預測區(qū)間

當前44頁，總共61頁。第1步：選擇【Analyze】下拉菜單，并選擇

【Regression-linear】選項進入主對話框第2步：在主對話框中將因變量選入【Dependent】，將所有自變量選入【Independent(s)】，并在

【Method】下選擇【Stepwise】第3步：點擊【Options】，并在【SteppingMethodCriteria】下選中【UseProbabilityofF】，并在

【Entry】框中輸入增加變量所要求的顯著性水平

(隱含值為0.05，一般不用改變)；在

【Removal】輸入剔除變量所要求的顯著性水平

(隱含值為0.10，一般不用改變)。點擊

【Continue】回到主對話框2023/3/945用SPSS進行逐步回歸

(stepwiseregression)當前45頁，總共61頁。第4步：(需要預測時)點擊【Save】：在【PredictedValues】下選中

【Unstandardized】(輸出點預測值)

在【Predictioninterval】下選中【Mean】和

【Individual】(輸出置信區(qū)間和預測區(qū)間)

在【ConfidenceInterval】中選擇所要求的置信水平(隱含值為95%，一般不用改變)(需要殘差分析時)在【Residuals】下選中所需的殘差，點擊【Continue】回到主對話框。點擊【OK】2023/3/946用SPSS進行逐步回歸

(stepwiseregression)當前46頁，總共61頁。2023/3/9逐步回歸

(例題分析—SPSS輸出結果)變量的進入和移出標準當前47頁，總共61頁。2023/3/9逐步回歸

(例題分析—SPSS輸出結果)兩個模型的主要統(tǒng)計量當前48頁，總共61頁。2023/3/9逐步回歸

(例題分析—SPSS輸出結果)兩個模型的方差分析表當前49頁，總共61頁。2023/3/950逐步回歸

(例題分析—SPSS輸出結果)兩個模型的參數估計和檢驗

當前50頁，總共61頁。第四節(jié)利用回歸方程進行預測2023/3/951當前51頁，總共61頁。2023/3/952置信區(qū)間和預測區(qū)間(例題分析)當前52頁，總共61頁。2023/3/9置信區(qū)間和預測區(qū)間(例題分析)不良貸款的置信面和預測面二元回歸面置信面預測面回歸面當前53頁，總共61頁。第五節(jié)

虛擬自變量的回歸一、在模型中引進虛擬變量二、含有一個虛擬自變量的回歸2023/3/954當前54頁，總共61頁。一、在模型中引進虛擬變量2023/3/955當前55頁，總共61頁。也稱啞變量。用數字代碼表示的定性自變量虛擬自變量可有不同的水平只有兩個水平的虛擬自變量比如，性別(男，女)有兩個以上水平的虛擬自變量貸款企業(yè)的類型(家電，醫(yī)藥，其他)虛擬變量的取值為0，12023/3/956虛擬自變量(dummyvariabl