賈俊平版統(tǒng)計(jì)學(xué)課件第12章

1、第12章多元線性回歸 12.1 多元線性回歸模型 12.2 回歸方程的擬合優(yōu)度 12.3 顯著性檢驗(yàn) 12.4 多重共線性 12.5 利用回歸方程進(jìn)行估計(jì)和預(yù)測 12.6 變量選擇與逐步回歸12.1 多元線性回歸模型 12.1.1 多元回歸模型與回歸方程 12.1.3 估計(jì)的多元回歸方程 12.1.3 參數(shù)的最小二乘估計(jì)12.1.1 多元回歸模型與回歸方程1.多元回歸模型(multiple regression model)稱為多元線性回歸模型(1)多元線性回歸模型包含一個(gè)因變量與兩個(gè)或兩個(gè)以上自變量.(2)誤差項(xiàng) 為隨機(jī)變量(3) 為模型的參數(shù)，稱偏回歸系數(shù).k,210(12.1)kkxxx

2、y22110多元線性回歸模型誤差項(xiàng)的基本假定 (1)誤差項(xiàng) 是一個(gè)期望值為0的隨機(jī)變量，即 . (2)誤差項(xiàng) 的方差都相等，即niDi, 2 , 1,)(2 (3)誤差項(xiàng)服從正態(tài)分布，即niNi,2,1,),0(20)(E2.多元回歸方程(multiple regression equation)kkxxxyE22110)( 稱(12.2)jjx為總體多元線性回歸方程. 表示當(dāng)其他變量不變，而 每變動(dòng)一個(gè)單位時(shí)，E(y ) 相應(yīng)的變動(dòng)值.多元線性回歸方程的直觀解釋(1) 表示 保持不變時(shí)， 每變動(dòng)一個(gè)單位時(shí) 的相應(yīng)變化量.(2) 表示 保持不變時(shí)， 每變動(dòng)一個(gè)單位時(shí) 的相應(yīng)變化量.11x)(y

3、E22110)(xxyE22110 xxy考慮二元線性回歸模型22x)(yE2x1x二元回歸方程的直觀解釋二元線性回歸模型22110 xxy22110)(xxyE12.1.2 估計(jì)的多元回歸的方程 是未知參數(shù)，可以根據(jù)樣本數(shù)據(jù)作估計(jì).記的估計(jì)為，則k,10稱為估計(jì)的多元回歸方程(estimated multiple regression equation)或樣本多元回歸方程.k,10k,10kkxxy110(12.3)12.1.3 參數(shù)的最小二乘估計(jì)使因變量的觀察值 y 與估計(jì)值 之間的殘差平方和達(dá)到最小來求 ，即使k,10達(dá)到最小. 稱 為 的最小二乘估計(jì).k,10k,10niikikini

4、iiniiexxyyyQ122110121)()(y (12.4)續(xù) 根據(jù)微積分中求極值的原理， 應(yīng)是下列正規(guī)方程組的解kjxxxyQxxyQijkikiniijkikinii, 2 , 10)(20)(2110111010k,10(12.5)例12.1 一家大型商業(yè)銀行在多個(gè)地區(qū)設(shè)有分行，其業(yè)務(wù)主要是進(jìn)行基礎(chǔ)設(shè)施建設(shè)、國家重點(diǎn)項(xiàng)目建設(shè)、固定資產(chǎn)投資等項(xiàng)目的貸款。近年來，該銀行的貸款額平穩(wěn)增長，但不良貸款額也有較大比例的提高，這給銀行業(yè)務(wù)的發(fā)展帶來較大壓力。為弄清楚不良貸款形成的原因，抽取了該銀行所屬的25家分行2002年的有關(guān)業(yè)務(wù)數(shù)據(jù)。試建立不良貸款(y)與貸款余額(x1)、累計(jì)應(yīng)收貸款(x

5、2)、貸款項(xiàng)目個(gè)數(shù)(x3)和固定資產(chǎn)投資額(x4)的線性回歸方程，并解釋各回歸系數(shù)的含義 。 表12-1某商業(yè)銀行2002年的有關(guān)業(yè)務(wù)數(shù)據(jù)用Excel進(jìn)行回歸分析的步驟表12-2Excel輸出的回歸分析結(jié)果參數(shù)的最小二乘法(例題分析) 根據(jù)Excel輸出的結(jié)果，得到不良貸款與貸款余額、累計(jì)應(yīng)收貸款、貸款項(xiàng)目個(gè)數(shù)和固定資產(chǎn)投資額的多元線性回歸方程為： 各回歸系數(shù)的實(shí)際意義為： 表示，在累計(jì)應(yīng)收貸款、貸款項(xiàng)目個(gè)數(shù)和固定資產(chǎn)投資額不變的條件下，貸款余額每增加1億元，不良貸款平均增加0.040039億元。 表示，在貸款余額、貸款項(xiàng)目個(gè)數(shù)和固定資產(chǎn)投資額不變的條件下，累計(jì)應(yīng)收貸款每增加1億元，不良貸款平

6、均增加0.148034億元。 表示，在貸款余額、累計(jì)應(yīng)收貸款和固定資產(chǎn)投資額不變的條件下，貸款項(xiàng)目個(gè)數(shù)每增加1個(gè)，不良貸款平均增加0.014529億元。 表示，在貸款余額、累計(jì)應(yīng)收貸款和貸款項(xiàng)目個(gè)數(shù)不變的條件下，固定資產(chǎn)投資額每增加1億元，不良貸款平均減少0.029193億元。4321029193. 0014529. 0148034. 0040039. 0021640. 1xxxxy040039. 01148034. 02014529. 03029193. 0412.2 回歸方程的擬合優(yōu)度12.2.1 多重判定系數(shù) 12.2.2 估計(jì)標(biāo)準(zhǔn)誤差12.2.1 多重判定系數(shù) 對多元回歸同樣可分解成如

7、下形式SSRSSESST則多重判定系數(shù)(multiple coefficient of determination)為(12.6)SSTSSESSTSSRyyyyRniinii112122(12.7)續(xù) 多重判定系數(shù)反映樣本回歸方程的擬合好壞程度，R 愈大，說明樣本回歸方程擬合得愈好。顯然， . 而稱 y 關(guān)于 的樣本復(fù)相關(guān)系數(shù)，R 的大小可以反映作為一個(gè)整體的與 y 的線性相關(guān)的密切程度.102 R2121)()(yyyySSTSSRRniiniipxxx,21pxxx,21調(diào)整的多重判定系數(shù)11)1 (1) 1/()() 1/()(1221122knnRnyyknyyRniiniii 由于

8、樣本多重判定系數(shù)的分母 SST 對給定的樣本數(shù)據(jù)是不變的,而SSR與引進(jìn)回歸方程的自變量個(gè)數(shù)有關(guān).因此，為避免增加自變量而高估R，應(yīng)對R 作調(diào)整,調(diào)整的樣本多重判定系數(shù)(adjusted multiple coefficient of determination)為(12.8)例 根據(jù)例12.1的數(shù)據(jù)，計(jì)算多重判定系數(shù). 解：根據(jù)(12.7)式，得7976. 06504.3123712.2492SSTSSRR7571. 0246504.312202792.631) 1() 1(12nSSTpnSSER 多重判定系數(shù) =0.797604=79.7604%。其實(shí)際意義是：在不良貸款取值的變差中，能

9、被不良貸款與貸款余額、累計(jì)應(yīng)收貸款、貸款項(xiàng)目個(gè)數(shù)和固定資產(chǎn)投資額的多元回歸方差所解釋的比例為79.7604%。而根據(jù)(12.8)式，則 調(diào)整的多重判定系數(shù) =0.757125=75.7125%，表示在用樣本量和模型中自變量的個(gè)數(shù)進(jìn)行調(diào)整后，在不良貸款取值的變差中，能被不良貸款與貸款余額、累計(jì)應(yīng)收貸款、貸款項(xiàng)目個(gè)數(shù)和固定資產(chǎn)投資額的多元回歸方程所解釋的比例為75.7125%。2R2aR12.2.2 估計(jì)標(biāo)準(zhǔn)誤差 誤差項(xiàng)的標(biāo)準(zhǔn)差的估計(jì)稱為估計(jì)標(biāo)準(zhǔn)誤差(standard error of estimate) ,或稱為估計(jì)量的標(biāo)準(zhǔn)差.根據(jù)例12.1的數(shù)據(jù)，得(12.9)778752. 116396.

10、3112knyysniiieMSEknSSEknyysniiie1112 為自變量的個(gè)數(shù)k 其含義是：根據(jù)所建立的多元回歸方程，用貸款余額、累計(jì)應(yīng)收貸款、貸款項(xiàng)目個(gè)數(shù)和固定資產(chǎn)投資額來預(yù)測不良貸款時(shí)，平均的預(yù)測誤差為1.778752億元。12.3 顯著性檢驗(yàn) 12.3.1 線性關(guān)系檢驗(yàn) 12.3.2 回歸系數(shù)檢驗(yàn)和推斷12.3.1 線性關(guān)系檢驗(yàn) 線性關(guān)系檢驗(yàn)，即回歸方程的顯著性檢驗(yàn)，具體步驟為 1.提出原假設(shè)和備擇假設(shè)) 1,() 1/(/knkFknSSEkSSRF) 1,(knkFF對規(guī)定的顯著性水平 ，若則拒絕 ，認(rèn)為 y 對 存在線性關(guān)系，稱回歸方程顯著. 否則，認(rèn)為 y 對 之間不存

11、在線性關(guān)系，稱回歸方程不顯著.0H2.計(jì)算檢驗(yàn)統(tǒng)計(jì)量0:210kHkH,:211kxxx,21kxxx,21至少有一個(gè)不為0(12.10)方差分析表前面的這些計(jì)算結(jié)果可以列成表格的形式，稱為方差分析表. 方差分析表方差來源平方和自由度均方F 值回歸SSRkSSR / k殘差SSEn - k - 1SSE /(n - k- 1)總和SSTn - 1) 1/(/knSSEkSSRF) 1,(knkF例12.287. 2)20, 4(05. 0F 根據(jù)例 12.1 建立的回歸方程，檢驗(yàn)線性關(guān)系的顯著性. 解：提出假設(shè)根據(jù)(12.10)式 查F 分布表得 ，由于 從而拒絕原假設(shè).即不良貸款與貸款余額、

12、累計(jì)應(yīng)收貸款、貸款項(xiàng)目個(gè)數(shù)和固定資產(chǎn)投資額之間的線性關(guān)系是顯著的.704.19)1425(2792.6343712.249)1(knSSEkSSRF0:43210H43211,:H至少有一個(gè)不為087. 2)20, 4(704044.1905. 0FF線性關(guān)系檢驗(yàn)(例題分析) 也可直接將Excel輸出的回歸方差分析表中的Significance-F值（即P值），與給定的顯著性水平比較，由于Significance-F=1.03539E-06t(25-2)=2.069 ， 所以均拒絕原假設(shè)，說明這4個(gè)自變量兩兩之間都有顯著的相關(guān)關(guān)系。2、由表Excel輸出的結(jié)果可知，回歸模型的線性關(guān)系顯著(Si

13、gnificance-F1.03539E-06=0.05) 。這也暗示了模型中存在多重共線性。3、固定資產(chǎn)投資額的回歸系數(shù)為負(fù)號(-0.029193) ，與預(yù) 期的不一致。12.4.3 多重共線性問題的處理 剔除緊密相關(guān)且不重要的自變量，從而盡可能使自變量之間線性無關(guān).例12.5 根據(jù)例 12.1 的數(shù)據(jù)，對多重共線性進(jìn)行處理. 解：由于 最小，首先剔除 ，建立 y 與 的回歸方程. 又由于這時(shí) 最小，且 不顯著. 從而再剔除 ，建立 y 與 的回歸方程. 這時(shí), 都是顯著. 175. 03t94. 12t42,xx41,xx3x2x41,xx2x,1x包含 x1、x2 和 x4 的回歸方程表

14、 125包含 x1 和 x4 的回歸方程12.5 利用回歸方程進(jìn)行估計(jì)和預(yù)測對自變量 的一組取值根據(jù)樣本回歸方程kkxxxy22110用作為 或 的估計(jì)，稱為點(diǎn)估計(jì)或點(diǎn)預(yù)測.0ykxxx,21,02010kxxx020210100kkxxxy)(0yE區(qū)間預(yù)測對于自變量的一組取值 根據(jù)樣本回歸方程給出 或 的一個(gè)估計(jì)區(qū)間，稱為置信區(qū)間或預(yù)測區(qū)間. 由于置信區(qū)間和預(yù)測區(qū)間的計(jì)算較復(fù)雜，一般可由統(tǒng)計(jì)軟件直按給出.0y,02010kxxx)(0yE例12.6 根據(jù)例 12.1 的數(shù)據(jù)，貸款余額 x1=100 、累計(jì)應(yīng)收貸款x2=10、貸款項(xiàng)目個(gè)數(shù) x3=15 和固定資產(chǎn)投額 x4=60 ，試給出不良

15、貸款的0.95置信區(qū)間和預(yù)測區(qū)間. 解：由STATISTICA 輸出的不良貸款的置信區(qū)間和預(yù)測區(qū)間如表12-6和表12-7所示.表 126不良貸款的置信區(qū)間表 127不良貸款的預(yù)測區(qū)間B-WeightB-WeightValue* ValueVAR20.0400391004.003935VAR30.148034101.480339VAR40.014529150.21794VAR5-0.02919360-1.751572-1.021642.929003-0.8841996.742205+95.0%PLvariable: VAR1IntercptPredictd-95.0%PL近似區(qū)間預(yù)測)2,2(

16、00eesysy當(dāng) n 較大時(shí)，且時(shí)，則jjxx0esZ205. 0從而 ，由于 ，得296. 1205. 0Zes2則 0.95 的近似預(yù)測區(qū)間為 對例 12.6， 則56. 316396. 322es從而不良貸款0.95 的近似預(yù)測區(qū)間為 (-0.63 , 6.49)12.6 變量選擇與逐步回歸 12.6.1 變量選擇過程 12.6.2 向前選擇 12.6.3 向后選擇 12.6.4 逐步回歸12.6.1 變量選擇過程 當(dāng)自變量較多時(shí),通常不能把全部自變量都引入模型,而需要對自變量進(jìn)行篩選. 逐步回歸就是一種常用的自變量篩選方法. 在引進(jìn)一個(gè)自變量或剔除一個(gè)自變量時(shí),都采用 統(tǒng)計(jì)量作回歸系

17、數(shù)的顯著性檢驗(yàn). 變量選擇的主要方法有:向前選擇、向后選擇、逐步回歸和最優(yōu)子集法.F12.6.2 向前選擇(forward selection) 向前選擇是把自變量逐個(gè)引入回歸模型,主要步驟為: (1) 對所有自變量 分別建立一元回歸方程( 個(gè)),在顯著的回歸方程中選擇 值最大的一元回歸方程.若所有的一元回歸方程都不顯著,則選擇過程停止. (2) 然后對其余的 個(gè)自變量,分別引入上述的一元回歸方程,建立二元回歸方程( 個(gè)),在顯著的回歸方程中選擇 值最大的二元回歸方程.若所有的二元回歸方程都不顯著,則選擇過程停止. 重復(fù)這一過程,直到?jīng)]有變量可以引入為止.kxxx,21k1kFF1k12.6.

18、3 向后選擇(forward selection) 與向前選擇相反,向后選擇是把自變量逐個(gè)從回歸模型中剔除,主要步驟為: (1) 首先把所有 個(gè)自變量全部引入回歸模型,即建立 元回歸方程. 然后在不顯著的自變量中剔除對因變量影響最小的一個(gè)自變量.得 元線性回歸方程. (2) 然后對其余的 個(gè)自變量,仍在不顯著的自變量中剔除對因變量影響最小的一個(gè)自變量.得 元線性回歸方程. 重復(fù)這一過程,直到?jīng)]有變量可以剔除為止.2kk1kk1k12.6.4 逐步回歸 逐步回歸是把向前選擇和向后選擇結(jié)合起來,即在逐個(gè)引進(jìn)自變量的同時(shí),還要對已引進(jìn)回歸模型的自變量逐個(gè)檢驗(yàn)是否應(yīng)從回歸模型中剔除. 重復(fù)這一過程,直

19、到既無自變量可以引入,又無自變量可以剔除時(shí)為止.例12.7 試根據(jù)例12.1建立不良貸款(y)與貸款余額(x1)、累計(jì)應(yīng)收貸款 (x2)、貸款項(xiàng)目個(gè)數(shù) (x3) 和固定資產(chǎn)投資額 (x4) 的數(shù)據(jù),采用逐步回歸方法建立回歸方程. 表12-8Variables Entered/RemovedaX1.Stepwise (Criteria: Probability-of-F-to-enter = .100).X4.Stepwise (Criteria: Probability-of-F-to-enter = .100).Model12Variables EnteredVariables Remove

20、dMethodDependent Variable: Ya. 表12-9Model Summary.844a.712.6991.9799.872b.761.7391.8428Model12RR SquareAdjusted R SquareStd. Error of the EstimatePredictors: (Constant), X1a. Predictors: (Constant), X1, X4b. 表12-10ANOVAc222.4861222.48656.754.000a90.164233.920312.65024237.9412118.97135.034.000b74.709223.396312.65024RegressionResidualTotalRegressionResidualTotalModel12Sum of SquaresdfMean SquareFSig.Predictors: (Constant), X1a. Predictors: (Constant), X1, X4b. Dependent Var