推薦多元線性回歸模型

1、1多元線性回歸模型多元線性回歸模型2主要內容n多元線性回歸模型的一般形式 n參數估計（ ols估計）n假設檢驗n預測3一一. 多元線性回歸模型多元線性回歸模型n問題的提出n解析形式n矩陣形式4問題的提出問題的提出n現實生活中引起被解釋變量變化的因素并非僅只一個解釋變量，可能有很多個解釋變量。n例如，產出往往受各種投入要素資本、勞動、技術等的影響；銷售額往往受價格和公司對廣告費的投入的影響等。n所以在一元線性模型的基礎上，提出多元線性模型解釋變量個數 25 對人均國民生產總值（y）的 影響因素（因素（x）有： 人口變動因素人口變動因素、固定資產數、貨幣供給量、固定資產數、貨幣供給量、 物價指數、

2、國內國際市場供求關系物價指數、國內國際市場供求關系等 對汽車需求量（y）的 影響因素（因素（x）有： 收入水平收入水平、汽車價格、汽車價格、 汽油價格汽油價格等 社會經濟現象的復雜性社會經濟現象的復雜性 ！6多元線性回歸模型表示方法多元線性回歸模型表示方法n 多元回歸模型多元回歸模型:含兩個以上解釋變量的回歸模型n 多元線性回歸模型多元線性回歸模型:一個應變量與多個解釋變量之間設定的是線性關系n 多元線性回歸模型一般形式一般形式為： uxbxbxbbykk221107多元線性回歸模型的假設多元線性回歸模型的假設n解釋變量 xi 是確定性變量，不是隨機變量；解釋變量之間互不相關，即無多重共線性。

3、n隨機誤差項具有0均值和同方差n隨機誤差項不存在序列相關關系n隨機誤差項與解釋變量之間不相關n隨機誤差項服從0均值、同方差的正態(tài)分布uxbxbxbbykk221108多元模型的解析表達式多元模型的解析表達式ikikiiikiiiikkuxbxbxbbynixxxynuxbxbxbby221102122110, 2 , 1),(得：個樣本觀測值nknknnnkkkkuxbxbxbbyuxbxbxbbyuxbxbxbby22110222221210211212111019uuubbbbxxxxxxxxxyyynkknkknnn2121021222211121121111多元模型的矩陣表達式多元模型

4、的矩陣表達式uxby10uuubbbbxxxxxxxxxyyynkknkknnnubxyuxby2121021222211121121111矩陣形式矩陣形式11二二. 參數估計參數估計(ols)n參數值估計n參數估計量的性質n偏回歸系數的含義n正規(guī)方程n樣本容量問題122.1參數值估計參數值估計(ols)nininiixbxbbyyyqkikiiiie1212121100000210kbqbqbqbq1300001102110211101110xxbxbbxyxxbxbbxyxxbxbbxyxbxbbykikikikiiikikiiiikikiiikikii得到下列方程組得到下列方程組求參數估

5、計值的實質是求一個k+1元方程組14正規(guī)方程正規(guī)方程變成矩陣形式ikikikkiikiikiiiikikiiiiikikiiyxxbxxbxxbxbyxxxbxxbxbxbyxbxbxbbn222110111222111022110ikiiiikkikiikiikiikiiiiikiiiyxyxybbbbxxxxxxxxxxxxxxxn12102211122112115正規(guī)方程正規(guī)方程矩陣形式矩陣形式y(tǒng)xxxbyxbxx1)(22111221121kikiikiikiikiiiiikiiixxxxxxxxxxxxxxxnxxkbbbbb210ikiiiiyxyxyyx116最小二乘法的矩陣表示

6、最小二乘法的矩陣表示1002)()()()(), 0(2112122kneeyxxxbbxxyxbqbxxbyxbyyyxbbxybxxbyxbbxyyybxyxbyqbxybxyeebxyyyeyyqnuuxbybxyniiiniie？為什么172.2最小二乘估計量的性質最小二乘估計量的性質n（1）線性（估計量都是被解釋變量觀測值的線性組合）n（2）無偏性（估計量的數學期望=被估計的真值）n（3）有效性（估計量的方差是所有線性無偏估計中最小的）無偏估計（是最佳線性估計式結論：在古典假定下，blueols18ols估計量的性質（續(xù)）估計量的性質（續(xù)）正態(tài)）的線性函數是正態(tài)，又的線性函數是正態(tài)（

7、個元素。中對角線上第）是（其中，在古典假定下，jjiijjjjjjjjyuyujccvarkjvarny, xx,)(,.,2 , 1),(,()4(1219線性線性yxxxb)(120無偏性無偏性bnxexxbnxxxxbxxxenxbxxxeyxxxebe)()()()()()()()(1111121有效性有效性)()()()()()()()()()()()()()()() )()()() )()(121111111111)1()1(2xxxxxxxxnnexxxnnexxxxxxnnxxxebnxbxxxbnxbxxxebyxxxbyxxxebbbbebebbebebcovxexexco

8、vkk回憶：222.2 ols回歸線的性質回歸線的性質n完全同一元情形：不相關與殘差）解釋變量（不相關；與殘差）應變量估計值（的均值為剩余項（殘差）的均值的均值等于實際觀測值估計值）回歸線過樣本均值（iiiiiiikikiiexeyeyyxxxy540)3()2(.13322123注解：注解：k與與k+1n凡是按解釋變量的個數為k的，那么共有k+1個參數要估計。而按參數個數為k的，則實際有k-1個解釋變量?？傊畠烧呦嗖?而已！要小心所用的k是什么意思！n所以如果本來是用解釋變量個數的k表示的要轉換成參數個數的k則用k-1代換原來的k就可以了！242.3偏回歸系數的意義偏回歸系數的意義n多元回歸

9、模型中的回歸系數稱為偏回歸系數n某解釋變量前回歸系數的含義是，在其他解釋變量保持不變的條件下，該變量變化一個單位，被解釋變量將平均發(fā)生偏回歸系數大小的變動252.4多元回歸模型參數估計中的樣本容量問多元回歸模型參數估計中的樣本容量問題題n樣本是一個重要的實際問題，模型依賴于實際樣本。n獲取樣本需要成本，企圖通過樣本容量的確定減輕收集數據的困難。n最小樣本容量：滿足基本要求的樣本容量26最小樣本容量最小樣本容量 n k+1n(xx)-1存在| xx | 0 xx 為k+1階的滿秩陣nr(ab) min(r(a),r(b)nr(x) k+1n因此，必須有nk+1yxxxb1)(27滿足基本要求的樣

10、本容量滿足基本要求的樣本容量n一般經驗認為：n 30或者n 3(k+1)才能滿足模型估計的基本要求。n 3(k+1)時，t分布才穩(wěn)定，檢驗才較為有效28三三 多元線性回歸模型的多元線性回歸模型的檢驗檢驗n本節(jié)主要介紹：n3.1 擬合優(yōu)度檢驗（判定系數及其校正）n3.2 回歸參數的顯著性檢驗（t檢驗）n3.3 回歸方程的顯著性檢驗（f檢驗）n3.4 擬合優(yōu)度、t檢驗、f檢驗的關系293.1.1 擬合優(yōu)度檢驗擬合優(yōu)度檢驗 總平方和、自由度的分解總平方和、自由度的分解n目的：構造一個不含單位，可以相互比較，而且能直觀判斷擬合優(yōu)劣的指標。n類似于一元情形，先將多元線性回歸作如下平方和分解：222()

11、()() n-1 k-1 n-k iiiiyyyyyytssrssess總離差平方和 回歸平方和 殘差平方和自由度：30對以上自由度的分解的說明對以上自由度的分解的說明1)() 1(,0,.,0,.,2211,12121222).(kknnrsstssessknnkeekikirssnynytssdfdfyxxyyydfyyerikiikiitii知再由：所以，約束個對個方程方程求出，共有由而所以一個方程的約束受313.1.2 判定系數判定系數n判定系數的定義：n意義：判定系數越大，自變量對因變量的解釋程度越高，自變量引起的變動占總變動的百分比高。觀察點在回歸直線附近越密集。n取值范圍：0-1

12、211rssesstssrssesstsstssrssesstsstssr 2r323.1.3 校正判定系數n為什么要校正？n判定系數隨解釋變量個數的增加而增大。易造成錯覺：要模型擬合得越好，就應增加解釋變量。然而增加解釋變量會降低自由度，減少可用的樣本數。并且有時增加解釋變量是不必要的。n導致解釋變量個數不同模型之間對比困難。n判定系數只涉及平方和，沒有考慮自由度。n校正思路： 引進自由度校正所計算的平方和。2r33校正判定系數 （續(xù)）22222222/()1/(1)1(1) 11(2) k1,.(3) 0,1 ;0essnkrtssnnrrnkrrrrr 校正判定系數和未校正的判定系數的關

13、系：（）時，且隨著解釋變量的增加兩者的差距將越來越大也就是說校正的比未校正的判定系數增加得慢些！判定系數非負（取值在）但是，取值可能為負，這時規(guī)定2r343.2 回歸方程的顯著性檢驗回歸方程的顯著性檢驗353.2 回歸方程的顯著性檢驗回歸方程的顯著性檢驗 檢驗的目的：檢驗檢驗的目的：檢驗y y與解釋變量與解釋變量x x1 1，x x2 2，xxk k之之間的線性關系是否顯著。間的線性關系是否顯著。 檢驗的目的檢驗的目的363.2 回歸方程的顯著性檢驗回歸方程的顯著性檢驗檢驗的步驟檢驗的步驟第一步，提出假設：第一步，提出假設：原假設：原假設：h h0 0：b b1 1=b=b2 2=b=bk k

14、=0=0備擇假設：備擇假設：h h1 1：b bi i不全為不全為0 0 （i=1i=1，k k）373.2 回歸方程的顯著性檢驗回歸方程的顯著性檢驗檢驗的步驟檢驗的步驟1,1knkfknesskrssf第二步，計算統(tǒng)計量：第二步，計算統(tǒng)計量：1122knrkrf或：或： （10-810-8） 383.2 回歸方程的顯著性檢驗回歸方程的顯著性檢驗第三步，查表，得：第三步，查表，得：,1ffk nk檢驗的步驟檢驗的步驟393.2 回歸方程的顯著性檢驗回歸方程的顯著性檢驗檢驗的步驟檢驗的步驟第四步，做檢驗：第四步，做檢驗：ff 拒絕拒絕h h0 0，回歸方程顯著回歸方程顯著接受接受h h0 0，回

15、歸方程不顯著回歸方程不顯著ff檢驗檢驗法則法則403.3 回歸系數的顯著性檢驗回歸系數的顯著性檢驗 回歸方程顯著，并不意味著每個解釋變量對因回歸方程顯著，并不意味著每個解釋變量對因變量變量y y的影響都重要的影響都重要, ,因此需要進行檢驗：因此需要進行檢驗：回歸系數檢驗的必要性回歸系數檢驗的必要性回歸方程顯著回歸方程顯著每個回歸系數每個回歸系數都顯著都顯著413.3 回歸系數的顯著性檢驗回歸系數的顯著性檢驗 回歸系數檢驗的步驟回歸系數檢驗的步驟第一步，提出假設：第一步，提出假設：原假設：原假設：h h0 0： b bi i=0 (i=1=0 (i=1，2 2，k)k)備擇假設：備擇假設：h

16、h1 1：b bi i0 (i=10 (i=1，2 2，k)k)423.3 回歸系數的顯著性檢驗回歸系數的顯著性檢驗 回歸系數檢驗的步驟回歸系數檢驗的步驟第二步，構造并計算統(tǒng)計量第二步，構造并計算統(tǒng)計量 ： ;(1,2,., )(10-9)iiibtiks b433.3 回歸系數的顯著性檢驗回歸系數的顯著性檢驗 回歸系數檢驗的步驟回歸系數檢驗的步驟第三步，查表得第三步，查表得 ：221ttnk443.3 回歸系數的顯著性檢驗回歸系數的顯著性檢驗 回歸系數檢驗的步驟回歸系數檢驗的步驟第四步，做檢驗：第四步，做檢驗：接受接受h h0 0 檢驗檢驗法則法則2tti2itt拒絕拒絕h0h0 453.3

17、 回歸系數的顯著性檢驗回歸系數的顯著性檢驗 關于模型的異方差、自相關、多重共線性問題關于模型的異方差、自相關、多重共線性問題的檢驗，請參考計量經濟學有關教材。的檢驗，請參考計量經濟學有關教材。 463.4 多元線性回歸模型的預測多元線性回歸模型的預測點預測：11ffkkffxxxy區(qū)間預測：中心： fy半徑：)()(2/1kntxxxxff47 四四 逐步回歸分析逐步回歸分析多元線性回歸建立的回歸方程包含了所有的自變量，多元線性回歸建立的回歸方程包含了所有的自變量，但在實際問題中，可能有這樣的情況：參加回歸方但在實際問題中，可能有這樣的情況：參加回歸方程的程的p個自變量中，有些自變量單獨看對因

18、變量個自變量中，有些自變量單獨看對因變量y有有作用（相關程度密切），但作用（相關程度密切），但p個自變量又可能是相個自變量又可能是相互影響的，在作回歸時，它們對因變量所起的作用互影響的，在作回歸時，它們對因變量所起的作用有可能被其他自變量代替，而使得這些自變量在回有可能被其他自變量代替，而使得這些自變量在回歸方程中變得無足輕重。這時把這些自變量留在回歸方程中變得無足輕重。這時把這些自變量留在回歸方程中，不但增加計算上的麻煩，而且不能保證歸方程中，不但增加計算上的麻煩，而且不能保證有好的回歸效果。為了克服這些缺點，提出了多元有好的回歸效果。為了克服這些缺點，提出了多元逐步回。逐步回。48 多元逐

19、步回歸要求回歸方程多元逐步回歸要求回歸方程中包含所有對因變量作用顯著的自中包含所有對因變量作用顯著的自變量，而不包含作用不顯著的自變變量，而不包含作用不顯著的自變量，從而建立最優(yōu)回歸方程。量，從而建立最優(yōu)回歸方程。49501、強行進入法（、強行進入法（enter）: 預先選定的自變量全部進入回歸模預先選定的自變量全部進入回歸模型，這是系統(tǒng)默認方式。型，這是系統(tǒng)默認方式。2、消去法（、消去法（remove）: 根據設定的條件剔除部分自變量。根據設定的條件剔除部分自變量。逐步篩選變量的方法：逐步篩選變量的方法：513、向前引入法（、向前引入法（forward）:自變量由少到多一個一個引入回歸方程，

20、自變量由少到多一個一個引入回歸方程，將與因變量的相關系數最大的第一個自將與因變量的相關系數最大的第一個自變量選入方程并進行檢驗，如果變量選入方程并進行檢驗，如果f值值fa ，拒絕，拒絕h0 ；將其余的變量中與因；將其余的變量中與因變量的相關系數最大的第二個自變量選變量的相關系數最大的第二個自變量選入方程，當入方程，當f值值fa ，拒絕，拒絕h0 ；如此下；如此下去，不斷引入新的自變量，直到不能拒去，不斷引入新的自變量，直到不能拒絕絕h0，再沒有變量被引入為止。，再沒有變量被引入為止。524、向后剔除法（、向后剔除法（backward）: 自變量由多到少一個一個從回歸自變量由多到少一個一個從回歸

21、方程中剔除，首先，對方程中剔除，首先，對預先選定自變預先選定自變量全部進行回歸，然后把對因變量影量全部進行回歸，然后把對因變量影響不顯著的自變量從方程中剔除并進響不顯著的自變量從方程中剔除并進行檢驗，如果行檢驗，如果f值值fa ，接受，接受h0 ，一，一個一個剔除對因變量不顯著的自變量，個一個剔除對因變量不顯著的自變量，直到再不能剔除為止。直到再不能剔除為止。535、逐步引入、逐步引入剔除法剔除法（stepwise）: 向前引入法與向后剔除法的結合。向前引入法與向后剔除法的結合。54操作（一）操作（一）1255spss軟件包逐步回歸操作（二）軟件包逐步回歸操作（二）點擊逐步回歸點擊逐步回歸56

22、操作（三）操作（三）結果變量結果變量y多個自變量多個自變量點擊逐步回歸點擊逐步回歸57操作（四）操作（四）回歸系數估計回歸系數估計回歸系數可信區(qū)間回歸系數可信區(qū)間模型擬合模型擬合58操作（五）操作（五）正態(tài)概率圖正態(tài)概率圖直方圖直方圖59操作（六）操作（六）60（一）（一） spss軟件包逐步回歸篩選自變量軟件包逐步回歸篩選自變量v va ar ri ia ab bl le es s e en nt te er re ed d/ /r re em mo ov ve ed da a鐵 （ fe).stepwise(criteria:probability-of-f-to-enter = .100

23、).model1variablesenteredvariablesremovedmethoddependent variable: 血 紅 蛋 白 （ hemoglobin,g)a. 61（二）（二） spss軟件包逐步回歸相關系數及檢驗軟件包逐步回歸相關系數及檢驗m mo od de el l s su um mm ma ar ry yb b.863a.746.7361.11991.74679.096127.000model1rr squareadjusted rsquarestd. errorof theestimater squarechangef changedf1df2sig. fc

24、hangechange statisticspredictors: (constant), 鐵 （ fe)a. dependent variable: 血 紅 蛋 白 （ hemoglobin,g)b. 62（三）（三） spss軟件包逐步回歸殘差分軟件包逐步回歸殘差分析析a an no ov va ab b99.201199.20179.096.000a33.863271.254133.06428regressionresidualtotalmodel1sum ofsquaresdfmean squarefsig.predictors: (constant), 鐵 （ fe)a. depen

25、dent variable: 血 紅 蛋 白 （ hemoglobin,g)b. 63（四）（四） spss軟件包逐步回歸回歸系數及檢驗軟件包逐步回歸回歸系數及檢驗c co oe ef ff fi ic ci ie en nt ts sa a-.6571.276-.515.6112.938e-02.003.8638.894.000.863.863.863(constant)鐵（fe)model1bstd. errorunstandardizedcoefficientsbetastandardizedcoefficientstsig. zero-orderpartialpartcorrelationsdependent variable: 血 紅 蛋 白 （ hemoglobin,g)a. )(038.0657.0鐵xy64（五）（五） spss軟件包逐步回歸殘差直方圖軟件包逐步回歸殘差直方圖regression standardized residual1.751.501.251.00.75.50.250.00-.25-.50-.75-1.00-1.25-1.50-1.75histogramdependent variable: 血紅蛋白（h e m o g lobin,g)frequency543210std. dev = .98 mean = 0.0