推薦多元線性回歸模型

1、1多元線性回歸模型多元線性回歸模型2主要內(nèi)容n多元線性回歸模型的一般形式 n參數(shù)估計(jì)（ ols估計(jì)）n假設(shè)檢驗(yàn)n預(yù)測(cè)3一一. 多元線性回歸模型多元線性回歸模型n問題的提出n解析形式n矩陣形式4問題的提出問題的提出n現(xiàn)實(shí)生活中引起被解釋變量變化的因素并非僅只一個(gè)解釋變量，可能有很多個(gè)解釋變量。n例如，產(chǎn)出往往受各種投入要素資本、勞動(dòng)、技術(shù)等的影響；銷售額往往受價(jià)格和公司對(duì)廣告費(fèi)的投入的影響等。n所以在一元線性模型的基礎(chǔ)上，提出多元線性模型解釋變量個(gè)數(shù) 25 對(duì)人均國(guó)民生產(chǎn)總值（y）的 影響因素（因素（x）有： 人口變動(dòng)因素人口變動(dòng)因素、固定資產(chǎn)數(shù)、貨幣供給量、固定資產(chǎn)數(shù)、貨幣供給量、 物價(jià)指數(shù)、

2、國(guó)內(nèi)國(guó)際市場(chǎng)供求關(guān)系物價(jià)指數(shù)、國(guó)內(nèi)國(guó)際市場(chǎng)供求關(guān)系等 對(duì)汽車需求量（y）的 影響因素（因素（x）有： 收入水平收入水平、汽車價(jià)格、汽車價(jià)格、 汽油價(jià)格汽油價(jià)格等 社會(huì)經(jīng)濟(jì)現(xiàn)象的復(fù)雜性社會(huì)經(jīng)濟(jì)現(xiàn)象的復(fù)雜性 ！6多元線性回歸模型表示方法多元線性回歸模型表示方法n 多元回歸模型多元回歸模型:含兩個(gè)以上解釋變量的回歸模型n 多元線性回歸模型多元線性回歸模型:一個(gè)應(yīng)變量與多個(gè)解釋變量之間設(shè)定的是線性關(guān)系n 多元線性回歸模型一般形式一般形式為： uxbxbxbbykk221107多元線性回歸模型的假設(shè)多元線性回歸模型的假設(shè)n解釋變量 xi 是確定性變量，不是隨機(jī)變量；解釋變量之間互不相關(guān)，即無多重共線性。

3、n隨機(jī)誤差項(xiàng)具有0均值和同方差n隨機(jī)誤差項(xiàng)不存在序列相關(guān)關(guān)系n隨機(jī)誤差項(xiàng)與解釋變量之間不相關(guān)n隨機(jī)誤差項(xiàng)服從0均值、同方差的正態(tài)分布uxbxbxbbykk221108多元模型的解析表達(dá)式多元模型的解析表達(dá)式ikikiiikiiiikkuxbxbxbbynixxxynuxbxbxbby221102122110, 2 , 1),(得：個(gè)樣本觀測(cè)值nknknnnkkkkuxbxbxbbyuxbxbxbbyuxbxbxbby22110222221210211212111019uuubbbbxxxxxxxxxyyynkknkknnn2121021222211121121111多元模型的矩陣表達(dá)式多元模型

4、的矩陣表達(dá)式uxby10uuubbbbxxxxxxxxxyyynkknkknnnubxyuxby2121021222211121121111矩陣形式矩陣形式11二二. 參數(shù)估計(jì)參數(shù)估計(jì)(ols)n參數(shù)值估計(jì)n參數(shù)估計(jì)量的性質(zhì)n偏回歸系數(shù)的含義n正規(guī)方程n樣本容量問題122.1參數(shù)值估計(jì)參數(shù)值估計(jì)(ols)nininiixbxbbyyyqkikiiiie1212121100000210kbqbqbqbq1300001102110211101110xxbxbbxyxxbxbbxyxxbxbbxyxbxbbykikikikiiikikiiiikikiiikikii得到下列方程組得到下列方程組求參數(shù)估

5、計(jì)值的實(shí)質(zhì)是求一個(gè)k+1元方程組14正規(guī)方程正規(guī)方程變成矩陣形式ikikikkiikiikiiiikikiiiiikikiiyxxbxxbxxbxbyxxxbxxbxbxbyxbxbxbbn222110111222111022110ikiiiikkikiikiikiikiiiiikiiiyxyxybbbbxxxxxxxxxxxxxxxn12102211122112115正規(guī)方程正規(guī)方程矩陣形式矩陣形式y(tǒng)xxxbyxbxx1)(22111221121kikiikiikiikiiiiikiiixxxxxxxxxxxxxxxnxxkbbbbb210ikiiiiyxyxyyx116最小二乘法的矩陣表示

6、最小二乘法的矩陣表示1002)()()()(), 0(2112122kneeyxxxbbxxyxbqbxxbyxbyyyxbbxybxxbyxbbxyyybxyxbyqbxybxyeebxyyyeyyqnuuxbybxyniiiniie？為什么172.2最小二乘估計(jì)量的性質(zhì)最小二乘估計(jì)量的性質(zhì)n（1）線性（估計(jì)量都是被解釋變量觀測(cè)值的線性組合）n（2）無偏性（估計(jì)量的數(shù)學(xué)期望=被估計(jì)的真值）n（3）有效性（估計(jì)量的方差是所有線性無偏估計(jì)中最小的）無偏估計(jì)（是最佳線性估計(jì)式結(jié)論：在古典假定下，blueols18ols估計(jì)量的性質(zhì)（續(xù)）估計(jì)量的性質(zhì)（續(xù)）正態(tài)）的線性函數(shù)是正態(tài)，又的線性函數(shù)是正態(tài)（

7、個(gè)元素。中對(duì)角線上第）是（其中，在古典假定下，jjiijjjjjjjjyuyujccvarkjvarny, xx,)(,.,2 , 1),(,()4(1219線性線性yxxxb)(120無偏性無偏性bnxexxbnxxxxbxxxenxbxxxeyxxxebe)()()()()()()()(1111121有效性有效性)()()()()()()()()()()()()()()() )()()() )()(121111111111)1()1(2xxxxxxxxnnexxxnnexxxxxxnnxxxebnxbxxxbnxbxxxebyxxxbyxxxebbbbebebbebebcovxexexco

8、vkk回憶：222.2 ols回歸線的性質(zhì)回歸線的性質(zhì)n完全同一元情形：不相關(guān)與殘差）解釋變量（不相關(guān)；與殘差）應(yīng)變量估計(jì)值（的均值為剩余項(xiàng)（殘差）的均值的均值等于實(shí)際觀測(cè)值估計(jì)值）回歸線過樣本均值（iiiiiiikikiiexeyeyyxxxy540)3()2(.13322123注解：注解：k與與k+1n凡是按解釋變量的個(gè)數(shù)為k的，那么共有k+1個(gè)參數(shù)要估計(jì)。而按參數(shù)個(gè)數(shù)為k的，則實(shí)際有k-1個(gè)解釋變量?？傊畠烧呦嗖?而已！要小心所用的k是什么意思！n所以如果本來是用解釋變量個(gè)數(shù)的k表示的要轉(zhuǎn)換成參數(shù)個(gè)數(shù)的k則用k-1代換原來的k就可以了！242.3偏回歸系數(shù)的意義偏回歸系數(shù)的意義n多元回歸

9、模型中的回歸系數(shù)稱為偏回歸系數(shù)n某解釋變量前回歸系數(shù)的含義是，在其他解釋變量保持不變的條件下，該變量變化一個(gè)單位，被解釋變量將平均發(fā)生偏回歸系數(shù)大小的變動(dòng)252.4多元回歸模型參數(shù)估計(jì)中的樣本容量問多元回歸模型參數(shù)估計(jì)中的樣本容量問題題n樣本是一個(gè)重要的實(shí)際問題，模型依賴于實(shí)際樣本。n獲取樣本需要成本，企圖通過樣本容量的確定減輕收集數(shù)據(jù)的困難。n最小樣本容量：滿足基本要求的樣本容量26最小樣本容量最小樣本容量 n k+1n(xx)-1存在| xx | 0 xx 為k+1階的滿秩陣nr(ab) min(r(a),r(b)nr(x) k+1n因此，必須有nk+1yxxxb1)(27滿足基本要求的樣

10、本容量滿足基本要求的樣本容量n一般經(jīng)驗(yàn)認(rèn)為：n 30或者n 3(k+1)才能滿足模型估計(jì)的基本要求。n 3(k+1)時(shí)，t分布才穩(wěn)定，檢驗(yàn)才較為有效28三三 多元線性回歸模型的多元線性回歸模型的檢驗(yàn)檢驗(yàn)n本節(jié)主要介紹：n3.1 擬合優(yōu)度檢驗(yàn)（判定系數(shù)及其校正）n3.2 回歸參數(shù)的顯著性檢驗(yàn)（t檢驗(yàn)）n3.3 回歸方程的顯著性檢驗(yàn)（f檢驗(yàn)）n3.4 擬合優(yōu)度、t檢驗(yàn)、f檢驗(yàn)的關(guān)系293.1.1 擬合優(yōu)度檢驗(yàn)擬合優(yōu)度檢驗(yàn) 總平方和、自由度的分解總平方和、自由度的分解n目的：構(gòu)造一個(gè)不含單位，可以相互比較，而且能直觀判斷擬合優(yōu)劣的指標(biāo)。n類似于一元情形，先將多元線性回歸作如下平方和分解：222()

11、()() n-1 k-1 n-k iiiiyyyyyytssrssess總離差平方和 回歸平方和 殘差平方和自由度：30對(duì)以上自由度的分解的說明對(duì)以上自由度的分解的說明1)() 1(,0,.,0,.,2211,12121222).(kknnrsstssessknnkeekikirssnynytssdfdfyxxyyydfyyerikiikiitii知再由：所以，約束個(gè)對(duì)個(gè)方程方程求出，共有由而所以一個(gè)方程的約束受313.1.2 判定系數(shù)判定系數(shù)n判定系數(shù)的定義：n意義：判定系數(shù)越大，自變量對(duì)因變量的解釋程度越高，自變量引起的變動(dòng)占總變動(dòng)的百分比高。觀察點(diǎn)在回歸直線附近越密集。n取值范圍：0-1

12、211rssesstssrssesstsstssrssesstsstssr 2r323.1.3 校正判定系數(shù)n為什么要校正？n判定系數(shù)隨解釋變量個(gè)數(shù)的增加而增大。易造成錯(cuò)覺：要模型擬合得越好，就應(yīng)增加解釋變量。然而增加解釋變量會(huì)降低自由度，減少可用的樣本數(shù)。并且有時(shí)增加解釋變量是不必要的。n導(dǎo)致解釋變量個(gè)數(shù)不同模型之間對(duì)比困難。n判定系數(shù)只涉及平方和，沒有考慮自由度。n校正思路： 引進(jìn)自由度校正所計(jì)算的平方和。2r33校正判定系數(shù) （續(xù)）22222222/()1/(1)1(1) 11(2) k1,.(3) 0,1 ;0essnkrtssnnrrnkrrrrr 校正判定系數(shù)和未校正的判定系數(shù)的關(guān)

13、系：（）時(shí)，且隨著解釋變量的增加兩者的差距將越來越大也就是說校正的比未校正的判定系數(shù)增加得慢些！判定系數(shù)非負(fù)（取值在）但是，取值可能為負(fù)，這時(shí)規(guī)定2r343.2 回歸方程的顯著性檢驗(yàn)回歸方程的顯著性檢驗(yàn)353.2 回歸方程的顯著性檢驗(yàn)回歸方程的顯著性檢驗(yàn) 檢驗(yàn)的目的：檢驗(yàn)檢驗(yàn)的目的：檢驗(yàn)y y與解釋變量與解釋變量x x1 1，x x2 2，xxk k之之間的線性關(guān)系是否顯著。間的線性關(guān)系是否顯著。 檢驗(yàn)的目的檢驗(yàn)的目的363.2 回歸方程的顯著性檢驗(yàn)回歸方程的顯著性檢驗(yàn)檢驗(yàn)的步驟檢驗(yàn)的步驟第一步，提出假設(shè)：第一步，提出假設(shè)：原假設(shè)：原假設(shè)：h h0 0：b b1 1=b=b2 2=b=bk k

14、=0=0備擇假設(shè)：備擇假設(shè)：h h1 1：b bi i不全為不全為0 0 （i=1i=1，k k）373.2 回歸方程的顯著性檢驗(yàn)回歸方程的顯著性檢驗(yàn)檢驗(yàn)的步驟檢驗(yàn)的步驟1,1knkfknesskrssf第二步，計(jì)算統(tǒng)計(jì)量：第二步，計(jì)算統(tǒng)計(jì)量：1122knrkrf或：或： （10-810-8） 383.2 回歸方程的顯著性檢驗(yàn)回歸方程的顯著性檢驗(yàn)第三步，查表，得：第三步，查表，得：,1ffk nk檢驗(yàn)的步驟檢驗(yàn)的步驟393.2 回歸方程的顯著性檢驗(yàn)回歸方程的顯著性檢驗(yàn)檢驗(yàn)的步驟檢驗(yàn)的步驟第四步，做檢驗(yàn)：第四步，做檢驗(yàn)：ff 拒絕拒絕h h0 0，回歸方程顯著回歸方程顯著接受接受h h0 0，回

15、歸方程不顯著回歸方程不顯著ff檢驗(yàn)檢驗(yàn)法則法則403.3 回歸系數(shù)的顯著性檢驗(yàn)回歸系數(shù)的顯著性檢驗(yàn) 回歸方程顯著，并不意味著每個(gè)解釋變量對(duì)因回歸方程顯著，并不意味著每個(gè)解釋變量對(duì)因變量變量y y的影響都重要的影響都重要, ,因此需要進(jìn)行檢驗(yàn)：因此需要進(jìn)行檢驗(yàn)：回歸系數(shù)檢驗(yàn)的必要性回歸系數(shù)檢驗(yàn)的必要性回歸方程顯著回歸方程顯著每個(gè)回歸系數(shù)每個(gè)回歸系數(shù)都顯著都顯著413.3 回歸系數(shù)的顯著性檢驗(yàn)回歸系數(shù)的顯著性檢驗(yàn) 回歸系數(shù)檢驗(yàn)的步驟回歸系數(shù)檢驗(yàn)的步驟第一步，提出假設(shè)：第一步，提出假設(shè)：原假設(shè)：原假設(shè)：h h0 0： b bi i=0 (i=1=0 (i=1，2 2，k)k)備擇假設(shè)：備擇假設(shè)：h

16、h1 1：b bi i0 (i=10 (i=1，2 2，k)k)423.3 回歸系數(shù)的顯著性檢驗(yàn)回歸系數(shù)的顯著性檢驗(yàn) 回歸系數(shù)檢驗(yàn)的步驟回歸系數(shù)檢驗(yàn)的步驟第二步，構(gòu)造并計(jì)算統(tǒng)計(jì)量第二步，構(gòu)造并計(jì)算統(tǒng)計(jì)量 ： ;(1,2,., )(10-9)iiibtiks b433.3 回歸系數(shù)的顯著性檢驗(yàn)回歸系數(shù)的顯著性檢驗(yàn) 回歸系數(shù)檢驗(yàn)的步驟回歸系數(shù)檢驗(yàn)的步驟第三步，查表得第三步，查表得 ：221ttnk443.3 回歸系數(shù)的顯著性檢驗(yàn)回歸系數(shù)的顯著性檢驗(yàn) 回歸系數(shù)檢驗(yàn)的步驟回歸系數(shù)檢驗(yàn)的步驟第四步，做檢驗(yàn)：第四步，做檢驗(yàn)：接受接受h h0 0 檢驗(yàn)檢驗(yàn)法則法則2tti2itt拒絕拒絕h0h0 453.3

17、 回歸系數(shù)的顯著性檢驗(yàn)回歸系數(shù)的顯著性檢驗(yàn) 關(guān)于模型的異方差、自相關(guān)、多重共線性問題關(guān)于模型的異方差、自相關(guān)、多重共線性問題的檢驗(yàn)，請(qǐng)參考計(jì)量經(jīng)濟(jì)學(xué)有關(guān)教材。的檢驗(yàn)，請(qǐng)參考計(jì)量經(jīng)濟(jì)學(xué)有關(guān)教材。 463.4 多元線性回歸模型的預(yù)測(cè)多元線性回歸模型的預(yù)測(cè)點(diǎn)預(yù)測(cè)：11ffkkffxxxy區(qū)間預(yù)測(cè)：中心： fy半徑：)()(2/1kntxxxxff47 四四 逐步回歸分析逐步回歸分析多元線性回歸建立的回歸方程包含了所有的自變量，多元線性回歸建立的回歸方程包含了所有的自變量，但在實(shí)際問題中，可能有這樣的情況：參加回歸方但在實(shí)際問題中，可能有這樣的情況：參加回歸方程的程的p個(gè)自變量中，有些自變量單獨(dú)看對(duì)因

18、變量個(gè)自變量中，有些自變量單獨(dú)看對(duì)因變量y有有作用（相關(guān)程度密切），但作用（相關(guān)程度密切），但p個(gè)自變量又可能是相個(gè)自變量又可能是相互影響的，在作回歸時(shí)，它們對(duì)因變量所起的作用互影響的，在作回歸時(shí)，它們對(duì)因變量所起的作用有可能被其他自變量代替，而使得這些自變量在回有可能被其他自變量代替，而使得這些自變量在回歸方程中變得無足輕重。這時(shí)把這些自變量留在回歸方程中變得無足輕重。這時(shí)把這些自變量留在回歸方程中，不但增加計(jì)算上的麻煩，而且不能保證歸方程中，不但增加計(jì)算上的麻煩，而且不能保證有好的回歸效果。為了克服這些缺點(diǎn)，提出了多元有好的回歸效果。為了克服這些缺點(diǎn)，提出了多元逐步回。逐步回。48 多元逐

19、步回歸要求回歸方程多元逐步回歸要求回歸方程中包含所有對(duì)因變量作用顯著的自中包含所有對(duì)因變量作用顯著的自變量，而不包含作用不顯著的自變變量，而不包含作用不顯著的自變量，從而建立最優(yōu)回歸方程。量，從而建立最優(yōu)回歸方程。49501、強(qiáng)行進(jìn)入法（、強(qiáng)行進(jìn)入法（enter）: 預(yù)先選定的自變量全部進(jìn)入回歸模預(yù)先選定的自變量全部進(jìn)入回歸模型，這是系統(tǒng)默認(rèn)方式。型，這是系統(tǒng)默認(rèn)方式。2、消去法（、消去法（remove）: 根據(jù)設(shè)定的條件剔除部分自變量。根據(jù)設(shè)定的條件剔除部分自變量。逐步篩選變量的方法：逐步篩選變量的方法：513、向前引入法（、向前引入法（forward）:自變量由少到多一個(gè)一個(gè)引入回歸方程，

20、自變量由少到多一個(gè)一個(gè)引入回歸方程，將與因變量的相關(guān)系數(shù)最大的第一個(gè)自將與因變量的相關(guān)系數(shù)最大的第一個(gè)自變量選入方程并進(jìn)行檢驗(yàn)，如果變量選入方程并進(jìn)行檢驗(yàn)，如果f值值fa ，拒絕，拒絕h0 ；將其余的變量中與因；將其余的變量中與因變量的相關(guān)系數(shù)最大的第二個(gè)自變量選變量的相關(guān)系數(shù)最大的第二個(gè)自變量選入方程，當(dāng)入方程，當(dāng)f值值fa ，拒絕，拒絕h0 ；如此下；如此下去，不斷引入新的自變量，直到不能拒去，不斷引入新的自變量，直到不能拒絕絕h0，再?zèng)]有變量被引入為止。，再?zèng)]有變量被引入為止。524、向后剔除法（、向后剔除法（backward）: 自變量由多到少一個(gè)一個(gè)從回歸自變量由多到少一個(gè)一個(gè)從回歸

21、方程中剔除，首先，對(duì)方程中剔除，首先，對(duì)預(yù)先選定自變預(yù)先選定自變量全部進(jìn)行回歸，然后把對(duì)因變量影量全部進(jìn)行回歸，然后把對(duì)因變量影響不顯著的自變量從方程中剔除并進(jìn)響不顯著的自變量從方程中剔除并進(jìn)行檢驗(yàn)，如果行檢驗(yàn)，如果f值值fa ，接受，接受h0 ，一，一個(gè)一個(gè)剔除對(duì)因變量不顯著的自變量，個(gè)一個(gè)剔除對(duì)因變量不顯著的自變量，直到再不能剔除為止。直到再不能剔除為止。535、逐步引入、逐步引入剔除法剔除法（stepwise）: 向前引入法與向后剔除法的結(jié)合。向前引入法與向后剔除法的結(jié)合。54操作（一）操作（一）1255spss軟件包逐步回歸操作（二）軟件包逐步回歸操作（二）點(diǎn)擊逐步回歸點(diǎn)擊逐步回歸56

22、操作（三）操作（三）結(jié)果變量結(jié)果變量y多個(gè)自變量多個(gè)自變量點(diǎn)擊逐步回歸點(diǎn)擊逐步回歸57操作（四）操作（四）回歸系數(shù)估計(jì)回歸系數(shù)估計(jì)回歸系數(shù)可信區(qū)間回歸系數(shù)可信區(qū)間模型擬合模型擬合58操作（五）操作（五）正態(tài)概率圖正態(tài)概率圖直方圖直方圖59操作（六）操作（六）60（一）（一） spss軟件包逐步回歸篩選自變量軟件包逐步回歸篩選自變量v va ar ri ia ab bl le es s e en nt te er re ed d/ /r re em mo ov ve ed da a鐵 （ fe).stepwise(criteria:probability-of-f-to-enter = .100

23、).model1variablesenteredvariablesremovedmethoddependent variable: 血 紅 蛋 白 （ hemoglobin,g)a. 61（二）（二） spss軟件包逐步回歸相關(guān)系數(shù)及檢驗(yàn)軟件包逐步回歸相關(guān)系數(shù)及檢驗(yàn)m mo od de el l s su um mm ma ar ry yb b.863a.746.7361.11991.74679.096127.000model1rr squareadjusted rsquarestd. errorof theestimater squarechangef changedf1df2sig. fc

24、hangechange statisticspredictors: (constant), 鐵 （ fe)a. dependent variable: 血 紅 蛋 白 （ hemoglobin,g)b. 62（三）（三） spss軟件包逐步回歸殘差分軟件包逐步回歸殘差分析析a an no ov va ab b99.201199.20179.096.000a33.863271.254133.06428regressionresidualtotalmodel1sum ofsquaresdfmean squarefsig.predictors: (constant), 鐵 （ fe)a. depen

25、dent variable: 血 紅 蛋 白 （ hemoglobin,g)b. 63（四）（四） spss軟件包逐步回歸回歸系數(shù)及檢驗(yàn)軟件包逐步回歸回歸系數(shù)及檢驗(yàn)c co oe ef ff fi ic ci ie en nt ts sa a-.6571.276-.515.6112.938e-02.003.8638.894.000.863.863.863(constant)鐵（fe)model1bstd. errorunstandardizedcoefficientsbetastandardizedcoefficientstsig. zero-orderpartialpartcorrelationsdependent variable: 血 紅 蛋 白 （ hemoglobin,g)a. )(038.0657.0鐵xy64（五）（五） spss軟件包逐步回歸殘差直方圖軟件包逐步回歸殘差直方圖regression standardized residual1.751.501.251.00.75.50.250.00-.25-.50-.75-1.00-1.25-1.50-1.75histogramdependent variable: 血紅蛋白（h e m o g lobin,g)frequency543210std. dev = .98 mean = 0.0