




版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
多重線性回歸分析多重線性回歸分析一、方法簡(jiǎn)介1.2概念用回歸方程定量地刻畫一個(gè)因變量與多個(gè)自變量之間的線性依存關(guān)系,稱為多重線性回歸分析(multiplelinearregressionanalysis)。自變量是相互獨(dú)立的連續(xù)型變量或分類變量。
2一、方法簡(jiǎn)介1.2概念2一、方法簡(jiǎn)介1.3數(shù)據(jù)結(jié)構(gòu)表1進(jìn)行多重線性回歸分析資料的數(shù)據(jù)結(jié)構(gòu)3編號(hào)X1X2…XkY1X11X12…X1kY12X21X22…X2kY2:::::nXn1Xn2…XnkYn一、方法簡(jiǎn)介1.3數(shù)據(jù)結(jié)構(gòu)3編號(hào)X1X2…XkY1X1二、基本原理
2.1原理簡(jiǎn)介多重線性回歸模型:
Y=b0+b1X1+b2X2+…+bkXk+e
其中,bj(j=0,1,2…
,k)為未知參數(shù),e為隨機(jī)誤差項(xiàng)。4二、基本原理2.1原理簡(jiǎn)介45二、基本原理2.1原理簡(jiǎn)介多重線性回歸模型中包含多個(gè)自變量,它們同時(shí)對(duì)因變量Y發(fā)生作用。
若要考察一個(gè)自變量對(duì)Y
的影響,就必須假設(shè)其他自變量保持不變。5二、基本原理2.1原理簡(jiǎn)介6二、基本原理
2.1原理簡(jiǎn)介因此,多重線性回歸模型中的回歸系數(shù)為偏回歸系數(shù)。
它反映的是當(dāng)模型中的其他自變量不變時(shí),其中一個(gè)自變量對(duì)因變量Y的均值的影響。6二、基本原理2.1原理簡(jiǎn)介7二、基本原理
2.2前提條件
多重線性回歸分析要求資料滿足線性(Linear)、獨(dú)立性(Independence)、正態(tài)性(Normality)和方差齊性(Equalvariance)。
除此之外,還要求多個(gè)自變量之間相關(guān)性不要太強(qiáng)。
7二、基本原理2.2前提條件8二、基本原理
2.2前提條件線性——指自變量與因變量之間的關(guān)系是線性的獨(dú)立性——指各觀測(cè)值之間是相互獨(dú)立的正態(tài)性——指自變量取不同值時(shí),因變量服從正
態(tài)分布方差齊性——指自變量取不同值時(shí),因變量的方
差相等8二、基本原理2.2前提條件三、分析步驟1.基本任務(wù)
求出模型中參數(shù)的估計(jì)值,對(duì)模型和參數(shù)進(jìn)行假設(shè)檢驗(yàn);對(duì)自變量進(jìn)行共線性診斷,對(duì)觀測(cè)值進(jìn)行異常點(diǎn)診斷;結(jié)合統(tǒng)計(jì)學(xué)知識(shí)和專業(yè)知識(shí),對(duì)回歸方程進(jìn)行合理的解釋,并加以應(yīng)用。
9三、分析步驟1.基本任務(wù)9三、分析步驟2.具體步驟2.1回歸參數(shù)估計(jì)
多重線性回歸分析的參數(shù)估計(jì),常采用最小二乘法(OLS)進(jìn)行。該方法使殘差平方和達(dá)到最小,從而得出模型參數(shù)估計(jì)值表示Y的估計(jì)值
10三、分析步驟2.具體步驟10三、分析步驟2.具體步驟2.2模型檢驗(yàn)
根據(jù)方差分析的思想,將總的離均差平方和SS總分解為回歸平方和SS回和殘差平方和SS殘兩部分。
SS總的自由度為n-1,SS回的自由度為k,SS殘的自由度為n-k-1。11三、分析步驟2.具體步驟11三、分析步驟2.具體步驟2.2模型檢驗(yàn)
12三、分析步驟2.具體步驟12三、分析步驟2.具體步驟2.2模型檢驗(yàn)
模型的顯著性檢驗(yàn)步驟為:第一步,建立檢驗(yàn)假設(shè)。H0:b1=b2=…=bk=0H1:b1,b2,…,bk不同時(shí)為013三、分析步驟2.具體步驟13三、分析步驟2.具體步驟2.2模型檢驗(yàn)
第二步,計(jì)算統(tǒng)計(jì)量F的值。14三、分析步驟2.具體步驟14三、分析步驟2.具體步驟2.2模型檢驗(yàn)
第三步,確定P值,下統(tǒng)計(jì)學(xué)結(jié)論。根據(jù)檢驗(yàn)統(tǒng)計(jì)量F的值和自由度,確定其對(duì)應(yīng)的P值。若P>a,則接受H0,認(rèn)為回歸模型的系數(shù)全部為0;若P<a,則拒絕H0,接受H1,認(rèn)為回歸模型的系數(shù)不全為0。15三、分析步驟2.具體步驟15三、分析步驟2.具體步驟2.3參數(shù)檢驗(yàn)回歸方程有統(tǒng)計(jì)學(xué)意義,可以說明整體上自變量對(duì)Y有影響,但并不意味著每個(gè)自變量對(duì)因變量的影響都有統(tǒng)計(jì)學(xué)意義。16三、分析步驟2.具體步驟16三、分析步驟2.具體步驟2.3參數(shù)檢驗(yàn)考察各個(gè)自變量對(duì)因變量的影響,即檢驗(yàn)其系數(shù)是否為0。若某自變量對(duì)因變量的影響無統(tǒng)計(jì)學(xué)意義,可將其從模型中刪除,重新建立回歸方程。17三、分析步驟2.具體步驟17三、分析步驟2.具體步驟2.3參數(shù)檢驗(yàn)對(duì)自變量Xi的系數(shù)是否為0進(jìn)行假設(shè)檢驗(yàn),步驟為:第一步,建立檢驗(yàn)假設(shè)。H0:bi=0H1:bi≠018三、分析步驟2.具體步驟18三、分析步驟2.具體步驟2.3參數(shù)檢驗(yàn)第二步,計(jì)算檢驗(yàn)統(tǒng)計(jì)量。19三、分析步驟2.具體步驟19三、分析步驟2.具體步驟2.3參數(shù)檢驗(yàn)第三步,確定P值。根據(jù)自由度和臨界水平,查t分布表,可得雙側(cè)界值為ta/2(n-k-1)。20三、分析步驟2.具體步驟20三、分析步驟2.具體步驟2.3參數(shù)檢驗(yàn)若t>ta/2(n-k-1)或t<-ta/2(n-k-1),則P<a。此時(shí),拒絕H0,接受H1,認(rèn)為該回歸系數(shù)不等于0。反之,則接受H0,認(rèn)為該回歸系數(shù)為0。21三、分析步驟2.具體步驟21三、分析步驟2.具體步驟2.4變量篩選
由例1的分析結(jié)果可知,不是所有的自變量對(duì)因變量的作用都有統(tǒng)計(jì)學(xué)意義。
故需要找到一個(gè)較好的回歸方程,使之滿足:方程內(nèi)的自變量對(duì)回歸都有統(tǒng)計(jì)學(xué)意義,方程外的自變量對(duì)回歸都無統(tǒng)計(jì)學(xué)意義。22三、分析步驟2.具體步驟22三、分析步驟2.具體步驟2.4變量篩選這就是自變量的選擇問題,或稱為變量篩選。選擇時(shí),一要盡可能地不漏掉重要的自變量;二要盡可能地減少自變量的個(gè)數(shù),保持模型的精簡(jiǎn)。23三、分析步驟2.具體步驟23三、分析步驟2.具體步驟2.4變量篩選常用的變量篩選方法有以下8種:前進(jìn)法后退法逐步回歸法最大R2增量法最小R2增量法
R2選擇法修正R2選擇法
Mallow’sCp選擇法24三、分析步驟2.具體步驟24三、分析步驟2.4.1前進(jìn)法(FORWARD)回歸方程中變量從無到有依次選擇一個(gè)自變量進(jìn)入回歸方程,并計(jì)算該變量對(duì)應(yīng)的F統(tǒng)計(jì)量及P值。當(dāng)P小于納入標(biāo)準(zhǔn)(規(guī)定的選變量進(jìn)入方程的臨界水平),則該變量入選,否則不能入選。25三、分析步驟2.4.1前進(jìn)法(FORWARD)25三、分析步驟2.4.1前進(jìn)法當(dāng)回歸方程中變量少時(shí)某變量不符合入選標(biāo)準(zhǔn),但隨著回歸方程中變量逐次增多時(shí),該變量就可能符合入選標(biāo)準(zhǔn);這樣直到?jīng)]有變量可入選為止。具體而言,是從僅含常數(shù)項(xiàng)(即截距項(xiàng))的最簡(jiǎn)單模型開始,逐步在模型中添加自變量。
26三、分析步驟2.4.1前進(jìn)法26三、分析步驟2.4.1前進(jìn)法局限性:
納入標(biāo)準(zhǔn)取值小時(shí),可能沒有一個(gè)變量能入選;納入標(biāo)準(zhǔn)取值大時(shí),開始選入的變量后來在新條件下不再進(jìn)行檢驗(yàn),因而不能剔除后來變得無統(tǒng)計(jì)學(xué)意義的變量。
27三、分析步驟2.4.1前進(jìn)法27三、分析步驟2.4.2后退法(BACKWARD)從模型中包含全部自變量開始,計(jì)算留在回歸方程中的各個(gè)自變量所產(chǎn)生的F統(tǒng)計(jì)量和P值,當(dāng)P值小于排除標(biāo)準(zhǔn)(規(guī)定的從方程中剔除變量的臨界水準(zhǔn))則將此變量保留在方程中。
28三、分析步驟2.4.2后退法(BACKWARD)28三、分析步驟2.4.2后退法否則,從最大的P值所對(duì)應(yīng)的自變量開始逐一剔除,直到回歸方程中沒有變量可以被剔除時(shí)為止。
29三、分析步驟2.4.2后退法29三、分析步驟2.4.2后退法局限性:
排除標(biāo)準(zhǔn)大時(shí),任何一個(gè)自變量都不能被剔除;排除標(biāo)準(zhǔn)小時(shí),開始被剔除的自變量后來在新條件下即使變得對(duì)因變量有較大的貢獻(xiàn)了,也不能再次被選入回歸方程并參與檢驗(yàn)。
30三、分析步驟2.4.2后退法30三、分析步驟2.4.3逐步回歸法(STEPWISE)此法是前進(jìn)法和后退法的結(jié)合。
回歸方程中的變量從無到有像前進(jìn)法那樣,根據(jù)F統(tǒng)計(jì)量和P值大小按納入標(biāo)準(zhǔn)水平?jīng)Q定該自變量是否入選。
31三、分析步驟2.4.3逐步回歸法(STEPWISE)31三、分析步驟2.4.3逐步回歸法(STEPWISE)當(dāng)回歸方程選入自變量后,又像后退法那樣,根據(jù)F統(tǒng)計(jì)量和P值按排除標(biāo)準(zhǔn)水平剔除無統(tǒng)計(jì)學(xué)意義的各自變量,依次類推。這樣直到?jīng)]有自變量可入選,也沒有自變量可被剔除時(shí),則停止逐步篩選過程。
32三、分析步驟2.4.3逐步回歸法(STEPWISE)32三、分析步驟2.4.3逐步回歸法
33逐步回歸法有無符合納入標(biāo)準(zhǔn)的新變量納入新變量有無符合排除標(biāo)準(zhǔn)的變量剔除完成無有無有三、分析步驟2.4.3逐步回歸法33逐步回歸法有無符合納入三、分析步驟2.4.3逐步回歸法逐步回歸法比前進(jìn)法和后退法都能更好地選出變量構(gòu)造模型,但它也有局限性:其一,當(dāng)有m個(gè)變量入選后,選第m+1個(gè)變量時(shí),對(duì)它來說,前m個(gè)變量不一定是最佳組合;其二,選入或剔除自變量?jī)H以F值和P值作標(biāo)準(zhǔn),完全沒考慮其它標(biāo)準(zhǔn)。34三、分析步驟2.4.3逐步回歸法34三、分析步驟2.4.5變量篩選方法的選擇究竟哪一種篩選變量的方法最好?這個(gè)問題沒有絕對(duì)的定論。
一般來說,逐步回歸法和最優(yōu)回歸子集法較好。對(duì)于一個(gè)給定的資料,可試用多種變量篩選的方法,結(jié)合以下幾條判斷原則,從中選擇最佳者。35三、分析步驟2.4.5變量篩選方法的選擇35三、分析步驟2.4.5變量篩選方法的選擇其一,擬合的回歸方程在整體上有統(tǒng)計(jì)學(xué)意義;其二,回歸方程中各回歸參數(shù)的估計(jì)值的假設(shè)檢驗(yàn)結(jié)果都有統(tǒng)計(jì)學(xué)意義;其三,回歸方程中各回歸參數(shù)的估計(jì)值的正負(fù)號(hào)與其后的變量在專業(yè)上的含義相吻合;36三、分析步驟2.4.5變量篩選方法的選擇36三、分析步驟2.4.5變量篩選方法的選擇其四,根據(jù)回歸方程計(jì)算出因變量的所有預(yù)測(cè)值在專業(yè)上都有意義。其五,若有多個(gè)較好的多重線性回歸方程時(shí),殘差平方和較小且多重線性回歸方程中所含的自變量的個(gè)數(shù)又較少者為最佳。
37三、分析步驟2.4.5變量篩選方法的選擇37三、分析步驟2.5模型擬合效果評(píng)價(jià)2.5.1決定系數(shù)(R2)
即復(fù)相關(guān)系數(shù)的平方,其值等于因變量觀測(cè)值與預(yù)測(cè)值之間簡(jiǎn)單相關(guān)系數(shù)的平方。計(jì)算公式為:
38三、分析步驟2.5模型擬合效果評(píng)價(jià)38三、分析步驟2.5模型擬合效果評(píng)價(jià)2.5.1決定系數(shù)(R2)
R2取值介于0到1之間,其含義為自變量能夠解釋因變量y變異的百分比。
R2越接近于1,說明線性回歸對(duì)實(shí)際數(shù)據(jù)的擬合程度越好。
39三、分析步驟2.5模型擬合效果評(píng)價(jià)39三、分析步驟2.5模型擬合效果評(píng)價(jià)2.5.2校正決定系數(shù)(Rc2)
隨著模型中自變量個(gè)數(shù)的增加,決定系數(shù)R2將不斷增大,這不符合回歸模型中自變量個(gè)數(shù)盡可能少的原則。
40三、分析步驟2.5模型擬合效果評(píng)價(jià)40三、分析步驟2.5模型擬合效果評(píng)價(jià)2.5.2校正決定系數(shù)(Rc2)故在評(píng)價(jià)兩個(gè)包含不同個(gè)數(shù)自變量的回歸模型的擬合效果時(shí),不能簡(jiǎn)單地用決定系數(shù)作為評(píng)價(jià)標(biāo)準(zhǔn)。此時(shí),必須考慮回歸模型中自變量個(gè)數(shù)的影響。
41三、分析步驟2.5模型擬合效果評(píng)價(jià)41三、分析步驟2.5模型擬合效果評(píng)價(jià)2.5.2校正決定系數(shù)(Rc2)構(gòu)造校正決定系數(shù),其公式為:
其中,n為樣本含量,p為模型中自變量個(gè)數(shù)。決定系數(shù)相同時(shí),自變量個(gè)數(shù)越多,Rc2越小。
42三、分析步驟2.5模型擬合效果評(píng)價(jià)4243三、分析步驟2.5模型擬合效果評(píng)價(jià)2.5.3剩余標(biāo)準(zhǔn)差s
即殘差之標(biāo)準(zhǔn)差,計(jì)算公式為:
剩余標(biāo)準(zhǔn)差越小,說明回歸模型的擬合效果越好。43三、分析步驟2.5模型擬合效果評(píng)價(jià)三、分析步驟2.5模型擬合效果評(píng)價(jià)2.5.4AIC信息準(zhǔn)則
該準(zhǔn)則由日本學(xué)者赤池于1973年提出,廣泛應(yīng)用于時(shí)間序列分析中自回歸階數(shù)的確定,多重回歸、廣義線性回歸中自變量的篩選以及非線性回歸模型的比較和選優(yōu)。該統(tǒng)計(jì)量取值越小,反映模型擬合效果越好。
44三、分析步驟2.5模型擬合效果評(píng)價(jià)44三、分析步驟2.6共線性診斷多重線性回歸分析中,可能會(huì)出現(xiàn)以下問題:回歸方程的檢驗(yàn)有統(tǒng)計(jì)學(xué)意義,而各偏回歸系數(shù)的檢驗(yàn)均無統(tǒng)計(jì)學(xué)意義。偏回歸系數(shù)的估計(jì)值大小或其符號(hào)與實(shí)際情況和專業(yè)知識(shí)相違背,難以解釋。45三、分析步驟2.6共線性診斷45三、分析步驟2.6共線性診斷多重線性回歸分析中,可能會(huì)出現(xiàn)以下問題:(3)某個(gè)(些)與因變量關(guān)系密切的自變量,因?yàn)閰?shù)標(biāo)準(zhǔn)誤的估計(jì)值較大,相應(yīng)t值就會(huì)變得較小,造成其偏回歸系數(shù)無統(tǒng)計(jì)學(xué)意義。
46三、分析步驟2.6共線性診斷46三、分析步驟2.6共線性診斷導(dǎo)致這些問題的原因可能有:(1)研究設(shè)計(jì)不夠合理;(2)資料收集存在問題;(3)自變量間近似線性;(4)數(shù)據(jù)中存在異常點(diǎn);(5)樣本少而自變量多。
47三、分析步驟2.6共線性診斷47三、分析步驟2.6共線性診斷何謂多重共線性?自變量間的近似線性關(guān)系,即是多重共線性。由于數(shù)據(jù)自身的特征,回歸模型中的自變量之間或多或少地存在一些相關(guān)性,這違反了自變量間相互獨(dú)立的假設(shè)條件,稱為多重共線性。
48三、分析步驟2.6共線性診斷48三、分析步驟2.6共線性診斷
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 健身器材行業(yè)人才培養(yǎng)計(jì)劃實(shí)施考核試卷
- 樹木育種中的生理生化指標(biāo)考核試卷
- 娃娃玩具的制造自動(dòng)化與智能化技術(shù)應(yīng)用發(fā)展趨勢(shì)考核試卷
- 大堂吧服務(wù)員職責(zé)與客戶關(guān)系管理
- 2025新版人教版小學(xué)數(shù)學(xué)教學(xué)計(jì)劃
- 物流管理復(fù)雜環(huán)節(jié)效率提升措施
- 電子商務(wù)平臺(tái)信息安全保證措施
- 九年級(jí)下冊(cè)化學(xué)實(shí)驗(yàn)教學(xué)計(jì)劃模板
- 五年級(jí)綜合素質(zhì)培優(yōu)計(jì)劃
- 2024-2025學(xué)年度校園學(xué)生安全行為規(guī)范計(jì)劃
- 第19課《十里長(zhǎng)街送總理》 統(tǒng)編版語文(五四學(xué)制)六年級(jí)上冊(cè)
- 2025年華僑港澳臺(tái)學(xué)生聯(lián)招考試英語試卷試題(含答案詳解)
- 2025年臨床醫(yī)師定期考核必考復(fù)習(xí)題庫及答案(1080題)
- ASTM-D3359-(附著力測(cè)試標(biāo)準(zhǔn))-中文版
- GA 1800.5-2021電力系統(tǒng)治安反恐防范要求第5部分:太陽能發(fā)電企業(yè)
- 旅行管家實(shí)務(wù)全套ppt課件最全電子教案完整版教學(xué)教程整套全書課件ppt
- 三年級(jí)下冊(cè)數(shù)學(xué)課件-4.1 整體與部分 ▏滬教版 13張
- 稅務(wù)稽查管理-稅務(wù)稽查實(shí)施
- 變更稅務(wù)登記表doc-變更稅務(wù)登記表
- 基于單片機(jī)的智能路燈控制系統(tǒng)外文文獻(xiàn)
- 食材配送售后服務(wù)方案
評(píng)論
0/150
提交評(píng)論