多元線性回歸分析詳解

多元(Yuan)線性回歸分析第一頁，共二十七頁。主要(Yao)內(nèi)容第一節(jié)：多元線性回歸概念及統(tǒng)計(jì)描述第二節(jié)：多元線性回歸假設(shè)檢驗(yàn)第三節(jié)、多元線性回歸自變量的篩選第四節(jié)：多元線性回歸應(yīng)用第五節(jié)：多元線性回歸應(yīng)注意問題第六節(jié)：實(shí)例分析(SAS)第二頁，共二十七頁。第一節(jié)：多元線性回歸(Gui)概念及統(tǒng)計(jì)描述概念：用于分析一個(gè)連續(xù)型因變量與多個(gè)自變量之間的線性關(guān)系的統(tǒng)計(jì)學(xué)分析方法。

例：血壓值與年齡、性別、勞動強(qiáng)度、飲食習(xí)慣、吸煙狀況、家族史糖尿病人的血糖與胰島素、糖化血紅蛋白、血清總膽固醇、甘油三脂第三頁，共二十七頁。多元線性回歸數(shù)據(jù)(Ju)結(jié)構(gòu)假定對n例觀察對象逐一測定了因變量Y與m個(gè)自變量X1，X2,…Xm的數(shù)值。

━━━━━━━━━━━━━━━━━━━━━━例號X1X2…XmY─────────────────────1

X11X12…X1mY12

X21X22…X2mY23┆

┆…┆

┆n

Xn1

Xn2…XnmYn━━━━━━━━━━━━━━━━━━━━━━第四頁，共二十七頁。第五頁，共二十七頁。多元(Yuan)線性回歸模型多元線性回歸數(shù)學(xué)模型：相應(yīng)的由樣本估計(jì)而得到的回歸模型：

其中?表示Y的總體平均值的估計(jì)值，b0為常數(shù)項(xiàng)，也稱為截距,bi為Xi的偏回歸系數(shù)，表示當(dāng)方程中其他自變量不變時(shí)，自變量Xi變化一個(gè)計(jì)量單位，反應(yīng)變量Y的總體平均值的估計(jì)值變化的單位數(shù).第六頁，共二十七頁。標(biāo)準(zhǔn)化偏(Pian)回歸系數(shù)因?yàn)楦髯宰兞慷加懈髯缘挠?jì)量單位以及不同的變異度，所以不能直接用普通偏回歸系數(shù)的大小來比較方程中各個(gè)自變量對反應(yīng)變量Y的影響大小。需要求出標(biāo)準(zhǔn)化偏回歸系數(shù)。設(shè)：與一般回歸系數(shù)bi對應(yīng)的標(biāo)準(zhǔn)化偏回歸系數(shù)為Bi，則SXi、SY分別為Xi和Y的標(biāo)準(zhǔn)差。第七頁，共二十七頁。偏回歸系數(shù)的(De)估計(jì)--最小二乘法基本思想：利用收集到的因變量和自變量建立線性函數(shù)，使得每一個(gè)實(shí)際測量的Yi與估計(jì)的Yi之間的離差的平方和盡可能的小。只有一個(gè)自變量時(shí)，回歸結(jié)果為二維平面的一條直線，而有兩個(gè)自變量時(shí)，結(jié)果為三維空間的一個(gè)平面，有更多的自變量時(shí)，回歸的結(jié)果則是在三維以上空間的“超平面”，無法直觀圖形表達(dá)，只能想象。第八頁，共二十七頁。多(Duo)元線性回歸分析前體條件——LINE（1）linear:

Y與X1，X2，…,Xm之間具有線性關(guān)系。（2）independent:各個(gè)體觀測值間相互獨(dú)立。（3）normaldistribution:在一定范圍內(nèi)，對任意一組自變量X1，X2，…,Xm值，Y都服從正態(tài)分布。（4）equalvariance:在一定范圍內(nèi)，不同組自變量對應(yīng)的Y具有相同方差。第九頁，共二十七頁。殘差(Cha)分析通過殘差分析可以深入了解實(shí)際資料是否符合回歸模型假設(shè)（如正態(tài)、方差齊）第十頁，共二十七頁。多元線性回歸(Gui)決定系數(shù)決定系數(shù)：回歸平方和（SS回）在總平方和（SS總）中比例。R2=SS回/SS總0≤R2≤1，R2接近1，

表示樣本數(shù)據(jù)很好的擬合了所用的線性回歸模型。R2反映了線性回歸模型能多大程度上解釋Y的變異。第十一頁，共二十七頁。第二節(jié)(Jie)：多元線性回歸假設(shè)檢驗(yàn)在多元線性回歸模型中，由于變量眾多，需要對模型的合理性以及參數(shù)的顯著性進(jìn)行檢驗(yàn)。一、回歸方程的假設(shè)檢驗(yàn)（F檢驗(yàn)）H0：β1=β2=…=βp=0H1:β1,β2…βp不全為0如果H0成立，認(rèn)為回歸方程不顯著，如果拒絕H0，認(rèn)為回歸方程顯著。

第十二頁，共二十七頁。二、回歸系數(shù)的假設(shè)檢驗(yàn)（t檢驗(yàn)）在F檢驗(yàn)中，如果拒絕H0假設(shè)，只能說β1,β2…βp不全為0，還需要進(jìn)一步檢查每個(gè)自變量的總體偏(Pian)回歸系數(shù)。H0:

βi=0,H1:

βi≠0(i=1,2…p)如果H0成立，認(rèn)為偏回歸系數(shù)βi不顯著，如果拒絕H0，認(rèn)為偏回歸系數(shù)βi顯著。第十三頁，共二十七頁。第三(San)節(jié)、自變量的篩選多元回歸分析時(shí)收集的某些自變量對因變量無影影響或影響甚微；也不敢保證自變量之間是相互獨(dú)立的，因而在建立多元線性回歸方程時(shí)，需要使回歸方程盡可能包含對解釋因變量有較大貢獻(xiàn)的自變量，而把貢獻(xiàn)不大的或無貢獻(xiàn)以及與其他自變量有密切關(guān)系的自變量排除。第十四頁，共二十七頁。自變量篩選的標(biāo)(Biao)準(zhǔn)和原則1、殘差平方和（SS殘）縮小或決定系數(shù)（R2）增大R2=1-SS殘/SS總2、殘差均方（MS殘）縮小或調(diào)整決定系數(shù)（R2ad）增大MS殘=SS殘/（n-p-1）3、Cp統(tǒng)計(jì)量減小第十五頁，共二十七頁。自變量篩選的方(Fang)法向前選擇法建模時(shí)沒有自變量，逐個(gè)加入自變量。并通過F檢驗(yàn)加入自變量對模型的影響是否顯著。顯著則保留此變量。向后刪除法建模時(shí)加入所有自變量，通過F檢驗(yàn)，逐個(gè)剔除在當(dāng)前模型中最不顯著的自變量，直到模型的變量都顯著為止。逐步篩選法為上述兩種方法的綜合，即每次首先加入一個(gè)變量，如果其對模型影響顯著，則保留，然后對當(dāng)前模型中的所有變量進(jìn)行檢查，剔除不顯著的變量。直到?jīng)]有顯著變量加入且沒有不顯著變量剔除為止。最大R2改進(jìn)法最小R2改進(jìn)法R2選擇法修正R2選擇法Cp選擇法第十六頁，共二十七頁。定量的建立一個(gè)反應(yīng)變量和多個(gè)自變量之間的線性關(guān)(Guan)系篩選危險(xiǎn)因素通過較易測算的變量估計(jì)不易測量的變量通過反應(yīng)變量控制自變量第四節(jié)：多元線性回歸應(yīng)用第十七頁，共二十七頁。第五節(jié)：多元(Yuan)線性回歸應(yīng)注意問題多重共線性除了LINE前提條件外，多元線性回歸還需要注意自變量之間的關(guān)系。當(dāng)自變量之間高度相關(guān)，則稱自變量存在多重共線性。共線性可使回歸系數(shù)極不穩(wěn)定，表現(xiàn)為回歸系數(shù)標(biāo)準(zhǔn)誤很大，以至于本來非常重要的自變量無統(tǒng)計(jì)意義而不能進(jìn)入方程，甚至使樣本回歸系數(shù)可大可小，可正可負(fù)，專業(yè)知識無法進(jìn)行解釋。

最簡單的處理辦法就是刪除變量：在相關(guān)性較強(qiáng)的變量中刪除測量誤差較大的、缺失數(shù)據(jù)多的，專業(yè)角度看不是很重要的，也可采用主成分回歸法。第十八頁，共二十七頁。交互效應(yīng)當(dāng)回歸模型中有多于(Yu)2個(gè)的自變量，變量之間可能存在交互作用（一自變量對應(yīng)變量的作用大小與另一個(gè)自變量的取值有關(guān)），此時(shí)可建立包含各自變量及其某些有交互作用的自變量的乘積（X1X2）的回歸模型。

例如：A、B兩種藥物對帕金森綜合癥都有作用，而且相信聯(lián)合用藥效果更好，為探討聯(lián)合用藥可行性，進(jìn)行了隨機(jī)對照臨床試驗(yàn)。最終的得到的回歸方程為：

?=49-2.5X1+1.9X2+0.2X1X2第十九頁，共二十七頁。非(Fei)同質(zhì)性資料合并第二十頁，共二十七頁。啞變量設(shè)置多元線性回歸分析中自(Zi)變量可以是連續(xù)的（年齡、血壓），也可以是二分類的（性別），不能把有序變量（高、中、低）和無序多分類變量直接納入分析。必須先將有序變量或多分類無序變量轉(zhuǎn)換成多個(gè)二分類變量，再進(jìn)行回歸分析。

第二十一頁，共二十七頁。通徑分析

當(dāng)多元回歸自變量較多時(shí)，相互間的關(guān)系十分復(fù)雜，有的自變量并不是直接對反應(yīng)變量產(chǎn)生影響，而是通過對其他自變量的作用間接地影響反應(yīng)變量。通徑分析是一種在回歸基礎(chǔ)上的拓展，用以處理這種具有復(fù)雜變量關(guān)系的方法。

例如：回歸模型后，自變量X1、X2對Y貢獻(xiàn)甚微，但從專業(yè)知識考慮X1、X2是通過X3、X4影響Y的,這時(shí)就需要通徑分析。

步驟：1、根據(jù)專業(yè)知識繪制變量間的通徑圖。2、按照通徑圖建立(Li)線性方程。3、將各系數(shù)添加到通徑圖上。4、根據(jù)通徑圖計(jì)算各變量對Y的直接、間接效應(yīng)。第二十二頁，共二十七頁。第六節(jié)：實(shí)(Shi)例分析(SAS)為分析各大學(xué)附近房屋價(jià)格及其相關(guān)因素，統(tǒng)計(jì)了近期成交房屋售價(jià)和基本情況。試用回歸分析方法確定哪些因素對價(jià)格有明顯影響，并建立模型。占地面積稅率教師學(xué)生比臥室間數(shù)總間數(shù)居住面積價(jià)格0.857230.76471850152900……………………………………第二十三頁，共二十七頁。SAS分析(Xi)過程采用REG過程對數(shù)據(jù)進(jìn)行多元線性回歸分析，編程如下：datahouse;/*建立數(shù)據(jù)集house*/inputlandtaxratiobedroomsroomsareaprice;/*要輸入的變量*/cards; 。。。。 ;procregdata=house;/*采用reg過程進(jìn)行多元回歸分析*/modelprice=landtaxratiobedroomsroomsarea;run;第二十四頁，共二十七頁。procregdata=house;/*采用reg過程進(jìn)行多元回歸分(Fen)析*/modelprice=landtaxratiobedroomsroomsarea/selection=stepwise;/*采用逐步篩選法*/

run