衛(wèi)生統(tǒng)計(jì)學(xué)課件第13章多元分析(04醫(yī)七)

Multiplelinearregression多元（重）線性回歸.多元（重）線性回歸.1三、多元線性回歸方程的

假設(shè)檢驗(yàn)及其評(píng)價(jià).三、多元線性回歸方程的

假設(shè)檢驗(yàn)及其評(píng)價(jià).（一）回歸方程的方差分析

（所有回歸系數(shù)為0）.（一）回歸方程的方差分析

（所有回歸系數(shù)為0）.有關(guān)計(jì)算公式.有關(guān)計(jì)算公式.（二）有關(guān)評(píng)價(jià)指標(biāo).（二）有關(guān)評(píng)價(jià)指標(biāo).1.殘差標(biāo)準(zhǔn)差（RootMSE）反映了回歸方程的精度，其值越小說(shuō)明回歸效果越好

.1.殘差標(biāo)準(zhǔn)差（RootMSE）反映了回歸方程的精度，2.決定系數(shù)

（determinationcoefficient）說(shuō)明所有自變量能解釋Y變化的百分比。取值（0，1），越接近1模型擬合越好

.2.決定系數(shù)

（determinationcoeffic決定系數(shù)含義：被解釋變量所解釋的部分占總體離差的大小。越大越好，但是不會(huì)超過(guò)1。缺點(diǎn)：如果在模型中增加一個(gè)解釋變量，模型的解釋功能增強(qiáng)了，就增大了。這就給人一個(gè)錯(cuò)覺(jué)：要使得模型擬合得好，就必須增加解釋變量。.決定系數(shù)含義：被解釋變量所解釋的部分占總體離差的大小。越大越3.復(fù)相關(guān)系數(shù)

（multiplecorrelation

coefficient）說(shuō)明所有自變量與Y間的線性相關(guān)程度。如果只有一個(gè)自變量，此時(shí)

.3.復(fù)相關(guān)系數(shù)

（multiplecorrelation4.校正的決定系數(shù)（Adjusteddeterminationcoefficient）

.4.校正的決定系數(shù)（Adjusteddeterminat校正的決定系數(shù).校正的決定系數(shù).四、各自變量貢獻(xiàn)大小的

假設(shè)檢驗(yàn)及其評(píng)價(jià).四、各自變量貢獻(xiàn)大小的

假設(shè)檢驗(yàn)及其評(píng)價(jià).（一）各回歸系數(shù)的t檢驗(yàn)

ParameterStandardStandardizedVariableDFEstimateErrortValuePr>|t|Estimate

變量自由度回歸系數(shù)標(biāo)準(zhǔn)誤t值P值標(biāo)準(zhǔn)化回歸系數(shù)Intercept225.943272.828592.100.04730X1220.142450.365650.390.70060.07758X2220.351470.204201.720.09930.30931X322-0.270590.12139-2.230.0363-0.33948X4220.638200.243262.620.01550.39774.（一）各回歸系數(shù)的t檢驗(yàn)

（二）標(biāo)準(zhǔn)化回歸系數(shù)

變量回歸系數(shù)bj標(biāo)準(zhǔn)化回歸系數(shù)b’j

標(biāo)準(zhǔn)差SX10.142450.077581.5934X20.351470.309312.5748X3-0.27059-0.339483.6706X40.63820.397741.8234Y2.9257.（二）標(biāo)準(zhǔn)化回歸系數(shù)

（三）偏回歸平方和（sumofsquaresforpartialregression）及其F檢驗(yàn)

是在其它自變量存在于回歸方程中的條件下，考察某一自變量Xj對(duì)應(yīng)變量Y的回歸效應(yīng)

；j=1,2,…,m

.（三）偏回歸平方和（sumofsquaresforp實(shí)例計(jì)算

.實(shí)例計(jì)算第二節(jié)自變量的篩選1.變量多增加了模型的復(fù)雜度

2.計(jì)算量增大

3.估計(jì)和預(yù)測(cè)的精度下降

4.模型應(yīng)用費(fèi)用增加.第二節(jié)自變量的篩選1.變量多增加了模型的復(fù)雜度

一自變量的篩選的標(biāo)準(zhǔn)與原則1.殘差平方和縮小與決定系數(shù)增大2.殘差均方縮小與調(diào)整決定系數(shù)增大3.Cp統(tǒng)計(jì)量.一自變量的篩選的標(biāo)準(zhǔn)與原則1.殘差平方和縮小與決定系數(shù)增大二自變量篩選的常用方法(一)、全局擇優(yōu)法:

根據(jù)一些準(zhǔn)則（criterion）建立“最優(yōu)”回歸模型校正決定系數(shù)（考慮了自變量的個(gè)數(shù)）Cp準(zhǔn)則（C即criterion，p為所選模型中變量的個(gè)數(shù)；Cp接近（p+1）模型為最優(yōu)）AIC(Akaike’sInformationCriterion)準(zhǔn)則；AIC越小越好.二自變量篩選的常用方法(一)、全局擇優(yōu)法:根據(jù)一些準(zhǔn)則校正決定系數(shù)（Adjusteddeterminationcoefficient）

.校正決定系數(shù)（AdjusteddeterminationCp準(zhǔn)則的計(jì)算公式.Cp準(zhǔn)則的計(jì)算公式.AIC準(zhǔn)則的計(jì)算公式.AIC準(zhǔn)則的計(jì)算公式.全局擇優(yōu)法的局限性

如果自變量個(gè)數(shù)為4，則所有的回歸有24－1＝15個(gè)；當(dāng)自變量數(shù)個(gè)數(shù)為10時(shí)，所有可能的回歸為210－1＝1023個(gè)；。。。。。。；當(dāng)自變量數(shù)個(gè)數(shù)為50時(shí)，所有可能的回歸為250－1≈1015個(gè)。.全局擇優(yōu)法的局限性如果自變量個(gè)數(shù)為4，(二)、逐步選擇法

1.前進(jìn)法（forwardselection）2.后退法（backwardelimination）3.逐步回歸法（stepwiseregression）。

它們的共同特點(diǎn)是每一步只引入或剔除一個(gè)自變量。決定其取舍則基于對(duì)偏回歸平方和的F檢驗(yàn).(二)、逐步選擇法1.前進(jìn)法（forwar1.前進(jìn)法

自變量從無(wú)到有、從少到多

Y對(duì)每一個(gè)自變量作直線回歸，對(duì)回歸平方和最大的自變量作F檢驗(yàn)，有意義（P小）則引入。在此基礎(chǔ)上，計(jì)算其它自變量的偏回歸平方和，選取偏回歸平方和最大者作F檢驗(yàn)，…。

局限性：即后續(xù)變量的引入可能會(huì)使先進(jìn)入方程的自變量變得不重要。.1.前進(jìn)法自變量從無(wú)到有、從少到多Y對(duì)每一2.后退法

先將全部自變量放入方程，然后逐步剔除

偏回歸平方和最小的變量，作F檢驗(yàn)及相應(yīng)的P值，決定它是否剔除（P大）

。建立新的回歸方程。重復(fù)上述過(guò)程。

局限性：自變量高度相關(guān)時(shí)，可能得不出正確的結(jié)果

。.2.后退法先將全部自變量放入方程，然后逐步剔除3.逐步回歸法

雙向篩選；引入有意義的變量（前進(jìn)法），剔除無(wú)意義變量（后退法）

小樣本檢驗(yàn)水準(zhǔn)a定為0.10或0.15，大樣本把值定為0.05。值越小表示選取自變量的標(biāo)準(zhǔn)越嚴(yán)。注意，引入變量的檢驗(yàn)水準(zhǔn)要小于或等于剔除變量的檢驗(yàn)水準(zhǔn)。.3.逐步回歸法雙向篩選；引入有意義的變量（前逐步回歸法實(shí)例(令α入＝α出＝0.10)

.逐步回歸法實(shí)例(令α入＝α出＝0.10).例15-3的方差分析結(jié)果

變異來(lái)源自由度SSMSFP總變異26222.5519回歸3133.09844.36611.410.0001殘差2389.4543.889.例15-3的方差分析結(jié)果變異來(lái)源自由度SSMSF例15-3的回歸系數(shù)及其檢驗(yàn)

.例15-3的回歸系數(shù)及其檢驗(yàn).第三節(jié)多元線性回歸的應(yīng)用及其注意事項(xiàng).第三節(jié)多元線性回歸的應(yīng)用及其注意事項(xiàng).一、應(yīng)用影響因素分析，控制混雜因素預(yù)測(cè)：由自變量值推出應(yīng)變量Y的值控制：指定應(yīng)變量Y的值查看自變量的改變量.一、應(yīng)用影響因素分析，控制混雜因素.二、應(yīng)用條件.二、應(yīng)用條件.三、應(yīng)用的注意事項(xiàng).三、應(yīng)用的注意事項(xiàng).（一）變量的數(shù)量化（1）自變量為連續(xù)型變量：必要時(shí)作變換（2）自變量為有序變量：依次賦值，如療效好中差，可分別賦值3、2、1（3）自變量為二分類(lèi)：如令男＝1，女＝0.（一）變量的數(shù)量化（1）自變量為連續(xù)型變量：必要時(shí)作變換（名義分類(lèi)變量的啞變量化

假如職業(yè)分類(lèi)為工、農(nóng)、商、學(xué)、兵5類(lèi)，則可定義比分類(lèi)數(shù)少1個(gè)，即4個(gè)啞變量。編碼方法如下：.名義分類(lèi)變量的啞變量化假如職業(yè)分類(lèi)為工、農(nóng)、商、學(xué)、（二）樣本含量

觀察個(gè)體數(shù)n與變量個(gè)數(shù)m的比例一般至少應(yīng)為：n:m＝5～10.（二）樣本含量觀察個(gè)體數(shù)n與變量個(gè)數(shù)m的比例一般至少（三）統(tǒng)計(jì)“最優(yōu)”與專(zhuān)業(yè)的“最優(yōu)”不同準(zhǔn)則、方法得出的“最優(yōu)”方程不同；不同的引入、剔除標(biāo)準(zhǔn)獲得的“最優(yōu)”方程不同；方程還受數(shù)據(jù)的正確性、共線性影響.（三）統(tǒng)計(jì)“最優(yōu)”與專(zhuān)業(yè)的“最優(yōu)”不同準(zhǔn)則、方法得出的“最優(yōu)（四）多重共線性

自變量間存在著線性關(guān)系，使一個(gè)或幾個(gè)自變量可以由另外的自變量線性表示時(shí)，稱(chēng)為該變量與另外的自變量間存在有共線性(collinearity)?；貧w系數(shù)的符號(hào)與由專(zhuān)業(yè)知識(shí)不符變量的重要性與專(zhuān)業(yè)不符.（四）多重共線性自變量間存在著線性關(guān)系，使一個(gè)或幾個(gè)多重共線性的識(shí)別與解決辦法

整個(gè)方程決定系數(shù)R2高，但各自變量對(duì)應(yīng)的回歸系數(shù)均不顯著。解決共線性的主要方法：篩選自變量用主成分回歸嶺回歸。.多重共線性的識(shí)別與解決辦法整個(gè)方程決定系數(shù)R2高，但（五）交互作用

當(dāng)某一自變量對(duì)應(yīng)變量的作用大小與另一個(gè)自變量的取值有關(guān)時(shí)，則表示兩個(gè)變量有交互作用（interaction）。檢驗(yàn)兩變量間有無(wú)交互作用，普遍的做法是在方程中加入它們的乘積項(xiàng)再做檢驗(yàn)。如考察X1、X2間的交互作用，可在模型中加入X1X2項(xiàng)。.（五）交互作用當(dāng)某一自變量對(duì)應(yīng)變量的作用大小與（六）殘差分析(檢驗(yàn)應(yīng)用條件).（六）殘差分析(檢驗(yàn)應(yīng)用條件).（六）(用標(biāo)準(zhǔn)化殘差發(fā)現(xiàn)異常點(diǎn))一般標(biāo)準(zhǔn)化殘差絕對(duì)值大于2考慮為異常點(diǎn)（outlier）（也稱(chēng)離群值）.（六）(用標(biāo)準(zhǔn)化殘差發(fā)現(xiàn)異常點(diǎn))一般標(biāo)準(zhǔn)化殘差絕對(duì)值大于2考（七）偏相關(guān)系數(shù).（七）偏相關(guān)系數(shù).幾個(gè)相關(guān)系數(shù)的區(qū)別.幾個(gè)相關(guān)系數(shù)的區(qū)別.Multiplelinearregression多元（重）線性回歸.多元（重）線性回歸.46三、多元線性回歸方程的

假設(shè)檢驗(yàn)及其評(píng)價(jià).三、多元線性回歸方程的

假設(shè)檢驗(yàn)及其評(píng)價(jià).（一）回歸方程的方差分析

（所有回歸系數(shù)為0）.（一）回歸方程的方差分析

（所有回歸系數(shù)為0）.有關(guān)計(jì)算公式.有關(guān)計(jì)算公式.（二）有關(guān)評(píng)價(jià)指標(biāo).（二）有關(guān)評(píng)價(jià)指標(biāo).1.殘差標(biāo)準(zhǔn)差（RootMSE）反映了回歸方程的精度，其值越小說(shuō)明回歸效果越好

.1.殘差標(biāo)準(zhǔn)差（RootMSE）反映了回歸方程的精度，2.決定系數(shù)

（determinationcoefficient）說(shuō)明所有自變量能解釋Y變化的百分比。取值（0，1），越接近1模型擬合越好

.2.決定系數(shù)

（determinationcoeffic決定系數(shù)含義：被解釋變量所解釋的部分占總體離差的大小。越大越好，但是不會(huì)超過(guò)1。缺點(diǎn)：如果在模型中增加一個(gè)解釋變量，模型的解釋功能增強(qiáng)了，就增大了。這就給人一個(gè)錯(cuò)覺(jué)：要使得模型擬合得好，就必須增加解釋變量。.決定系數(shù)含義：被解釋變量所解釋的部分占總體離差的大小。越大越3.復(fù)相關(guān)系數(shù)

（multiplecorrelation

coefficient）說(shuō)明所有自變量與Y間的線性相關(guān)程度。如果只有一個(gè)自變量，此時(shí)

.3.復(fù)相關(guān)系數(shù)

（multiplecorrelation4.校正的決定系數(shù)（Adjusteddeterminationcoefficient）

.4.校正的決定系數(shù)（Adjusteddeterminat校正的決定系數(shù).校正的決定系數(shù).四、各自變量貢獻(xiàn)大小的

假設(shè)檢驗(yàn)及其評(píng)價(jià).四、各自變量貢獻(xiàn)大小的

假設(shè)檢驗(yàn)及其評(píng)價(jià).（一）各回歸系數(shù)的t檢驗(yàn)

ParameterStandardStandardizedVariableDFEstimateErrortValuePr>|t|Estimate

變量自由度回歸系數(shù)標(biāo)準(zhǔn)誤t值P值標(biāo)準(zhǔn)化回歸系數(shù)Intercept225.943272.828592.100.04730X1220.142450.365650.390.70060.07758X2220.351470.204201.720.09930.30931X322-0.270590.12139-2.230.0363-0.33948X4220.638200.243262.620.01550.39774.（一）各回歸系數(shù)的t檢驗(yàn)

（二）標(biāo)準(zhǔn)化回歸系數(shù)

變量回歸系數(shù)bj標(biāo)準(zhǔn)化回歸系數(shù)b’j

標(biāo)準(zhǔn)差SX10.142450.077581.5934X20.351470.309312.5748X3-0.27059-0.339483.6706X40.63820.397741.8234Y2.9257.（二）標(biāo)準(zhǔn)化回歸系數(shù)

（三）偏回歸平方和（sumofsquaresforpartialregression）及其F檢驗(yàn)

是在其它自變量存在于回歸方程中的條件下，考察某一自變量Xj對(duì)應(yīng)變量Y的回歸效應(yīng)

；j=1,2,…,m

.（三）偏回歸平方和（sumofsquaresforp實(shí)例計(jì)算

.實(shí)例計(jì)算第二節(jié)自變量的篩選1.變量多增加了模型的復(fù)雜度

2.計(jì)算量增大

3.估計(jì)和預(yù)測(cè)的精度下降

4.模型應(yīng)用費(fèi)用增加.第二節(jié)自變量的篩選1.變量多增加了模型的復(fù)雜度

一自變量的篩選的標(biāo)準(zhǔn)與原則1.殘差平方和縮小與決定系數(shù)增大2.殘差均方縮小與調(diào)整決定系數(shù)增大3.Cp統(tǒng)計(jì)量.一自變量的篩選的標(biāo)準(zhǔn)與原則1.殘差平方和縮小與決定系數(shù)增大二自變量篩選的常用方法(一)、全局擇優(yōu)法:

根據(jù)一些準(zhǔn)則（criterion）建立“最優(yōu)”回歸模型校正決定系數(shù)（考慮了自變量的個(gè)數(shù)）Cp準(zhǔn)則（C即criterion，p為所選模型中變量的個(gè)數(shù)；Cp接近（p+1）模型為最優(yōu)）AIC(Akaike’sInformationCriterion)準(zhǔn)則；AIC越小越好.二自變量篩選的常用方法(一)、全局擇優(yōu)法:根據(jù)一些準(zhǔn)則校正決定系數(shù)（Adjusteddeterminationcoefficient）

.校正決定系數(shù)（AdjusteddeterminationCp準(zhǔn)則的計(jì)算公式.Cp準(zhǔn)則的計(jì)算公式.AIC準(zhǔn)則的計(jì)算公式.AIC準(zhǔn)則的計(jì)算公式.全局擇優(yōu)法的局限性

如果自變量個(gè)數(shù)為4，則所有的回歸有24－1＝15個(gè)；當(dāng)自變量數(shù)個(gè)數(shù)為10時(shí)，所有可能的回歸為210－1＝1023個(gè)；。。。。。。；當(dāng)自變量數(shù)個(gè)數(shù)為50時(shí)，所有可能的回歸為250－1≈1015個(gè)。.全局擇優(yōu)法的局限性如果自變量個(gè)數(shù)為4，(二)、逐步選擇法

1.前進(jìn)法（forwardselection）2.后退法（backwardelimination）3.逐步回歸法（stepwiseregression）。

它們的共同特點(diǎn)是每一步只引入或剔除一個(gè)自變量。決定其取舍則基于對(duì)偏回歸平方和的F檢驗(yàn).(二)、逐步選擇法1.前進(jìn)法（forwar1.前進(jìn)法

自變量從無(wú)到有、從少到多

Y對(duì)每一個(gè)自變量作直線回歸，對(duì)回歸平方和最大的自變量作F檢驗(yàn)，有意義（P?。﹦t引入。在此基礎(chǔ)上，計(jì)算其它自變量的偏回歸平方和，選取偏回歸平方和最大者作F檢驗(yàn)，…。

局限性：即后續(xù)變量的引入可能會(huì)使先進(jìn)入方程的自變量變得不重要。.1.前進(jìn)法自變量從無(wú)到有、從少到多Y對(duì)每一2.后退法

先將全部自變量放入方程，然后逐步剔除

偏回歸平方和最小的變量，作F檢驗(yàn)及相應(yīng)的P值，決定它是否剔除（P大）

。建立新的回歸方程。重復(fù)上述過(guò)程。

局限性：自變量高度相關(guān)時(shí)，可能得不出正確的結(jié)果

。.2.后退法先將全部自變量放入方程，然后逐步剔除3.逐步回歸法

雙向篩選；引入有意義的變量（前進(jìn)法），剔除無(wú)意義變量（后退法）

小樣本檢驗(yàn)水準(zhǔn)a定為0.10或0.15，大樣本把值定為0.05。值越小表示選取自變量的標(biāo)準(zhǔn)越嚴(yán)。注意，引入變量的檢驗(yàn)水準(zhǔn)要小于或等于剔除變量的檢驗(yàn)水準(zhǔn)。.3.逐步回歸法雙向篩選；引入有意義的變量（前逐步回歸法實(shí)例(令α入＝α出＝0.10)

.逐步回歸法實(shí)例(令α入＝α出＝0.10).例15-3的方差分析結(jié)果

變異來(lái)源自由度SSMSFP總變異26222.5519回歸3133.09844.36611.410.0001殘差2389.4543.889.例15-3的方差分析結(jié)果變異來(lái)源自由度SSMSF例15-3的回歸系數(shù)及其檢驗(yàn)

.例15-3的回歸系數(shù)及其檢驗(yàn).第三節(jié)多元線性回歸的應(yīng)用及其注意事項(xiàng).第三節(jié)多元線性回歸的應(yīng)用及其注意事項(xiàng).一、應(yīng)用影響因素分析，控制混雜因素預(yù)測(cè)：由自變量值推出應(yīng)變量Y的值控制：指定應(yīng)變量Y的值查看自變量的改變量.一、應(yīng)用影響因素分析，控制混雜因素.二、應(yīng)用條件.二、應(yīng)用條件.三、應(yīng)用的注意事項(xiàng).三、應(yīng)用的注意事項(xiàng).（一）變量的數(shù)量化（1）自