應(yīng)用回歸分析（R語言版）（第2版） 課件 第6、7章 多重共線性的情形及其處理、嶺回歸

第6章多重共線性的情形及其處理6.1多重共線性產(chǎn)生的背景和原因6.2多重共線性對回歸建模的影響6.3多重共線性的診斷6.4消除多重共線性的方法6.5本章小結(jié)與評注2024/4/2312024/4/232

如果存在不全為0的p+1個數(shù)，使得則稱自變量之間存在著完全多重共線性。在實(shí)際經(jīng)濟(jì)問題中完全的多重共線性并不多見，常見的是（6.1）式近似成立的情況，即存在不全為0的p+1個數(shù)，使得稱自變量之間存在著多重共線性(Multi-collinearity)，也稱為復(fù)共線性。第6章多重共線性的情形及其處理6.1多重共線性產(chǎn)生的背景和原因

2024/4/233

當(dāng)我們所研究的經(jīng)濟(jì)問題涉及到時間序列資料時,由于經(jīng)濟(jì)變量隨時間往往存在共同的變化趨勢,它們之間就容易出現(xiàn)共線性。例如,我們要研究我國居民消費(fèi)狀況,影響居民消費(fèi)的因素很多,一般有職工平均工資、農(nóng)民平均收入、銀行利率、全國零售物價指數(shù)、國債利率、貨幣發(fā)行量、儲蓄額、前期消費(fèi)額等,這些因素顯然既對居民消費(fèi)產(chǎn)生重要影響,它們之間又有著很強(qiáng)的相關(guān)性。

2024/4/234

許多利用截面數(shù)據(jù)建立回歸方程的問題常常也存在自變量高度相關(guān)的情形。例如，我們以企業(yè)的截面數(shù)據(jù)為樣本估計(jì)生產(chǎn)函數(shù)，由于投入要素資本K，勞動力投入L，科技投入S，能源供應(yīng)E等都與企業(yè)的生產(chǎn)規(guī)模有關(guān)，所以它們之間存在較強(qiáng)的相關(guān)性。6.1多重共線性產(chǎn)生的背景和原因

6.2多重共線性對回歸建模的影響

2024/4/235

設(shè)回歸模型存在完全的多重共線性，即對設(shè)計(jì)矩陣X的列向量存在不全為零的一組數(shù)，使得

設(shè)計(jì)矩陣X的秩此時，正規(guī)方程組的解不唯一，不存在，回歸參數(shù)的最小二乘估計(jì)表達(dá)式不成立。2024/4/2366.2多重共線性對回歸建模的影響

對非完全共線性，存在不全為零的一組數(shù)，使得此時設(shè)計(jì)矩陣X的秩雖然成立，但是

的對角線元素很大，的方差陣

的對角線元素很大，而的對角線元素即

，因而

的估計(jì)精度很低。這樣，雖然用普通最小二乘估計(jì)能得到的無偏估計(jì)，但估計(jì)量的方差很大，不能正確判斷解釋變量對被解釋變量的影響程度，甚至導(dǎo)致估計(jì)量的經(jīng)濟(jì)意義無法解釋。2024/4/2376.2多重共線性對回歸建模的影響

做y對兩個自變量

的線性回歸，假定y與都已經(jīng)中心化，此時回歸常數(shù)項(xiàng)為零，回歸方程為記則之間的相關(guān)系數(shù)為2024/4/2386.2多重共線性對回歸建模的影響

的協(xié)方差陣為2024/4/2396.2多重共線性對回歸建模的影響

由此可得可知，隨著自變量

的相關(guān)性增強(qiáng)，的方差將逐漸增大。當(dāng)

完全相關(guān)時，r=1，方差將變?yōu)闊o窮大。2024/4/2310

6.2多重共線性對回歸建模的影響

當(dāng)給不同的r12值時，由表6-1可看出方差增大的速度。為了方便，我們假設(shè)，相關(guān)系數(shù)從0.5變?yōu)?.9時，回歸系數(shù)的方差增加了295%，相關(guān)系數(shù)從0.5變?yōu)?.95時，回歸系數(shù)的方差增加了671%。2024/4/2311

在例3-3中，我們建立的中國民航客運(yùn)量回歸方程為：

=-8805+0.706x1-1.773x2+0.157x3+0.139x4+25.82x5其中：y—民航客運(yùn)量(萬人)，

x1—人均GDP(元)，x2—人均居民消費(fèi)水平(元)，

x3—普通鐵路客運(yùn)量(萬人)，x4—高速鐵路客運(yùn)量(萬人)，

x5—民航航線里程(萬公里)。

x2是消費(fèi)水平，從經(jīng)濟(jì)學(xué)的定性分析看，消費(fèi)水平與民航客運(yùn)量應(yīng)該是正相關(guān)，而回歸方程中x2的回歸系數(shù)的符號與定性分析的結(jié)果明顯不符。問題出在哪里？這正是自變量之間的復(fù)共線性造成的。6.2多重共線性對回歸建模的影響

6.3多重共線性的診斷

2024/4/23126.3.1方差擴(kuò)大因子法

對自變量做中心標(biāo)準(zhǔn)化，則為自變量的相關(guān)陣。記 (6.5)稱其主對角線元素為自變量的方差擴(kuò)大因子(VarianceInflationFactor，簡記為VIF)。由（3.31）式可知，其中是的離差平方和，由（6.6）式可知用作為衡量自變量的方差擴(kuò)大程度的因子是恰如其分的。（6.6）2024/4/23136.3多重共線性的診斷

記為以

作因變量對其余p-1個自變量進(jìn)行回歸得到的復(fù)決定系數(shù)，可以證明(6.7)式(6.7)也可以作為方差擴(kuò)大因子

的定義，由此式可知。2024/4/23146.3多重共線性的診斷

經(jīng)驗(yàn)表明，當(dāng)時，就說明自變量與其余自變量之間有嚴(yán)重的多重共線性，且這種多重共線性可能會過度地影響最小二乘估計(jì)值。還可用p個自變量所對應(yīng)的方差擴(kuò)大因子的平均數(shù)來度量多重共線性。當(dāng)遠(yuǎn)遠(yuǎn)大于1時就表示存在嚴(yán)重的多重共線性問題。

2024/4/2315

以下用R軟件診斷例3-3中國民航客運(yùn)量一例中的多重共線性問題。由于計(jì)算方差擴(kuò)大因子VIF的函數(shù)vif()在car包中，而該包不是基本包，所以首先要安裝并加載car包，以下是計(jì)算代碼及其運(yùn)行結(jié)果。6.3多重共線性的診斷

2024/4/23166.3多重共線性的診斷

6.3.2特征根判定法1、特征根分析

根據(jù)矩陣行列式的性質(zhì)，矩陣的行列式等于其特征根的連乘積。因而，當(dāng)行列式時，矩陣

至少有一個特征根近似為零。反之可以證明，當(dāng)矩陣至少有一個特征根近似為零時，X的列向量間必存在復(fù)共線性，證明見160頁。證明如下：記，其中為X

的列向量，

是元素全為1的n維列向量。是矩陣

的一個近似為零的特征根，是對應(yīng)于特征根的單位特征向量，則上式兩邊左乘

，得。從而有，即。寫成分量形式即為這正是（6.2）式定義的多重共線性關(guān)系。2024/4/23176.3多重共線性的診斷

如果矩陣

有多個特征根近似為零，在上面的證明中，取每個特征根的特征向量為標(biāo)準(zhǔn)化正交向量，即可證明：有多少個特征根接近于零，設(shè)計(jì)矩陣X就有多少個多重共線性關(guān)系，并且這些多重共線性關(guān)系的系數(shù)向量就等于接近于零的那些特征根對應(yīng)的特征向量。2024/4/23186.3多重共線性的診斷

2024/4/23196.3多重共線性的診斷

2、條件數(shù)

特征根分析表明，當(dāng)矩陣

有一個特征根近似為零時，設(shè)計(jì)矩陣X的列向量間必存在復(fù)共線性。那么特征根近似為零的標(biāo)準(zhǔn)如何確定呢？可以用下面介紹的條件數(shù)確定。記的最大和最小特征根分別為，稱為矩陣的條件數(shù)（ConditionIndex）。2024/4/23206.3多重共線性的診斷

k＜100時，設(shè)計(jì)矩陣X多重共線性程度較小；100≤k≤

1000時，認(rèn)為X存在較強(qiáng)的多重共線性；當(dāng)k>1000時，認(rèn)為存在嚴(yán)重的多重共線性。

用條件數(shù)判斷多重共線性的準(zhǔn)則：在R軟件中，通常用kappa()函數(shù)計(jì)算矩陣的條件數(shù)，其使用方法為：kappa(z,exact=FALSE,…)，其中，z為矩陣，exact是邏輯變量，當(dāng)exact=TRUE時，精確計(jì)算條件數(shù)，否則近似計(jì)算條件數(shù)。2024/4/2321

對例3-3中國民航客運(yùn)量的例子，用R軟件計(jì)算矩陣的條件數(shù)，計(jì)算代碼及結(jié)果如下：

6.3多重共線性的診斷

2024/4/23226.3多重共線性的診斷

根據(jù)條件數(shù)k=10119.1>1000，說明自變量之間存在嚴(yán)重的多重共線性。進(jìn)一步，為找出哪些變量是多重共線的，需要計(jì)算矩陣的特征值和相應(yīng)的特征向量，在R命令窗口輸入代碼eigen(XX)，得到其最小的特征值和相應(yīng)的特征向量為即由于的系數(shù)近似為0，故

之間存在著多重共線性。2024/4/2323

6.3.3直觀判定法1.當(dāng)增加或剔除一個自變量，或者改變一個觀測值時，回歸系數(shù)的估計(jì)值發(fā)生較大變化。2.從定性分析角度看來，一些重要的自變量在回歸方程中沒有通過顯著性檢驗(yàn)。3.有些自變量的回歸系數(shù)所帶正負(fù)號與定性分析結(jié)果違背。4.自變量的相關(guān)矩陣中，自變量間的相關(guān)系數(shù)較大。5.一些重要的自變量的回歸系數(shù)的標(biāo)準(zhǔn)誤差較大。6.3多重共線性的診斷

6.4消除多重共線性的方法

2024/4/2324

6.4.1剔除不重要的解釋變量

在剔除自變量時，可以將回歸系數(shù)的顯著性檢驗(yàn)、方差擴(kuò)大因子VIF以及自變量的經(jīng)濟(jì)含義結(jié)合起來考慮，以引進(jìn)或剔除變量。民航客運(yùn)量一例中，5個自變量都通過了回歸系數(shù)的顯著性檢驗(yàn)，但仍存在著嚴(yán)重的多重共線性，的方差擴(kuò)大因子為1458.277最大，因此剔除，建立y對其余四個自變量的回歸方程，相關(guān)計(jì)算結(jié)果如下所示：2024/4/2325

6.4消除多重共線性的方法

2024/4/23266.4消除多重共線性的方法

從輸出結(jié)果看到，的方差擴(kuò)大因子為120.241最大，遠(yuǎn)大于10，說明此時回歸模型仍然存在多重共線性，因此剔除，建立y對其余三個自變量的回歸方程，相關(guān)計(jì)算結(jié)果如下所示：消除了共線性2024/4/23276.4消除多重共線性的方法

6.4.2增大樣本容量例如，由（6.3）式和（6.4）式

可以看到，在固定不變，當(dāng)樣本容量n增大時，都會增大，兩個回歸系數(shù)的估計(jì)方差均可減小，從而減弱多重共線性對回歸方程的影響。2024/4/2328

6.4.3回歸系數(shù)的有偏估計(jì)

消除多重共線性對回歸模型的影響是近40年來統(tǒng)計(jì)學(xué)家們關(guān)注的熱點(diǎn)課題之一，除以上方法被人們應(yīng)用外，統(tǒng)計(jì)學(xué)家還致力于改進(jìn)古典的最小二乘法，提出以采用有偏估計(jì)為代價來提高估計(jì)量穩(wěn)定性的方法，如：嶺回歸法主成分回歸法偏最小二乘法等6.4消除多重共線性的方法

6.5本章小結(jié)與評注2024/4/2329

當(dāng)解釋變量之間的簡單相關(guān)系數(shù)很大時，可以斷定自變量間存在著嚴(yán)重的多重共線性；但是一個回歸方程存在嚴(yán)重的多重共線性時，解釋變量之間的簡單相關(guān)系數(shù)不一定很大。例如假定3個自變量之間有完全確定的關(guān)系

再假定x2與x3的簡單相關(guān)系數(shù)r23=-0.5，x2與x3的離差平方和L22=L33=1，此時

2024/4/2330同理r13=0.5由此看到，當(dāng)回歸方程中的自變量數(shù)目超過2時，并不能由自變量間的簡單相關(guān)系數(shù)不高，就斷定它們不存在多重共線性。6.5本章小結(jié)與評注第7章嶺回歸

2024/4/2331

7.1嶺回歸估計(jì)的定義7.2嶺回歸估計(jì)的性質(zhì)7.3嶺跡分析7.4嶺參數(shù)k的選擇7.5用嶺回歸選擇變量7.1嶺回歸估計(jì)的定義2024/4/23327.1.1

普通最小二乘估計(jì)帶來的問題

當(dāng)自變量間存在復(fù)共線性時，回歸系數(shù)估計(jì)的方差就很大，估計(jì)值就很不穩(wěn)定，下面進(jìn)一步用一個模擬的例子來說明這一點(diǎn)。例7-1假設(shè)已知x1，x2與y的關(guān)系服從線性回歸模型2024/4/2333然后用模擬的方法產(chǎn)生10個正態(tài)隨機(jī)數(shù)，作為誤差項(xiàng)，見表7-1的第（3）行。然后再由回歸模型計(jì)算出10個值，列在了表7-1的第（4）行。7.1嶺回歸估計(jì)的定義給定的10個值，見表7-1的第(1)、(2)兩行。2024/4/2334現(xiàn)在我們假設(shè)回歸系數(shù)與誤差項(xiàng)是未知的，用普通最小二乘法求回歸系數(shù)的估計(jì)值得：而原模型的參數(shù)為

看來兩者相差很大。計(jì)算的樣本相關(guān)系數(shù)得，表明之間高度相關(guān)。7.1嶺回歸估計(jì)的定義2024/4/23357.1嶺回歸估計(jì)的定義7.1.2嶺回歸的定義

嶺回歸(RidgeRegression，簡記為RR)提出的想法是很自然的。當(dāng)自變量間存在復(fù)共線性時，，我們設(shè)想給加上一個正常數(shù)矩陣，那么接近奇異的程度就會比接近奇異的程度小得多。考慮到變量的量綱問題，我們先對數(shù)據(jù)做標(biāo)準(zhǔn)化，為了計(jì)算方便，標(biāo)準(zhǔn)化后的設(shè)計(jì)陣仍然用X表示。2024/4/23367.1嶺回歸估計(jì)的定義我們稱

為

的嶺回歸估計(jì)，其中k稱為嶺參數(shù)。

（7.2）式中因變量觀測向量y可以經(jīng)過標(biāo)準(zhǔn)化也可以未經(jīng)標(biāo)準(zhǔn)化。由于假設(shè)X已經(jīng)標(biāo)準(zhǔn)化，如果y也經(jīng)過標(biāo)準(zhǔn)化，那么（7.2）式計(jì)算的實(shí)際是標(biāo)準(zhǔn)化嶺回歸估計(jì)。顯然，嶺回歸作為的估計(jì)應(yīng)比最小二乘估計(jì)穩(wěn)定，當(dāng)k=0時的嶺回歸估計(jì)就是普通最小二乘估計(jì)。（7.2）2024/4/23377.1嶺回歸估計(jì)的定義因?yàn)閹X參數(shù)k不是唯一確定的，所以我們得到的嶺回歸估計(jì)實(shí)際是回歸參數(shù)

的一個估計(jì)族。例如對例7-1可以算得不同k值時的，見表7-2。2024/4/23387.1嶺回歸估計(jì)的定義圖7-1嶺跡圖7.2嶺回歸估計(jì)的性質(zhì)

2024/4/2339

在本節(jié)嶺回歸估計(jì)的性質(zhì)的討論中，假定（7.2）式中因變量觀測向量y未經(jīng)標(biāo)準(zhǔn)化。性質(zhì)1

是回歸參數(shù)

的有偏估計(jì)。

證明：顯然只有當(dāng)k=0時，；當(dāng)k≠0時，是

的有偏估計(jì)。要特別強(qiáng)調(diào)的是不再是

的無偏估計(jì)了，有偏性是嶺回歸估計(jì)的一個重要特性。2024/4/23407.2嶺回歸估計(jì)的性質(zhì)

性質(zhì)2

在認(rèn)為嶺參數(shù)k是與y

無關(guān)的常數(shù)時，是最小二乘估計(jì)的一個線性變換，也是y

的線性函數(shù)。因?yàn)橐虼耍瑤X估計(jì)是最小二乘估計(jì)的一個線性變換，根據(jù)定義式知也是y

的線性函數(shù)。需要注意的是，在實(shí)際應(yīng)用中，由于嶺參數(shù)k總是要通過數(shù)據(jù)來確定，因而k也依賴于y，因此從本質(zhì)上說并非y

的線性函數(shù)。2024/4/23417.2嶺回歸估計(jì)的性質(zhì)

性質(zhì)3對任意，總有

這里是向量的模，等于向量各分量的平方和的平方根。這個性質(zhì)表明可看成由進(jìn)行某種向原點(diǎn)的壓縮，從的表達(dá)式可以看到，當(dāng)時，，即化為零向量。2024/4/23427.2嶺回歸估計(jì)的性質(zhì)

性質(zhì)4以MSE表示估計(jì)向量的均方誤差，則存在k>0，使得即7.3嶺跡分析

2024/4/2343當(dāng)嶺參數(shù)k在（0，∞）內(nèi)變化時，的函數(shù)，在平面坐標(biāo)系上把函數(shù)描畫出來。畫出的曲線稱為嶺跡。在實(shí)際應(yīng)用中，可以根據(jù)嶺跡曲線的變化形狀來確定適當(dāng)?shù)膋值和進(jìn)行自變量的選擇。在嶺回歸中，嶺跡分析可用來了解各自變量的作用及自變量間的相互關(guān)系。下面由圖7-2所反映的幾種有代表性的情況來說明嶺跡分析的作用。嶺跡分析

2024/4/2344（1）在圖7-2（a）中，，且比較大。從古典回歸分析的觀點(diǎn)看，應(yīng)將看作是對y有重要影響的因素。但的圖形顯示出相當(dāng)?shù)牟环€(wěn)定，當(dāng)k從零開始略增加時，顯著地下降，而且迅速趨于零，因而失去預(yù)報能力。從嶺回歸的觀點(diǎn)看，對y不起重要作用，甚至可以去掉這個變量。（2）圖7-2(b)的情況與圖7-2(a)相反，，但很接近0。從古典回歸分析看，對y的作用不大。但隨著k略增加，驟然變?yōu)樨?fù)值，從嶺回歸觀點(diǎn)看，對y有顯著影響。2024/4/23457.3嶺跡分析

（3）如圖7-2（c），，說明還比較顯著，但當(dāng)k增加時，迅速下降，且穩(wěn)定為負(fù)值，從古典回歸分析看，是對y有“正”影響的顯著因素，而從嶺回歸分析角度看，要被看作是對y有“負(fù)”影響的因素。（4）在圖7-2（d）中，和都很不穩(wěn)定，但其和卻大體上穩(wěn)定。這種情況往往發(fā)生在自變量的相關(guān)性很大的場合，即在之間存在多重共線性的情形。因此，從變量選擇的觀點(diǎn)看，兩者只要保存一個就夠了。這種情況可用來解釋某些回歸系數(shù)估計(jì)的符號不合理的情形，從實(shí)際觀點(diǎn)看，不應(yīng)有相反符號。嶺回歸分析的結(jié)果對這一點(diǎn)提供了一種解釋。2024/4/23467.3嶺跡分析

（5）從全局看，嶺跡分析可用來估計(jì)在某一具體實(shí)例中最小二乘估計(jì)是否適用，把所有回歸系數(shù)的嶺跡都描在一張圖上，如果這些嶺跡線的“不穩(wěn)定度”很大，整個系統(tǒng)呈現(xiàn)比較“亂”的局面，往往就使人懷疑最小二乘估計(jì)是否很好地反映了真實(shí)情況，圖7-2（e）反映了這種情況。如果情況如圖7-2（f）那樣，則我們對最小二乘估計(jì)可以有更大的信心。當(dāng)情況介于（e）和（f）之間時，我們必須適當(dāng)?shù)剡x擇k值。2024/4/23477.3嶺跡分析

7.4嶺參數(shù)k的選擇

2024/4/23487.4.1嶺跡法

嶺跡法選擇k值的一般原則是：

（1）各回歸系數(shù)的嶺估計(jì)基本穩(wěn)定；（2）用最小二乘估計(jì)時符號不合理的回歸系數(shù)，其嶺估計(jì)的符號變得合理；（3）回歸系數(shù)沒有不合乎經(jīng)濟(jì)意義的絕對值；（4）殘差平方和增大不太多。

2024/4/23497.4嶺參數(shù)k的選擇

2024/4/23507.4嶺參數(shù)k的選擇

嶺跡法確定k值缺少嚴(yán)格的令人信服的理論依據(jù)，存在著一定的主觀人為性，這似乎是嶺跡法的一個明顯缺點(diǎn)。從另一方面說，嶺跡法確定k值的這種人為性正好是定性分析與定量分析有機(jī)結(jié)合的地方。例如在圖7-3中，當(dāng)k取時，各回歸系數(shù)的估計(jì)值基本上都能達(dá)到相對穩(wěn)定。當(dāng)然，上述種種要求并不總是能達(dá)到的。如在例7-1中由圖7-1看到，取k=0.5，嶺跡已算平穩(wěn)。從而已經(jīng)相當(dāng)接近于真值還相差很大。2024/4/23517.4嶺參數(shù)k的選擇

7.4.2

方差擴(kuò)大因子法

方差擴(kuò)大因子可以度量多重共線性的嚴(yán)重程度，一般當(dāng)時，模型就有嚴(yán)重的多重共線性。計(jì)算嶺估計(jì)

的協(xié)方差陣，得7.4嶺參數(shù)k的選擇

的對角元素為嶺估計(jì)的方差擴(kuò)大因子。不難看出，隨著k

的增大而減少。用方差擴(kuò)大因子選擇k

的經(jīng)驗(yàn)做法是：選擇k

使所有方差擴(kuò)因子。當(dāng)時，所對應(yīng)的k

值的嶺估計(jì)就會相對穩(wěn)定。2024/4/23522024/4/23537.4.3由殘差平方和來確定k值

嶺估計(jì)在減小均方誤差的同時增大了殘差平方和，我們希望嶺回歸的殘差平方和SSE（k）的增加幅度控制在一定的限度以內(nèi)，可以給定一個大于1的c值，要求：

SSE（k）＜cSSE （7.3）尋找使（7.3）式成立的最大的k值。7.4嶺參數(shù)k的選擇

7.5用嶺回歸選擇變量2024/4/2354嶺回歸選擇變量的原則：（1）在嶺回歸中設(shè)計(jì)矩陣X已經(jīng)中心化和標(biāo)準(zhǔn)化了，這樣可以直接比較標(biāo)準(zhǔn)化嶺回歸系數(shù)的大小?？梢蕴蕹魳?biāo)準(zhǔn)化嶺回歸系數(shù)比較穩(wěn)定且絕對值很小的自變量。（2）隨著k的增加，回歸系數(shù)不穩(wěn)定，振動趨于零的自變量也可以剔除。（3）剔除標(biāo)準(zhǔn)化嶺回歸系數(shù)很不穩(wěn)定的自變量。如果依照上述去掉變量的原則，有若干個回歸系數(shù)不穩(wěn)定，究竟去掉幾個，去掉哪幾個，這并無一般原則可循，這需根據(jù)去掉某個變量后重新進(jìn)行嶺回歸分析的效果來確定。2024/4/2355例7-2空氣污染問題。Mcdonald和Schwing在參考文獻(xiàn)［19］中曾研究死亡率與空氣污染、氣候以及社會經(jīng)濟(jì)狀況等因素的關(guān)系?？紤]了15個解釋變量，收集了60組樣本數(shù)據(jù)。x1—Averageannualprecipitationininches平均年降雨量x2—AverageJanuarytemperatureindegreesF1月份平均氣溫x3—AverageJulytemperatureindegreesF

7月份平均氣溫x4—Percentof1960SMSApopulationaged65orolder年齡65歲及以上的人口占總?cè)丝诘陌俜直葂5—Averagehouseholdsize每家人口數(shù)x6—Medianschoolyearscompletedbythoseover22年齡在22歲以上的人受教育年限的中位數(shù)7.5用嶺回歸選擇變量2024/4/2356x7—Percentofhousingunitswhicharesound&withallfacilities

住房符合標(biāo)準(zhǔn)的家庭比例數(shù)x8—Populationpersq.mileinurbanizedareas每平方公里人口數(shù)x9—Percentnon-whitepopulationinurbanizedareas非白種人占總?cè)丝诘谋壤齲10—Percentemployedinwhitecollaroccupations白領(lǐng)階層受雇百分?jǐn)?shù)x11—Percentoffamilieswithincome<$3000

收入在3000美元以下的家庭比例x12—Relativehydrocarbonpollutionpotential碳?xì)浠衔锏南鄬ξ廴緞?.5用嶺回歸選擇變量2024/4/2357計(jì)算

的15個特征根為：4.5272，2.7547，2.0545，1.3487，1.2227，0.9605，0.6124，0.4729，0.3708，0.2163，0.1665，0.1275，0.1142，0.0460，0.0049條件數(shù)

x13—Samefornitricoxides氮氧化合物的相對污染勢x14—Sameforsulphurdioxide二氧化硫的相對污染勢x15—Annualaverage%relativehumidityat1pm年平均相對濕度y—Totalage-adjustedmortalityrateper100,000每十萬人中的死亡人數(shù)7.5用嶺回歸選擇變量2024/4/2358進(jìn)行嶺跡分析把15個回歸系數(shù)的嶺跡畫到圖7-4中，我們可看到，當(dāng)k=0.20時嶺跡大體上達(dá)到穩(wěn)定。按照嶺跡法，應(yīng)取k=0.2。若用方差擴(kuò)大因子法，當(dāng)k在0.02～0.08時，方差擴(kuò)大因子小于10，故應(yīng)建議在此范圍選取k。由此也看到不同的方法選取的k值是不同的。7.5用嶺回歸選擇變量2024/4/23597.5用嶺回歸選擇變量2024/4/23607.5用嶺回歸選擇變量

在用嶺回歸進(jìn)行變量選擇時，因?yàn)閺膸X跡看到自變量有較穩(wěn)定且絕對值比較小的嶺回歸系數(shù)，根據(jù)變量選擇的第一條原則，這些自變量可以去掉。又因?yàn)樽宰兞康膸X回歸系數(shù)很不穩(wěn)定，且隨著k的增加很快趨于零，根據(jù)上面的第二條原則這些自變量也應(yīng)該去掉。再根據(jù)第三條原則去掉變量。這個問題最后剩的變量是。2024/4/23617.5用嶺回歸選擇變量例7-3

Gorman-Torman例子(見參考文獻(xiàn)［2］)。本例共有10個自變量，X已經(jīng)中心化和標(biāo)準(zhǔn)化了，的特征根為：

3.692，1.542，1.293，1.046，0.972，

0.659，0.357，0.220，0.152，0.068

最后一個特征根，較接近于零。

2024/4/23627.5用嶺回歸選擇變量

條件數(shù)k=54.294＜100。從條件數(shù)的角度看，似乎設(shè)計(jì)矩陣X沒有復(fù)共線性。但下面的研究表明，做嶺回歸還是必要的。關(guān)于條件數(shù)，這里附帶說明它的一個缺陷，就是當(dāng)所有特征根都比較小時，雖然條件數(shù)不大，但多重共線性卻存在。本例就是一個證明。2024/4/2363

下面做嶺回歸分析。對15個k值算出，畫出嶺跡，如圖7-5(a)所示。可看到最小二乘估計(jì)的穩(wěn)定性很差。這反映在當(dāng)k與0略有偏離時，就有較大的差距，特別是變化最明顯。當(dāng)k從0上升到0.1時，的59%，而在正交設(shè)計(jì)的情形下只下降17%。這些現(xiàn)象在直觀上就使人懷疑最小二乘估計(jì)是否反映了回歸系數(shù)的真實(shí)情況。7.5用嶺回歸選擇變量2024/4/23647.5用嶺回歸選擇變量2024/4/23657.5用嶺回歸選擇變量另外，因素的回歸系數(shù)的最小二乘估計(jì)為負(fù)回歸系數(shù)中絕對值最大的，但當(dāng)k增加時，迅速上升且變?yōu)檎摹Ｅc此相反，對因素，為正的，且絕對值最大，但當(dāng)k

增加時,迅速下降。再考慮到，的樣本相關(guān)系數(shù)達(dá)到0.84，因此這兩個因素可近似地合并為一個因素。2024/4/23667.5用嶺回