嶺回歸理論知識(shí)

1、、普通最小二乘估計(jì)帶來的問題=J最當(dāng)自變量間存在多重共線性時(shí)，回歸系數(shù)估計(jì)的方差就很大，估計(jì)值就很不 穩(wěn)定。此時(shí)模型或數(shù)據(jù)的微小變化有可能造成系數(shù)估計(jì)的較大變化，對(duì)預(yù)測(cè)值產(chǎn) 生較大影響。下面進(jìn)一步用一個(gè)模擬的例子來說明這一點(diǎn)。例1假設(shè)已知X1，X2與y的關(guān)系服從線性回歸模型y = 10 + 2x + 3x + 給定，x2的10個(gè)值，如下表:表1.123456F-?8910Kz1. 11. 41.71.71.81. 81. 92.02.32.41. 11. 51.81.11.91. 81. 82. 12. 12.50.8-0.50.4-0.50.21. 91. 90.6-1. 5-1. (4)Y

2、i16.316.819.218.019.5201 921. 120.920.322.0現(xiàn)在我們假設(shè)回歸系數(shù)與誤差項(xiàng)是未知的，用普通最小二乘法 求回歸屋數(shù)的估計(jì)值得Pc=ll. 292 6 =11. 307pn =6. o91而原模型的會(huì)數(shù)Sc=10T B：=3看來相差太大：計(jì)算,忍的樣本相關(guān)系數(shù)得工廣0.986,表明迅與險(xiǎn)之間高度相關(guān)&、嶺回歸提出的背景嶺回歸是1970年由Hoerl和Kennard提出的，它是一種有偏估計(jì)，是對(duì)最小 二乘估計(jì)的改進(jìn)。設(shè)有多重線性回歸模型y = XP + 8，參數(shù)P的最小二乘估計(jì)為。=（xx）-1Xy貝gE(|B - p|)2 = b2tr (XX)-1D(|p

3、 - p|)2 = 2b4tr (XX)-2當(dāng)自變量出現(xiàn)多重共線性時(shí)，普通最小二乘估計(jì)明顯變壞。當(dāng)|XX| 0時(shí)，1廠就會(huì)變得很大，這時(shí)，盡管P是P的無偏估計(jì)，但p很不穩(wěn)定，在具體取值 i上與真值有較大的偏差，甚至?xí)霈F(xiàn)與實(shí)際意義不符的正負(fù)號(hào)。設(shè)想給XX加上一個(gè)正常數(shù)矩陣ki (k 0)，那么XX + kI接近奇異的程 度就會(huì)變小。先對(duì)數(shù)據(jù)作標(biāo)準(zhǔn)化，標(biāo)準(zhǔn)化后的設(shè)計(jì)陣仍用X表示。稱p(k)=(XX + kl)-iXy為嶺回歸估計(jì)。這里的k成為嶺參數(shù)。當(dāng) k = 0時(shí)的嶺回歸估計(jì)就是普通的最小二乘估計(jì)。因?yàn)閹X參數(shù)k不是唯一確定的，所以我們得到的嶺回歸估計(jì)p (k)實(shí)際是回 歸參數(shù)P的一個(gè)估計(jì)族，取

4、不同的k值時(shí)p (k)的取值不同。以k為橫坐標(biāo)， p (k)為縱坐標(biāo)的直角坐標(biāo)系，可分析P估計(jì)族的穩(wěn)定性。優(yōu)點(diǎn)：比最小二乘估計(jì)更穩(wěn)定三、嶺跡分析I 當(dāng)嶺參數(shù)k在(0,冷內(nèi)變化時(shí)，百母遑k的函數(shù)，在平面坐標(biāo)系 上把函數(shù)&(Q描畫出來,畫出的曲源為嶺跡在實(shí)際應(yīng)用中，可以根據(jù) 嶺跡曲線的變化形狀來確定適當(dāng)?shù)膋值和進(jìn)行自變量的辮.在嶺回歸中，嶺跡分析可用來了解各自變量的作用及自變量之間的相互關(guān) 系。下圖所反映的幾種有代表性的情況來說明嶺跡分析的作用。Any圖i.嶺跡圖四、嶺參數(shù)的選擇（一）方法由殘差平方和來確定k值Hoerl-Kennard 公式方差擴(kuò)大因子法嶺跡法嶺跡法的直觀考慮是，如果最小二乘估計(jì)

5、看來有不合理之處，如估計(jì)值以及 正負(fù)號(hào)不符合經(jīng)濟(jì)意義，則希望能通過采用適當(dāng)?shù)模╧）來加以一定程度的改善， k值得選擇就顯得尤為重要。選擇k值得一般原則是：（1）各回歸系數(shù)的嶺估計(jì)基本穩(wěn)定；（2）用最小二乘估計(jì)時(shí)符號(hào)不合理的回歸系數(shù)，其嶺估計(jì)的符號(hào)變得合理；（3）回歸系數(shù)沒有不合乎經(jīng)濟(jì)意義的絕對(duì)值；（4）殘差平方和增大不太多。圖2如上圖，當(dāng)k取ko時(shí)，各回歸系數(shù)的估計(jì)值基本上都能達(dá)到相對(duì)穩(wěn)定。缺點(diǎn)：用嶺跡法來確定k值缺少嚴(yán)格的令人信服的理論依據(jù)，存在一定的主 觀人為性.優(yōu)點(diǎn):恰好發(fā)揮定性分析與定量分析有機(jī)結(jié)合.（二）嶺回歸選擇變量的原則：（1）在嶺回歸中設(shè)計(jì)矩陣X已經(jīng)中心化和標(biāo)準(zhǔn)化了，這樣可以直

6、接比較標(biāo)準(zhǔn)化 嶺回歸系數(shù)的大小。可以剔除掉標(biāo)準(zhǔn)化嶺回歸系數(shù)比較穩(wěn)定且絕對(duì)值很小的自變 量。（2）隨著k的增加，回歸系數(shù)不穩(wěn)定，震動(dòng)趨于零的自變量也可以剔除。（3）如果依照上述去掉變量的原則，有若十個(gè)回歸系數(shù)不穩(wěn)定，究竟去掉幾個(gè)， 去掉哪幾個(gè)，這并無一般原則可循，這需根據(jù)去掉某個(gè)變量后重新進(jìn)行嶺回歸分 析的效果來確定。講稿一一嶺跡圖解說U)在圖4.1(a)中， 象0)=府D,且比較大.從古典回歸分析的觀點(diǎn)看，應(yīng) 將看作是對(duì)有重要搟響的因素。但的圖形顯示出相當(dāng)?shù)牟环€(wěn)定當(dāng)AW專 升始略增加時(shí).肩巧顯著地下降，礦I.退速趨于吼 因而失去預(yù)投能力.從嶺叫 UI的觀口肴，j；對(duì)y不宜重要乍用，掉至可以出掠

7、這個(gè)變量。以打圖相反的情況如圖4.(bj, E=0Nu但很小。從古曲分析看, 為對(duì)P的作用不大。但隨著#略增加：0.M)驟然變?yōu)樨?，從嶺M舊觀點(diǎn)上 無對(duì) Y有顯著影響【3)如圖4一 1(c),由=&(0)如 說明還比較顯著，但當(dāng)在增加時(shí)，迅速下 降，H.姬定為負(fù)伯，, M古血回U1分析看,電是對(duì)，仃，半杉響的顯著因素，而從 嶺M歸分析角度看.七要被看作是對(duì)丁有 變 博枸的I可素。l4)在圖4一 1心中，和四燈都很不穩(wěn)定，但其和卻大體上擔(dān)定.這種情 況往往筮生在自變量為和拒的相關(guān)性很大的場(chǎng)合，即在為和電之間存在藩重共 性的情形.區(qū)此，從變量選杵的觀點(diǎn)看,而者只要保存一個(gè)就夠J、這種情況訶用 來柄粹史些回心系數(shù)估計(jì)的符號(hào)不合理的情形，從實(shí)際觀點(diǎn)看，崗和禺不應(yīng)有相 反符號(hào)口嶺回歸分析的結(jié)果對(duì)這點(diǎn)提供了 -種解釋沖.I。在圖4.1沌中.而流)和衣都很不萄定，但其利卻大體上崔定。這種情 況往往旋生在自變量跑和為的相關(guān)性很大的場(chǎng)企，即在粗利死之間存在多重共線 性的情形。因此.從變U選擇的觀疚看，的君只要保存一個(gè)就夠。這種怙況N用 來解釋某些l|i/:|數(shù)的符號(hào)不合理的惜形，從實(shí)際觀點(diǎn)看.腐和壓不應(yīng)有相 反符5 嶺回Ml分析的結(jié)果對(duì)這點(diǎn)提供了一種解釋倒.從全局看叫 蜂跡分析W用來估祠在某-具體實(shí)例中最小二乘估計(jì)是否 活用，把所有回歸系數(shù)的嶺逃郡描任張圖上