應用回歸分析（R語言版）（第2版） 課件 第8章 主成分回歸與偏最小二乘

第8章主成分回歸與偏最小二乘8.1主成分回歸8.2偏最小二乘8.3本章小結與評注2024/3/51中國人民大學六西格瑪質量管理研究中心8.1主成分回歸2024/3/52中國人民大學六西格瑪質量管理研究中心8.1.1主成分的基本思想主成分分析(PrincipalComponentsAnalysis，PCA)也稱為主量分析，利用一種降維的思想，在損失信息很少的前提下把多個指標利用正交旋轉變換轉化為幾個綜合指標。通常把轉化成的綜合指標稱為主成分，其中每個主成分都是原始變量的線性組合，且各個主成分之間互不相關。8.1主成分回歸設對某一事物的研究涉及p個指標，分別用表示。這p個指標構成的p維隨機向量為設隨機向量X的均值為，協(xié)方差矩陣為。對X進行線性變換，可以形成新的綜合變量，用Y表示，即滿足下式：2024/3/5中國人民大學六西格瑪質量管理研究中心32024/3/54中國人民大學六西格瑪質量管理研究中心8.1主成分回歸由于可以任意地對原始變量進行上述線性變換，得到的綜合變量Y的統(tǒng)計特性也不盡相同。因此為了取得較好的效果，我們總是希望的方差盡可能大且各之間互相獨立，由于而對于任意常數c，有因此，對不加限制時，可使任意增大，問題將變得沒有意義。我們將線性變換約束在下面的原則之下：2024/3/55中國人民大學六西格瑪質量管理研究中心8.1主成分回歸不相關的一切滿足原則(1)的線性組合中方差最大者；不相關的所有線性組合中方差最大者；…；不相關的的所有線性組合中方差最大者?；谝陨先龡l原則決定的綜合變量分別被稱為原始變量的第一、第二、…、第p個主成分。其中，各綜合變量在總方差中占的比重依次遞減。在實際研究工作中，通常只挑前幾個方差最大的主成分，從而達到簡化系統(tǒng)結構，抓住問題實質的目的。2024/3/56中國人民大學六西格瑪質量管理研究中心結論：設隨機向量的協(xié)方差矩陣為為相應特征值，為對應的特征向量，則第i個主成分為：8.1.2主成分的基本性質引論：設矩陣，將A的特征值依大小順序排列，不妨設為矩陣A各特征值對應的標準正交向量，則對任意向量x，有：8.1主成分回歸2024/3/57中國人民大學六西格瑪質量管理研究中心由以上結論，我們把的協(xié)方差陣的非零特征值對應的標準化特征向量分別作為系數向量，分別稱為隨機向量X的第一主成分、第二主成分、…、第p個主成分。性質1Y的協(xié)方差陣為對角陣，其中對角線上的值為。此時：8.1主成分回歸2024/3/58中國人民大學六西格瑪質量管理研究中心8.1主成分回歸性質2記稱為第k個主成分的方差貢獻率，稱為前m個主成分的累積貢獻率。性質3

式中，第k個主成分與原始變量的相關系數稱為因子負荷量，其絕對值大小刻畫了該主成分的主要意義及其成因。

性質4

2024/3/59中國人民大學六西格瑪質量管理研究中心8.1主成分回歸性質5

與前m個主成分的全相關系數平方和稱為

對

的方差貢獻率

，(i=1,2,…,p)。這一定義說明前m個主成分提取了原始變量中的信息，由此可以判斷提取的主成分解釋原始變量的能力。為了避免變量的量綱不同所產生的影響，先將數據中心標準化，中心標準化后的自變量樣本觀測數據矩陣是n行p列的矩陣，就是相關陣。2024/3/510中國人民大學六西格瑪質量管理研究中心例8-1下面以例3-3民航客運量的數據為例介紹主成分回歸方法。首先對5個自變量計算主成分，用R軟件進行計算并輸出相應的計算結果，見輸出結果8.1和輸出結果8.2。8.1主成分回歸2024/3/511中國人民大學六西格瑪質量管理研究中心8.1主成分回歸輸出結果8.1中Importanceofcomponents部分第一行是5個主成分的標準差，即主成分所對應的特征值的算術平方根

(k=1,2,…,p)；第二行是各主成分方差所占的比例，反映了主成分所能解釋數據變異的比例，也就是包含原數據的信息比例；第三行是累積比例。第一個主成分Comp.1的方差百分比為79.826%，含有原始5個變量近80%的信息量；前兩個主成分累積百分比為98.468%，幾乎包含了5個變量的全部信息，因此取兩個主成分已經足夠。8.1主成分回歸2024/3/512中國人民大學六西格瑪質量管理研究中心另外，Loadings部分輸出的矩陣為各主成分表達式中的系數，其中空白部分為默認的未輸出的<0.1的值，這個系數矩陣即是由(k,

i=1,2,…,p)構成的矩陣，不妨記為U，其中U的第i列即第i個特征值對應的特征向量。由于分析是由標準化的數據出發(fā)而使用的相關陣，故

(i=1,2,…,p)，U為自變量相關陣的特征向量所構成的矩陣，所以第k個主成分對變量的因子負荷量為(k,i=1,2,…,p)。因此，由矩陣U很容易計算得到因子載荷陣。8.1主成分回歸2024/3/513中國人民大學六西格瑪質量管理研究中心2024/3/514中國人民大學六西格瑪質量管理研究中心為了做主成分回歸，我們需要計算主成分的得分

(i=1,2,…,n)，其中

為標準化后的第i個樣本值。由于前兩個主成分的方差累積貢獻率已經達到98.468%，只需保留前兩個主成分，此處只輸出前兩個主成分的得分，見右圖。8.1主成分回歸2024/3/515中國人民大學六西格瑪質量管理研究中心現在用y對前兩個主成分做普通最小二乘回歸，R代碼如下：在R中運行該代碼，得到如下結果：8.1主成分回歸2024/3/516中國人民大學六西格瑪質量管理研究中心8.1主成分回歸2024/3/517中國人民大學六西格瑪質量管理研究中心由以上輸出結果可知，標準化后的y（記為

）對兩個主成分做普通最小二乘估計，得到主成分的回歸方程為：由于主成分是標準化后自變量的線性組合，如果想要得到關于標準化后的五個自變量的回歸方程，只需分別將下面兩個式子代入上式即可得到此時回歸方程中每個回歸系數的符號也都能夠合理地解釋。8.1主成分回歸8.2偏最小二乘法當時，最小二乘法就可以求出，然而當k>n，通常的最小二乘法無法進行。2024/3/518中國人民大學六西格瑪質量管理研究中心在經濟問題的研究中遇到的回歸問題往往有兩個特點：一是自變量的數目比較多，常會碰到有幾十個自變量，而觀察的時點并不多的情況。二是回歸方程建立后主要的應用是預測。用符號來表示，即對因變量y和自變量觀測n組數據：（8.1）假定它們之間有關系式（8.2）式中，為誤差項。用觀測值去估計式(8.2)，得到回歸方程：（8.3）2024/3/519中國人民大學六西格瑪質量管理研究中心8.2偏最小二乘法從式(8.2)來看，我們并不需要很多自變量，實際上只要的一個線性函數就行了。通常的最小二乘法，就是尋求

的線性函數中與y的相關系數絕對值達到最大的一個。這時需求

的逆矩陣，其中X是由所有自變量的觀測值組成的矩陣。當k>n時，

是一個奇異矩陣，無法求逆。主成分回歸(PCR)就不求的逆，而直接求的特征根。因此將y

對前幾個主成分做回歸就可以了，這就是PCR的主要想法。PCR雖然解決了k>n這一矛盾，但它選主成分的方法與因變量y無關，只跟自變量有關。2024/3/520中國人民大學六西格瑪質量管理研究中心8.2偏最小二乘法偏最小二乘(PartialLeastSquares，PLS)在這一點上與PCR不同，它尋找的線性函數時，考慮與y的相關性，選擇與y相關性較強又能方便算出的的線性函數。它的算法是最小二乘，但是它只考慮偏向與y有關的一部分，所以稱為偏最小二乘。具體的選法與最小二乘法有關，所以先回憶一下最小二乘法的公式對理解PLS很有好處。2024/3/521中國人民大學六西格瑪質量管理研究中心考慮一元線性回歸情況。共觀測了

組數據，

，當這些數據的均值為0時，有：式中，為觀測值向量。PLS就是反復利用式(8.5)。8.2偏最小二乘法2024/3/522中國人民大學六西格瑪質量管理研究中心首先將數據中心化，中心化之后得到的相應的各自的均值都是0。將對每個自變量單獨做回歸，用式(8.5)可得其中表示資料向量，表示自變量(不是數據)。8.2偏最小二乘法2024/3/523中國人民大學六西格瑪質量管理研究中心令將作為自變量，y作因變量建立回歸方程，由式(8.5)得將式(8.7)右端的量加權后，用記相應的權，就得到它相應的n個數據資料是8.2偏最小二乘法2024/3/524中國人民大學六西格瑪質量管理研究中心于是得殘差?？紤]到殘差中不再含

的信息，因此各個自變量的作用對y而言，含的部分已不具新的信息，都應刪去。也就是將每個自變量對

求回歸，得回歸方程和預測值利用上式預測y，得預測值向量：8.2偏最小二乘法2024/3/525中國人民大學六西格瑪質量管理研究中心相應的殘差。于是將作為新的原始資料，重復上述步驟，逐步求得的秩。最后利用y對用普通最小二乘方法進行回歸分析，經過變量間的轉換，最終可得到y(tǒng)對的回歸方程，這種求回歸方程的方法就稱為PLS法，即偏最小二乘法。8.2偏最小二乘法2024/3/526中國人民大學六西格瑪質量管理研究中心偏最小二乘的算法從上面構造

的過程可得如下的算法(X，y資料已中心化，rank(X)=r)：8.2偏最小二乘法2024/3/527中國人民大學六西格瑪質量管理研究中心上述算法完全體現了PLS的想法。1988年赫蘭(Helland)導出了一個更為簡單的算法。引入記號赫蘭證明了對a=1,2,…,r

都成立。于是PLS算法可改為：8.2偏最小二乘法2024/3/528中國人民大學六西格瑪質量管理研究中心上述算法中都存在一個問題，就是這個算法何時結束，什么是合適的a，是否一定要算到某個中的一列全是0為止？一般來說，可以自己規(guī)定一個你認為最切合所研究問題的標準。已有的運用PLS的情況中，大都使用交叉驗證(cross-validation)法。這個方法是這樣的：從資料X，y中刪去第l組資料，刪去后的X，y用表示。把作為原始資料，用PLS算出預測方程中的表達式，然后用表示這個預測方程的預測值，將代入得到預測值

，殘差

就反映了第a步預測方程的好壞在第l組資料上的體現，于是8.2偏最小二乘法2024/3/529中國人民大學六西格瑪質量管理研究中心就在整體上反映了第a步預測方程的好壞。把這個值記為損失L(a)，自然應該選a使L(a)達到最小，即應該選使正因為使用了這個交叉驗證方法，選出的預測方程效果往往比較好。R軟件中建立偏最小二乘回歸方程的函數plsr()中包含了四種PLS算法，使用時可以根據實際情況選擇不同的算法，其默認的算法為Kernel。由于Kernel算法的計算效率較高，建立偏最小二乘回歸通常會選擇使用該算法。8.2偏最小二乘法2024/3/530中國人民大學六西格瑪質量管理研究中心偏最小二乘的應用例8-2對發(fā)電量需求和工業(yè)產量的關系進行建模，因變量y為發(fā)電量產量(億千瓦時)，自變量

為原煤產量(億噸)，

為原油產量(萬噸)，

為天然氣產量(億立方米)，

為生鐵產量(萬噸)，

為紗產量(萬噸)，

為硫酸產量(萬噸)，

為燒堿(折100%)產量(萬噸)，

為純堿產量(萬噸)，

為農用化肥產量(萬噸)，

為水泥產量(萬噸)，

為平板玻璃產量(萬重量箱)，

為鋼產量(萬噸)，

為成品鋼材產量(萬噸)。數據見書上表8-1。13x8.2偏最小二乘法2024/3/531中國人民大學六西格瑪質量管理研究中心在k≥n的情況下，無法使用普通最小二乘估計方法建立回歸模型，此時可以運用偏最小二乘方法。R中在使用函數plsr()建立偏最小二乘回歸方程前，首先需要加載pls包，具體的計算代碼及運行結果如下。8.2偏最小二乘法2024/3/532中國人民大學六西格瑪質量管理研究中心8.2偏最小二乘法2024/3/533中國人民大學六西格瑪質量管理研究中心上述為使用了所有主成分進行回歸所得到的結果，從回歸結果中可以看出，主成分個數為3個時，模型在經過留一交叉驗證法后求得的RMSEP總和較小，且隨著成分個數的增加，RMSEP值未出現明顯減少，同時3個主成分對各個因變量的累積貢獻率均高于99%，因此將回歸的主成分個數定為m=3。下面給出主成分為3時的回歸方程計算代碼及輸出結果8.4。8.2偏最小二乘法2024/3/534中國人民大學六西格瑪質量管理研究中心8.2偏最小二乘法2024/3/535中國人民大學六西格瑪質量管理研究中心由以上結果可知，對于標準化后的數據

對所有自變量的回歸方程為：將回歸方程中的變量還原為原始變量：8.2偏最小二乘法8.3本章小結與評注一、主成分回歸可以用于n小于p的情形可以用于多重共線性情形建模效果有一定改進2024/3/536中國人民大學六西格瑪質量管理研究中心關于主成分回歸的質疑1、主成分是自變量的線性組合，能保證它與Y有相關性嗎？萬一主成分與Y

無關呢？2、1998年AliS.Hadi

和RobertF.Ling在TheAmericanStatistician上發(fā)文章(SomeCautionaryNotesontheUseofPrincipalComponentsRegression)給了個例子，前k-1個主成分與因變量一點關系都沒有，而最后一個主成分解釋了因變量所有的變異。3、甚至有人認為沒有必要給人們推薦主成分回歸了，過時了，但是即使在今天的美國的統(tǒng)計課上，講到多重共線性問題的時候教授們還在推薦PCR。2024/3/537中國人民大學六西格瑪質量管理研究中心1975年H.wold

在經濟學研究中引入了PLS進行路徑分析，創(chuàng)建了非線性迭代PLS算法(NonlinearIterativePartialLeastSquaresalgorithm)，1983年H.wold的兒子Swold和Albano提出PLSR的概念，用來解決計量化學中n