PCA主成分分析原理

PCA主成分分析principalcomponentanalysis內(nèi)容一、PCA背景二、主成分的定義及導(dǎo)出三、從相關(guān)陣出發(fā)求主成分四、主成分分析總結(jié)在模式識(shí)別中，一個(gè)常見(jiàn)的問(wèn)題就是特征選擇或特征提取，理論上我們要選擇與原始數(shù)據(jù)空間相同的維數(shù)。但是，為了簡(jiǎn)化計(jì)算，設(shè)計(jì)一種變換使得數(shù)據(jù)集由維數(shù)較少的“有效”特征來(lái)表示。找出數(shù)據(jù)中最“主要”的元素和結(jié)構(gòu)，去除噪音和冗余，將原有的復(fù)雜數(shù)據(jù)降維，揭示隱藏在復(fù)雜數(shù)據(jù)背后的簡(jiǎn)單結(jié)構(gòu)。一、主成分分析背景PCA的優(yōu)點(diǎn)是簡(jiǎn)單，而且無(wú)參數(shù)限制，可以方便的應(yīng)用與各個(gè)場(chǎng)合。

因此應(yīng)用極其廣泛，從神經(jīng)科學(xué)到計(jì)算機(jī)圖形學(xué)都有它的用武之地。被譽(yù)為應(yīng)用線(xiàn)形代數(shù)最價(jià)值的結(jié)果之一。

主成分分析由皮爾遜(Pearson,1901)首先引入，后來(lái)被霍特林(Hotelling,1933)開(kāi)展了。在PCA中，我們感興趣的是找到一個(gè)從原d維輸入空間到新的k維空間的具有最小信息損失的映射。X在方向w上的投影為：二、主成分的定義及導(dǎo)出設(shè)為一個(gè)n維隨機(jī)向量，主成分是這樣的，樣本投影到上之后被廣泛散布，使得樣本之間的差異變得最明顯，即最大化方差。設(shè)希望在約束條件下尋求向量，使最大化寫(xiě)成拉格朗日問(wèn)題現(xiàn)在關(guān)于求導(dǎo)并令其等于0，得到如果是的特征向量，是對(duì)應(yīng)的特征值，那么上式是成立的同時(shí)我們還得到為了使方差最大，選擇具有最大特征值的特征向量，因此，第一個(gè)主成分是輸入樣本協(xié)方差陣的具有最大特征值對(duì)應(yīng)的特征向量。第二個(gè)主成分也應(yīng)該最大化方差，具有單位長(zhǎng)度，并且與正交。對(duì)于第二個(gè)主成分，有關(guān)于

求導(dǎo)并令其為0，得到上式兩邊乘以得：其中可知β=0，并且可得這說(shuō)明應(yīng)該是的特征向量，具有第二大特征值類(lèi)似的，可以證明其它維被具有遞減的特征值的特征向量給出。另一種推導(dǎo)：，W是矩陣。如果建立一個(gè)矩陣C，其第i列是的標(biāo)準(zhǔn)化的特征向量，那么，并且三、從相關(guān)陣出發(fā)求主成分其中，D是對(duì)象矩陣，其對(duì)角線(xiàn)元素是特征值，稱(chēng)為的譜分解由于C是正交的，并且，在的左右兩邊乘以和C，得到如果那么為了使它等于一個(gè)對(duì)角矩陣,可以令W=C在實(shí)踐中，即使所有的特征值都大于0，某些特征值對(duì)方差的影響很小，并且可以喪失，因此，我們考慮例如奉獻(xiàn)90%以上方差的前k個(gè)主要成分，當(dāng)降序排列時(shí)，由前k個(gè)主要成分奉獻(xiàn)的方差比例為:實(shí)踐中，如果維是高度相關(guān)的，那么只有很少一局部特征向量具有較大的特征值，k遠(yuǎn)比n小，并且可能得到很大的維度歸約?？偡讲钪袑儆谥鞒煞值谋壤秊榉Q(chēng)為主成分的奉獻(xiàn)率。第一主成分的奉獻(xiàn)率最大，說(shuō)明它解釋原始變量的能力最強(qiáng)，而的解釋能力依次遞減。主成分分析的目的就是為了減少變量的個(gè)數(shù)，因而一般是不會(huì)使用所有主成分的，忽略一些帶有較小方差的主成分將不會(huì)給總方差帶來(lái)大的影響。前k個(gè)主成分的奉獻(xiàn)率之和稱(chēng)為主成分的累計(jì)奉獻(xiàn)率，它說(shuō)明解釋的能力。通常取較小的k,使得累計(jì)奉獻(xiàn)到達(dá)一個(gè)較高的百分比(如80％～90％)。此時(shí)，可用來(lái)代替,從而到達(dá)降維的目的，而信息的損失卻不多。在主成分分析中，我們首先應(yīng)保證所提取的前幾個(gè)主成分的累計(jì)奉獻(xiàn)率到達(dá)一個(gè)較高的水平，其次對(duì)這些被提取的主成分必須都能夠給出符合實(shí)際背景和意義的解釋。主成分的解釋其含義一般多少帶有點(diǎn)模糊性，不像原始變量的含義那么清楚、確切，這是變量降維過(guò)程中不得不付出的代價(jià)。四.主成分分析總結(jié)如果原始變量之間具有較高的相關(guān)性，那么前面少數(shù)幾個(gè)主成分的累計(jì)奉獻(xiàn)率通常就能