PCA主成分分析原理

PCA主成分分析principalcomponentanalysis內(nèi)容一、PCA背景二、主成分的定義及導(dǎo)出三、從相關(guān)陣出發(fā)求主成分四、主成分分析總結(jié)在模式識別中，一個常見的問題就是特征選擇或特征提取，理論上我們要選擇與原始數(shù)據(jù)空間相同的維數(shù)。但是，為了簡化計算，設(shè)計一種變換使得數(shù)據(jù)集由維數(shù)較少的“有效”特征來表示。找出數(shù)據(jù)中最“主要”的元素和結(jié)構(gòu)，去除噪音和冗余，將原有的復(fù)雜數(shù)據(jù)降維，揭示隱藏在復(fù)雜數(shù)據(jù)背后的簡單結(jié)構(gòu)。一、主成分分析背景PCA的優(yōu)點是簡單，而且無參數(shù)限制，可以方便的應(yīng)用與各個場合。

因此應(yīng)用極其廣泛，從神經(jīng)科學到計算機圖形學都有它的用武之地。被譽為應(yīng)用線形代數(shù)最價值的結(jié)果之一。

主成分分析由皮爾遜(Pearson,1901)首先引入，后來被霍特林(Hotelling,1933)發(fā)展了。在PCA中，我們感興趣的是找到一個從原d維輸入空間到新的k維空間的具有最小信息損失的映射。X在方向w上的投影為：二、主成分的定義及導(dǎo)出設(shè)為一個n維隨機向量，主成分是這樣的，樣本投影到上之后被廣泛散布，使得樣本之間的差別變得最明顯，即最大化方差。設(shè)希望在約束條件下尋求向量，使最大化寫成拉格朗日問題現(xiàn)在關(guān)于求導(dǎo)并令其等于0，得到如果是的特征向量，是對應(yīng)的特征值，則上式是成立的同時我們還得到為了使方差最大，選擇具有最大特征值的特征向量，因此，第一個主成分是輸入樣本協(xié)方差陣的具有最大特征值對應(yīng)的特征向量。第二個主成分也應(yīng)該最大化方差，具有單位長度，并且與正交。對于第二個主成分，有關(guān)于

求導(dǎo)并令其為0，得到上式兩邊乘以得：其中可知β=0，并且可得這表明應(yīng)該是的特征向量，具有第二大特征值

類似的，可以證明其它維被具有遞減的特征值的特征向量給出。另一種推導(dǎo)：，W是矩陣。如果建立一個矩陣C，其第i列是的規(guī)范化的特征向量，則，并且三、從相關(guān)陣出發(fā)求主成分其中，D是對象矩陣，其對角線元素是特征值

，稱為的譜分解由于C是正交的，并且，在的左右兩邊乘以和C，得到如果則為了使它等于一個對角矩陣,可以令W=C在實踐中，即使所有的特征值都大于0，某些特征值對方差的影響很小，并且可以丟失，因此，我們考慮例如貢獻90%以上方差的前k個主要成分，當降序排列時，由前k個主要成分貢獻的方差比例為:實踐中，如果維是高度相關(guān)的，則只有很少一部分特征向量具有較大的特征值，k遠比n小，并且可能得到很大的維度歸約。總方差中屬于主成分的比例為稱為主成分的貢獻率。第一主成分的貢獻率最大，表明它解釋原始變量的能力最強，而的解釋能力依次遞減。主成分分析的目的就是為了減少變量的個數(shù)，因而一般是不會使用所有主成分的，忽略一些帶有較小方差的主成分將不會給總方差帶來大的影響。前k個主成分的貢獻率之和稱為主成分的累計貢獻率，它表明

解釋的能力。

通常取較小的k,使得累計貢獻達到一個較高的百分比(如80％～90％)。此時，可用來代替,從而達到降維的目的，而信息的損失卻不多。在主成分分析中，我們首先應(yīng)保證所提取的前幾個主成分的累計貢獻率達到一個較高的水平，其次對這些被提取的主成分必須都能夠給出符合實際背景和意義的解釋。主成分的解釋其含義一般多少帶有點模糊性，不像原始變量的含義那么清楚、確切，這是變量降維過程中不得不付出的代價。四.主成分分析總結(jié)如果原始變量之間具有較高的相關(guān)性，則前面少數(shù)幾個主成分的累計貢獻