線性判別分析LDA與主成分分析PCA

線性判別分析（LDA）

與

主成分分析（PCA）重慶大學(xué)

余俊良

第一部分

線性判別分析（LDA）

介紹線性判別分析(Linear

Discriminant

Analysis,

LDA)，也叫做Fisher線性判別(Fisher

Linear

Discriminant

,FLD)，是模式識別的經(jīng)典算法，1936年由RonaldFisher首次提出，并在1996年由Belhumeur引入模式識別和人工智能領(lǐng)域。例子舉一個例子，假設(shè)我們對一張100*100像素的圖片做人臉識別，每個像素是一個特征，那么會有10000個特征，而對應(yīng)的類別標簽y僅僅是0，1值，1代表是人臉。這么多特征不僅訓(xùn)練復(fù)雜，而且不必要特征對結(jié)果會帶來不可預(yù)知的影響，但我們想得到降維后的一些最佳特征（與y關(guān)系最密切的），怎么辦呢？基本思想線性判別分析的基本思想是將高維的模式樣本投影到最佳鑒別矢量空間，以達到抽取分類信息和壓縮特征空間維數(shù)的效果。投影后保證模式樣本在新的子空間有最大的類間距離和最小的類內(nèi)距離，即模式在該空間中有最佳的可分離性。因此，它是一種有效的特征抽取方法。使用這種方法能夠使投影后模式樣本的類間散布矩陣最大，并且同時類內(nèi)散布矩陣最小。下面給出一個例子，說明LDA的目標：可以看到兩個類別，一個綠色類別，一個紅色類別。左圖是兩個類別的原始數(shù)據(jù)，現(xiàn)在要求將數(shù)據(jù)從二維降維到一維。直接投影到x1軸或者x2軸，不同類別之間會有重復(fù)，導(dǎo)致分類效果下降。右圖映射到的直線就是用LDA方法計算得到的，可以看到，紅色類別和綠色類別在映射之后之間的距離是最大的，而且每個類別內(nèi)部點的離散程度是最小的（或者說聚集程度是最大的）。LDA要說明白LDA，首先得弄明白線性分類器(LinearClassifier)：因為LDA是一種線性分類器。對于K-分類的一個分類問題，會有K個線性函數(shù)：當滿足條件：對于所有的j，都有Yk>Yj,的時候，我們就說x屬于類別k。對于每一個分類，都有一個公式去算一個分值，在所有的公式得到的分值中，找一個最大的，就是所屬的分類。權(quán)向量（weightvector）法向量（normalvector）閾值（threshold）偏置（bias）LDA上式實際上就是一種投影，是將一個高維的點投影到一條高維的直線上，LDA的目標是，給出一個標注了類別的數(shù)據(jù)集，投影到了一條直線之后，能夠使得點盡量的按類別區(qū)分開，當k=2即二分類問題的時候，如下圖所示：紅色的方形的點為0類的原始點、藍色的方形點為1類的原始點，經(jīng)過原點的那條線就是投影的直線，從圖上可以清楚的看到，紅色的點和藍色的點被原點明顯的分開了。下面我來推導(dǎo)一下二分類LDA問題的公式：LDA假設(shè)用來區(qū)分二分類的直線（投影函數(shù))為：LDA分類的一個目標是使得不同類別之間的距離越遠越好，同一類別之中的距離越近越好，所以我們需要定義幾個關(guān)鍵的值:類別i的原始中心點(均值)為：（Di表示屬于類別i的點):類別i投影后的中心點為：衡量類別i投影后，類別點之間的分散程度（方差）為：最終我們可以得到一個下面的公式，表示LDA投影到w后的目標優(yōu)化函數(shù)：LDA我們分類的目標是，使得類別內(nèi)的點距離越近越好（集中），類別間的點越遠越好。分母表示每一個類別內(nèi)的方差之和，方差越大表示一個類別內(nèi)的點越分散，分子為兩個類別各自的中心點的距離的平方，我們最大化J(w)就可以求出最優(yōu)的wLDA我們定義一個投影前的各類別分散程度的矩陣，其意思是，如果某一個分類的輸入點集Di里面的點距離這個分類的中心點mi越近，則Si里面元素的值就越小，如果分類的點都緊緊地圍繞著mi，則Si里面的元素值越更接近0.帶入Si，將J(w)分母化為：LDA同樣的將J(w)分子化為：這樣目標優(yōu)化函數(shù)可以化成下面的形式：LDA

LDA

LDA至此，我們只需要求出原始樣本的均值和方差就可以求出最佳的方向w，這就是Fisher于1936年提出的線性判別分析。

看上面二維樣本的投影結(jié)果圖：LDA對于N(N>2)分類的問題，就可以直接寫出以下的結(jié)論：這同樣是一個求廣義特征值的問題，求出的第i大的特征向量，即為對應(yīng)的Wi。（此處推導(dǎo)過程見附錄PDF）

第二部分

主成分分析（PCA）

介紹在實際問題中，我們經(jīng)常會遇到研究多個變量的問題，而且在多數(shù)情況下，多個變量之間常常存在一定的相關(guān)性。由于變量個數(shù)較多再加上變量之間的相關(guān)性，勢必增加了分析問題的復(fù)雜性。如何從多個變量中綜合為少數(shù)幾個代表性變量，既能夠代表原始變量的絕大多數(shù)信息，又互不相關(guān)，并且在新的綜合變量基礎(chǔ)上，可以進一步的統(tǒng)計分析，這時就需要進行主成分分析。基本思想主成分分析所要做的就是設(shè)法將原來眾多具有一定相關(guān)性的變量，重新組合為一組新的相互無關(guān)的綜合變量來代替原來變量。通常，數(shù)學(xué)上的處理方法就是將原來的變量做線性組合，作為新的綜合變量，但是這種組合如果不加以限制，則可以有很多，應(yīng)該如何選擇呢？基本思想如果將選取的第一個線性組合即第一個綜合變量記為F1

，自然希望它盡可能多地反映原來變量的信息，這里“信息”用方差來測量，即希望Var(F1)越大，表示F1包含的信息越多。因此在所有的線性組合中所選取的F1應(yīng)該是方差最大的，故稱F1為第一主成分。如果第一主成分不足以代表原來p個變量的信息