線性判別分析LDA

1、線性判別分析（LDA）1介紹 線性判別分析(LinearDiscriminantAnalysis,LDA)，也叫做Fisher線性判別(FisherLinearDiscriminant,FLD)，是模式識(shí)別的經(jīng)典算法，1936年由Ronald Fisher首次提出，并在1996年由Belhumeur引入模式識(shí)別和人工智能領(lǐng)域。2基本思想 線性判別分析的基本思想是將高維的模式樣本投影到最佳鑒別矢量空間，以達(dá)到抽取分類信息和壓縮特征空間維數(shù)的效果。投影后保證模式樣本在新的子空間有最大的類間距離和最小的類內(nèi)距離，即模式在該空間中有最佳的可分離性。因此，它是一種有效的特征抽取方法。使用這種方法能夠使投

2、影后模式樣本的類間散布矩陣最大，并且同時(shí)類內(nèi)散布矩陣最小。3LDALDA與PCA(主成分分析)都是常用的降維技術(shù)。PCA主要是從特征的協(xié)方差角度，去找到比較好的投影方式。LDA更多的是考慮了標(biāo)注，即希望投影后不同類別之間數(shù)據(jù)點(diǎn)的距離更大，同一類別的數(shù)據(jù)點(diǎn)更緊湊。4下面給出一個(gè)例子，說(shuō)明LDA的目標(biāo)：可以看到兩個(gè)類別，一個(gè)綠色類別，一個(gè)紅色類別。左圖是兩個(gè)類別的原始數(shù)據(jù)，現(xiàn)在要求將數(shù)據(jù)從二維降維到一維。直接投影到x1軸或者x2軸，不同類別之間 會(huì)有重復(fù)，導(dǎo)致分類效果下降。右圖映射到的直線就是用LDA方法計(jì)算得到的，可以看到，紅色類別和綠色類別在映射之后之間的距離是最大的，而且每個(gè)類別內(nèi) 部點(diǎn)的離

3、散程度是最小的（或者說(shuō)聚集程度是最大的）。56LDA要說(shuō)明白LDA，首先得弄明白線性分類器(Linear Classifier)：因?yàn)長(zhǎng)DA是一種線性分類器。對(duì)于K-分類的一個(gè)分類問題，會(huì)有K個(gè)線性函數(shù)：當(dāng)滿足條件：對(duì)于所有的j，都有Yk Yj,的時(shí)候，我們就說(shuō)x屬于類別k。對(duì)于每一個(gè)分類，都有一個(gè)公式去算一個(gè)分值，在所有的公式得到的分值中，找一個(gè)最大的，就是所屬的分類。權(quán)向量（weight vector）法向量（normal vector）閾值（threshold）偏置（bias）7LDA上式實(shí)際上就是一種投影，是將一個(gè)高維的點(diǎn)投影到一條高維的直線上，LDA最求的目標(biāo)是，給出一個(gè)標(biāo)注了類別的

4、數(shù)據(jù)集，投影到了一條直線之后，能夠使得點(diǎn)盡量的按類別區(qū)分開，當(dāng)k=2即二分類問題的時(shí)候，如下圖所示：紅色的方形的點(diǎn)為0類的原始點(diǎn)、藍(lán)色的方形點(diǎn)為1類的原始點(diǎn)，經(jīng)過(guò)原點(diǎn)的那條線就是投影的直線，從圖上可以清楚的看到，紅色的點(diǎn)和藍(lán)色的點(diǎn)被原點(diǎn)明顯的分開了，這個(gè)數(shù)據(jù)只是隨便畫的，如果在高維的情況下，看起來(lái)會(huì)更好一點(diǎn)。下面我來(lái)推導(dǎo)一下二分類LDA問題的公式：8LDA假設(shè)用來(lái)區(qū)分二分類的直線（投影函數(shù))為：LDA分類的一個(gè)目標(biāo)是使得不同類別之間的距離越遠(yuǎn)越好，同一類別之中的距離越近越好，所以我們需要定義幾個(gè)關(guān)鍵的值:9LDA類別i的原始中心點(diǎn)(均值)為：（Di表示屬于類別i的點(diǎn)):類別i投影后的中心點(diǎn)為：

5、衡量類別i投影后，類別點(diǎn)之間的分散程度（方差）為：最終我們可以得到一個(gè)下面的公式，表示LDA投影到w后的目標(biāo)優(yōu)化函數(shù)：10LDA我們分類的目標(biāo)是，使得類別內(nèi)的點(diǎn)距離越近越好（集中），類別間的點(diǎn)越遠(yuǎn)越好。11LDA分母表示每一個(gè)類別內(nèi)的方差之和，方差越大表示一個(gè)類別內(nèi)的點(diǎn)越分散，分子為兩個(gè)類別各自的中心點(diǎn)的距離的平方，我們最大化J(w)就可以求出最優(yōu)的w12LDA我們定義一個(gè)投影前的各類別分散程度的矩陣，這個(gè)矩陣看起來(lái)有一點(diǎn)麻煩，其實(shí)意思是，如果某一個(gè)分類的輸入點(diǎn)集Di里面的點(diǎn)距離這個(gè)分類的中心店mi越近，則Si里面元素的值就越小，如果分類的點(diǎn)都緊緊地圍繞著mi，則Si里面的元素值越更接近0.帶

6、入Si，將J(w)分母化為：13LDA同樣的將J(w)分子化為：這樣目標(biāo)優(yōu)化函數(shù)可以化成下面的形式：推導(dǎo)過(guò)程忽略了，最后推導(dǎo)結(jié)果如下：14LDA對(duì)于N(N2)分類的問題，就可以直接寫出以下的結(jié)論：這同樣是一個(gè)求特征值的問題，求出的第i大的特征向量，即為對(duì)應(yīng)的Wi。15LDA在人臉識(shí)別中的應(yīng)用16主要應(yīng)用方法K-L變換奇異值分解基于主成分分析Fisher線性判別方法17主要應(yīng)用方法K-L變換為了得到彩色人臉圖像的主分量特征灰度圖像,可以采用Ohta3等人提出的最優(yōu)基來(lái)模擬K-L變換方法,從而得到新的包含了彩色圖像的絕大多數(shù)特征信息的主分量特征圖像. 18主要應(yīng)用方法奇異值分解(singular

7、value decomposition,簡(jiǎn)稱SVD)是一種有效的代數(shù)特征提取方法.由于奇異值特征在描述圖像時(shí)是穩(wěn)定的,且具有轉(zhuǎn)置不變性、旋轉(zhuǎn)不變性、位移不變性、鏡像變換不變性等重要性質(zhì),因此奇異值特征可以作為圖像的一種有效的代數(shù)特征描述。19主要應(yīng)用方法基于主成分分析(principal component analysis,簡(jiǎn)稱PCA)該方法將人臉圖像按行(列)展開所形成的一個(gè)高維向量看作是一種隨機(jī)向量,因此可以采用K-L變換獲得其正交K-L基底.對(duì)應(yīng)于其中較大特征值的基底具有與人臉相似的形狀,故稱其為特征臉.利用相對(duì)較小的Eigenface集描述人臉,這樣每幅人臉圖像就對(duì)應(yīng)于一個(gè)維數(shù)較低的

8、權(quán)向量,因此,人臉識(shí)別可以在降維后的空間上進(jìn)行.然而,該方法的缺點(diǎn)是,得到的特征在一般情況下是最佳描述特征(the most expressive features,簡(jiǎn)稱MEFs),而不是最佳分類特征(the most discriminating features,簡(jiǎn)稱MDFs).20主要應(yīng)用方法Fisher線性判別方法(Fisher linear discriminant analysis,簡(jiǎn)稱FLD)使投影后的模式樣本的類間散布矩陣最大而類內(nèi)散布矩陣最小,也就是說(shuō),投影后保證模式樣本在新的空間中有最大的類間距離和最小的類內(nèi)距離,即模式在該空間中有最佳的可分離性.Fisher線性判別分析提取的特征向量集強(qiáng)調(diào)的是不同人臉的差異而不是照明條