線(xiàn)性判別分析LDA課件

線(xiàn)性判別分析（LDA）線(xiàn)性判別分析（LDA）1介紹線(xiàn)性判別分析(Linear

Discriminant

Analysis,

LDA)，也叫做Fisher線(xiàn)性判別(Fisher

Linear

Discriminant

,FLD)，是模式識(shí)別的經(jīng)典算法，1936年由RonaldFisher首次提出，并在1996年由Belhumeur引入模式識(shí)別和人工智能領(lǐng)域。介紹線(xiàn)性判別分析(Linear

Discrimina2基本思想線(xiàn)性判別分析的基本思想是將高維的模式樣本投影到最佳鑒別矢量空間，以達(dá)到抽取分類(lèi)信息和壓縮特征空間維數(shù)的效果。投影后保證模式樣本在新的子空間有最大的類(lèi)間距離和最小的類(lèi)內(nèi)距離，即模式在該空間中有最佳的可分離性。因此，它是一種有效的特征抽取方法。使用這種方法能夠使投影后模式樣本的類(lèi)間散布矩陣最大，并且同時(shí)類(lèi)內(nèi)散布矩陣最小。基本思想線(xiàn)性判別分析的基本思想是將高維的模式樣本投影3LDALDA與PCA(主成分分析)都是常用的降維技術(shù)。PCA主要是從特征的協(xié)方差角度，去找到比較好的投影方式。LDA更多的是考慮了標(biāo)注，即希望投影后不同類(lèi)別之間數(shù)據(jù)點(diǎn)的距離更大，同一類(lèi)別的數(shù)據(jù)點(diǎn)更緊湊。LDALDA與PCA(主成分分析)都是常用的降維技術(shù)。PCA4下面給出一個(gè)例子，說(shuō)明LDA的目標(biāo)：可以看到兩個(gè)類(lèi)別，一個(gè)綠色類(lèi)別，一個(gè)紅色類(lèi)別。左圖是兩個(gè)類(lèi)別的原始數(shù)據(jù)，現(xiàn)在要求將數(shù)據(jù)從二維降維到一維。直接投影到x1軸或者x2軸，不同類(lèi)別之間會(huì)有重復(fù)，導(dǎo)致分類(lèi)效果下降。右圖映射到的直線(xiàn)就是用LDA方法計(jì)算得到的，可以看到，紅色類(lèi)別和綠色類(lèi)別在映射之后之間的距離是最大的，而且每個(gè)類(lèi)別內(nèi)部點(diǎn)的離散程度是最小的（或者說(shuō)聚集程度是最大的）。下面給出一個(gè)例子，說(shuō)明LDA的目標(biāo)：可以看到兩個(gè)類(lèi)別，一個(gè)綠5線(xiàn)性判別分析LDAppt課件6LDA要說(shuō)明白LDA，首先得弄明白線(xiàn)性分類(lèi)器(LinearClassifier)：因?yàn)長(zhǎng)DA是一種線(xiàn)性分類(lèi)器。對(duì)于K-分類(lèi)的一個(gè)分類(lèi)問(wèn)題，會(huì)有K個(gè)線(xiàn)性函數(shù)：當(dāng)滿(mǎn)足條件：對(duì)于所有的j，都有Yk>Yj,的時(shí)候，我們就說(shuō)x屬于類(lèi)別k。對(duì)于每一個(gè)分類(lèi)，都有一個(gè)公式去算一個(gè)分值，在所有的公式得到的分值中，找一個(gè)最大的，就是所屬的分類(lèi)。權(quán)向量（weightvector）法向量（normalvector）閾值（threshold）偏置（bias）LDA要說(shuō)明白LDA，首先得弄明白線(xiàn)性分類(lèi)器(Linear7LDA上式實(shí)際上就是一種投影，是將一個(gè)高維的點(diǎn)投影到一條高維的直線(xiàn)上，LDA最求的目標(biāo)是，給出一個(gè)標(biāo)注了類(lèi)別的數(shù)據(jù)集，投影到了一條直線(xiàn)之后，能夠使得點(diǎn)盡量的按類(lèi)別區(qū)分開(kāi)，當(dāng)k=2即二分類(lèi)問(wèn)題的時(shí)候，如下圖所示：紅色的方形的點(diǎn)為0類(lèi)的原始點(diǎn)、藍(lán)色的方形點(diǎn)為1類(lèi)的原始點(diǎn)，經(jīng)過(guò)原點(diǎn)的那條線(xiàn)就是投影的直線(xiàn)，從圖上可以清楚的看到，紅色的點(diǎn)和藍(lán)色的點(diǎn)被原點(diǎn)明顯的分開(kāi)了，這個(gè)數(shù)據(jù)只是隨便畫(huà)的，如果在高維的情況下，看起來(lái)會(huì)更好一點(diǎn)。下面我來(lái)推導(dǎo)一下二分類(lèi)LDA問(wèn)題的公式：LDA上式實(shí)際上就是一種投影，是將一個(gè)高維的點(diǎn)投影到一條高維8LDA假設(shè)用來(lái)區(qū)分二分類(lèi)的直線(xiàn)（投影函數(shù))為：LDA分類(lèi)的一個(gè)目標(biāo)是使得不同類(lèi)別之間的距離越遠(yuǎn)越好，同一類(lèi)別之中的距離越近越好，所以我們需要定義幾個(gè)關(guān)鍵的值:LDA假設(shè)用來(lái)區(qū)分二分類(lèi)的直線(xiàn)（投影函數(shù))為：9LDA類(lèi)別i的原始中心點(diǎn)(均值)為：（Di表示屬于類(lèi)別i的點(diǎn)):類(lèi)別i投影后的中心點(diǎn)為：衡量類(lèi)別i投影后，類(lèi)別點(diǎn)之間的分散程度（方差）為：最終我們可以得到一個(gè)下面的公式，表示LDA投影到w后的目標(biāo)優(yōu)化函數(shù)：LDA類(lèi)別i的原始中心點(diǎn)(均值)為：（Di表示屬于類(lèi)別i的點(diǎn)10LDA我們分類(lèi)的目標(biāo)是，使得類(lèi)別內(nèi)的點(diǎn)距離越近越好（集中），類(lèi)別間的點(diǎn)越遠(yuǎn)越好。LDA我們分類(lèi)的目標(biāo)是，使得類(lèi)別內(nèi)的點(diǎn)距離越近越好（集中），11LDA分母表示每一個(gè)類(lèi)別內(nèi)的方差之和，方差越大表示一個(gè)類(lèi)別內(nèi)的點(diǎn)越分散，分子為兩個(gè)類(lèi)別各自的中心點(diǎn)的距離的平方，我們最大化J(w)就可以求出最優(yōu)的wLDA分母表示每一個(gè)類(lèi)別內(nèi)的方差之和，方差越大表示一個(gè)類(lèi)別內(nèi)12LDA我們定義一個(gè)投影前的各類(lèi)別分散程度的矩陣，這個(gè)矩陣看起來(lái)有一點(diǎn)麻煩，其實(shí)意思是，如果某一個(gè)分類(lèi)的輸入點(diǎn)集Di里面的點(diǎn)距離這個(gè)分類(lèi)的中心店mi越近，則Si里面元素的值就越小，如果分類(lèi)的點(diǎn)都緊緊地圍繞著mi，則Si里面的元素值越更接近0.帶入Si，將J(w)分母化為：LDA我們定義一個(gè)投影前的各類(lèi)別分散程度的矩陣，這個(gè)矩陣看起13LDA同樣的將J(w)分子化為：這樣目標(biāo)優(yōu)化函數(shù)可以化成下面的形式：

推導(dǎo)過(guò)程忽略了，最后推導(dǎo)結(jié)果如下：LDA同樣的將J(w)分子化為：14LDA對(duì)于N(N>2)分類(lèi)的問(wèn)題，就可以直接寫(xiě)出以下的結(jié)論：這同樣是一個(gè)求特征值的問(wèn)題，求出的第i大的特征向量，即為對(duì)應(yīng)的Wi。LDA對(duì)于N(N>2)分類(lèi)的問(wèn)題，就可以直接寫(xiě)出以下的結(jié)論：15LDA在人臉識(shí)別中的應(yīng)用LDA在人臉識(shí)別中的應(yīng)用16主要應(yīng)用方法 K-L變換

奇異值分解

基于主成分分析 Fisher線(xiàn)性判別方法主要應(yīng)用方法 K-L變換17主要應(yīng)用方法K-L變換為了得到彩色人臉圖像的主分量特征灰度圖像,可以采用Ohta[3]等人提出的最優(yōu)基來(lái)模擬K-L變換方法,從而得到新的包含了彩色圖像的絕大多數(shù)特征信息的主分量特征圖像.主要應(yīng)用方法K-L變換18主要應(yīng)用方法奇異值分解(singularvaluedecomposition,簡(jiǎn)稱(chēng)SVD)是一種有效的代數(shù)特征提取方法.由于奇異值特征在描述圖像時(shí)是穩(wěn)定的,且具有轉(zhuǎn)置不變性、旋轉(zhuǎn)不變性、位移不變性、鏡像變換不變性等重要性質(zhì),因此奇異值特征可以作為圖像的一種有效的代數(shù)特征描述。主要應(yīng)用方法奇異值分解(singularvaluedec19主要應(yīng)用方法基于主成分分析(principalcomponentanalysis,簡(jiǎn)稱(chēng)PCA)該方法將人臉圖像按行(列)展開(kāi)所形成的一個(gè)高維向量看作是一種隨機(jī)向量,因此可以采用K-L變換獲得其正交K-L基底.對(duì)應(yīng)于其中較大特征值的基底具有與人臉相似的形狀,故稱(chēng)其為特征臉.利用相對(duì)較小的Eigenface集描述人臉,這樣每幅人臉圖像就對(duì)應(yīng)于一個(gè)維數(shù)較低的權(quán)向量,因此,人臉識(shí)別可以在降維后的空間上進(jìn)行.然而,該方法的缺點(diǎn)是,得到的特征在一般情況下是最佳描述特征(themostexpressivefeatures,簡(jiǎn)稱(chēng)MEFs),而不是最佳分類(lèi)特征(themostdiscriminatingfeatures,簡(jiǎn)稱(chēng)MDFs).主要應(yīng)用方法基于主成分分析(principalcompon20主要應(yīng)用方法Fisher線(xiàn)性判別方法(Fisherlineardiscriminantanalysis,簡(jiǎn)稱(chēng)FLD)使投影后的模式樣本的類(lèi)間散布矩陣最大而類(lèi)內(nèi)散布矩陣最小,也就是說(shuō),投影后保證模式樣本在新的空間中有最大的類(lèi)間距離和最小的類(lèi)內(nèi)距離,即模式在該空間中有最佳的可分離性.Fisher線(xiàn)性判別分析提取的特征向量集強(qiáng)調(diào)的是不同人臉的差異而不是照明條件、人臉表情和方向的變化.因而,采用FL