KL變換與主成分分析Word版

1、主成分分析（PCA）是多元統(tǒng)計分析中用來分析數(shù)據(jù)的一種方法，它是用一種較少數(shù) 量的特征對樣本進(jìn)行描述以達(dá)到降低特征空間維數(shù)的方法，它的本質(zhì)實(shí)際上是K-L變換。PCA方法最著名的應(yīng)用應(yīng)該是在人臉識別中特征提取及數(shù)據(jù)維，我們知 道輸入200*200大小的人臉圖像，單單提取它的灰度值作為原始特征，則這個原始特征將達(dá)到40000維，這給后面分類器的處理將帶來極大的難度。著名 的人臉識別Eigenface算法就是采用PCA算法，用一個低維子空間描述人臉圖像，同時用保存了識別所需要的信息。下面先介紹下PCA算法的本質(zhì)K- L變換。1、K-L變換（卡洛南-洛伊（Karhunen-Loeve）變換）：最優(yōu)正交

2、變換  · 一種常用的特征提取方法；· 最小均方誤差意義下的最優(yōu)正交變換；· 在消除模式特征之間的相關(guān)性、突出差異性方面有最優(yōu)的效果。離散K-L變換：對向量x（可以想象成 M維=width*height 的人臉圖像原始特征）用確定的完備正交歸一向量系uj展開：   這個公式由來我想應(yīng)該是任一n維歐式空間V均存在正交基，利用施密特正交化過程即可構(gòu)建這個正交基?，F(xiàn)在我們希望用d個有限項(xiàng)來估計向量x，公式如下： 計算該估計的均方誤差如下：  要使用均方誤差最小，我們采用L

3、angrange乘子法進(jìn)行求解：                                                             因此，當(dāng)滿足上式時，取得最小值。  即相關(guān)矩陣R的d個特征向量（對應(yīng)d個特征值從大到小排列）為基向量來展開

4、向量x時，其均方誤差最小，為： 因此，K-L變換定義：當(dāng)取矩陣R的d個最大特征值對應(yīng)的特征向量來展開x時，其截斷均方誤差最小。這d個特征向量組成的正交坐標(biāo)系稱作x所在的D維空間的d維K-L變換坐標(biāo)系， x在K-L坐標(biāo)系上的展開系數(shù)向量y稱作x的K-L變換。  總結(jié)下，K-L變換的方法：對相關(guān)矩陣R的特征值由大到小進(jìn)行排隊(duì)，則均方誤差最小的x近似于：                  &#

5、160;                                            矩陣形式： 上式兩邊乘以U的轉(zhuǎn)置，得  &#

6、160;                                           向量y就是變換（降維）后的系數(shù)向量，在人臉識別Eigenface算法中就是用

7、系數(shù)向量y代替原始特征向量x進(jìn)行識別。  下面，我們來看看相關(guān)矩陣R到底是什么樣子。 因此，我們可以看出相關(guān)矩陣R是一個實(shí)對稱矩陣（或者嚴(yán)謹(jǐn)?shù)闹v叫正規(guī)矩陣），正規(guī)矩陣有什么特點(diǎn)呢？學(xué)過矩陣分析的朋友應(yīng)該知道：若矩陣R是一個實(shí)對稱矩陣，則必定存在正交矩陣U，使得R相似于對角形矩陣，即：  因此，我們可以得出這樣一個結(jié)論：                   &

8、#160;                                   降維后的系數(shù)向量y的相關(guān)矩陣是對角矩陣，即通過K-L變換消除原有向量x的各分量間的相關(guān)性，從而有可能去掉那些帶有較少信息的分量以達(dá)到降低特征維數(shù)的目的。 2、主成分分析（

9、PCA) 主成分分析（PCA）的原理就是將一個高維向量x,通過一個特殊的特征向量矩陣U，投影到一個低維的向量空間中，表征為一個低維向量y，并且僅僅損失了一些次要信息。也就是說，通過低維表征的向量和特征向量矩陣，可以基本重構(gòu)出所對應(yīng)的原始高維向量。在人臉識別中，特征向量矩陣U稱為特征臉（eigenface）空間，因此其中的特征向量ui進(jìn)行量化后可以看出人臉輪廓，在下面的實(shí)驗(yàn)中可以看出。以人臉識別為例，說明下PCA的應(yīng)用。設(shè)有N個人臉訓(xùn)練樣本，每個樣本由其像素灰度值組成一個向量xi，則樣本圖像的像素點(diǎn)數(shù)即為xi的維數(shù)，M=width*height ，由向量構(gòu)成的訓(xùn)練樣本集為。該樣本集的平

10、均向量為：平均向量又叫平均臉。 樣本集的協(xié)方差矩陣為： 求出協(xié)方差矩陣的特征向量ui和對應(yīng)的特征值，這些特征向量組成的矩陣U就是人臉空間的正交基底，用它們的線性組合可以重構(gòu)出樣本中任意的人臉圖像，（如果有朋友不太理解這句話的意思，請看下面的總結(jié)2。）并且圖像信息集中在特征值大的特征向量中，即使丟棄特征值小的向量也不會影響圖像質(zhì)量。將協(xié)方差矩陣的特征值按大到小排序：。由大于的對應(yīng)的特征向量構(gòu)成主成分，主成分構(gòu)成的變換矩陣為：             

11、;                  這樣每一幅人臉圖像都可以投影到構(gòu)成的特征臉子空間中，U的維數(shù)為M×d。有了這樣一個降維的子空間，任何一幅人臉圖像都可以向其作投影，即并獲得一組坐標(biāo)系數(shù)，即低維向量y，維數(shù)d×1,為稱為KL分解系數(shù)。這組系數(shù)表明了圖像在子空間的位置，從而可以作為人臉識別的依據(jù)。 有朋友可能不太理解，第一部分講K-L變換的時候，求的是相關(guān)矩陣的特征向量和特征值，這里怎么

12、求的是協(xié)方差矩陣?其實(shí)協(xié)方差矩陣也是：，可以看出其實(shí)用代替x就成了相關(guān)矩陣R，相當(dāng)于原始樣本向量都減去個平均向量，實(shí)質(zhì)上還是一樣的，協(xié)方差矩陣也是實(shí)對稱矩陣。 總結(jié)下：1、在人臉識別過程中，對輸入的一個測試樣本x，求出它與平均臉的偏差，則在特征臉空間U的投影，可以表示為系數(shù)向量y：                                     U的維數(shù)為M×d，的維數(shù)為M×1，y的維數(shù)d×1。若M為200*200=40000維，取200個主成分，即200個特征向量，則最后投影的系數(shù)向量y維數(shù)降維200維。2、根據(jù)1中的式子，可以得出：