模式識別文獻綜述報告

1、 文獻綜述報告 指導(dǎo)老師： 馬 麗 學(xué) 號：20111000700 班 級： 075111 姓 名： 劉 建 成 績： 目 錄. 一、 報告內(nèi)容要點. 二、 應(yīng)用主成分分解(PCA)法的圖像融合技術(shù). 三、 基于類內(nèi)加權(quán)平均值的模塊 PCA 算法. 四、 PCA-LDA 算法在性別鑒別中的應(yīng)用. 五、 一種面向數(shù)據(jù)學(xué)習(xí)的快速PCA算法. 六、 Theory of fractional covariance matrix and its applications in PCA and 2D-PCA. 七、 課程心得體會. 八、 參考文獻.1、 報告內(nèi)容要點 每篇論文主要使用什么算法實現(xiàn)什么 論文

2、有沒有對算法做出改進（為什么改進，原算法存在什么問題，改進方法是什么） 論文中做了什么對比試驗，實驗結(jié)論是什么？可以加入自己的分析和想法，例如這篇論文還存在什么問題或者缺點，這篇論文所作出的改進策略是否好，你自己對算法有沒有什么改進的想法？二、 應(yīng)用主成分分解(PCA)法的圖像融合技術(shù)第一篇 應(yīng)用主成分分解(PCA)法的圖像融合技術(shù) ，作者主要是實現(xiàn)用PCA可以提取圖像數(shù)據(jù)中主要成分這一特點，從元圖像獲得協(xié)方差矩陣的特征值和特征向量，據(jù)此確定圖像融合算法中的加權(quán)系數(shù)和最終融合圖像。作者在圖像融合的算法上進行改進，用PCA獲得待融合的每幅圖像的加權(quán)系數(shù)Wi。是這樣實現(xiàn)的：計算待融合的i幅圖像數(shù)據(jù)

3、矩陣的協(xié)方差矩陣，從中獲得i，用圖像所對應(yīng)的i在所有和中所占比例作為這幅圖像的加權(quán)系數(shù)。算法流程:設(shè)共有 N 幅源圖, 把每幅圖像看作一維向量記做(1) 由源圖像構(gòu)造數(shù)據(jù)矩陣 (2) 計算數(shù)據(jù)矩陣 X 的協(xié)方差矩陣C為圖像的方差,為第 i 幅源圖像的平均灰度值。(3) 計算協(xié)方差矩陣的 C 的特征值 及相應(yīng)的特征向量 由特征值方程 求出特征值 i和對應(yīng)的特征向量 i(i=1,2,m)。(4) 確定加權(quán)系數(shù)i (5) 計算最終融合圖像 F得到的圖像可以用下式來表達： 作者做了幾種確定加權(quán)系數(shù)算法的對比試驗，并且實驗結(jié)果如下，可見PCA分解確定加權(quán)系數(shù)得到的圖像交互信息量和聯(lián)合熵都優(yōu)于另外兩個，所

4、以是相對較好的算法。結(jié)合我們模式識別課程所學(xué)，其實PCA算法應(yīng)用于圖像融合就相當于遙感數(shù)據(jù)圖像中各個波段的圖像融合在一起。作者在論文中提到：他是將每幅圖像都看做一維的向量，其實也就相當于我們一個波段的圖像向量（zy3中145*145,1）。我們在MATLAB中實現(xiàn)的PCA提取前K個主成分，也就是前K個波段的圖像融合在一起。加權(quán)系數(shù)也是從各個特征值確定，取對應(yīng)特征向量矩陣來對圖像進行變換。按照融合前是否對圖像進行多尺度分解, 作者將已有的圖像融合算法分為多尺度分解和非多尺度分解兩大類。本文作者創(chuàng)新點在于利用主稱分分解(PCA)可以保留原數(shù)據(jù)中的主要信息的特點, 在非多尺度分解的框架下, 發(fā)展了一

5、種基于 PCA 分解確定加權(quán)系數(shù)的圖像融合算法。在對比實驗中經(jīng)過定量的觀察和定性的計算發(fā)現(xiàn)該算法優(yōu)于其它的非多尺度融合方法。 我的想法：若能將該圖像融合辦法加入多尺度分解算法, 必將取得更好的融合圖像。三、 基于類內(nèi)加權(quán)平均值的模塊 PCA 算法本文作者針對主成分分析(PCA)算法在人臉識別中識別率低的問題，提出一種基于類內(nèi)加權(quán)平均值的模塊 PCA 算法。該算法對每一類訓(xùn)練樣本中每個訓(xùn)練樣本的每個子塊求類內(nèi)加權(quán)平均值，用類內(nèi)加權(quán)平均值對訓(xùn)練樣本類內(nèi)的相應(yīng)子塊進行規(guī)范化處理。由所有規(guī)范化后的子塊構(gòu)成總體散布矩陣，得到最優(yōu)投影矩陣，由訓(xùn)練集全體子塊的中間值對訓(xùn)練樣本子塊和測試樣本子塊進行規(guī)范化后投

6、影到最優(yōu)投影矩陣，得到識別特征，并用最近距離分類器分類。 作者在本文中是對模塊PCA算法的改進，主要是基于類內(nèi)加權(quán)平均值，其基本思想是先將一個 m n的圖像矩陣 I 分成 p q分塊圖像矩陣，即其中，每個子圖像矩陣Ikl 是矩陣，然后將所有訓(xùn)練圖像樣本的子圖像矩陣看作訓(xùn)練樣本圖像向量施行 PCA 方法。相對于傳統(tǒng)模塊 PCA 算法的改進是：在求總體散布矩陣時不是用所有訓(xùn)練樣本子塊的平均值，而是用子塊的類內(nèi)加權(quán)平均值。這樣可以減小訓(xùn)練樣本均值偏離類中心對求取最優(yōu)投影矩陣的影響，有利于識別率的提高. 對比試驗：作者做了傳統(tǒng) PCA 算法、22 模塊 PCA 算法和基于類內(nèi)加權(quán)平均值的 22 模塊

7、PCA算法的實驗.并且得出的結(jié)果為：傳統(tǒng) PCA 算法的識別率最低，最高識別率只有 77%，模塊 PCA 算法提高了識別率，而基于類內(nèi)加權(quán)平均值的分塊 PCA 算法優(yōu)于該方法。在 42 分塊情況下，改進的算法比普通模塊 PCA 算法有更高的識別率并且魯棒性更強。42 分塊方式優(yōu)于 22 分塊方式。 在44分塊方式下的正確識別率有很大下降，這是因為對每張圖片分的塊數(shù)越多，每個子塊包含的可區(qū)分信息量越少，會出現(xiàn)較多的相似子塊，不利于分類，導(dǎo)致正確識別率下降。在這種情況下同樣基于類內(nèi)加權(quán)平均值的模塊 PCA 算法仍然優(yōu)于普通模塊 PCA 算法。模塊 PCA 人臉識別算法的突出優(yōu)點是能夠抽取圖像的局部

8、特征，這些局部特征更好地反映了圖像之間的差異，便于模式識別。同時，由于對原始數(shù)字圖像進行分塊，可以方便地在較小的圖像上使用鑒別分析的方法，因此過程簡便。為了進一步提高識別率，作者對模塊 PCA 人臉識別算法進行了改進，提出了基于類內(nèi)加權(quán)平均值的模塊 PCA 算法。在ORL 人臉庫上的實驗表明，此方法優(yōu)于傳統(tǒng)的 PCA 算法和普通模塊 PCA 算法。我的想法：對同一個數(shù)據(jù)庫，原始圖像采用不同的分塊，獲得的最高識別率一般不同，所以我認為這個算法可以繼續(xù)尋找最佳分塊方式以獲得最高識別率以及如何簡化分塊 PCA 算法。 四、 PCA-LDA 算法在性別鑒別中的應(yīng)用 本文的PCA-LDA 算法是將PCA

9、 算法與LDA 算法構(gòu)造的特征子空間進行融合，獲得其融合特征空間；然后，將訓(xùn)練樣本與測試樣本分別朝該融合特征空間投影，獲得識別特征；最后，利用最近鄰準則完成性別鑒別。 算法流程： 設(shè)訓(xùn)練樣本表示為N ， N表示訓(xùn)練樣本數(shù)。在訓(xùn)練過程中，首先讀入訓(xùn)練樣本 xi，i = 1,., N ，并計算訓(xùn)練樣本的均值avg ，即其中，。同樣，利用訓(xùn)練樣本可計算每類訓(xùn)練樣本的均值。性別鑒別屬于兩類模式識別問題，劃分類別僅為男女兩類。接著，對訓(xùn)練樣本規(guī)范化。然后，計算協(xié)方差矩陣Q 的特征值與特征向量，并取其較大l 個特征值對應(yīng)的特征向量，組成PCA 算法的特征子空間根據(jù)即可把訓(xùn)練樣本矩陣X 投影到特征子空間W1

10、 中。其中，Y 稱為訓(xùn)練樣本矩陣X 的PCA 降維特征，即識別特征。顯然，m n維的訓(xùn)練樣本圖像經(jīng)過 PCA 算法獲得了l 1 維的降維特征。數(shù)據(jù)量得到了大大壓縮。 從這篇論文中我知道，通過 PCA 算法的特征子空間的投影，每一幅人臉圖像就對應(yīng)于該特征子空間中的一個點。同樣，特征子空間中的任一點也對應(yīng)于一幅圖像。特征子空間中的點重構(gòu)后的圖像很像“人臉”，所以被稱為“特征臉”。有了“特征臉”組成的降維子空間，任何一幅人臉圖像都可以向其做投影并獲得PCA 降維特征，該特征表征了圖像在特征子空間中的位置。因此，在PCA 算法中，原來的人臉圖像識別問題就轉(zhuǎn)化為依據(jù)特征子空間中的訓(xùn)練樣本點進行分類的問題

11、。 對比實驗：本文作者對PCA-LDA 算法與PCA 算法進行對比，他們的特征空間維數(shù)與正確識別率的關(guān)系如下圖： 試驗結(jié)果為：PCA-LDA 算法的融合特征空間的不同選擇，以及不同的訓(xùn)練樣本數(shù)均影響性別鑒別的正確識別率。同時，PCA-LDA 算法比PCA 算法識別性能好，對樣本數(shù)據(jù)具有較好的魯棒性。 本文作者結(jié)合 PCA 算法與LDA 算法的特點，提出了用于性別鑒別的PCA-LDA 算法。該算法將原始圖像投影到PCA-LDA 算法構(gòu)造的融合特征空間中，去掉了圖像大量的冗余信息，同時，保留了圖像的有用信息。該算法既實現(xiàn)了PCA算法的特征壓縮，又解決了LDA 算法出現(xiàn)的小樣本集問題，為性別鑒別提供

12、了一種新途徑。 我的想法：在作者對算法改進的基礎(chǔ)上進行有效地實現(xiàn)PCA 算法與LDA 算法特征子空間的融合以及有效地選擇融合特征空間的維數(shù)，應(yīng)該可以更加優(yōu)化算法。五、 一種面向數(shù)據(jù)學(xué)習(xí)的快速PCA算法 因為高維數(shù)據(jù)的主成分分析較難處理,而且計算時間和空間復(fù)雜度隨著數(shù)據(jù)維數(shù)的增加而急劇增加。鑒于此，作者在文中提出了一種直接面向數(shù)據(jù)學(xué)習(xí)的PCA算法,即在迭代中新的權(quán)向量等于所有樣本向量的加權(quán)和,這樣可以不必計算數(shù)據(jù)協(xié)方差矩陣.在解決給定樣本向量或平穩(wěn)隨機過程的PCA問題時,該算法能夠彌補目前批量的算法和增量算法存在的不足。此外,作者還從理論上證明該算法的收斂性。 作者提出的PCA算法基于一種直接面

13、向數(shù)據(jù)學(xué)習(xí)的思想,即在迭代中新的權(quán)向量是所有數(shù)據(jù)向量的加權(quán)和,稱為直接面向數(shù)據(jù)學(xué)習(xí)的PCA算法(Data-Oriented PCA, DOPCA).在解決給定數(shù)據(jù)或平穩(wěn)隨機過程的PCA問題時,DOPCA算法能夠彌補目前批量算法和增量算法存在的不足.首先,它不需要計算數(shù)據(jù)協(xié)方差矩陣,運算復(fù)雜度低,可解決高維數(shù)據(jù)問題.其次,DOPCA算法具有單邊漸近的收斂特性,能夠較為快地求出最優(yōu)特征向量的精確解.除此之外,本文作者還證明PCA子空間的收斂一致性,并提出一種快速算法,使計算效率更高,收斂速度加快.算法流程如下：1.求解第1個特征向量2.求解高階特征向量3.快速計算算法具體如下：前p個特征向量的DO

14、PCA基本算法step 1 選擇需要計算的特征向量數(shù)p,并使k=1.step 2 隨機初始化權(quán)向量wkstep 3 更新權(quán)向量：step 4 歸一化權(quán)向量:step 5 若wk未收斂,則返回到step 3.否則,轉(zhuǎn)到step 6.step 7 k=k+1,回到step 2直到k =p.在step 6緊縮所有樣本向量,數(shù)據(jù)矩陣X的每一列對應(yīng)一個樣本向量.當?shù)趉個特征向量的當前值wk和更新以前的值滿足時迭代收斂.通常地,可允許有很小的收斂容差,即判斷迭代收斂的標準為其中,E是收斂容差,abs(#)是求絕對值運算.對比實驗：實驗1：平均迭代次數(shù)l與樣本向量維數(shù)之間的關(guān)系.實驗2：計算時間隨著向量空間

15、維數(shù)或樣本數(shù)目的增加總體呈現(xiàn)線性增長趨勢.實驗3：采用ORL人臉圖像數(shù)據(jù)庫進行特征臉提取實驗.CCIPCA(Candid Covariance-Free Incre-mentalPCA)算法比隨機梯度上升(Stochastic GradientAscen,t SGA)算法和廣義Hebbian算法(Generalized Hebbian Algorithm, GHA)6有更好的收斂特性,所以僅用CCIPCA作為增量學(xué)習(xí)算法的代表進行比較.在特征臉實驗中,由于數(shù)據(jù)庫中只有400張圖像,所以可用矩陣計算方法來求特征向量.但是,當數(shù)據(jù)量較大時,矩陣計算方法就很難處理了,而用DOPCA就可求出特征向量的

16、精確解.實驗結(jié)果表明,DOPCA算法收斂速度快,能求出最優(yōu)特征向量的精確解,是一種解決大數(shù)據(jù)量高維PCA問題的有效方法。這篇論文主要研究不需計算協(xié)方差矩陣而求解高維數(shù)據(jù)特征向量精確解的辦法?；诿嫦驍?shù)據(jù)學(xué)習(xí)的思想,本文提出一種簡單的DOPCA算法。經(jīng)過分析,這個算法可精確收斂到數(shù)據(jù)協(xié)方差矩陣的特征向量.利用迭代向量在高階線性子空間投影, FastDOPCA可進一步加快收斂速度.在這篇論文中，面向數(shù)據(jù)學(xué)習(xí)的思想給了我很大的啟示，它可以應(yīng)用在很多的算法中，大大提高算法的速度和效率。6、 Theory of fractional covariance matrix and its applicati

17、ons in PCA and 2D-PCA 在這篇論文中，作者給了定義的部分方差和部分協(xié)方差的新定義。此外，還給出部分協(xié)方差矩陣的定義。基于部分協(xié)方差矩陣，主成分分析（PCA）和二維主成分分析（2D-PCA），作者提出了兩種新的技術(shù)，叫做部分主成分分析（FPCA）和二維部分主成分分析 （2D-FPCA），它把PCA和2D-PCA成部分順序形式，并擴展了PCA和2D-PCA的過渡識別范圍。為了比較FPCA及2D-FPCA的性能，并且在ORL和Yale這兩個人臉圖像數(shù)據(jù)庫進行了一系列的對比實驗。對比實驗：1. PCA和FPCA的對比FPCA與傳統(tǒng)的無監(jiān)督的PCA方法在ORL人臉庫進行性能評估的對比

18、。該ORL人臉庫包含從40個人，每個提供10個不同的圖像。對于圖像的拍攝時間不同。面部表情（眼睛的開或閉、微笑或不笑）和面部細節(jié)（戴眼鏡或不戴眼鏡）也各不相同。首先，對每一類第一個五張圖像樣本做訓(xùn)練數(shù)據(jù)，剩余的圖像作為測試數(shù)據(jù)。因此，總的訓(xùn)練和測試數(shù)量是200。所有圖像都是灰度像素規(guī)范化到 23X28像素。部分協(xié)方差由得到的矩陣。這里，部分協(xié)方差矩陣的大小是644X644，我們很容易計算其特征值以及對應(yīng)的特征向量，并且貢獻率特征值由計算可得。 根據(jù)特征值的貢獻率，我們選擇對應(yīng)于P最大特征值的特征向量，E1，E2，。 。 。 ，EP，作為投影軸。圖像的投影由可以投影到軸上，我們在低維空間中得到構(gòu)

19、造子圖像。最近鄰分類器與歐幾里德距離應(yīng)用于分類。結(jié)果很顯然，在相同的維度FPCA最佳識別的精度總是高于PCA?？偟膩碚fFPCA的頂部的識別精度大約5，比PCA更高。2.2D-PCA和2D-FPCA的對比2D-FPCA與經(jīng)典的無監(jiān)督方法2DPCA在Yale人臉庫進行性能評估的比較。 Yale人臉數(shù)據(jù)庫包含15個人的165圖像 （每個人都有11種不同的圖像）在不同光照下的各種表情。在該實驗每個圖像是人為裁剪并調(diào)整到40X40個像素。首先，將試驗 在每類中隨機選擇六個圖像作為，而其余保持進行測試。該 FCM是由計算。計算FCM的特征向量后，很容易由獲得2D-FPCA和2D-PCA的CRE。 結(jié)果顯示

20、如下圖，然后，最近鄰分類器與歐氏距離最終用于分類。 它的識別類似于2D-PCA方法。實驗結(jié)果表明，兩個新的技術(shù)優(yōu)于標準的PCA和2D-PCA如果0和1之間選擇不同的順序。結(jié)果很顯然，在同維度2D-FPCA的最佳平均識別精度優(yōu)于2D-PCA。我的想法：從論文中我們知道，在一般情況下，降序的FPCA頂端識別精度比PCA高大約5。，降維且降序時2D-FPCA的平均識別精度比2D-PCA大了約5而比2D-PCA大了10。 整體而言，本文中FPCA及2D-FPCA的性能比PCA和2D-PCA的更好。 我會認為作者提出的部分方差和部分協(xié)方差在未來可以應(yīng)用在圖像處理并可以對圖像分析提供有價值的信息。 7、 課程心得體會 非常高興選擇了馬麗老師的通選課程，老師的作風(fēng)一向嚴謹認真，樸素求實，這也正是我能夠把模式識別這門課程學(xué)得相當深刻的原因。 而在模式識別的課程中，PCA算法可以說是最感興趣的一個算法，因為從網(wǎng)上查閱資料得知，其在人臉識別的領(lǐng)域有著非常高的地位，這迎合了我從小的科幻夢想。并且，馬老師在課堂上對PCA和LDA的對比給了我非常深刻的印象。PCA和LDA有著不同的決策函數(shù)線，所有樣本點在PCA決策函數(shù)上的投影特點是：方差最大，但是可分性不好，而且各點直接由重合部