模式識(shí)別文獻(xiàn)綜述報(bào)告

指導(dǎo)老師：馬麗學(xué)號(hào)：700班級(jí)：075111姓名：劉建成績(jī)：目錄報(bào)告內(nèi)容要點(diǎn)二、《應(yīng)用主成分分解(PCA)法的圖像融合技術(shù)》三、《基于類內(nèi)加權(quán)平均值的模塊PCA算法》四、 《PCA-LDA算法在性別鑒別中的應(yīng)用》五、《一種面向數(shù)據(jù)學(xué)習(xí)的快速PCA算法》六、 《TheoryoffractionalcovariancematrixanditsapplicationsinPCAand2D-PCA》七、 課程心得體會(huì)八、 參考文獻(xiàn)一、 報(bào)告內(nèi)容要點(diǎn)每篇論文主要使用什么算法實(shí)現(xiàn)什么論文有沒有對(duì)算法做出改進(jìn)(為什么改進(jìn)，原算法存在什么問題，改進(jìn)方法是什么)論文中做了什么對(duì)比試驗(yàn)，實(shí)驗(yàn)結(jié)論是什么？可以加入自己的分析和想法，例如這篇論文還存在什么問題或者缺點(diǎn)，這篇論文所作出的改進(jìn)策略是否好，你自己對(duì)算法有沒有什么改進(jìn)的想法？二、《應(yīng)用主成分分解(PCA)法的圖像融合技術(shù)》第一篇《應(yīng)用主成分分解(PCA)法的圖像融合技術(shù)》，作者主要是實(shí)現(xiàn)用PCA可以提取圖像數(shù)據(jù)中主要成分這一特點(diǎn)，從元圖像獲得協(xié)方差矩陣的特征值和特征向量，據(jù)此確定圖像融合算法中的加權(quán)系數(shù)和最終融合圖像。作者在圖像融合的算法上進(jìn)行改進(jìn)，用PCA獲得待融合的每幅圖像的加權(quán)系

數(shù)Wi。是這樣實(shí)現(xiàn)的：計(jì)算待融合的i幅圖像數(shù)據(jù)矩陣的協(xié)方差矩陣，從中獲得入i,用圖像所對(duì)應(yīng)的入i在所有入和中所占比例作為這幅圖像的加權(quán)系數(shù)。算法流程:設(shè)共有N幅源圖,把每幅圖像看作一維向量記做由源圖像構(gòu)造數(shù)據(jù)矩陣計(jì)算數(shù)據(jù)矩陣X的協(xié)方差矩陣C為圖像的方差,為第i幅源圖像的平均灰度值。計(jì)算協(xié)方差矩陣的C的特征值入及相應(yīng)的特征向量1由特征值方程求出特征值入i和對(duì)應(yīng)的特征向量gi(i=l,2,…,m)。確定加權(quán)系數(shù)si計(jì)算最終融合圖像F得到的圖像可以用下式來表達(dá)作者做了幾種確定加權(quán)系數(shù)算法的對(duì)比試驗(yàn)，并且實(shí)驗(yàn)結(jié)果如下，可見PCA分解確定加權(quán)系數(shù)得到的圖像交互信息量和聯(lián)合熵都優(yōu)于另外兩個(gè),所以是相對(duì)較好的算法。結(jié)合我們模式識(shí)別課程所學(xué)，其實(shí)PCA算法應(yīng)用于圖像融合就相當(dāng)于遙感數(shù)據(jù)圖像中各個(gè)波段的圖像融合在一起。作者在論文中提到：他是將每幅圖像都看做一維的向量，其實(shí)也就相當(dāng)于我們一個(gè)波段的圖像向量(zy3中[145*145,1])。我們?cè)贛ATLAB中實(shí)現(xiàn)的PCA提取前K個(gè)主成分，也就是前K個(gè)波段的圖像融合在一起。加權(quán)系數(shù)也是從各個(gè)特征值確定，取對(duì)應(yīng)特征向量矩陣來對(duì)圖像進(jìn)行變換。按照融合前是否對(duì)圖像進(jìn)行多尺度分解,作者將已有的圖像融合算法分為多尺度分解和非多尺度分解兩大類。本文作者創(chuàng)新點(diǎn)在于利用主稱分分解(PCA)可以保留原數(shù)據(jù)中的主要信息的特點(diǎn),在非多尺度分解的框架下,發(fā)展了一種基于PCA分解確定加權(quán)系數(shù)的圖像融合算法。在對(duì)比實(shí)驗(yàn)中經(jīng)過定量的觀察和定性的計(jì)算發(fā)現(xiàn)該算法優(yōu)于其它的非多尺度融合方法。我的想法：若能將該圖像融合辦法加入多尺度分解算法,必將取得更好的融合圖像。三、《基于類內(nèi)加權(quán)平均值的模塊PCA算法》本文作者針對(duì)主成分分析(PCA)算法在人臉識(shí)別中識(shí)別率低的問題，提出一種基于類內(nèi)加權(quán)平均值的模塊PCA算法。該算法對(duì)每一類訓(xùn)練樣本中每個(gè)訓(xùn)練樣本的每個(gè)子塊求類內(nèi)加權(quán)平均值，用類內(nèi)加權(quán)平均值對(duì)訓(xùn)練樣本類內(nèi)的相應(yīng)子塊進(jìn)行規(guī)范化處理。由所有規(guī)范化后的子塊構(gòu)成總體散布矩陣，得到最優(yōu)投影矩陣，由訓(xùn)練集全體子塊的中間值對(duì)訓(xùn)練樣本子塊和測(cè)試樣本子塊進(jìn)行規(guī)范化后投影到最優(yōu)投影矩陣，得到識(shí)別特征，并用最近距離分類器分類。作者在本文中是對(duì)模塊PCA算法的改進(jìn)，主要是基于類內(nèi)加權(quán)平均值，其基本思想是先將一個(gè)mXn的圖像矩陣I分成pXq分塊圖像矩陣，即其中，每個(gè)子圖像矩陣Ikl是矩陣，然后將所有訓(xùn)練圖像樣本的子圖像矩陣看作訓(xùn)練樣本圖像向量施行PCA方法。相對(duì)于傳統(tǒng)模塊PCA算法的改進(jìn)是：在求總體散布矩陣時(shí)不是用所有訓(xùn)練樣本子塊的平均值，而是用子塊的類內(nèi)加權(quán)平均值。這樣可以減小訓(xùn)練樣本均值偏離類中心對(duì)求取最優(yōu)投影矩陣的影響，有利于識(shí)別率的提高.對(duì)比試驗(yàn)：作者做了傳統(tǒng)PCA算法、2X2模塊PCA算法和基于類內(nèi)加權(quán)平均值的2X2模塊PCA算法的實(shí)驗(yàn)?并且得出的結(jié)果為：①傳統(tǒng)PCA算法的識(shí)別率最低，最高識(shí)別率只有77%，模塊PCA算法提高了識(shí)別率，而基于類內(nèi)加權(quán)平均值的分塊PCA算法優(yōu)于該方法。②在4X2分塊情況下，改進(jìn)的算法比普通模塊PCA算法有更高的識(shí)別率并且魯棒性更強(qiáng)。③4X2分塊方式優(yōu)于2X2分塊方式。④在4X4分塊方式下的正確識(shí)別率有很大下降，這是因?yàn)閷?duì)每張圖片分的塊數(shù)越多，每個(gè)子塊包含的可區(qū)分信息量越少，會(huì)出現(xiàn)較多的相似子塊，不利于分類，導(dǎo)致正確識(shí)別率下降。在這種情況下同樣基于類內(nèi)加權(quán)平均值的模塊PCA算法仍然優(yōu)于普通模塊PCA算法。模塊PCA人臉識(shí)別算法的突出優(yōu)點(diǎn)是能夠抽取圖像的局部特征，這些局部特征更好地反映了圖像之間的差異，便于模式識(shí)別。同時(shí)，由于對(duì)原始數(shù)字圖像進(jìn)行分塊，可以方便地在較小的圖像上使用鑒別分析的方法，因此過程簡(jiǎn)便。為了進(jìn)一步提高識(shí)別率，作者對(duì)模塊PCA人臉識(shí)別算法進(jìn)行了改進(jìn)，提出了基于類內(nèi)加權(quán)平均值的模塊PCA算法。在ORL人臉庫(kù)上的實(shí)驗(yàn)表明，此方法優(yōu)于傳統(tǒng)的PCA算法和普通模塊PCA算法。我的想法：對(duì)同一個(gè)數(shù)據(jù)庫(kù)，原始圖像采用不同的分塊，獲得的最高識(shí)別率一般不同，所以我認(rèn)為這個(gè)算法可以繼續(xù)尋找最佳分塊方式以獲得最高識(shí)別率以及如何簡(jiǎn)化分塊PCA算法。四、 《PCA-LDA算法在性別鑒別中的應(yīng)用》本文的PCA-LDA算法是將PCA算法與LDA算法構(gòu)造的特征子空間進(jìn)行融合，獲得其融合特征空間；然后，將訓(xùn)練樣本與測(cè)試樣本分別朝該融合特征空間投影，獲得識(shí)別特征；最后，利用最近鄰準(zhǔn)則完成性別鑒別。算法流程：設(shè)訓(xùn)練樣本表示為N,N表示訓(xùn)練樣本數(shù)。在訓(xùn)練過程中，首先讀入訓(xùn)練樣本xi，i二1,...,N，并計(jì)算訓(xùn)練樣本的均值avg，即其中，。同樣，利用訓(xùn)練樣本可計(jì)算每類訓(xùn)練樣本的均值。性別鑒別屬于兩類模式識(shí)別問題，劃分類別僅為男女兩類。接著，對(duì)訓(xùn)練樣本規(guī)范化。然后，計(jì)算協(xié)方差矩陣的特征值與特征向量，并取其較大l個(gè)特征值對(duì)應(yīng)的特征向量，組成PCA算法的特征子空間根據(jù)即可把訓(xùn)練樣本矩陣X投影到特征子空間W1中。其中，Y稱為訓(xùn)練樣本矩陣X的PCA降維特征，即識(shí)別特征。顯然,mXn維的訓(xùn)練樣本圖像經(jīng)過PCA算法獲得了lX1維的降維特征。數(shù)據(jù)量得到了大大壓縮。從這篇論文中我知道，通過PCA算法的特征子空間的投影，每一幅人臉圖像就對(duì)應(yīng)于該特征子空間中的一個(gè)點(diǎn)。同樣，特征子空間中的任一點(diǎn)也對(duì)應(yīng)于一幅圖像。特征子空間中的點(diǎn)重構(gòu)后的圖像很像“人臉”，所以被稱為“特征臉”。有了“特征臉”組成的降維子空間，任何一幅人臉圖像都可以向其做投影并獲得PCA降維特征，該特征表征了圖像在特征子空間中的位置。因此，在PCA算法中,原來的人臉圖像識(shí)別問題就轉(zhuǎn)化為依據(jù)特征子空間中的訓(xùn)練樣本點(diǎn)進(jìn)行分類的問題。對(duì)比實(shí)驗(yàn)：本文作者對(duì)PCA-LDA算法與PCA算法進(jìn)行對(duì)比，他們的特征空間維數(shù)與正確識(shí)別率的關(guān)系如下圖：試驗(yàn)結(jié)果為：PCA-LDA算法的融合特征空間的不同選擇，以及不同的訓(xùn)練樣本數(shù)均影響性別鑒別的正確識(shí)別率。同時(shí),CA-LDA算法比PCA算法識(shí)別性能好,對(duì)樣本數(shù)據(jù)具有較好的魯棒性。本文作者結(jié)合PCA算法與LDA算法的特點(diǎn)，提出了用于性別鑒別的PCA-LDA算法。該算法將原始圖像投影到PCA-LDA算法構(gòu)造的融合特征空間中,去掉了圖像大量的冗余信息,同時(shí),保留了圖像的有用信息。該算法既實(shí)現(xiàn)了PCA算法的特征壓縮，又解決了LDA算法出現(xiàn)的小樣本集問題，為性別鑒別提供了一種新途徑。我的想法：在作者對(duì)算法改進(jìn)的基礎(chǔ)上進(jìn)行有效地實(shí)現(xiàn)PCA算法與LDA算法特征子空間的融合以及有效地選擇融合特征空間的維數(shù)，應(yīng)該可以更加優(yōu)化算法。五、《一種面向數(shù)據(jù)學(xué)習(xí)的快速PCA算法》因?yàn)楦呔S數(shù)據(jù)的主成分分析較難處理,而且計(jì)算時(shí)間和空間復(fù)雜度隨著數(shù)據(jù)維數(shù)的增加而急劇增加。鑒于此，作者在文中提出了一種直接面向數(shù)據(jù)學(xué)習(xí)的PCA算法,即在迭代中新的權(quán)向量等于所有樣本向量的加權(quán)和,這樣可以不必計(jì)算數(shù)據(jù)協(xié)方差矩陣.在解決給定樣本向量或平穩(wěn)隨機(jī)過程的PCA問題時(shí),該算法能夠彌補(bǔ)目前批量的算法和增量算法存在的不足。此外,作者還從理論上證明該算法的收斂性。作者提出的PCA算法基于一種直接面向數(shù)據(jù)學(xué)習(xí)的思想，即在迭代中新的權(quán)向量是所有數(shù)據(jù)向量的加權(quán)和,稱為直接面向數(shù)據(jù)學(xué)習(xí)的PCA算法(Data-OrientedPCA,DOPCA).在解決給定數(shù)據(jù)或平穩(wěn)隨機(jī)過程的PCA問題時(shí),DOPCA算法能夠彌補(bǔ)目前批量算法和增量算法存在的不足.首先,它不需要計(jì)算數(shù)據(jù)協(xié)方差矩陣,運(yùn)算復(fù)雜度低,可解決高維數(shù)據(jù)問題.其次,DOPCA算法具有單邊漸近的收斂特性,能夠較為快地求出最優(yōu)特征向量的精確解.除此之外,本文作者還證明PCA子空間的收斂一致性，并提出一種快速算法，使計(jì)算效率更高，收斂速度加快.算法流程如下：求解第1個(gè)特征向量求解高階特征向量快速計(jì)算算法具體如下：前p個(gè)特征向量的DOPCA基本算法step1選擇需要計(jì)算的特征向量數(shù)p,并使k=1.step2隨機(jī)初始化權(quán)向量wkstep3更新權(quán)向量：step4歸一化權(quán)向量:step5若wk未收斂，則返回到step3.否則，轉(zhuǎn)到step6.step7k=k+1,回到step2直到k=p.在step6緊縮所有樣本向量,數(shù)據(jù)矩陣X的每一列對(duì)應(yīng)一個(gè)樣本向量.當(dāng)?shù)趉個(gè)特征向量的當(dāng)前值wk和更新以前的值滿足時(shí)迭代收斂.通常地,可允許有很小的收斂容差,即判斷迭代收斂的標(biāo)準(zhǔn)為其中,E是收斂容差,abs(#)是求絕對(duì)值運(yùn)算.對(duì)比實(shí)驗(yàn)：實(shí)驗(yàn)1：平均迭代次數(shù)l與樣本向量維數(shù)之間的關(guān)系?實(shí)驗(yàn)2：計(jì)算時(shí)間隨著向量空間維數(shù)或樣本數(shù)目的增加總體呈現(xiàn)線性增長(zhǎng)趨勢(shì)?實(shí)驗(yàn)3：采用ORL人臉圖像數(shù)據(jù)庫(kù)進(jìn)行特征臉提取實(shí)驗(yàn).CCIPCA(CandidCovariance-FreeIncre-mentalPCA)算法比隨機(jī)梯度上升(StochasticGradientAscen,tSGA)算法和廣義Hebbian算法(GeneralizedHebbianAlgorithm,GHA)[6]有更好的收斂特性，所以僅用CCIPCA作為增量學(xué)習(xí)算法的代表進(jìn)行比較.在特征臉實(shí)驗(yàn)中,由于數(shù)據(jù)庫(kù)中只有400張圖像,所以可用矩陣計(jì)算方法來求特征向量.但是,當(dāng)數(shù)據(jù)量較大時(shí),矩陣計(jì)算方法就很難處理了,而用DOPCA就可求出特征向量的精確解.實(shí)驗(yàn)結(jié)果表明,DOPCA算法收斂速度快，能求出最優(yōu)特征向量的精確解，是一種解決大數(shù)據(jù)量高維PCA問題的有效方法。這篇論文主要研究不需計(jì)算協(xié)方差矩陣而求解高維數(shù)據(jù)特征向量精確解的辦法?；诿嫦驍?shù)據(jù)學(xué)習(xí)的思想,本文提出一種簡(jiǎn)單的DOPCA算法。經(jīng)過分析,這個(gè)算法可精確收斂到數(shù)據(jù)協(xié)方差矩陣的特征向量.利用迭代向量在高階線性子空間投影,FastDOPCA可進(jìn)一步加快收斂速度.在這篇論文中，面向數(shù)據(jù)學(xué)習(xí)的思想給了我很大的啟示，它可以應(yīng)用在很多的算法中，大大提高算法的速度和效率。六、 《TheoryoffractionalcovariancematrixanditsapplicationsinPCAand2D-PCA》在這篇論文中，作者給了定義的部分方差和部分協(xié)方差的新定義。此外，還給出部分協(xié)方差矩陣的定義。基于部分協(xié)方差矩陣，主成分分析（PCA）和二維主成分分析（2D-PCA）,作者提出了兩種新的技術(shù)，叫做部分主成分分析（FPCA）和二維部分主成分分析（2D-FPCA）,它把PCA和2D-PCA成部分順序形式，并擴(kuò)展了PCA和2D-PCA的過渡識(shí)別范圍。為了比較FPCA及2D-FPCA的性能，并且在ORL和Yale這兩個(gè)人臉圖像數(shù)據(jù)庫(kù)進(jìn)行了一系列的對(duì)比實(shí)驗(yàn)。對(duì)比實(shí)驗(yàn)：1.PCA和FPCA的對(duì)比FPCA與傳統(tǒng)的無監(jiān)督的PCA方法在ORL人臉庫(kù)進(jìn)行性能評(píng)估的對(duì)比。該ORL人臉庫(kù)包含從40個(gè)人，每個(gè)提供10個(gè)不同的圖像。對(duì)于圖像的拍攝時(shí)間不同。面部表情（眼睛的開或閉、微笑或不笑）和面部細(xì)節(jié)（戴眼鏡或不戴眼鏡）也各不相同。首先，對(duì)每一類第一個(gè)五張圖像樣本做訓(xùn)練數(shù)據(jù)，剩余的圖像作為測(cè)試數(shù)據(jù)。因此，總的訓(xùn)練和測(cè)試數(shù)量是200。所有圖像都是灰度像素規(guī)范化到23X28像素。部分協(xié)方差由得到的矩陣。這里，部分協(xié)方差矩陣的大小是644X644，我們很容易計(jì)算其特征值以及對(duì)應(yīng)的特征向量，并且貢獻(xiàn)率特征值由計(jì)算可得。根據(jù)特征值的貢獻(xiàn)率，我們選擇對(duì)應(yīng)于P最大特征值的特征向量，E1，E2,。。。，EP,作為投影軸。圖像的投影由可以投影到軸上，我們?cè)诘途S空間中得到構(gòu)造子圖像。最近鄰分類器與歐幾里德距離應(yīng)用于分類。結(jié)果很顯然，在相同的維度FPCA最佳識(shí)別的精度總是高于PCA?？偟膩碚fFPCA的頂部的識(shí)別精度大約5%,比PCA更高。和2D-FPCA的對(duì)比2D-FPCA與經(jīng)典的無監(jiān)督方法2DPCA在Yale人臉庫(kù)進(jìn)行性能評(píng)估的比較。Yale人臉數(shù)據(jù)庫(kù)包含15個(gè)人的165圖像（每個(gè)人都有11種不同的圖像）在不同光照下的各種表情。在該實(shí)驗(yàn)每個(gè)圖像是人為裁剪并調(diào)整到40X40個(gè)像素。首先，將試驗(yàn)在每類中隨機(jī)選擇六個(gè)圖像作為，而其余保持進(jìn)行測(cè)試。該FCM是由計(jì)算。計(jì)算FCM的特征向量后，很容易由獲得2D-FPCA和2D-PCA的CRE。結(jié)果顯示如下圖，然后，最近鄰分類器與歐氏距離最終用于分類。它的識(shí)別類似于2D-PCA方法。實(shí)驗(yàn)結(jié)果表明，兩個(gè)新的技術(shù)優(yōu)于標(biāo)準(zhǔn)的PCA和2D-PCA如果0和1之間選擇不同的順序。結(jié)果很顯然，在同維度2D-FPCA的最佳平均識(shí)別精度優(yōu)于2D-PCA。我的想法：從論文中我們知道，在一般情況下，降序的FPCA頂端識(shí)別精度比PCA高大約5%。，降維且降序時(shí)2D-FPCA的平均識(shí)別精度比2D-PCA大了約5%而比2D-PCA大了10%。整體而言，本文中FPCA及2D-FPCA的性能比PCA和2D-PCA的更好。我會(huì)認(rèn)為作者提出的部分方差和部分協(xié)方差在未來可以應(yīng)用在圖像處理并可以對(duì)圖像分析提供有價(jià)值的信息。七、課程心得體會(huì)非常高興選擇了馬麗老師的通選課程，老師的作風(fēng)一向嚴(yán)謹(jǐn)認(rèn)真，樸素求實(shí)，這也正是我能夠把模式識(shí)別這門課程學(xué)得相當(dāng)深刻的原因。而在模式識(shí)別的課程中，PCA算法可以說是最感興趣的一個(gè)算法，因?yàn)閺木W(wǎng)上查閱資料得知，其在人臉識(shí)別的領(lǐng)域有著非常高的地位，這迎合了我從小的科幻夢(mèng)想。并且，馬老師在課堂上對(duì)PCA和LDA的對(duì)比給了我非常深刻的印象。PCA和LDA有著不同的決策函數(shù)線,所有樣本點(diǎn)在PCA決策函數(shù)上的投影特點(diǎn)是:方差最大，但是可分性不好，而且各點(diǎn)直接由重合部分。而在LDA上的投影特點(diǎn)是：可分性最好，各個(gè)點(diǎn)的投影布容易重合，利于分類。而從性能上來說，PCA對(duì)高光譜數(shù)據(jù)圖