模式識別及其在圖像處理中的應用

-4-學號：

1049721603719武漢理工大學模式識別及其在圖像處理中的應用學院（系）：自動化學院課程名稱：模式識別原理專業(yè)班級：控制科學與工程1603班任課教師：張素文學生姓名：王紅剛2017年1月3日模式識別及其在圖像處理中的應用摘要:隨著計算機和人工智能技術(shù)的發(fā)展,模式識別在圖像處理中的應用日益廣泛。綜述了模式識別在圖像處理中特征提取、主要的識別方法(統(tǒng)計決策法、句法識別、模糊識別、神經(jīng)網(wǎng)絡)及其存在的問題,并且對近年來模式識別的新進展———支持向量機與仿生模式識別做了分析和總結(jié),最后討論了模式識別亟待解決的問題并對其發(fā)展進行了展望。關(guān)鍵詞:模式識別;圖像處理;特征提取;識別方法PatternRecognitionandItsApplicationinImageProcessingAbstract:Withthedevelopmentofcomputerandartificialintelli-gence,patternrecognitioniswidelyusedintheimageprocessingin-creasingly.Thefeatureextractionandthemainmethodsofpatternrecognitionintheimageprocessing,whichincludestatisticaldeci-sion,structuralmethod,fuzzymethod,artificialneuralnetworkaresummarized.Thesupportvectorandbionicpatternrecognitionwhicharethenewdevelopmentsofthepatternrecognitionarealsoanalyzed.Atlast,theproblemstobesolvedanddevelopmenttrendsarediscussed.Keywords:patternrecognition;imageprocessing;featureextrac-tion;recognitionmethods模式識別方法大致可以分為4類:統(tǒng)計決策法、結(jié)構(gòu)模式識別方法、模糊模式識別方法與基于人工智能方法。其中基于人工智能的方法本文主要介紹人工神經(jīng)網(wǎng)絡模式識別方法。前兩種方法發(fā)展得比較早,理論相對也比較成熟,在早期的模式識別中應用較多。后兩種方法目前的應用較多,由于模糊方法更合乎邏輯、神經(jīng)網(wǎng)絡方法具有較強的解決復雜模式識別的能力,因此日益得到人們的重視。3.1 統(tǒng)計決策法統(tǒng)計決策法以概率論和數(shù)理統(tǒng)計為基礎,它包括參數(shù)方法和非參數(shù)方法。p(x|ωi)P(ωi)參數(shù)方法主要以Bayes決策準則為指導。其中最小錯誤率和最小風險貝葉斯決策是最常用的兩種決策方法。假定特征對于給定類的影響獨立于其他特征,在決策分類的類別N已知與各類別的先驗概率P(ωi)及類條件概率密度p(x|ωi)已知的情況下,對于一特征矢量x根據(jù)式(1)計算待檢模式在各類中發(fā)生的后驗概率P(ωi|x),p(x|ωi)P(ωi)N∑p(x|ωi)P(ωiN∑p(x|ωi)P(ωi)i=1（（1）在貝葉斯決策的基礎上,根據(jù)各種錯誤決策造成損失的不同,人們提出基于貝葉斯風險的決策,即計算給定特征矢量x在各種決策中的條件風險大小,找出其中風險最小的決策。實際上對于具體的模式識別問題,先驗概率和類條件概率密度很難精確知道。先驗概率根據(jù)樣本總數(shù)可大致估計,類條件概率密度可采用統(tǒng)計學中的最大似然估計法、Bayes估計法等進行估計。這類方法應用于圖像分割、圖像復原以及圖像識別等方面。在圖像分割中,假定圖中的數(shù)據(jù)是服從K個概率密度混合分布的樣本,然后估計概率密度函數(shù)的參數(shù),最后計算后驗概率或風險,對像素進行歸類,從而達到分割圖像的目的。一般情況下,往往假定概率密度函數(shù)是高斯型的,這一方面很多情況下樣本的分布接近高斯分布,另一方面是數(shù)學上處理相對比較簡單。和圖像分割的原理類似,圖像識別也是對圖像的某些特征采用貝葉斯決策的方法設計分類器,根據(jù)分類器對未知圖像的特征進行識別。參數(shù)估計方法的理論基礎是樣本數(shù)目趨近于無窮大時的漸進理論。在樣本數(shù)目很大時,參數(shù)估計的結(jié)果才趨近于真實的模型。然而實際樣本數(shù)目總是有限的,很難滿足這一要求。另外參數(shù)估計的另一個前提條件是特征獨立性,這一點有時和實際差別較大。實際上在樣本數(shù)量不是很大的情況下,往往根據(jù)樣本直接設計分類器,這就是非參數(shù)方法。這類方法物理意義直觀,但所得的結(jié)果和錯誤率往往沒有直接聯(lián)系,所設計的分類器不能保證最優(yōu)。比較典型的方法如線性分類器、最近鄰方法、K均值聚類法等。在圖像壓縮領(lǐng)域的矢量量化編碼算法中,碼書的訓練就是一個典型的聚類過程,壓縮的效果和聚類的結(jié)果關(guān)系很大。在圖像分割中,采用對像素或圖像的其他特征進行聚類,達到圖像分割的目的。然而,統(tǒng)計決策理論主要集中在數(shù)量的統(tǒng)計關(guān)系上而忽略了刻畫模式的結(jié)構(gòu)特征。圖像處理往往與圖像的結(jié)構(gòu)信息有關(guān),對于很復雜的圖像,要求的特征量非常巨大,要把某一模式準確分類很困難,這時采用統(tǒng)計分類方法很難實現(xiàn),因此設法分割出圖像的基元子模式,將基元按照一定句法關(guān)系組合來代替原圖像進行分類,這就涉及到結(jié)構(gòu)模式識別的問題。3.2結(jié)構(gòu)模式識別結(jié)構(gòu)模式識別是利用模式的結(jié)構(gòu)描述與句法描述之間的相似性對模式進行分類。每個模式由它的各個子部分(稱為子模式或模式基元)的組合來表示。對模式的識別常以句法分析的方式進行,即依據(jù)給定的一組句法規(guī)則來剖析模式的結(jié)構(gòu)。當模式中每一個基元被辨認后,識別過程就可通過執(zhí)行語法分析來實現(xiàn)。選擇合適的基元是結(jié)構(gòu)模式識別的關(guān)鍵?；獞哂小敖Y(jié)構(gòu)簡單、含義明確、能方便地描述數(shù)據(jù)、易于抽取、結(jié)構(gòu)信息少”等特點。由于基元選擇的不確定性以及基元特征的多樣性,實際應用中有時很難同時滿足以上特點,所以有必要在基元的復雜性和易識別性之間取一個恰當?shù)恼壑?。結(jié)構(gòu)模式識別主要用于文字識別、遙感圖形的識別與分析、紋理圖像的分析中。該方法的特點是識別方便,能夠反映模式的結(jié)構(gòu)特征,能描述模式的性質(zhì),對圖像畸變的抗干擾能力較強。如何選擇基元是本方法的一個關(guān)鍵問題,尤其是當存在干擾及噪聲時,抽取基元更困難,且易失誤?；诮y(tǒng)計決策和結(jié)構(gòu)模式識別在早期的模式識別中應用比較多,隨著人們對模式識別要求的提高,在解決一些復雜的模式識別問題時,上述方法的局限性越來越明顯。模糊邏輯思想和神經(jīng)網(wǎng)絡的提出,為人們解決模式識別問題提供了新的思路。3.3模糊模式識別1965年Zadeh提出了他著名的模糊集理論,使人們認識事物的傳統(tǒng)二值0,1邏輯轉(zhuǎn)化為[0,1]區(qū)間上的邏輯,這種刻畫事物的方法改變了人們以往單純地通過事物內(nèi)涵來描述其特征的片面方式,并提供了能綜合事物內(nèi)涵與外延性態(tài)的合理數(shù)學模型———隸屬度函數(shù)。對于A、B兩類問題,傳統(tǒng)二值邏輯認為樣本C要么屬于A,要么屬于B,但是模糊邏輯認為C既屬于A,又屬于B,二者的區(qū)別在于C在這兩類中的隸屬度不同。所謂模糊模式識別就是解決模式識別問題時引入模糊邏輯的方法或思想。同一般的模式識別方法相比較,模糊模式識別具有客體信息表達更加合理,信息利用充分,各種算法簡單靈巧,識別穩(wěn)定性好,推理能力強的特點。模糊模式識別在圖像處理中也被廣泛應用,文獻[15]還將模糊K近鄰(FKNN)方法用于盲圖像的反卷積,實驗結(jié)果證明了這種方法的有效性;文獻[16]將模糊技術(shù)同K均值聚類結(jié)合用于矢量量化編碼中,這種方法消除了聚類初始化對結(jié)果碼書的依賴性，提高了聚類結(jié)果的魯棒性，文獻[17]將模糊方法同K近鄰(K-NN)結(jié)合,對圖像進行分類,取得比傳統(tǒng)K-NN方法更好的效果。文獻[18]將模糊邏輯同BP神經(jīng)網(wǎng)絡相結(jié)合對手寫字符識別,取得接近100%的效果。文獻以上方法在獲得比較好的效果的同時,往往增加一定的計算量,但是有些算法本身比較簡單,在同其他算法的結(jié)合中,模糊思想運用引入的計算開銷有時同整個算法的計算量相比并不大,計算速度通常是可以接受的。模糊模式識別的關(guān)鍵在隸屬度函數(shù)的建立,目前主要的方法有模糊統(tǒng)計法、模糊分布法、二元對比排序法、相對比較法和專家評分法等。雖然這些方法具有一定的客觀規(guī)律性與科學性,但同時也包含一定的主觀因素,準確合理的隸屬度函數(shù)很難得到,如何在模糊模式識別方法中建立比較合理的隸屬度函數(shù)是需要進一步解決的問題。3.4人工神經(jīng)網(wǎng)絡模式識別早在20世紀50年代,研究人員就開始模擬動物神經(jīng)系統(tǒng)的某些功能,他們采用軟件或硬件的辦法,建立了許多以大量處理單元為結(jié)點,處理單元間實現(xiàn)(加權(quán)值的)互聯(lián)的拓撲網(wǎng)絡,進行模擬。稱之為人工神經(jīng)網(wǎng)絡。這種方法可以看作是對原始特征空間進行非線性變換,產(chǎn)生一個新的樣本空間,使得變換后的特征線性可分。同傳統(tǒng)統(tǒng)計方法相比,其分類器是與概率分布無關(guān)的。人工神經(jīng)網(wǎng)絡的主要特點在于其具有信息處理的并行性、自組織和自適應性、具有很強的學習能力和聯(lián)想功能以及容錯性能等,在解決一些復雜的模式識別問題中顯示出其獨特的優(yōu)勢。近年來,在圖像處理中應用也很多。有的采用自組織網(wǎng)絡對醫(yī)學圖像進行分割,并能夠?qū)T圖像中的病灶分割出來。有的利用各種神經(jīng)網(wǎng)絡方法識別圖像的情況,取得一些令人滿意的結(jié)果。人工神經(jīng)網(wǎng)絡是一種復雜的非線性映射方法,其物理意義比較難解釋,在理論上還存在一系列亟待解決的問題。例如在設計上,網(wǎng)絡層數(shù)的確定和節(jié)點個數(shù)的選取帶有很大的經(jīng)驗性和盲目性,缺乏理論指導,網(wǎng)絡結(jié)構(gòu)的設計仍是一個尚未解決的問題。在算法復雜度方面,神經(jīng)網(wǎng)絡計算復雜度大,在特征維數(shù)比較高時,樣本訓練時間比較長;在算法穩(wěn)定性方面,學習過程中容易陷入局部極小,并且存在欠學習與過學習的現(xiàn)象,范化能力不容易控制。這些也是制約人工神經(jīng)網(wǎng)絡進一步發(fā)展的關(guān)鍵問題。近些年來基于統(tǒng)計學習理論的支撐向量機在模式識別方法表現(xiàn)出出色的學習性能和范化能力,同神經(jīng)網(wǎng)絡相比,其可有效地克服局部極小、維數(shù)災難等問題,因而成為目前模式識別領(lǐng)域中又一個研究熱點。模式識別的新進展及其在圖像處理中的應用.1支撐向量機前面提到,在有限樣本尤其是小樣本的情況下,采用統(tǒng)計決策法中的很多方法都難以取得理想的效果。Vapnik早在20世紀60年代開始研究有限樣本情況下的機器學習問題,直至90年代才形成一個較完善的理論體系——統(tǒng)計學習理論。該理論定義了衡量函數(shù)集性能的指標——VC維,VC維越大,函數(shù)的推廣能力越差,VC維越小,函數(shù)的推廣能力越強。在該理論的框架下,經(jīng)驗風險最小化原則下學習機器的實際風險由兩部分組成nnhR(w)≤Remp(w)+?()式中第一項為訓練樣本的經(jīng)驗風險;第二項為置信范圍,在訓練樣本數(shù)目n一定的情況下,函數(shù)集的VC維越大,其置信范圍越大。因此,在設計分類器時,不但要使經(jīng)驗風險最小,同時也要使VC維盡量小,縮小置信范圍,從而提高分類器的預測能力。統(tǒng)計學習理論提出了結(jié)構(gòu)風險最小化的原則:即把函數(shù)集分解為一個函數(shù)集序列,使各個子集能夠根據(jù)VC維的大小排列,在每個子集中尋找最小經(jīng)驗風險。選擇最小經(jīng)驗風險和置信范圍之和最小的子集,即達到期望風險最小,這個子集中使期望風險最小的函數(shù)也即所求的最優(yōu)函數(shù)。這種思想稱為結(jié)構(gòu)風險最小化SRM(structuralriskminimization),如圖2所示。圖2結(jié)構(gòu)風險最小化示意圖實現(xiàn)結(jié)構(gòu)風險最小化有兩種方法:一是在函數(shù)集的每一子集中求最小經(jīng)驗風險,然后選擇最小經(jīng)驗風險和置信范圍最小的子集。這種方法類似窮舉法,計算量比較大,當子集數(shù)目很大時幾乎無法實現(xiàn)。另一種方法是設計函數(shù)集的某種結(jié)構(gòu),使每個子集中都能取得最小的經(jīng)驗風險,然后選擇適當?shù)淖蛹怪眯欧秶钚?這個子集中使經(jīng)驗風險最小的函數(shù)就是最優(yōu)函數(shù)。支撐向量機SVM(supportvectormachine)是結(jié)構(gòu)風險最小化的第二種實現(xiàn)方法的體現(xiàn)。其基本思想是:首先通過非線性變換將輸入空間變換到一個高維空間,甚至是一個無限維空間,然后在這個高維空間求取最優(yōu)分類面,其中非線性變換是通過核函數(shù)的方法來實現(xiàn)的。SVM方法通過內(nèi)積計算比較有效地解決了維數(shù)災難問題,通過在高維空間設計最優(yōu)分類面,比較好地實現(xiàn)了VC維最小的問題;在數(shù)學上支撐向量機的訓練問題可轉(zhuǎn)化為一個求解受約束的二次型規(guī)劃(QP)問題,這個問題存在惟一解,避免了神經(jīng)網(wǎng)絡訓練結(jié)果不穩(wěn)定、容易陷入局部極小的問題,因而SVM方法是一種比較好的模式識別方法。SVM最初用來解決兩類問題,表現(xiàn)出優(yōu)越的性能,一個很自然的想法就是將其推廣到多類識別問題。多類SVM的分類和識別主要有兩種方法,一是根據(jù)多類樣本集直接設計分類器,此時分類器的設計問題可轉(zhuǎn)化為一個考慮所有樣本的優(yōu)化問題。在樣本比較多時,這種方法求解比較復雜;另一種是分解法,將多類樣本分類器的設計轉(zhuǎn)化為多個兩類問題的分類器設計問題,由于這類方法比直接法求解簡單,在實際中應用很廣。比較有代表性的訓練和預測多類SVM的方法有一對一OAO(oneagainstone)、一對多OAA(oneagainstall)和有向無回路圖DAG(directedacyclicgraph)方法和決策樹(decisivetree)方法等。SVM的優(yōu)越性能引起人們極大的研究興趣,它被越來越多的圖像處理研究者和工作者所應用。由于SVM的范化能力比較好,因而常常獲得比其他方法更好的識別效果。4.2 仿生模式識別前面介紹的各種模式識別方法都是假定分類信息是完全包含在訓練樣本內(nèi),以兩類或多類樣本的最優(yōu)劃分為基礎,分類器的訓練過程實際上可以看作對樣本的劃分過程。文獻[21]提出把模式識別問題看成是模式的“認識”,而不是分類劃分,不是模式分類;是一類一類樣本的“認識”,而不是多類樣本的劃分。為了強調(diào)與傳統(tǒng)模式識別在概念上的不同,文獻[20]中采用“仿生模式識別”這一概念,“仿生”的含義只是在模式識別的功能和數(shù)學模型上強調(diào)了“認識”的概念,更接近于人類的認識。傳統(tǒng)模式識別從特征空間中不同類樣本的劃分出發(fā)設計分類器。而仿生模式識別就在引入特征空間同類樣本的連續(xù)性規(guī)律,對一類事物的“認識”,實際上是對這類事物的全體在特征空間中形成的無窮點集合的“形狀”的分析和認識,文中根據(jù)這種規(guī)律性建立起“多維空間中非超球復雜幾何形體覆蓋”的識別原理。文獻[21]根據(jù)這一思想,采用神經(jīng)網(wǎng)絡覆蓋的方法訓練樣本,對8種實物模型進行訓練與識別,取得了比較好的識別效果,全部識別樣本沒有一次誤識。文獻[23]基于仿生模式識別的多鏡頭人臉身份確認系統(tǒng)研究中,采用多權(quán)值神經(jīng)網(wǎng)絡算法,同樣得到比較好的識別率。這種高的識別率顯示了這一思想在模式識別方面的潛力。仿生模式識別提出了一種新的模式識別思想,為模式識別的研究開辟了一個嶄新的研究方向。文獻[21～23]采用神經(jīng)網(wǎng)絡覆蓋來實現(xiàn)該思想,不可避免地遇到訓練速度慢、網(wǎng)絡結(jié)構(gòu)參數(shù)、節(jié)點個數(shù)選擇等選擇問題,因此這種思想的實現(xiàn)模型有待于進一步的研究。以上的各種模式識別方法都有其特點和適用范圍。研究表明,不同的分類器錯誤率所覆蓋的范圍不同,多個分類器之間既存在一定的冗余性,同時也存在一定的信息互補性。多個分類器聯(lián)合應用,可以提高正確識別率。文獻[24]對多種分類器聯(lián)合的最終決策的多種方法進行了分析和比較,并且給出了各種決策方法的適用條件。文獻[25]采用了7個分類器,用模式識別中常用的不同數(shù)據(jù)集對每一個分類器單獨做實驗,然后根據(jù)各自的結(jié)果對分類器進行組合決策,從中選出效果最優(yōu)的組合作為最終分類器的組合,結(jié)果表明這種識別效果比較理想。當然,這種方法提高識別率的同時,犧牲了一部分計算代價。模式識別發(fā)展到今天,已經(jīng)提出了200多種分類和識別方法,如何進行已有分類器的組合,解決具體的模式識別問題也是一個值得注意的問題。5展望隨著計算機和人工智能技術(shù)的發(fā)展,人們對計算機圖像處理中自動圖像處理的要求越來越高,因此對模式識別技術(shù)提出更高的要求。到目前為止,雖然模式識別在圖像處理中的應用取得了一些可喜的成就,但是它還存在一系列亟待解決問題,例如支撐向量機中核函數(shù)的選擇問題、VC維的計算和估計問題，神經(jīng)網(wǎng)絡節(jié)點選擇和結(jié)構(gòu)設計問題、仿生模式識別新思想的建模和實現(xiàn)問題、多種方法綜合運用中的分類器選擇問題等,這些問題的解決將直接推動模式識別領(lǐng)域的發(fā)展,進而推動其在圖像處理領(lǐng)域的應用。同時,模式識別是一門綜合性學科,它涉及和利用到數(shù)學、計算機科學等多學科的知識,如何將這些學科的新方法新成就綜合應用到模式識別中,提出更加符合人類認識的識別方法也是進一步值得研究的問題。參考文獻[1]邊肇祺,張學工,等.模式識別(第二版)[M].北京:清華大學出版社,2000-01.[2]JainAK,DuinRobertPW,MaoJianchang.Statisticalpatternrecog-nition:areview[J].IEEETransactionsonpatternanalysisandma-chineintelligence,2000,22(1):4-37.[3]沈清,湯森.模式識別導論[M].長沙:國防科技大學出版社,1991.[4]戚飛虎.模式識別與圖象處理[M].上海:上?？茖W技術(shù)出版社,1989.[5]吳傳孫.汽車牌照自動識別技術(shù)研究[D].江西師范大學,2003.[6]黃寧.遙感圖像中模式分類技術(shù)的研究[D].中國科學院,2003.[7]YangMH,AhujaN.KriegmanD.Facerecognitionusingkerneleigenfaces[A].IEEEInternationalConferenceonImageProcessing,2000-01:37-40.[8]ZobelM,GebhardA,PaulusD,etal.Robustfacialfeaturelocalization

bycoupledfeatures,Proceedings[A].FourthIEEEInternationalConferenceonAutomaticFaceandGestureRecognition,2000-03:2-7[9]TangYuanY,TaoYu,LamErnestCM.Newmethodforfeatureextractionbasedonfractalbehavior[J].PatternRecognition,2002.[10]范昕煒.支持向量機算法的研究及其應用[D].浙江大學,2003.[11]吳艷冬.復雜背景的人臉檢測與定位[D].大連理工大學,2002.[12]Usingneu-ralnetworks[A].ProceedingsofIEEEInternationalConferenceonImageProcessing,1994-03:936-939.[13]GuoGuodong,LiSZ,ChanKapluk.Facerecognitionbysupportvec-tormachines[A].ProceedingsofFourthIEEEInternationalConfer-enceonAutomaticFaceandGestureRecognition,2000,196-201.[14]Machines:anapplicationtofacedetection[A].ProceedingsofIEEEComputerSo-ietyConferenceonComputerVisionandPatternRecognition,1997.[15]ChenLi,YapKim-Hui.AfuzzyK-nearest-neighboralgorithmtoblindimagedeconvolution[A].IEEEInternationalConferenceonSystems,ManandCybernetics,2003-03:2049-2054[16]KarayiannisNB,PaiPI.Fuzzyvectorquantizationalgorithmsandtheirapplicationinimagecompression[J].IEEETransactionsonImageProcessing,1995,4(9):1193-1201[17]HanJH,KimYK.AfuzzyK-NNalgorithmusingweightsfromthevarianceofmembershipvalues[A].I