模式識別學習心得

模式識別學習心得模式識別學習心得什么是模式呢?廣義地說，存在于時刻和空間中可觀察的事物，若是咱們能夠區(qū)別它們是不是相同或是不是相似，都能夠稱之為模式。模式識別就是按照觀察到的事物的模式對事物進行分類的進程。在圖像識別技術中，模式識別占有核心的地位。所以的圖像處置技術都是為了更好地進行模式識別做預備。模式識別是圖像識別的實質性階段。2。有兩種大體的模式識別方式，即統(tǒng)計模式識別方式和結構（句法）模式識別方式，與此相應的模式識別系統(tǒng)都由兩個進程所組成，即設計和實現。設計是指用必然數量的樣本（叫做訓練集或學習集）進行分類器的設計。實現是指用所設計的分類器對待識別的樣本進行分類決策。模式識別系統(tǒng)（如圖6-2）中，信息獲取和預處置部份大致能夠與圖像的獲取與處置對應。一般情形下，模式識別技術主要包括"特征提取和選擇"和"分類器的設計"。近幾十年來，模式識別技術進展專門快。但是，進展較成熟、應用較普遍的主如果統(tǒng)計模式識別技術。統(tǒng)計模式識別從一個廣義的角度看，模式識別能夠看成是一種機械學習的進程。依照機械學習進程的性質，能夠將模式識別方式分成有監(jiān)督的模式識別方式和非監(jiān)督的模式識別方式，后者又稱為聚類分析方式。這兩種方式在圖像識別中都有普遍的應用。（1）有監(jiān)督的模式識別方式從識別技術的大體思路和方式看，有監(jiān)督的模式識別能夠分成兩類：基于模型的方式和直接分類的方式基于模型的方式的基礎是貝葉斯(Bayes)決策理論方式，它對模式分析和分類器的設計有實在際的指導意義，是統(tǒng)計模式識別中的一個大體方式，用那個方式進行分類時要求：各類別整體的概率散布(即所謂的先驗概率和類條件概率)是已知的；要決策分類的類別數是必然的。假設要研究的分類問題有c個類別，各類別狀態(tài)用曲來表示，i=1,2,…，c；對應于各個類別曲出現的先驗概率P@i)和類條件概率密度函數p(x|3i)是已知的。若是在特征空間已觀察到某一貫量x,那么應該把x分到那一類中去才最合理呢?最大體的想法是按照觀察到的信息，選擇適當的分類策略，使分類可能出現的錯誤最少，即：若是對于任意jHi,都有P@i|x)P(3j|x)，則將x歸入類曲這就是"最小錯誤率的貝葉斯決策"。一個例子是國際體育聯合會對運動員興奮劑檢查的策略。由于對服用興奮劑的運動員發(fā)生漏檢，最多只是喪失某一次比賽的結果的公平；而錯怪沒有服用興奮劑的運動員有可能毀掉那個運動員的整個運動生涯。所以，當出現疑問時，國際體育聯合會的原則是：寧可使一千人漏網，也不能錯怪一個好人。類似的思想體此刻模式識別中，即是"基于最小風險的貝葉斯決策"。設X(ai|wj)是將wj類中的樣本歸入ai類所帶來的損失，則當觀察到x時，將x歸入ai類的風險能夠概念為：。最小風險的貝葉斯決策就是把x歸入使最小的類中，即：若是對于任意jHi,都有R(ai|x)R(aj|x)，則將x歸入類wi基于模型的識別技術中，關鍵就是要估量概率密度函數。其方式可分為參數估量和非參數估量兩類在許多實際問題中，由于樣本特征空間的類條件概率密度的形式常常很難肯定，利用Parzen窗等非參數方式估量散布又往往需要大量樣本，而且隨著特征空間維數的增加所需樣本數急劇增加。由此，在實際問題中，咱們往往不去恢復類條件概率密度，而是利用樣本集直接設計分類器。具體說就是第一給定某個判別函數類，然后利用樣本集肯定出判別函數中的未知參數。這種方式就是有監(jiān)督的模式識別方式中的另一類重要的方式：直接分類方式。這種方式有3個要素：分類函數的類型(線性仍是非線性)、分類目標函數、優(yōu)化算法。下面別離介紹線性判別函數法和非線性判別函數法。線性判別函數法利用一類較為簡單的判別函數。它第一假定判別函數g(x)是x的線性函數，即g(x)二wTx十wO,對于c類問題，能夠概念c個判別函數。這里關鍵的問題是如何利用樣本集求得w和wO。不同的實際情形,往往提出不同的設計要求。這些設計要求，在數學上一般表現為特定的函數形式,咱們稱之為準則函數。"盡可能好"的結果相應于準則函數取最優(yōu)值。這實際上是將分類器設計問題轉化為求準則函數極值的問題了,如此就可以夠利用最優(yōu)化技術解決模式識別問題。線性判別函數法的代表有：Fisher線性判別法、感知準則函數法。Fisher線性判別法應用統(tǒng)計方式解決模式識別問題時,一再碰著的問題之一是維數問題。在低維空間里解析上或計算上行得通的方式,在高維空間里往往行不通。因此,降低維數有時就成為處置實際問題的關鍵。Fisher準則函數的大體思想是,構造評價函數,使適當評價函數最優(yōu)時被分類的類別之間的距離盡可能大,同時各類內部樣本間距離盡可能小。下式就是Fisher準則函數：式中分子代表類間距離；分子代表類內離散度。分類器的設計進程就是通過已知樣本求得w和w0使JF(w)取得最大值感知準則函數法設有一組樣本y1,y2,???，yn,其中yn是規(guī)范化增廣樣本向量，咱們的目的是找一個解向量a*，使得顯然，對于線性可分情形，問題才有解：為此這里第一考慮處置線性可分問題的算法。此刻先構造如此一個準則函數式中求和是對所有被權向量a錯分的樣本進行的。當y被錯分時就有-aTy>0,因此，上式中的，JP(a)老是大于等于0。當且僅當錯分集為空集時.JP(a)=minJP(a)=0,這時將不存在錯分樣本，"就是咱們要尋覓的解向量"。這一準則函數是20世紀50年代由Rosenblatt提出來，試圖用于腦模型感知器上的，故一般稱為感知準則函數。近鄰法最初的近鄰法是由Cover和Hart于1968年提出的。由于對該方式在理論上進行了深切分析，直至此刻仍是模式識別非參數法中最重要的方式之一。最簡單的近鄰決策規(guī)則是最近鄰決策規(guī)則。所謂最近鄰決策，是尋覓與待分類樣本最近的已知樣本，以為待分類樣本與后者同屬一類。最近鄰法的一個顯然的推行是k近鄰法。從字義上看，那個方式就是取未知樣本x的k個近鄰，看這k個近鄰中多數屬于哪一類，就把x歸為哪一類。近鄰法的一個缺點是計算量大。解決的途徑之一是采用快速算法，稱之為快速搜索近鄰法。其大體考慮是將樣本分級分成一些不相交的子集，并在子集的基礎上進行搜索。該算法對最近鄰法和近鄰法都適用。(2)非監(jiān)督的模式識別方式在很多實際應用中由于缺少形成模式類進程的知識.或由于實際工作中的困難（例如衛(wèi)星遙感照片上各像元的分類問題），咱們往往只能用沒有類別標簽的樣本集進行工作。這就是通常所說的非監(jiān)督學習方式。一般來講非監(jiān)督學習方式能夠分成兩大類，即基于概率密度函數估量的直接方式和基于樣本間相似性氣宇的間接聚類方式。不論是哪一種方式，在把樣本集劃分為若干個子集（類別）后，咱們或直接用它解決分類問題.或把它作為訓練樣本集進行分類器設計。單峰子集（類）的分離方式：在沒有任何類條件概率散布的先驗知識情形下，咱們只能把特征空間劃分為若干個區(qū)域Si,i=l,2,…，c,在每一個區(qū)域中的混合密度應該是單峰的，如圖6-3所示。咱們把這些區(qū)域叫作單峰區(qū)域。假定每一個單峰區(qū)域Si和一個類別曲相對應。有各類算法來實現這些單峰區(qū)域的劃分。在應用中,單峰子集（類）的分離方式,需要估量概率密度函數。為了避免估量概率密度函數的困難,咱們能夠在必然條件下,依照樣本間的相似性把集合劃分成若干個子集,劃分的結果應使某種表示聚類質量的準則函數為最大。當用距離來表示兩個樣本間的相似度時,如此做的結果就把特征空間劃分成若干個區(qū)域,每一個區(qū)域相當于一個類別。一些常常利用的距離氣宇都能夠作為這種相似件氣宇,在工程中,之所以常常常利用距離來表示樣本間的相似度,是因為從經驗上看,凡是同一類的樣本,其特征向量應該是彼此靠近的,而不同類的樣本其特征向量之間的距離要大得多。這種方式雖然看起來似乎和上述的基于混合概率密度函數估量的聚類分離方式沒有聯系,可是由于概率密度的估量也是在樣本間距離的基礎上進行的,距離很近的兩個特征向量常常是屬于同一單峰子集。所以兩種方式在概念上仍然是彼此關聯的。常常利用的對數據集進行聚類的方式有兩種，迭代的動態(tài)聚類算法和非迭代的分級聚類算法。動態(tài)聚類方式是一種普遍采用的方式，它具有以下3個要點：選定某種距離氣宇作為樣本間的相似性氣宇；肯定某個評價聚類結果質量的準則函數；約定某個