模式識(shí)別學(xué)習(xí)心得

模式識(shí)別學(xué)習(xí)心得模式識(shí)別學(xué)習(xí)心得什么是模式呢?廣義地說，存在于時(shí)刻和空間中可觀察的事物，若是咱們能夠區(qū)別它們是不是相同或是不是相似，都能夠稱之為模式。模式識(shí)別就是按照觀察到的事物的模式對(duì)事物進(jìn)行分類的進(jìn)程。在圖像識(shí)別技術(shù)中，模式識(shí)別占有核心的地位。所以的圖像處置技術(shù)都是為了更好地進(jìn)行模式識(shí)別做預(yù)備。模式識(shí)別是圖像識(shí)別的實(shí)質(zhì)性階段。2。有兩種大體的模式識(shí)別方式，即統(tǒng)計(jì)模式識(shí)別方式和結(jié)構(gòu)（句法）模式識(shí)別方式，與此相應(yīng)的模式識(shí)別系統(tǒng)都由兩個(gè)進(jìn)程所組成，即設(shè)計(jì)和實(shí)現(xiàn)。設(shè)計(jì)是指用必然數(shù)量的樣本（叫做訓(xùn)練集或?qū)W習(xí)集）進(jìn)行分類器的設(shè)計(jì)。實(shí)現(xiàn)是指用所設(shè)計(jì)的分類器對(duì)待識(shí)別的樣本進(jìn)行分類決策。模式識(shí)別系統(tǒng)（如圖6-2）中，信息獲取和預(yù)處置部份大致能夠與圖像的獲取與處置對(duì)應(yīng)。一般情形下，模式識(shí)別技術(shù)主要包括"特征提取和選擇"和"分類器的設(shè)計(jì)"。近幾十年來，模式識(shí)別技術(shù)進(jìn)展專門快。但是，進(jìn)展較成熟、應(yīng)用較普遍的主如果統(tǒng)計(jì)模式識(shí)別技術(shù)。統(tǒng)計(jì)模式識(shí)別從一個(gè)廣義的角度看，模式識(shí)別能夠看成是一種機(jī)械學(xué)習(xí)的進(jìn)程。依照機(jī)械學(xué)習(xí)進(jìn)程的性質(zhì)，能夠?qū)⒛Ｊ阶R(shí)別方式分成有監(jiān)督的模式識(shí)別方式和非監(jiān)督的模式識(shí)別方式，后者又稱為聚類分析方式。這兩種方式在圖像識(shí)別中都有普遍的應(yīng)用。（1）有監(jiān)督的模式識(shí)別方式從識(shí)別技術(shù)的大體思路和方式看，有監(jiān)督的模式識(shí)別能夠分成兩類：基于模型的方式和直接分類的方式基于模型的方式的基礎(chǔ)是貝葉斯(Bayes)決策理論方式，它對(duì)模式分析和分類器的設(shè)計(jì)有實(shí)在際的指導(dǎo)意義，是統(tǒng)計(jì)模式識(shí)別中的一個(gè)大體方式，用那個(gè)方式進(jìn)行分類時(shí)要求：各類別整體的概率散布(即所謂的先驗(yàn)概率和類條件概率)是已知的；要決策分類的類別數(shù)是必然的。假設(shè)要研究的分類問題有c個(gè)類別，各類別狀態(tài)用曲來表示，i=1,2,…，c；對(duì)應(yīng)于各個(gè)類別曲出現(xiàn)的先驗(yàn)概率P@i)和類條件概率密度函數(shù)p(x|3i)是已知的。若是在特征空間已觀察到某一貫量x,那么應(yīng)該把x分到那一類中去才最合理呢?最大體的想法是按照觀察到的信息，選擇適當(dāng)?shù)姆诸惒呗?，使分類可能出現(xiàn)的錯(cuò)誤最少，即：若是對(duì)于任意jHi,都有P@i|x)P(3j|x)，則將x歸入類曲這就是"最小錯(cuò)誤率的貝葉斯決策"。一個(gè)例子是國際體育聯(lián)合會(huì)對(duì)運(yùn)動(dòng)員興奮劑檢查的策略。由于對(duì)服用興奮劑的運(yùn)動(dòng)員發(fā)生漏檢，最多只是喪失某一次比賽的結(jié)果的公平；而錯(cuò)怪沒有服用興奮劑的運(yùn)動(dòng)員有可能毀掉那個(gè)運(yùn)動(dòng)員的整個(gè)運(yùn)動(dòng)生涯。所以，當(dāng)出現(xiàn)疑問時(shí)，國際體育聯(lián)合會(huì)的原則是：寧可使一千人漏網(wǎng)，也不能錯(cuò)怪一個(gè)好人。類似的思想體此刻模式識(shí)別中，即是"基于最小風(fēng)險(xiǎn)的貝葉斯決策"。設(shè)X(ai|wj)是將wj類中的樣本歸入ai類所帶來的損失，則當(dāng)觀察到x時(shí)，將x歸入ai類的風(fēng)險(xiǎn)能夠概念為：。最小風(fēng)險(xiǎn)的貝葉斯決策就是把x歸入使最小的類中，即：若是對(duì)于任意jHi,都有R(ai|x)R(aj|x)，則將x歸入類wi基于模型的識(shí)別技術(shù)中，關(guān)鍵就是要估量概率密度函數(shù)。其方式可分為參數(shù)估量和非參數(shù)估量兩類在許多實(shí)際問題中，由于樣本特征空間的類條件概率密度的形式常常很難肯定，利用Parzen窗等非參數(shù)方式估量散布又往往需要大量樣本，而且隨著特征空間維數(shù)的增加所需樣本數(shù)急劇增加。由此，在實(shí)際問題中，咱們往往不去恢復(fù)類條件概率密度，而是利用樣本集直接設(shè)計(jì)分類器。具體說就是第一給定某個(gè)判別函數(shù)類，然后利用樣本集肯定出判別函數(shù)中的未知參數(shù)。這種方式就是有監(jiān)督的模式識(shí)別方式中的另一類重要的方式：直接分類方式。這種方式有3個(gè)要素：分類函數(shù)的類型(線性仍是非線性)、分類目標(biāo)函數(shù)、優(yōu)化算法。下面別離介紹線性判別函數(shù)法和非線性判別函數(shù)法。線性判別函數(shù)法利用一類較為簡單的判別函數(shù)。它第一假定判別函數(shù)g(x)是x的線性函數(shù)，即g(x)二wTx十wO,對(duì)于c類問題，能夠概念c個(gè)判別函數(shù)。這里關(guān)鍵的問題是如何利用樣本集求得w和wO。不同的實(shí)際情形,往往提出不同的設(shè)計(jì)要求。這些設(shè)計(jì)要求，在數(shù)學(xué)上一般表現(xiàn)為特定的函數(shù)形式,咱們稱之為準(zhǔn)則函數(shù)。"盡可能好"的結(jié)果相應(yīng)于準(zhǔn)則函數(shù)取最優(yōu)值。這實(shí)際上是將分類器設(shè)計(jì)問題轉(zhuǎn)化為求準(zhǔn)則函數(shù)極值的問題了,如此就可以夠利用最優(yōu)化技術(shù)解決模式識(shí)別問題。線性判別函數(shù)法的代表有：Fisher線性判別法、感知準(zhǔn)則函數(shù)法。Fisher線性判別法應(yīng)用統(tǒng)計(jì)方式解決模式識(shí)別問題時(shí),一再碰著的問題之一是維數(shù)問題。在低維空間里解析上或計(jì)算上行得通的方式,在高維空間里往往行不通。因此,降低維數(shù)有時(shí)就成為處置實(shí)際問題的關(guān)鍵。Fisher準(zhǔn)則函數(shù)的大體思想是,構(gòu)造評(píng)價(jià)函數(shù),使適當(dāng)評(píng)價(jià)函數(shù)最優(yōu)時(shí)被分類的類別之間的距離盡可能大,同時(shí)各類內(nèi)部樣本間距離盡可能小。下式就是Fisher準(zhǔn)則函數(shù)：式中分子代表類間距離；分子代表類內(nèi)離散度。分類器的設(shè)計(jì)進(jìn)程就是通過已知樣本求得w和w0使JF(w)取得最大值感知準(zhǔn)則函數(shù)法設(shè)有一組樣本y1,y2,???，yn,其中yn是規(guī)范化增廣樣本向量，咱們的目的是找一個(gè)解向量a*，使得顯然，對(duì)于線性可分情形，問題才有解：為此這里第一考慮處置線性可分問題的算法。此刻先構(gòu)造如此一個(gè)準(zhǔn)則函數(shù)式中求和是對(duì)所有被權(quán)向量a錯(cuò)分的樣本進(jìn)行的。當(dāng)y被錯(cuò)分時(shí)就有-aTy>0,因此，上式中的，JP(a)老是大于等于0。當(dāng)且僅當(dāng)錯(cuò)分集為空集時(shí).JP(a)=minJP(a)=0,這時(shí)將不存在錯(cuò)分樣本，"就是咱們要尋覓的解向量"。這一準(zhǔn)則函數(shù)是20世紀(jì)50年代由Rosenblatt提出來，試圖用于腦模型感知器上的，故一般稱為感知準(zhǔn)則函數(shù)。近鄰法最初的近鄰法是由Cover和Hart于1968年提出的。由于對(duì)該方式在理論上進(jìn)行了深切分析，直至此刻仍是模式識(shí)別非參數(shù)法中最重要的方式之一。最簡單的近鄰決策規(guī)則是最近鄰決策規(guī)則。所謂最近鄰決策，是尋覓與待分類樣本最近的已知樣本，以為待分類樣本與后者同屬一類。最近鄰法的一個(gè)顯然的推行是k近鄰法。從字義上看，那個(gè)方式就是取未知樣本x的k個(gè)近鄰，看這k個(gè)近鄰中多數(shù)屬于哪一類，就把x歸為哪一類。近鄰法的一個(gè)缺點(diǎn)是計(jì)算量大。解決的途徑之一是采用快速算法，稱之為快速搜索近鄰法。其大體考慮是將樣本分級(jí)分成一些不相交的子集，并在子集的基礎(chǔ)上進(jìn)行搜索。該算法對(duì)最近鄰法和近鄰法都適用。(2)非監(jiān)督的模式識(shí)別方式在很多實(shí)際應(yīng)用中由于缺少形成模式類進(jìn)程的知識(shí).或由于實(shí)際工作中的困難（例如衛(wèi)星遙感照片上各像元的分類問題），咱們往往只能用沒有類別標(biāo)簽的樣本集進(jìn)行工作。這就是通常所說的非監(jiān)督學(xué)習(xí)方式。一般來講非監(jiān)督學(xué)習(xí)方式能夠分成兩大類，即基于概率密度函數(shù)估量的直接方式和基于樣本間相似性氣宇的間接聚類方式。不論是哪一種方式，在把樣本集劃分為若干個(gè)子集（類別）后，咱們或直接用它解決分類問題.或把它作為訓(xùn)練樣本集進(jìn)行分類器設(shè)計(jì)。單峰子集（類）的分離方式：在沒有任何類條件概率散布的先驗(yàn)知識(shí)情形下，咱們只能把特征空間劃分為若干個(gè)區(qū)域Si,i=l,2,…，c,在每一個(gè)區(qū)域中的混合密度應(yīng)該是單峰的，如圖6-3所示。咱們把這些區(qū)域叫作單峰區(qū)域。假定每一個(gè)單峰區(qū)域Si和一個(gè)類別曲相對(duì)應(yīng)。有各類算法來實(shí)現(xiàn)這些單峰區(qū)域的劃分。在應(yīng)用中,單峰子集（類）的分離方式,需要估量概率密度函數(shù)。為了避免估量概率密度函數(shù)的困難,咱們能夠在必然條件下,依照樣本間的相似性把集合劃分成若干個(gè)子集,劃分的結(jié)果應(yīng)使某種表示聚類質(zhì)量的準(zhǔn)則函數(shù)為最大。當(dāng)用距離來表示兩個(gè)樣本間的相似度時(shí),如此做的結(jié)果就把特征空間劃分成若干個(gè)區(qū)域,每一個(gè)區(qū)域相當(dāng)于一個(gè)類別。一些常常利用的距離氣宇都能夠作為這種相似件氣宇,在工程中,之所以常常常利用距離來表示樣本間的相似度,是因?yàn)閺慕?jīng)驗(yàn)上看,凡是同一類的樣本,其特征向量應(yīng)該是彼此靠近的,而不同類的樣本其特征向量之間的距離要大得多。這種方式雖然看起來似乎和上述的基于混合概率密度函數(shù)估量的聚類分離方式?jīng)]有聯(lián)系,可是由于概率密度的估量也是在樣本間距離的基礎(chǔ)上進(jìn)行的,距離很近的兩個(gè)特征向量常常是屬于同一單峰子集。所以兩種方式在概念上仍然是彼此關(guān)聯(lián)的。常常利用的對(duì)數(shù)據(jù)集進(jìn)行聚類的方式有兩種，迭代的動(dòng)態(tài)聚類算法和非迭代的分級(jí)聚類算法。動(dòng)態(tài)聚類方式是一種普遍采用的方式，它具有以下3個(gè)要點(diǎn)：選定某種距離氣宇作為樣本間的相似性氣宇；肯定某個(gè)評(píng)價(jià)聚類結(jié)果質(zhì)量的準(zhǔn)則函數(shù)；約定某個(gè)