南郵模式識別復(fù)習提綱(整理)

緒論列舉三個模式識別的應(yīng)用：人臉識別，語音識別，基因識別列舉模式識別比較強的研究單位：擁有國家重點學科的五所大學：清華、上交、南理工、西交、北航。中科院。模式識別國家重點實驗室---中科院北京自動化研究所---漢王識別系統(tǒng)。機器人學國家重點實驗室---中科院沈陽自動化所---機器人視覺（ATR導彈自動目標識別）。南郵---江蘇省圖像處理與圖像通信重點實驗室。何為模式識別：Patternrecognitionisthestudyofhowmachinescanobservetheenvironment,learntodistinguishpatternsofinterestfromtheirbackground,andmakesoundandreasonabledecisionsaboutthecategoriesofthepatterns.模式識別是機器如何可以觀察到環(huán)境的研究，了解其背景，以區(qū)別于利益格局，使有關(guān)的模式類別的健全和合理的決定。模式識別系統(tǒng)的基本組成：模板匹配法：1首先對每個類別建立一個或多個模版2輸入樣本和數(shù)據(jù)庫中每個類別的模版進行比較，求相關(guān)或距離3根據(jù)相關(guān)性或距離大小進行決策句法模式識別（給圖畫樹）：在學習過程中，確定基元與基元的關(guān)系，推斷出生成景物的方法。判決過程中，首先提取基元，識別基元之間的連接關(guān)系，使用推斷的文法規(guī)則做句法分析。若分析成立，則判斷輸入的景物屬于相應(yīng)的類型。監(jiān)督學習與非監(jiān)督學習的主要區(qū)別：訓練樣本的類別是否已知。語音識別的基本單位：音素模式識別過程：1三個空間：模式空間特征空間類型空間2三個操作：模式采集、特征提取/選擇、以及分類決策第二章貝葉斯決策理論貝葉斯公式：最小錯誤率貝葉斯決策最小風險貝葉斯決策細胞化驗ω1正常，ω2異常；P(ω1)=0.85P(ω2)=0.15；p(x|ω1)=0.15和p(x|ω2)=0.45;判決兩種α1,α2。風險矩陣：試用最小風險判決規(guī)則，判斷根據(jù)最小風險判決規(guī)則，x∈ω2，即試驗人屬于癌癥病人，與例1的結(jié)論相反。類型空間與決策空間統(tǒng)一根據(jù)最小風險判決規(guī)則，x∈ω2，即試驗人屬于癌癥病人，與例1的結(jié)論相反。類型空間與決策空間統(tǒng)一 Np判決規(guī)則的基本思想：在一種錯誤率不變的條件下，使另一種錯誤率最小。由于存在先驗概率未知，增加一種已知條件，由此給出判決規(guī)則限定一類錯誤率，使另一類錯誤率最小舉例：經(jīng)濟過熱，細胞化驗NP適用條件：先驗概率未知（不可變），僅知道類概率密度。判別函數(shù)和決策面方程的區(qū)別——判別函數(shù)：每個類有一個判別函數(shù)。決策面方程：相鄰兩個類別判別函數(shù)相等構(gòu)成的方程。最大值判決：gi（x）>gj(x)j=1,2……則x屬于wi最小距離判決：條件：先驗概率相等協(xié)方差矩陣……在描述特征中的兩點性質(zhì)1對角線上的元素代表單個元素的離散性。2非對角線上的元素代表不同特征相關(guān)性，若都為0則各特征都獨立。協(xié)方差矩陣：類等概率曲線形狀：同心圓why：不同軸相互垂直且相等——對角陣。決策線與兩類的均值點（圓心）連線的位置關(guān)系：垂直先驗概率對交點的影響？交點向先驗概率較小的那個類型的均值點偏移。第三章概率密度函數(shù)的估計什么是參數(shù)估計，非參數(shù)估計？參數(shù)估計：先假定研究的問題（類概率密度）具有某種數(shù)學模型，如正態(tài)分布，二項分布，再用已知類別的訓練樣本估計里面的參數(shù)非參數(shù)估計：不假定數(shù)學模型，直接用已知類別的訓練樣本的先驗知識直接估計數(shù)學模型（類概率密度）。區(qū)別：類概率密度是否已知。分類器設(shè)計與判決過程似然函數(shù)：訓練樣本集和未知參數(shù)的函數(shù)。最大似然估計：將未知參數(shù)看做一確定值，所選取的估計參數(shù)能使得訓練樣本集能發(fā)生的概率最大，這一估計值成為最大似然估計。貝葉斯函數(shù)估計的基本思想：把待估的參數(shù)作為具有某種先驗分布的隨機變量;通過對第i類學習樣本Xi的觀察借助ρ(Xi|θ)使得ρ(θ)轉(zhuǎn)化為后驗概率ρ(θ|Xi);最后求貝葉斯估計。步驟：①已知θ的先驗分布p(θ),待估參數(shù)為隨機變量。②用第i類訓練樣本的似然函數(shù)p(Xi|θ)，它是θ的函數(shù)。由樣本獨立p(Xi|θ)=∏p(xi|θ)③

利用貝葉斯公式,求θ的后驗概率密度④求貝葉斯估計相比參數(shù)估計，非參數(shù)估計的優(yōu)缺：優(yōu)——無須已知類概率密度函數(shù)形式缺：需要大量的訓練樣本。直方圖法的三個步驟：1把樣本x的每個分量在其取值范圍內(nèi)分成k個等間隔的小窗。如果x是d維向量，則這種分割就會得到kd方個小體積或者稱作小艙，每個小艙的體積記作V。2統(tǒng)計落入每個小艙內(nèi)的樣本數(shù)目qi。3把每個小艙內(nèi)的概率密度看作是常數(shù)，并用qi/(NV)作為其估計值，其中N為樣本總數(shù)。小艙體積的選擇的影響：如果小艙選擇過大，則假設(shè)p(x)在小艙內(nèi)為常數(shù)的做法就顯得粗糙，導致最終估計出的密度函數(shù)也非常粗糙。如果小艙過小，則有些小艙內(nèi)可能就會沒有樣本或很少樣本，導致估計出的概率密度很不連續(xù)。小艙的選擇應(yīng)與樣本總數(shù)相適應(yīng)。小艙體積固定的缺點：可能導致密度的估計在樣本密度不同的地方表現(xiàn)不一致。1隨著樣本數(shù)的增加，小艙體積應(yīng)該盡可能小2必須保證小艙內(nèi)有充分多的樣本3每個小艙內(nèi)的樣本數(shù)又必須是總樣本數(shù)中很小的一部分kN近鄰估計法（可變大小的小艙）基本做法：根據(jù)樣本總數(shù)確定一個參數(shù)kN，即在總樣本數(shù)為N時我們要求每個小艙內(nèi)擁有的樣本個數(shù)。在求x處的密度估計p(x)時，我們調(diào)整包含x的小艙的體積，直到小艙內(nèi)恰好落入kN個樣本kN近鄰估計法中的窗口選擇與樣本密度的關(guān)系：樣本密度越大，小艙體積越小。kN近鄰估計法的優(yōu)點：能夠比較好地兼顧在高密度區(qū)域估計的分辨率和在低密度區(qū)域估計的連續(xù)性。立方體的邊長h的大小對概率密度估計的影響：h越大，樣本密度曲線越平滑，分辨率越低。第四章線性分類器樣本直接設(shè)計分類器要確定的三個基本要素：1分類器即判別函數(shù)的類型，也就是從什么樣的判別函數(shù)類（函數(shù)集）中去求解。2分類器設(shè)計的目的或準則，在確定了設(shè)計準則后，分類器設(shè)計就是根據(jù)樣本從事先決定的函數(shù)集中選擇在該準則下最優(yōu)的函數(shù)，通常就是確定函數(shù)類中的某些待定參數(shù)。3在前兩個要素明確之后，如何設(shè)計算法利用樣本數(shù)據(jù)搜索到最優(yōu)的函數(shù)參數(shù)（即選擇函數(shù)集中的函數(shù)）。設(shè)計線性分類器主要步驟如下：1、要有一組其有類別標志的樣本集2、要根據(jù)實際情況確定一個準則函數(shù)J，它必須滿足：J是樣本集和W、w0函數(shù)，J(X,W,w0)J的值反映分類器的性能，它的極值解則對應(yīng)于“最好”的決策3、用最優(yōu)化技術(shù)求出準則函數(shù)的極值解W*和w*04、最后得到線性判別函數(shù)感知準則函數(shù)：梯度下降法迭代