[模式識別]期末考試復(fù)習(xí)資料

1、 題型：填空題填空題5題名詞解釋4題問答題4題計算作圖題3題綜合計算題1題備注1:沒有整理第一章和第六章，老師說不考的備注2：非線性判別函數(shù)相關(guān)概念P69概率相關(guān)定義、性質(zhì)、公式P83以后最小錯誤率貝葉斯決策公式P85最小風(fēng)險貝葉斯P86正態(tài)貝葉斯P90綜合計算有可能是第六次作業(yè)一、填空題物以類聚人以群分體現(xiàn)的是塞型逝的基本思想。模式識別分類：1.從實現(xiàn)方法來分模式識別分為監(jiān)督分類和非監(jiān)督分類;2從理論上來分，有統(tǒng)計模式識別，統(tǒng)計模式識別，模糊模式識別，神經(jīng)網(wǎng)絡(luò)模式識別法聚類分析是按照不同對象之間的差異，根據(jù)距離函數(shù)的規(guī)律做模式分類的。模式的特性：可觀察性、可區(qū)分性、相似性模式識別的任務(wù)：一是

2、研究生物體（包括人）是如何感知對彖的，二是如何用計算機實現(xiàn)模式識別的理論和方法。計算機的發(fā)展方向：1神經(jīng)網(wǎng)絡(luò)計算機一一模擬人的人腦思維；2.生物計算機一一運用生物工程技術(shù)、蛋白分子作芯片;3.光計算機一一用光作為信息載體，通過對光的處理來完成對信息的處理。訓(xùn)練學(xué)習(xí)方法：監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)（無先驗知識，甚至類別數(shù)也未知）。統(tǒng)計模式識別有：1聚類分析法（非監(jiān)督）；2.判決函數(shù)法/幾何分類法（監(jiān)督）；3.基于統(tǒng)計決策的概率分類法-以模式集在特征空間中分布的類概率密度函數(shù)為基礎(chǔ)，對總體特征進行研究，以取得分類的方法數(shù)據(jù)的標(biāo)準化目的：消除各個分量之間數(shù)值范圍大小對算法的影響模式識別系統(tǒng)的基本構(gòu)成：書P

3、7聚類過程遵循的基本步驟：特征選擇：近鄰測度；聚類準則；聚類算法：結(jié)果驗證；結(jié)呆判定。相似測度基礎(chǔ)：以兩矢量的方向是否相近作為考慮的基礎(chǔ)，矢量長度并不重要。確定聚類準則的兩種方式：閾值準則，函數(shù)準則基于距離閾值的聚類算法一一分解聚類：近鄰聚類法；最人最小距離聚類法類間距離計算準則：1）最短距離法2）最長距離法3）中間距離法4）重心法5）類平均距離法6）離差平方和法P24系統(tǒng)聚類法一一合并的思想用于隨機模式分類識別的方法，通常稱為貝葉斯判決。BAYES決策常用的準則：最小錯誤率；最小風(fēng)險錯誤率的計算或估計方法：按理論公式計算：計算錯誤率上界：實驗估計。1名詞解釋名詞解釋相似性測度：衡量模式之間相

4、似性的一種尺度明氏距離：P17當(dāng)n=2時，明氏距離為歐氏距離。當(dāng)時：絕對距離（曼哈頓距離）稱為“街坊”距離感知器算法：就是通過訓(xùn)練樣本模式的迭代和學(xué)習(xí)，產(chǎn)生線性（或廣義線性）可分的模式判別函數(shù)。梯度:P59感知器P227模糊度P182清晰性P182含混性近似性隨機性模式：對客體（研究對象）特征的描述（定量的或結(jié)構(gòu)的）,是取自客觀世界的某一樣本的測量值的集合（或綜合）模式所指的不是事物本身，而是從事物獲得的信息。模式識別：確定一個樣本的類別屬性（模式類）的過程，即把某一樣本歸屬于多個類型中的某個類型。模式類：具有某些共同特性的模式的集合。特征選擇：在原始特征基礎(chǔ)上選擇一些主要特征作為判別用的特征

5、。特征提取：采用某種變換技術(shù)，得出數(shù)目上比原來少的綜合特征作為分類用。特征抽?。和ㄟ^各種手段從原始數(shù)據(jù)中得出反映分類問題的若干特征（有時需進行數(shù)據(jù)標(biāo)準化）特征空間：進行模式分類的空間。特征向量：用n維列向量來表示一個（模式）樣本，說明該樣本具有n個數(shù)字特征x=（xl,x2,，xn）T常稱之為特征向量。人工智能：是研究如何將人的智能轉(zhuǎn)化為機器智能，或者是用機器來模擬或?qū)崿F(xiàn)人的智能。聚類分析：根據(jù)模式之間的相似性（相鄰性）對模式進行分類，是一種非監(jiān)督分類方法。聚類準則：根據(jù)相似性測度確定的，衡量模式之間是否相似的標(biāo)準。即把不同模式聚為一類還是歸為不同類的準則一-同一類模式相似程度的標(biāo)準或不同類模式

6、差異程度的標(biāo)準。聚類準則函數(shù)：丿=zk-聚類準則函數(shù)：在聚類分析中，表示模式類內(nèi)相似或類間差異性的函數(shù)。ZE相似度：衡量模式之間相似程度的尺度。相似性測度：衡量模式之間相似性的一種尺度。歐氏距離（簡稱距離）：P15馬氏距離：P15明氏距離：P17當(dāng)m=2時，明氏距離為歐氏距離。當(dāng)m=l時：絕對距離（曼哈頓距離）稱為“街坊”距離漢明（Hamming）距離:P17判別函數(shù)：直接用來對模式進行分類的準則函數(shù)。感知器算法：就是通過訓(xùn)練樣本模式的迭代和學(xué)習(xí)，產(chǎn)生線性（或廣義線性）可分的模式判別函數(shù)。梯度：P59分類器的正確率：指分類器正確分類的項目占所有被分類項目的比率。過擬合：高維空河訓(xùn)練形成的分類器

7、，相當(dāng)于在低維空間的一個復(fù)雜的非線性分類器，這種分類器過多的強調(diào)了訓(xùn)練集的準確率甚至于對一些錯誤/異常的數(shù)據(jù)也進行了學(xué)習(xí)，而正確的數(shù)據(jù)卻無法覆蓋整個特征空間。為此，這樣得到的分類器在對新數(shù)據(jù)進行預(yù)測時將會出現(xiàn)錯誤。這種現(xiàn)象稱之為過擬合，同時也是維數(shù)災(zāi)難的直接體現(xiàn)。 問答題2.問答題統(tǒng)計模式識別的優(yōu)缺點：主要優(yōu)點：1）比較成熟2）能考慮干擾噪聲等影響3）識別模式基元能力強主要缺點：1）對結(jié)構(gòu)復(fù)雜的模式抽取特征困難2）不能反映模式的結(jié)構(gòu)特征，難以描述模式的性質(zhì)3）難以從整體角度考慮識別問題句法模式識別優(yōu)缺點：主要優(yōu)點：1）識別方便，可以從簡單的基元開始，由簡至繁。2）能反映模式的結(jié)構(gòu)特征，能描述模

8、式的性質(zhì)。3）對圖彖畸變的抗干擾能力較強。主要缺點：當(dāng)存在干擾及噪聲時，抽取特征基元困難，且易失誤。模糊模式識別優(yōu)缺點：主要優(yōu)點：由于隸屬度函數(shù)作為樣本與模板間相似程度的度量，故往往能反映整體的與主體的特征，從而允許樣本有相當(dāng)程度的干擾與畸變。主要缺點：準確合理的隸屬度函數(shù)往往難以建立，故限制了它的應(yīng)用。神經(jīng)網(wǎng)絡(luò)模式識別法優(yōu)缺點：主要優(yōu)點：可處理一些環(huán)境信息十分復(fù)雜，背景知識不清楚，推理規(guī)則不明確的問題。允許樣本有較大的缺損、畸變。主要缺點：模型在不斷豐富與完善中，目前能識別的模式類還不夠多。分類與聚類的區(qū)別：分類：用已知類別的樣本訓(xùn)練集來設(shè)計分類器（監(jiān)督學(xué)習(xí)），由學(xué)習(xí)過程和識別過程兩部分組成

9、，且用于學(xué)習(xí)的樣本類別是已知的。聚類（集群）：事先不知樣本的類別，而利用樣本的先驗知識來構(gòu)造分類器（無監(jiān)督學(xué)習(xí)）。馬氏距離的優(yōu)缺點：優(yōu)點：它不受量綱的影響，兩點之間的馬氏距離與原始數(shù)據(jù)的測量單位無關(guān)；由標(biāo)準化數(shù)據(jù)和中心化數(shù)據(jù)（即原始數(shù)據(jù)與均值之差）計算出的二點之間的馬氏距離相同：馬氏距離還可以排除變量之間的相關(guān)性的干擾；滿足距離的四個基本公理：非負性、自反性、對稱性和三角不等式。缺點：有可能夸人變化微小的變量的作用：協(xié)方差不易計算近鄰聚類法優(yōu)缺點：優(yōu)點：計算簡單（一種雖粗糙但快速的方法）。局限性：聚類過程中，類的中心一旦確定將不會改變，模式一旦指定類后也不再改變。聚類結(jié)果很犬程度上依賴于第一個

10、聚類中心的位置選擇、待分類模式樣本的排列次序、距離閾值T的人小以及樣本分布的幾何性質(zhì)等。最大最小距離算法（小中取大距離算法）：算法思想：在模式特征矢量集中以最人距離原則選取新的聚類中心。以最小距離原則進行模式歸類，通常使用歐式距離。層次聚類法（系統(tǒng)聚類法、分級聚類法）：思路：每個樣本先自成一類，然后按距離準則逐步合并，減少類數(shù)。動態(tài)聚類的基本步驟：建立初始聚類中心，進行初始聚類；計算模式和類的距離，調(diào)整模式的類別；計算各聚類的參數(shù)，刪除、合并或分裂一些聚類；從初始聚類開始，運用迭代算法動態(tài)地改變模式的類別和聚類的中心使準則函數(shù)取得極值或設(shè)定的參數(shù)達到設(shè)計要求時停止。ISODATA與K均值算法比

11、較：相似：聚類中心的位置均通過樣本均值的迭代運算決定。相異：K-均值算法的聚類中心個數(shù)不變；ISODATA的聚類中心個數(shù)變化。ISODATA基本思路：（1）選擇初始值一一包括若干聚類中心及一些指標(biāo)?？稍诘\算過程中人為修改，據(jù)此將N個模式樣本分配到各個聚類中心去。（2）按最近鄰規(guī)則進行分類。（3）聚類后的處理：計算各類中的距離函數(shù)等指標(biāo)，按照給定的要求，將前次獲得的聚類集進行分裂或合并處理，以獲得新的聚類中心，即調(diào)整聚類中心的個數(shù)。（4）判斷結(jié)果是否符合要求：符合，結(jié)束；否則，回到（2）。不同聚類算法比較:算法基本思想聚類中心個數(shù)樣本歸類聚類結(jié)果對初始中心選擇類中心類間距離其他特點分解聚類近

12、鄰分裂單調(diào)變化，閾值確定不變敏感不變否模式樣本的幾何分布性質(zhì)影響均存在！排列次序或讀入次序的影響不可忽視。最大最小距離不變不敏感不變否系統(tǒng)聚類層級聚類合并同上變化不敏感變化需要動態(tài)聚類K-均值兼顧指定，不變變化敏感變化否ISODATA變化變化不敏感變化需要線性判別函數(shù)的特點:形式簡單，容易學(xué)習(xí)：用于線性可分的模式類。分段線性判別函數(shù)特點：相對簡單；能逼近各種形狀的超曲面。一維正態(tài)曲線的性質(zhì)：（1）曲線在X軸的上方，與X軸不相交。（2）曲線關(guān)于直線x=u對稱。（3）當(dāng)X=M時，曲線位于最高點。（4）當(dāng)XU時，曲線下降.并且當(dāng)曲線向左、右兩邊無限延伸時，以X軸為漸近線，向它無限靠近。（5）U定時，

13、曲線的形狀由c確定。越大，曲線越“矮胖”，表示總體的分布越分散；c越小。曲線越“瘦高”。表示總體的分布越集中。特征選擇和提取的目的：經(jīng)過選擇或變換，組成識別特征，盡可能保留分類信息，在保證一定分類精度的前提下，減少特征維數(shù)，使分類器的工作既快又準確。K-L變換進行特征提取的優(yōu)缺點：優(yōu)點：變換在均方誤差最小的意義卞使新樣本集X*逼近原樣本集X的分布，既壓縮了維數(shù)又保留了類別鑒別信息。變換后的新模式向屋各分量相對總體均值的方差等于原樣本集總體自相關(guān)矩陣的人特征值，表明變換突出了模式類之間的差異性。C*為對角矩陣說明了變換后樣本各分量互不相關(guān)，亦即消除了原來特征之間的相關(guān)性，便于進一步進行特征的選擇

14、。缺點：對兩類問題容易得到較滿意的結(jié)果。類別愈多，效果愈差。需要通過足夠多的樣本估計樣本集的協(xié)方差矩陣或其它類型的散布矩陣。當(dāng)樣本數(shù)不足時，矩陣的估計會變得十分粗略,變換的優(yōu)越性也就不能充分的地顯示出來。計算矩陣的本征值和本征向量缺乏統(tǒng)一的快速算法，給計算帶來困難。 計算作圖題層次聚類分析：(此處為例題).o“217.4.e3計算作圖題最大最小距離算法(小中取大距離算法)：計算按照P22的例2.1來最短距離準則進行系統(tǒng)聚類分類：P25例2.2設(shè)全部樣本分為6類作距離矩陣D(0)求最小元素GGg2g,G4iiiai厶4x123丄56789把31,33合并37=(1,3);34、36合并38=(4,6)作距離矩陣D(l)若合并的類數(shù)沒有達到要求，轉(zhuǎn)(3),否則停止求最小元素3&35，32合并，39=(2,5,4、6)如無閾值要求，直至最后歸為一類310K均值算法P28例2.3判別函數(shù)：P40第一種：例3.1&3.