模式識(shí)別第1章

1、模式識(shí)別關(guān)于本課程的有關(guān)說明 相關(guān)學(xué)科相關(guān)學(xué)科 教學(xué)方法教學(xué)方法 教學(xué)目標(biāo)教學(xué)目標(biāo) 基本要求基本要求 教材教材/ /參考文獻(xiàn)參考文獻(xiàn)統(tǒng)計(jì)學(xué)統(tǒng)計(jì)學(xué)概率論概率論線性代數(shù)（矩陣計(jì)算）線性代數(shù)（矩陣計(jì)算）形式語(yǔ)言形式語(yǔ)言人工智能人工智能圖像處理圖像處理計(jì)算機(jī)視覺計(jì)算機(jī)視覺等等等等 相關(guān)學(xué)科 教學(xué)方法著重講述模式識(shí)著重講述模式識(shí)別的基本概念，基別的基本概念，基本方法和算法原理。本方法和算法原理。注重理論與實(shí)踐注重理論與實(shí)踐緊密結(jié)合緊密結(jié)合 實(shí)例教學(xué)：通過實(shí)例教學(xué)：通過實(shí)例講述如何將所實(shí)例講述如何將所學(xué)知識(shí)運(yùn)用到實(shí)際學(xué)知識(shí)運(yùn)用到實(shí)際應(yīng)用之中應(yīng)用之中避免引用過多的、避免引用過多的、繁瑣的數(shù)學(xué)推導(dǎo)繁瑣的數(shù)學(xué)推

2、導(dǎo) 教學(xué)目標(biāo)掌握模式識(shí)別的掌握模式識(shí)別的基本概念和方法基本概念和方法有效地運(yùn)用所學(xué)有效地運(yùn)用所學(xué)知識(shí)和方法解決實(shí)知識(shí)和方法解決實(shí)際問題際問題為研究新的模式為研究新的模式識(shí)別的理論和方法識(shí)別的理論和方法打下基礎(chǔ)打下基礎(chǔ) 基本要求基本：完成課程習(xí)基本：完成課程習(xí)通過考試，獲得學(xué)分。通過考試，獲得學(xué)分。提高：能夠?qū)⑺岣撸耗軌驅(qū)⑺蛢?nèi)容用于課題究決和內(nèi)容用于課題究決實(shí)際問題。實(shí)際問題。飛躍：通過模式的飛躍：通過模式的學(xué)習(xí)，改進(jìn)思維式為學(xué)習(xí)，改進(jìn)思維式為將來的工作打好礎(chǔ)終將來的工作打好礎(chǔ)終身受益。身受益。邊肇祺邊肇祺.模式識(shí)別模式識(shí)別.清華大學(xué)出版社清華大學(xué)出版社孫即祥孫即祥.現(xiàn)代模式識(shí)別現(xiàn)代模式

3、識(shí)別.國(guó)防科技出版社國(guó)防科技出版社 羅耀光羅耀光,盛立東盛立東.模式識(shí)別模式識(shí)別.人民郵電出版社人民郵電出版社付京蓀付京蓀.模式識(shí)別及應(yīng)用模式識(shí)別及應(yīng)用.科學(xué)出版社科學(xué)出版社Richard O. Duda et al ，Pattern Classification.(2nd version,中、英版），中、英版），機(jī)械工業(yè)出版社機(jī)械工業(yè)出版社 K.S.Fu .Syntactic Pattern Recognition and Application J.T.Tom R.C. Gouzales.Pattern Recognition Principles 教材教材/參考文獻(xiàn)參考文獻(xiàn)引引 言言模式

4、識(shí)別的發(fā)展模式識(shí)別的發(fā)展n1929年 G. Tauschek發(fā)明閱讀機(jī) ，能夠閱讀0-9的數(shù)字。n30年代 Fisher提出統(tǒng)計(jì)分類理論,奠定了統(tǒng)計(jì)模式識(shí)別的基礎(chǔ)。因此，在6070年代，統(tǒng)計(jì)模式識(shí)別發(fā)展很快，但由于被識(shí)別的模式愈來愈復(fù)雜，特征也愈多，就出現(xiàn)“維數(shù)災(zāi)難”。隨著計(jì)算機(jī)運(yùn)算速度的迅猛發(fā)展，這個(gè)問題得到一定克服。目前，統(tǒng)計(jì)模式識(shí)別仍是模式識(shí)別的主要理論。n50年代 Noam Chemsky 提出形式語(yǔ)言理論，在此基礎(chǔ)上，美籍華人付京蓀 提出句法結(jié)構(gòu)模式識(shí)別。n60年代 L.A.Zadeh提出了模糊集理論，模糊模式識(shí)別理論得到了較廣泛的應(yīng)用。80年代 Hopfield提出神經(jīng)元網(wǎng)絡(luò)模型理

5、論。近些年人工神經(jīng)元網(wǎng)絡(luò)在模式識(shí)別和人工智能上得到較廣泛的應(yīng)用。90年代 小樣本學(xué)習(xí)理論，支持向量機(jī)也受到了很大的重視。1973年 IEEE發(fā)起了第一次關(guān)于模式識(shí)別的國(guó)際會(huì)議“ICPR”，成立了國(guó)際模式識(shí)別協(xié)會(huì)-“IAPR”，每2年召開一次國(guó)際學(xué)術(shù)會(huì)議；1977年 IEEE的計(jì)算機(jī)學(xué)會(huì)成立了模式分析與機(jī)器智能（PAMI）委員會(huì)，每2年召開一次模式識(shí)別與圖象處理學(xué)術(shù)會(huì)議；國(guó)內(nèi)的組織有電子學(xué)會(huì)，通信學(xué)會(huì)，自動(dòng)化協(xié)會(huì)，中文信息學(xué)會(huì).。模式識(shí)別的應(yīng)用領(lǐng)域更加廣泛：模式識(shí)別的應(yīng)用領(lǐng)域更加廣泛： 生物、醫(yī)學(xué)、軍事、農(nóng)業(yè)、工業(yè)、社會(huì)、教育、航天、航空、經(jīng)濟(jì)、金融、生物認(rèn)證、數(shù)字水印基于語(yǔ)音： 重點(diǎn)人物通信監(jiān)

6、控語(yǔ)音識(shí)別系統(tǒng)/規(guī)模音頻資料檢索基于圖像： 光學(xué)字符識(shí)別(Optical Character Recognition OCR)/車牌識(shí)別(Vehicle License Plate Recognition VLPR)/人臉識(shí)別/指紋識(shí)別/簽名認(rèn)證/支票認(rèn)證/表情和手勢(shì)識(shí)別/農(nóng)作物分類與害蟲識(shí)別/生物信息學(xué)：DNA識(shí)別/航空與衛(wèi)星遙測(cè)遙感數(shù)據(jù)資源調(diào)查/軍用目標(biāo)的圖像識(shí)別/基于圖形模式識(shí)別的機(jī)器人控制等基于工程數(shù)據(jù)： 振動(dòng)模式分析與故障診斷/石油鉆井?dāng)?shù)據(jù)分析與事故預(yù)報(bào)/基于狀態(tài)模式的智能控制/數(shù)據(jù)挖掘與知識(shí)發(fā)現(xiàn)等n模式識(shí)別的計(jì)算手段更加先進(jìn)：模式識(shí)別的計(jì)算手段更加先進(jìn)： 海量存儲(chǔ)技術(shù)、高速計(jì)算/并

7、行計(jì)算技術(shù)、 網(wǎng)格技術(shù)、網(wǎng)絡(luò)技術(shù)、 新型前端器件(激光、紅外、MEMS、傳感器網(wǎng)絡(luò))n模式識(shí)別的新型算法層出不窮：模式識(shí)別的新型算法層出不窮： Computation with word(Zadeh) Soft Computation DNA Computationn國(guó)內(nèi)外模式識(shí)別的學(xué)術(shù)活動(dòng)從未間斷國(guó)內(nèi)外模式識(shí)別的學(xué)術(shù)活動(dòng)從未間斷: 小波/模式識(shí)別國(guó)際會(huì)議、機(jī)器學(xué)習(xí)/模式識(shí)別國(guó)際會(huì)議、圖像處理/模式識(shí)別國(guó)際會(huì)議、數(shù)據(jù)挖掘/模式識(shí)別國(guó)際會(huì)議第1章 緒論例子例子1 1：醫(yī)生診病過程：醫(yī)生診病過程 1)測(cè)量病人的體溫和血壓，化驗(yàn)血沉，詢問臨床表現(xiàn)； 2)通過綜合分析，抓住主要病癥； 3)醫(yī)生運(yùn)用自己

8、的知識(shí)、經(jīng)驗(yàn)，根據(jù)主要病癥、測(cè)量化驗(yàn)結(jié)果，作出正確的診斷。n在模式識(shí)別技術(shù)中，常用的術(shù)語(yǔ)有：樣本、模式、特征、類型等等，對(duì)照醫(yī)生診病過程，有：a.樣本：醫(yī)院里的眾多患者，每個(gè)患者都是一個(gè)樣本； 單一樣本：醫(yī)生診斷的某一患者，就是樣本空間中的一個(gè)單一樣本； 樣本值：某一患者的化驗(yàn)、檢查結(jié)果與表征現(xiàn)象。b.模式：各樣本值按一定的數(shù)據(jù)準(zhǔn)則綜合的結(jié)果； 模式樣本：具有某種模式的樣本； 模式采集：獲取某樣本的測(cè)量數(shù)值的過程；醫(yī)生診病過程醫(yī)生診病過程c.特征：患者某些具有顯著特征的化驗(yàn)數(shù)據(jù)及表征； 特征選擇與提取：能表征(疾病)特異性的化驗(yàn)結(jié)果與表征；d.判決：醫(yī)生運(yùn)用知識(shí)、病例經(jīng)驗(yàn)綜合分析給出診斷； 判

9、決準(zhǔn)則/規(guī)則：醫(yī)生的知識(shí) 判決結(jié)果：將患者明確(或以概率)確定為某一種病癥(或多種/并發(fā)病癥)的患者(及病患嚴(yán)重程度)事實(shí)上，最后的結(jié)果也成為分類。因此有預(yù)先知道類別(已知病癥)與未知類別(未知病癥)的區(qū)別。模式識(shí)別：就是以計(jì)算機(jī)為工具、各種傳感器為信息來源，數(shù)據(jù)計(jì)算與處理為方法，對(duì)各種現(xiàn)象、事物、狀態(tài)等進(jìn)行準(zhǔn)確地分析、判斷識(shí)別與歸類。n人類在生產(chǎn)過程的長(zhǎng)期發(fā)展中，辨別事物的能力逐漸增強(qiáng)，辨別事物的需求也逐漸擴(kuò)大。尤其是近代，隨著現(xiàn)代工業(yè)的飛速發(fā)展，辨別事物的能力逐漸發(fā)展為一項(xiàng)專門的技術(shù)，從20世紀(jì)初起，形成了專門的模式識(shí)別技術(shù)。n 從廣義來說，模式識(shí)別是人類的基本活動(dòng)。從狹義來說，模式識(shí)別是

10、專門對(duì)于機(jī)器識(shí)別而言的，或者說是基于數(shù)學(xué)的基本原理以及信息學(xué)的基本原理，利用計(jì)算機(jī)技術(shù)來完成的機(jī)器識(shí)別。n客觀事物的主觀(符號(hào)化)表征即為模式。n模式的概念源于分類學(xué)。作為一個(gè)抽象化的概念，它不是被識(shí)別對(duì)象的固有屬性，而是人對(duì)被識(shí)別對(duì)象所加的主觀標(biāo)簽。模式分類學(xué)的研究目的是基于特定的研究對(duì)象,尋找有效的描述方法,尋找對(duì)象固有的屬性特征,尋找合理的數(shù)學(xué)方法,實(shí)現(xiàn)類別歸屬的確定。模式識(shí)別的幾個(gè)主要關(guān)系：1.模式識(shí)別發(fā)展的動(dòng)力是社會(huì)生產(chǎn)的需求2.分類類別的確定與確定類別的依據(jù)3.使用什么分類方法來完成分類目的以及所使用方法的評(píng)價(jià)n特征空間(描述空間,表示空間)n包含用以描述樣本的特征向量的向量空間。

11、n決策空間(解釋空間)n分類類別形成的集合.n尋找特征空間到?jīng)Q策空間的映射關(guān)系一、基本概念一、基本概念n模式識(shí)別模式識(shí)別(Pattern Recognition)(Pattern Recognition)：確定一個(gè)樣本的類別屬性確定一個(gè)樣本的類別屬性（模式類）的過程，即把某一樣本歸屬于多個(gè)類型中的某個(gè)類（模式類）的過程，即把某一樣本歸屬于多個(gè)類型中的某個(gè)類型。型。n樣本（樣本（Sample)Sample)：一個(gè)具體的研究（客觀）對(duì)象。如患者，某一個(gè)具體的研究（客觀）對(duì)象。如患者，某人寫的一個(gè)漢字，一幅圖片等。人寫的一個(gè)漢字，一幅圖片等。n模式模式(Pattern)(Pattern)：對(duì)客體（研

12、究對(duì)象）特征的描述（定量的或?qū)腕w（研究對(duì)象）特征的描述（定量的或結(jié)構(gòu)的描述），是取自客觀世界的某一樣本的測(cè)量值的集合結(jié)構(gòu)的描述），是取自客觀世界的某一樣本的測(cè)量值的集合（或綜合）。（或綜合）。n特征特征(Features)(Features)：能描述模式特性的量（測(cè)量值）。在統(tǒng)計(jì)模能描述模式特性的量（測(cè)量值）。在統(tǒng)計(jì)模式識(shí)別方法中，通常用一個(gè)矢量式識(shí)別方法中，通常用一個(gè)矢量 表示，稱之為特征矢量，記表示，稱之為特征矢量，記為為 n模式類模式類(Class)(Class)：具有某些共同特性的模式的集合。具有某些共同特性的模式的集合。x),(21nxxxx),(21nxxxx二、基本問題二、基本

13、問題模式模式(樣本樣本)表示方法表示方法模式類的緊致性描述模式類的相似性與度量模式類的特征描述空間映射的應(yīng)用及其有效性準(zhǔn)則函數(shù)的選擇與其適用范圍模式識(shí)別中的機(jī)器學(xué)習(xí)方法模式表示法模式表示法1.向量表示法向量表示法模式向量模式向量：以數(shù)量信息為特征的模式表示。即以模式的以數(shù)量信息為特征的模式表示。即以模式的n n個(gè)特征量測(cè)值組個(gè)特征量測(cè)值組成一個(gè)成一個(gè)n n維特征矢量維特征矢量 X=(xX=(x1 1,x,x2 2, ,x,xn n) )T T表示模式。表示模式。例：例：字符識(shí)別機(jī)，辨別每個(gè)輸入，判斷它是屬于哪一種字符，字符識(shí)別機(jī)，辨別每個(gè)輸入，判斷它是屬于哪一種字符，A AZ Z、0 09 9

14、、拒絕類，共、拒絕類，共26+10+1=3726+10+1=37個(gè)模式類。采用光電陣列把字符變成二值個(gè)模式類。采用光電陣列把字符變成二值的圖象，如的圖象，如6 66 6方陣，方陣，X=xX=x1 1x x2 2x x3 3x x3636 T T。 2. 2.矩陣表示矩陣表示N個(gè)樣本，個(gè)樣本，n個(gè)變量個(gè)變量(特征特征)3.幾何表示幾何表示一一維表示維表示 X1=0.5 X2=3 二維表示二維表示 X1=(x1,x2)T=(1,2)T X2=(x1,x2)T=(2,1)T三維表示三維表示 X1=(x1,x2,x3)T=(1,1,0)T X2=(x1,x2,x3)T=(1,0,1)T4. 4.符號(hào)串

15、表示法（符號(hào)串表示法（1 1）n定義了一定的模式基元，用模式基元的連接表示模式定義了一定的模式基元，用模式基元的連接表示模式。ba階梯模式： ababab 即 (ab)n,n1符號(hào)串表示法（2）n定義算子定義算子, ,增加串的表示能力增加串的表示能力 baa+bbaabbaa*bbba模式基元：ba-bba5.樹表示法n任何一個(gè)分層有序系統(tǒng)都導(dǎo)致樹結(jié)構(gòu)，引入任何一個(gè)分層有序系統(tǒng)都導(dǎo)致樹結(jié)構(gòu)，引入“在內(nèi)部在內(nèi)部”關(guān)系、關(guān)系、“由由組組成成”關(guān)系。關(guān)系。 abcdefghi$a$bcihgdfeR2R1R3T1T2墻（W）地板F立方體C錐體P錐體P$景物物體背景地板F墻W立方體CT1T2R1R2R

16、36.網(wǎng)表示法n網(wǎng)表示法：網(wǎng)是無向帶標(biāo)志的點(diǎn)圖。在上圖中，我們?cè)谝刖W(wǎng)表示法：網(wǎng)是無向帶標(biāo)志的點(diǎn)圖。在上圖中，我們?cè)谝搿芭c與連接連接”，就可，就可以得到圖所示的網(wǎng)。以得到圖所示的網(wǎng)。 R2R1R3 T1 T2墻（W）地板F立方體C錐體P$景物物體背景地板F墻W錐體P立方體CT1T2R1R2R3模式類的緊致性描述為了保證分類的可行性,要求同類樣本在描述空間中應(yīng)盡可能地靠近,或者說同類樣本是一個(gè)緊致集合.模式類的緊致性是就簡(jiǎn)單分類面還是復(fù)雜分類面而言的.1. 1. 緊致集：同一類模式類樣本的分緊致集：同一類模式類樣本的分布比較集中，沒有臨界樣本或者布比較集中，沒有臨界樣本或者臨界樣本很少，這樣的

17、模式類稱臨界樣本很少，這樣的模式類稱緊致集。緊致集。2. 2. 臨界點(diǎn)臨界點(diǎn)( (樣本樣本) )：在多類樣本中，某些樣本的值有微小變化時(shí)就變成另一類樣本稱為在多類樣本中，某些樣本的值有微小變化時(shí)就變成另一類樣本稱為臨界樣本（點(diǎn)）臨界樣本（點(diǎn)）。3. 3. 緊致集的性質(zhì)緊致集的性質(zhì) 要求臨界點(diǎn)很少要求臨界點(diǎn)很少. . 集合內(nèi)的任意兩點(diǎn)的連線集合內(nèi)的任意兩點(diǎn)的連線, ,在線上的點(diǎn)屬于同在線上的點(diǎn)屬于同 一集合一集合. . 集合內(nèi)的每一個(gè)點(diǎn)都有足夠大的鄰域集合內(nèi)的每一個(gè)點(diǎn)都有足夠大的鄰域, ,在鄰域內(nèi)只包含同一集合的點(diǎn)在鄰域內(nèi)只包含同一集合的點(diǎn). .4. 4. 模式識(shí)別的要求模式識(shí)別的要求: : 滿

18、足緊致集，才能很好的分類；如果不滿足緊致集，就要采取變滿足緊致集，才能很好的分類；如果不滿足緊致集，就要采取變換的方法換的方法, ,滿足緊致集滿足緊致集. .模式類的相似性模式類的相似性用以確定不同樣本是否同類.它是模式類上建立的一種相似關(guān)系.樣本之間的相似程度可以通過計(jì)算樣本距離而獲得.常用的如歐氏距離,下降函數(shù),向量夾角等,它們具有非負(fù)性,自反性,對(duì)稱性,但不具有傳遞性.1. 1.兩個(gè)樣本兩個(gè)樣本 x xi i 和和 x xj j 之間的相似度量滿足以下要求：之間的相似度量滿足以下要求： 應(yīng)為非負(fù)值。 樣本本身相似性度量應(yīng)最大。 度量應(yīng)滿足對(duì)稱性。 在滿足緊致性的條件下，相似性應(yīng)該是點(diǎn)間距

19、離的單調(diào)函數(shù)。 2. 2. 用各種距離表示相似性：用各種距離表示相似性： 已知兩個(gè)樣本 xi=(xi1, xi2 , xi3,xin)T xj=(xj1, xj2 , xj3,xjn)T 常用的距離有歐氏距離、馬氏距離等常用的距離有歐氏距離、馬氏距離等3. 分類的主觀性和客觀性分類的主觀性和客觀性 分類的主觀性：分類的主觀性：目的不同，分類不同。例如：鯨魚，牛，馬從生物學(xué)的角度來講都屬于哺乳類，但是從產(chǎn)業(yè)角度來講鯨魚屬于水產(chǎn)業(yè)，牛和馬屬于畜牧業(yè)。 分類的客觀性：分類的客觀性：科學(xué)性判斷分類必須有客觀標(biāo)準(zhǔn)，因此分類是追求客觀性的，但主觀性也很難避免，這就是分類的復(fù)雜性。模式類的特征模式類的特征是

20、從模式得到的對(duì)分類有用的度量,屬性或者基元,在數(shù)學(xué)上特征的定義空間則稱為特征空間.模式識(shí)別中的特征具有更加廣泛的含義.在模式識(shí)別中,獲取描述模式類的特征是關(guān)鍵的工作.所獲特征是否有效,以及如何剔除與分類無關(guān)的特征均是特征研究中的重要問題(即特征提取與特征壓縮).模式的特征空間表示模式的特征空間表示特征的分布特征的分布特征的生成特征的生成 1.低層特征：低層特征： 無序尺度：無序尺度：有明確的數(shù)量和數(shù)值. 有序尺度：有序尺度：有先后、好壞的次序關(guān)系，如酒分為上，中，下三個(gè)等級(jí). 名義尺度：名義尺度：無數(shù)量、無次序關(guān)系，如有紅，黃兩種顏色. 2. 中層特征：中層特征：經(jīng)過計(jì)算，變換得到的特征. 3

21、. 高層特征：高層特征：在中層特征的基礎(chǔ)上有目的的經(jīng)過運(yùn)算形成. 例如：椅子的重量=體積*比重. 體積與長(zhǎng)，寬，高有關(guān)；比重與材料，紋理，顏色有關(guān)。這里低、中、高三層特征都有了。模式識(shí)別的訓(xùn)練方法模式識(shí)別的訓(xùn)練方法v有監(jiān)督學(xué)習(xí)有監(jiān)督學(xué)習(xí)（有教師學(xué)習(xí)）：預(yù)先已知訓(xùn)練樣本集合中每個(gè)樣本的類別標(biāo)號(hào)；v無監(jiān)督學(xué)習(xí)監(jiān)督學(xué)習(xí)（無教師學(xué)習(xí)）：預(yù)先不知道訓(xùn)練樣本集合中每個(gè)樣本的類別標(biāo)號(hào)；統(tǒng)計(jì)識(shí)別方法的分類統(tǒng)計(jì)識(shí)別方法的分類v一、根據(jù)樣本在空間中的幾何分布進(jìn)行分類 方法一：近鄰法；方法二：判別函數(shù)法。v二、根據(jù)樣本在空間中的概率分布進(jìn)行分類貝葉斯分類器識(shí)別系統(tǒng)的設(shè)計(jì)步驟識(shí)別系統(tǒng)的設(shè)計(jì)步驟v收集樣本 v確定識(shí)別特

22、征 v特征抽取 v特征分析v確定識(shí)別方法 v性能評(píng)價(jià) v性能評(píng)價(jià)：v正確識(shí)別率 = 正確分類數(shù)/總數(shù)v錯(cuò)誤識(shí)別率 = 錯(cuò)誤分類數(shù)/總數(shù)v拒絕識(shí)別率 = 拒絕分類數(shù)/總數(shù)空間映射空間映射是解決特征空間與有效分類之間的橋梁.使用空間映射關(guān)系,可以將各種有效的數(shù)學(xué)方法應(yīng)用于模式識(shí)別之中以解決分類問題.常用的空間映射方法:線性映射,傅立葉變換,DCT變換,沃爾什變換,K-L變換,非線性變換.數(shù)據(jù)的標(biāo)準(zhǔn)化數(shù)據(jù)的標(biāo)準(zhǔn)化ijijiXXRminmaxi jii jiXXXRi jii jiXXXS1.1.極差標(biāo)準(zhǔn)化極差標(biāo)準(zhǔn)化: :一批樣本中，每個(gè)特征的最大值與最小值之差為極差。極差極差標(biāo)準(zhǔn)化2.2.方差標(biāo)準(zhǔn)化

23、：方差標(biāo)準(zhǔn)化： Si 為方差標(biāo)準(zhǔn)化的方法很多，原始數(shù)據(jù)是否應(yīng)該標(biāo)準(zhǔn)化，應(yīng)采用什么方法標(biāo)準(zhǔn)化，都要根據(jù)具體情況來定。準(zhǔn)則函數(shù)的選擇準(zhǔn)則函數(shù)是用以解決分類問題的依據(jù).對(duì)于具體的分類問題應(yīng)選擇合理的分類器設(shè)計(jì)方法與合理的準(zhǔn)則函數(shù),使得分類器的設(shè)計(jì)滿足分類需要.各種準(zhǔn)則函數(shù)都是在限定條件下被提出來,因此在實(shí)際使用中都有一定的局限性.機(jī)器學(xué)習(xí)方法即使用已知樣本來訓(xùn)練分類器,使之達(dá)到希望的性能.各種分類器設(shè)計(jì)中,無一例外地使用了機(jī)器學(xué)習(xí)的方法.機(jī)器學(xué)習(xí)通過對(duì)樣本信息的學(xué)習(xí)獲得關(guān)于類別的知識(shí),從而得到有效的分類器.三、各類空間（三、各類空間（Space)模模式式識(shí)識(shí)別別三三大大任任務(wù)務(wù)對(duì)象空間對(duì)象空間模式空

24、間模式空間特征空間特征空間類型空間類型空間模式采集：模式采集：從客觀世界（對(duì)象從客觀世界（對(duì)象空間）到模式空間的過程稱為空間）到模式空間的過程稱為模式采集。模式采集。特征提取和特征選擇：特征提取和特征選擇：由模式由模式空間到特征空間的變換和選擇?？臻g到特征空間的變換和選擇。類型判別：類型判別：特征空間到類型空特征空間到類型空間所作的操作。間所作的操作。四、模式識(shí)別系統(tǒng)數(shù)據(jù)采集數(shù)據(jù)采集特征提取特征提取二次特征二次特征提取與選擇提取與選擇分類分類識(shí)別識(shí)別待識(shí)待識(shí)對(duì)象對(duì)象識(shí)別結(jié)果識(shí)別結(jié)果數(shù)字化數(shù)字化比特流比特流預(yù)處理這個(gè)環(huán)節(jié)的內(nèi)容預(yù)處理這個(gè)環(huán)節(jié)的內(nèi)容很廣泛，與要解決的具體很廣泛，與要解決的具體問題有

25、關(guān)，例如，從圖象問題有關(guān)，例如，從圖象中將汽車車牌的號(hào)碼識(shí)別中將汽車車牌的號(hào)碼識(shí)別出來，就需要先將車牌從出來，就需要先將車牌從圖像中找出來，再對(duì)車牌圖像中找出來，再對(duì)車牌進(jìn)行劃分，將每個(gè)數(shù)字分進(jìn)行劃分，將每個(gè)數(shù)字分別劃分開。做到這一步以別劃分開。做到這一步以后，才能對(duì)每個(gè)數(shù)字進(jìn)行后，才能對(duì)每個(gè)數(shù)字進(jìn)行識(shí)別。以上工作都應(yīng)該在識(shí)別。以上工作都應(yīng)該在預(yù)處理階段完成。預(yù)處理階段完成。通常能描述對(duì)象的元素很多，通常能描述對(duì)象的元素很多，為節(jié)約資源和提高處理速度，有時(shí)為節(jié)約資源和提高處理速度，有時(shí)更為了可行性，在滿足分類識(shí)別正更為了可行性，在滿足分類識(shí)別正確率要求的條件下，按某種準(zhǔn)則盡確率要求的條件下，按

26、某種準(zhǔn)則盡量選用對(duì)正確分類識(shí)別作用較大的量選用對(duì)正確分類識(shí)別作用較大的特征。使得用較少的特征就能完成特征。使得用較少的特征就能完成分類識(shí)別任務(wù)。分類識(shí)別任務(wù)。分類識(shí)別是根據(jù)事先確定的分分類識(shí)別是根據(jù)事先確定的分類規(guī)則對(duì)前面選取的特征進(jìn)行分類規(guī)則對(duì)前面選取的特征進(jìn)行分類（即識(shí)別）。類（即識(shí)別）。40數(shù)據(jù)采集數(shù)據(jù)采集特征提取特征提取二次特征二次特征提取與選擇提取與選擇分類分類識(shí)別識(shí)別待識(shí)待識(shí)對(duì)象對(duì)象識(shí)別結(jié)果識(shí)別結(jié)果數(shù)據(jù)采集數(shù)據(jù)采集特征提取特征提取改進(jìn)分類改進(jìn)分類識(shí)別規(guī)則識(shí)別規(guī)則二次特征提二次特征提取與選擇取與選擇訓(xùn)練訓(xùn)練樣本樣本改進(jìn)采集改進(jìn)采集提取方法提取方法改進(jìn)特征提改進(jìn)特征提取與選擇取與選擇制

27、定改進(jìn)分制定改進(jìn)分類識(shí)別規(guī)則類識(shí)別規(guī)則人工人工干預(yù)干預(yù)正確率正確率測(cè)試測(cè)試模式識(shí)別系統(tǒng)的主要環(huán)節(jié)：模式識(shí)別系統(tǒng)的主要環(huán)節(jié)：特征提?。禾卣魈崛。悍?hào)表示，如長(zhǎng)度、波形、。符號(hào)表示，如長(zhǎng)度、波形、。特征選擇：特征選擇：選擇有代表性的特征，能夠正確分類選擇有代表性的特征，能夠正確分類學(xué)習(xí)和訓(xùn)練：學(xué)習(xí)和訓(xùn)練：利用已知樣本建立分類和識(shí)別規(guī)則利用已知樣本建立分類和識(shí)別規(guī)則分類識(shí)別：分類識(shí)別：對(duì)所獲得樣本按建立的分類規(guī)則進(jìn)行對(duì)所獲得樣本按建立的分類規(guī)則進(jìn)行分類識(shí)別分類識(shí)別五、模式識(shí)別的方法五、模式識(shí)別的方法n決策理論方法（統(tǒng)計(jì)識(shí)別法）：以判別函數(shù)為基礎(chǔ)，利用判別函數(shù)對(duì)模式?jīng)Q策理論方法（統(tǒng)計(jì)識(shí)別法）：以判別函

28、數(shù)為基礎(chǔ)，利用判別函數(shù)對(duì)模式進(jìn)行分類。進(jìn)行分類。n句法模式識(shí)別（結(jié)構(gòu)模式識(shí)別）：將對(duì)象分解為若干個(gè)基本單元句法模式識(shí)別（結(jié)構(gòu)模式識(shí)別）：將對(duì)象分解為若干個(gè)基本單元基元，基元，用基元和他們的結(jié)構(gòu)關(guān)系描述對(duì)象，運(yùn)用形式語(yǔ)言理論進(jìn)行句法分析，根用基元和他們的結(jié)構(gòu)關(guān)系描述對(duì)象，運(yùn)用形式語(yǔ)言理論進(jìn)行句法分析，根據(jù)其是否符合某一類的文法而決定其類別。據(jù)其是否符合某一類的文法而決定其類別。n模糊模式識(shí)別：運(yùn)用模糊數(shù)學(xué)的理論和方法解決模式識(shí)別問題，適用于分模糊模式識(shí)別：運(yùn)用模糊數(shù)學(xué)的理論和方法解決模式識(shí)別問題，適用于分類識(shí)別對(duì)象本身或要求的識(shí)別結(jié)果具有模糊性的場(chǎng)合。類識(shí)別對(duì)象本身或要求的識(shí)別結(jié)果具有模糊性的場(chǎng)

29、合。n人工神經(jīng)網(wǎng)絡(luò)法：是由大量簡(jiǎn)單的神經(jīng)元相互連接而構(gòu)成的非線性動(dòng)態(tài)系人工神經(jīng)網(wǎng)絡(luò)法：是由大量簡(jiǎn)單的神經(jīng)元相互連接而構(gòu)成的非線性動(dòng)態(tài)系統(tǒng)，具有學(xué)習(xí)、自組織、聯(lián)想能力，在學(xué)習(xí)中具有自動(dòng)提取特征，進(jìn)行識(shí)統(tǒng)，具有學(xué)習(xí)、自組織、聯(lián)想能力，在學(xué)習(xí)中具有自動(dòng)提取特征，進(jìn)行識(shí)別、決策。別、決策。n人工智能方法：人工智能研究如何使機(jī)器具有人工智能方法：人工智能研究如何使機(jī)器具有人腦功能的理論和方法。將人腦功能的理論和方法。將學(xué)習(xí)、知識(shí)表示、推理等用于模式識(shí)別。學(xué)習(xí)、知識(shí)表示、推理等用于模式識(shí)別。統(tǒng)計(jì)模式識(shí)別統(tǒng)計(jì)模式識(shí)別n統(tǒng)計(jì)模式識(shí)別：是以決策函數(shù)為基礎(chǔ)，對(duì)模式向量進(jìn)行分類。例w1,w2判別函數(shù)：d(X)=w1x1+w2 x 2+