模式識別原理及其應(yīng)用.ppt

1、模式識別- 概念、原理及其應(yīng)用,黃慶明 中科院研究生院信息學院 / 劉純熙（助教） cxliu ,引 言,課程對象,計算機應(yīng)用技術(shù)專業(yè)碩士研究生的專業(yè)基礎(chǔ)課 電子科學與技術(shù)學科碩士研究生的專業(yè)基礎(chǔ)課,與模式識別相關(guān)的學科,統(tǒng)計學 概率論 線性代數(shù)（矩陣計算） 形式語言 機器學習 人工智能 圖像處理 計算機視覺 ,教學方法,著重講述模式識別的基本概念，基本方法和算法原理。 注重理論與實踐緊密結(jié)合 實例教學：通過大量實例講述如何將所學知識運用到實際應(yīng)用之中 避免引用過多的、繁瑣的數(shù)學推導。,教學目標,掌握模式識別的基本概念和方法 有效地運用所學知識和方法解決實際問題 為研究新的模式識別的理論和方法

2、打下基礎(chǔ),題外話,基本：完成課程學習，通過考試，獲得學分。 提高：能夠?qū)⑺鶎W知識和內(nèi)容用于課題研究，解決實際問題。 飛躍：通過模式識別的學習，改進思維方式，為將來的工作打好基礎(chǔ)，終身受益。,教材/參考文獻,R. Duda, P. Hart, D. Stork, Pattern Classification, second edition, 2000（有中譯本）. 邊肇祺，模式識別（第二版），清華大學出版社，2000。 蔡元龍，模式識別，西北電訊工程學院出版社，1986。,機構(gòu)、會議、刊物,1973年 IEEE發(fā)起了第一次關(guān)于模式識別的國際會議“ICPR”（此后兩年一次），成立了國際模式識別協(xié)會

3、-“IAPR” 1977年IEEE成立PAMI委員會，創(chuàng)立IEEE Trans. on PAMI，并支持ICCV, CVPR兩個會議 其他刊物 Pattern Recognition (PR) Pattern Recognition Letters (PRL) Pattern Analysis and Application (PAA) International Journal of Pattern Recognition and Artificial Intelligence (IJPRAI),第一章 模式識別概論,什么是模式（Pattern）？,什么是模式？,廣義地說，存在于時間和空間中

4、可觀察的物體，如果我們可以區(qū)別它們是否相同或是否相似，都可以稱之為模式。 模式所指的不是事物本身，而是從事物獲得的信息，因此，模式往往表現(xiàn)為具有時間和空間分布的信息。 模式的直觀特性: 可觀察性 可區(qū)分性 相似性,模式識別的概念,模式識別 直觀，無所不在，“人以類聚，物以群分” 周圍物體的認知：桌子、椅子 人的識別：張三、李四 聲音的辨別：汽車、火車，狗叫、人語 氣味的分辨：炸帶魚、紅燒肉 人和動物的模式識別能力是極其平常的，但對計算機來說卻是非常困難的。,模式識別的研究,目的：利用計算機對物理對象進行分類，在錯誤概率最小的條件下，使識別的結(jié)果盡量與客觀物體相符合。 Y = F(X) X的定義

5、域取自特征集 Y的值域為類別的標號集 F是模式識別的判別方法,模式識別簡史,1929年 G. Tauschek發(fā)明閱讀機 ，能夠閱讀0-9的數(shù)字。 30年代 Fisher提出統(tǒng)計分類理論，奠定了統(tǒng)計模式識別的基礎(chǔ)。 50年代 Noam Chemsky 提出形式語言理論傅京蓀 提出句法結(jié)構(gòu)模式識別。 60年代 L.A.Zadeh提出了模糊集理論，模糊模式識別方法得以發(fā)展和應(yīng)用。 80年代以Hopfield網(wǎng)、BP網(wǎng)為代表的神經(jīng)網(wǎng)絡(luò)模型導致人工神經(jīng)元網(wǎng)絡(luò)復(fù)活，并在模式識別得到較廣泛的應(yīng)用。 90年代小樣本學習理論，支持向量機也受到了很大的重視。,模式識別的應(yīng)用（舉例）,生物學 自動細胞學、染色體特

6、性研究、遺傳研究 天文學 天文望遠鏡圖像分析、自動光譜學 經(jīng)濟學 股票交易預(yù)測、企業(yè)行為分析 醫(yī)學 心電圖分析、腦電圖分析、醫(yī)學圖像分析,模式識別的應(yīng)用（舉例）,工程 產(chǎn)品缺陷檢測、特征識別、語音識別、自動導航系統(tǒng)、污染分析 軍事 航空攝像分析、雷達和聲納信號檢測和分類、自動目標識別 安全 指紋識別、人臉識別、監(jiān)視和報警系統(tǒng),模式識別方法,模式識別系統(tǒng)的目標：在特征空間和解釋空間之間找到一種映射關(guān)系，這種映射也稱之為假說。 特征空間：從模式得到的對分類有用的度量、屬性或基元構(gòu)成的空間。 解釋空間：將c個類別表示為 其中 為所屬類別的集合，稱為解釋空間。,假說的兩種獲得方法,監(jiān)督學習、概念驅(qū)動或

7、歸納假說：在特征空間中找到一個與解釋空間的結(jié)構(gòu)相對應(yīng)的假說。在給定模式下假定一個解決方案，任何在訓練集中接近目標的假說也都必須在“未知”的樣本上得到近似的結(jié)果。 依靠已知所屬類別的的訓練樣本集，按它們特征向量的分布來確定假說 （通常為一個判別函數(shù)），只有在判別函數(shù)確定之后才能用它對未知的模式進行分類； 對分類的模式要有足夠的先驗知識，通常需要采集足夠數(shù)量的具有典型性的樣本進行訓練。,假說的兩種獲得方法（續(xù)）,非監(jiān)督學習、數(shù)據(jù)驅(qū)動或演繹假說：在解釋空間中找到一個與特征空間的結(jié)構(gòu)相對應(yīng)的假說。這種方法試圖找到一種只以特征空間中的相似關(guān)系為基礎(chǔ)的有效假說。 在沒有先驗知識的情況下，通常采用聚類分析方

8、法，基于“物以類聚”的觀點，用數(shù)學方法分析各特征向量之間的距離及分散情況； 如果特征向量集聚集若干個群，可按群間距離遠近把它們劃分成類； 這種按各類之間的親疏程度的劃分，若事先能知道應(yīng)劃分成幾類，則可獲得更好的分類結(jié)果。,模式分類的主要方法,數(shù)據(jù)聚類 統(tǒng)計分類 結(jié)構(gòu)模式識別 神經(jīng)網(wǎng)絡(luò),數(shù)據(jù)聚類,目標：用某種相似性度量的方法將原始數(shù)據(jù)組織成有意義的和有用的各種數(shù)據(jù)集。 是一種非監(jiān)督學習的方法，解決方案是數(shù)據(jù)驅(qū)動的。,統(tǒng)計分類,基于概率統(tǒng)計模型得到各類別的特征向量的分布，以取得分類的方法。 特征向量分布的獲得是基于一個類別已知的訓練樣本集。 是一種監(jiān)督分類的方法，分類器是概念驅(qū)動的。,結(jié)構(gòu)模式識別

9、,該方法通過考慮識別對象的各部分之間的聯(lián)系來達到識別分類的目的。 識別采用結(jié)構(gòu)匹配的形式，通過計算一個匹配程度值（matching score）來評估一個未知的對象或未知對象某些部分與某種典型模式的關(guān)系如何。 當成功地制定出了一組可以描述對象部分之間關(guān)系的規(guī)則后，可以應(yīng)用一種特殊的結(jié)構(gòu)模式識別方法 句法模式識別，來檢查一個模式基元的序列是否遵守某種規(guī)則，即句法規(guī)則或語法。,神經(jīng)網(wǎng)絡(luò),神經(jīng)網(wǎng)絡(luò)是受人腦組織的生理學啟發(fā)而創(chuàng)立的。 由一系列互相聯(lián)系的、相同的單元（神經(jīng)元）組成。相互間的聯(lián)系可以在不同的神經(jīng)元之間傳遞增強或抑制信號。 增強或抑制是通過調(diào)整神經(jīng)元相互間聯(lián)系的權(quán)重系數(shù)來（weight）實現(xiàn)

10、。 神經(jīng)網(wǎng)絡(luò)可以實現(xiàn)監(jiān)督和非監(jiān)督學習條件下的分類。,模式識別系統(tǒng),模式識別系統(tǒng)的基本構(gòu)成,數(shù)據(jù)獲取,特征提取和選擇,預(yù)處理,分類決策,分類器設(shè)計,模式識別系統(tǒng)組成單元,數(shù)據(jù)獲?。河糜嬎銠C可以運算的符號來表示所研究的對象 二維圖像：文字、指紋、地圖、照片等 一維波形：腦電圖、心電圖、季節(jié)震動波形等 物理參量和邏輯值：體溫、化驗數(shù)據(jù)、參量正常與否的描述 預(yù)處理單元：去噪聲，提取有用信息，并對輸入測量儀器或其它因素所造成的退化現(xiàn)象進行復(fù)原,模式識別系統(tǒng)組成單元,特征提取和選擇：對原始數(shù)據(jù)進行變換，得到最能反映分類本質(zhì)的特征 測量空間：原始數(shù)據(jù)組成的空間 特征空間：分類識別賴以進行的空間 模式表示：維

11、數(shù)較高的測量空間-維數(shù)較低的特征空間 分類決策：在特征空間中用模式識別方法把被識別對象歸為某一類別 基本做法：在樣本訓練集基礎(chǔ)上確定某個判決規(guī)則，使得按這種規(guī)則對被識別對象進行分類所造成的錯誤識別率最小或引起的損失最小,模式識別過程實例,在傳送帶上用光學傳感器件對魚按品種分類 鱸魚(Seabass) 品種 鮭魚(Salmon),識別過程,數(shù)據(jù)獲?。杭茉O(shè)一個攝像機，采集一些樣本圖像，獲取樣本數(shù)據(jù) 預(yù)處理：去噪聲，用一個分割操作把魚和魚之間以及魚和背景之間分開,識別過程,特征提取和選擇：對單個魚的信息進行特征選擇，從而通過測量某些特征來減少信息量 長度 亮度 寬度 魚翅的數(shù)量和形狀 嘴的位置，等等

12、 分類決策：把特征送入決策分類器,模式分類器的獲取和評測過程,數(shù)據(jù)采集 特征選取 模型選擇 訓練和測試 計算結(jié)果和復(fù)雜度分析，反饋,訓練和測試,訓練集：是一個已知樣本集，在監(jiān)督學習方法中，用它來開發(fā)出模式分類器。 測試集：在設(shè)計識別和分類系統(tǒng)時沒有用過的獨立樣本集。 系統(tǒng)評價原則：為了更好地對模式識別系統(tǒng)性能進行評價，必須使用一組獨立于訓練集的測試集對系統(tǒng)進行測試。,實例：統(tǒng)計模式識別,19名男女同學進行體檢，測量了身高和體重，但事后發(fā)現(xiàn)其中有4人忘記填寫性別，試問（在最小錯誤的條件下）這4人是男是女？體檢數(shù)值如下：,實例：統(tǒng)計模式識別（續(xù)）,待識別的模式：性別（男或女） 測量的特征：身高和體

13、重 訓練樣本：15名已知性別的樣本特征 目標：希望借助于訓練樣本的特征建立判別函數(shù)（即數(shù)學模型）,實例：統(tǒng)計模式識別（續(xù)）,由訓練樣本得到的特征空間分布圖,實例：統(tǒng)計模式識別（續(xù)）,從圖中訓練樣本的分布情況，找出男、女兩類特征各自的聚類特點，從而求取一個判別函數(shù)（直線或曲線）。 只要給出待分類的模式特征的數(shù)值，看它在特征平面上落在判別函數(shù)的哪一側(cè)，就可以判別是男還是女了。,實例：句法模式識別,問題：如何利用對圖像的結(jié)構(gòu)信息描述，識別如下所示圖片：,實例：句法模式識別（續(xù)）,將整個場景圖像結(jié)構(gòu)分解成一些比較簡單的子圖像的組合； 子圖像又用一些更為簡單的基本圖像單元來表示，直至子圖像達到了我們認為

14、的最簡單的圖像單元（基元）； 所有這些基元按一定的結(jié)構(gòu)關(guān)系來表示，利用多級樹結(jié)構(gòu)對其進行描述（這種描述可以采用形式語言理論）。,實例：句法模式識別（續(xù)）,多級樹描述結(jié)構(gòu),實例：句法模式識別（續(xù)）,訓練過程： 用已知結(jié)構(gòu)信息的圖像作為訓練樣本，先識別出基元（比如場景圖中的X、Y、Z等簡單平面）和它們之間的連接關(guān)系（例如長方體E是由X、Y和Z三個面拼接而成），并用字母符號代表之； 然后用構(gòu)造句子的文法來描述生成這幅場景的過程，由此推斷出生成該場景的一種文法。,實例：句法模式識別（續(xù)）,識別過程： 先對未知結(jié)構(gòu)信息的圖像進行基元提取及其相互結(jié)構(gòu)關(guān)系的識別； 然后用訓練過程獲得的文法做句法分析； 如果

15、能被已知結(jié)構(gòu)信息的文法分析出來，則該幅未知圖像與訓練樣本具有相同的結(jié)構(gòu)（識別成功），否則就不是這種結(jié)構(gòu)（識別失敗）。,本門課程的主要內(nèi)容,第一章 概論 第二章 聚類分析 第三章 判別函數(shù) 第四章 統(tǒng)計識別 第五章特征選擇和提取 第六章 句法模式識別 第七章 神經(jīng)網(wǎng)絡(luò),相關(guān)數(shù)學概念,隨機向量及其分布 隨機向量 如果一個對象的特征觀察值為x1, x2, , xn，它可構(gòu)成一個n維的特征向量值x，即 x = (x1, x2, , xn)T 式中， x1, x2, , xn為特征向量x的各個分量。 一個特征可以看作n維空間中的向量或點，此空間稱為模式的特征空間Rn。,相關(guān)數(shù)學概念,隨機向量及其分布 隨機