模式識別理論及應用PatternRecognition-Methodsand

1、模式識別理論及應用Pattern Recognition - Methods and ApplicationIPL第一章 模式識別概述內(nèi)容目錄IPL第一章 模式識別概述 1.1 模式識別和模式的概念2134 1.2 模式識別系統(tǒng)1.3 模式識別的主要方法1.4 模式識別應用1.5 有關(guān)模式識別的若干問題5模式識別與神經(jīng)網(wǎng)絡1.1 模式識別和模式的概念人類具有很強的模式識別能力，時刻在完成某種模式識別的任務。模式識別作為一門學科，是研究用機器完成自動識別事物的工作。模式識別形成于5060年代，它與人工智能關(guān)系密切。模式識別是一門理論與應用并重的技術(shù)科學。有廣泛的需求?，F(xiàn)有的理論與方法還有不足。3

2、模式識別和模式的概念Pattern recognitionis the study of how machines can observe the environment, learn to distinguish patterns of interest from their background, and make sound and reasonable decisions about the categories of the patterns. (Anil K. Jain)概念4模式與模式類樣本(sample, object)：一類事物的一個具體體現(xiàn)，對具體的個別事物進行觀測所得到的

3、某種形式的信號。模式(pattern)：表示一類事物，如印刷體A與手寫體A屬同一模式。B與A則屬于不同模式。樣本是具體的事物，而模式是對同一類事物概念性的概括。模式類與模式聯(lián)合使用時，模式表示具體的事物，而模式類則是對這一類事物的概念性描述。模式識別是從樣本到類別的映射。概念5模式識別和模式的概念Watanabe defines a pattern “as opposite of a chaos; it is an entity, vaguely defined, that could be given a name.” a fingerprint image a handwritten cu

4、rsive word a human face a speech signal 概念6模式識別和模式的概念識別是時時刻刻發(fā)生的活動識別（Recognition)再認知（Re-Cognition)主要研究相似和分類問題有監(jiān)督分類無監(jiān)督分類與其他學科的關(guān)系統(tǒng)計學人工智能機器學習運籌學概念71.2 模式識別系統(tǒng)數(shù)據(jù)獲取預處理特征提取與選擇分類決策分類器設(shè)計信號空間特征空間8模式識別系統(tǒng)的組成數(shù)據(jù)獲取和預處理(data acquisition and preprocessing) ：測量，采樣和量化，去噪，復原特征提取與選擇(feature extraction and selection)分類決策

5、(classification decision)系統(tǒng)91.3 模式識別的方法模版匹配法統(tǒng)計方法神經(jīng)網(wǎng)絡方法結(jié)構(gòu)方法(句法方法)10模版匹配首先對每個類別建立一個或多個模版輸入樣本和數(shù)據(jù)庫中每個類別的模版進行比較，求相關(guān)或距離根據(jù)相關(guān)性或距離大小進行決策優(yōu)點：直接、簡單缺點：適應性差形變模版方法11統(tǒng)計方法根據(jù)訓練樣本，建立決策邊界(decision boundary) 統(tǒng)計決策理論根據(jù)每一類總體的概率分布決定決策邊界判別式分析方法給出帶參數(shù)的決策邊界，根據(jù)某種準則，由訓練樣本決定“最優(yōu)”的參數(shù)本課程的重點內(nèi)容方法12句法方法許多復雜的模式可以分解為簡單的子模式，這些子模式組成所謂 “基元”每

6、個模式都可以由基元根據(jù)一定的關(guān)系來組成基元可以認為是語言中的詞語，每個模式都可以認為是一個句子，關(guān)系可以認為是語法模式的相似性由句子的相似性來決定優(yōu)點：適合結(jié)構(gòu)性強的模式缺點：抗噪聲能力差，計算復雜度高方法13神經(jīng)網(wǎng)絡進行大規(guī)模并行計算的數(shù)學模型具有學習、推廣、自適應、容錯、分布表達和計算的能力優(yōu)點：可以有效的解決一些復雜的非線性問題缺點：缺少有效的學習理論方法14幾種方法比較方法表達識別函數(shù)評價準則模版匹配樣本，像元，曲線相關(guān)，距離度量分類錯誤統(tǒng)計方法特征決策函數(shù)分類錯誤句法方法基元規(guī)則，語法接受錯誤神經(jīng)網(wǎng)絡樣本，像元，特征網(wǎng)絡函數(shù)均值方差錯誤方法15神經(jīng)網(wǎng)絡和統(tǒng)計模式識別的關(guān)系統(tǒng)計模式識別

7、人工神經(jīng)網(wǎng)絡線性決策函數(shù)感知機PCA自相關(guān)網(wǎng)絡，PCA網(wǎng)絡后驗概率估計多層感知機非線性決策分析多層感知機Parzen窗密度估計分類器徑向基函數(shù)網(wǎng)絡K近鄰Kohonens LVQ方法161.4 模式識別應用文本分類文本圖像分析工業(yè)自動化數(shù)據(jù)挖掘多媒體數(shù)據(jù)庫檢索生物特征識別語音識別生物信息學遙感171.5 有關(guān)模式識別的若干問題模式類的緊致性：集合中任意兩個內(nèi)點可以用光滑線連接，在該連線上的點也屬于這個集合。每個內(nèi)點都有一個足夠大的鄰域，在該鄰域中只包含同一集合中的點。假若每個模式類都滿足緊致性假設(shè)，則解決模式識別間題就不會碰到什么原則上的困難。但對于很多實際問題這個假設(shè)是不成立的。只耍各個模式類是可分的，總存在這樣一個空間，使變換到這個空間中的集合滿足緊致性要求。18有關(guān)模式識別的若干問題相似與分類：相似與分類問題遠不像集合表達那樣簡單明了。集合的概念可用來表現(xiàn)已經(jīng)分好的類，但對于怎樣分類和歸類則缺乏指導意義。相似性度量：樣本xi和 xj是Rn空間中兩個點，它們間的某種距離的函數(shù) s(xi, xj)。距離: d(xi, xj)=(xi - xj)T.(xi - xj)1/2相似性度量1: s(xi, xj)=f(d(xi, xj)相似性度量2: s(xi, xj)=cos(