第1章-模式識別概述2014

模式識別

PatternClassification

第一章:模式識別概述模式識別，第一章3一個例子通過光學感知手段，將傳送帶上的魚進行自動分類 鱸魚

魚類 鮭魚模式識別，第一章4問題分析

架設一臺攝影像機，拍攝若干樣品的圖像提取用于區(qū)分兩類魚的有效特征(feature)長度光澤度寬度鰭的數(shù)目和形狀嘴的位置，等等…….模式識別，第一章5

預處理（preprocessing）去除干擾，圖像增強采用圖像分割技術將不同的魚分離開來，或將魚同背景分開特征提?。╢eatureextraction）將每條魚的數(shù)據(jù)送入特征提取器，通過測量特定的“特征”或“屬性”來簡化原始數(shù)據(jù)將特征送入分類器，以便進行分類模式識別，第一章6分類（Classification）將待識別樣本進行特征提取，并與存儲于分類器中的特征進行比較，從而判斷樣本的類別模式識別，第一章7根據(jù)先驗知識：鱸魚長度一般要比鮭魚大選擇長度（length）作為可能的分類特征獲取足夠多的樣本（訓練樣本）進行統(tǒng)計（直方圖）實現(xiàn)方法確定合適的長度臨界值L*作為分類標準模式識別，第一章8鮭魚鱸魚分類標準確定合適的長度臨界值L*作為分類標準模式識別，第一章9單一的特征判據(jù)（長度）不足以完全正確分類無論怎樣確定臨界值，都有無法僅憑長度就把兩類魚截然分開問題模式識別，第一章10選擇光澤度（lightness）作為分類特征獲取足夠多的樣本（訓練樣本）進行統(tǒng)計（直方圖）確定合適的光澤度臨界值x*作為分類標準方法改進模式識別，第一章11鮭魚鱸魚分類標準以光澤度為分類特征，兩類魚的分離性更好！模式識別，第一章12判別邊界與判別代價

無論采用哪一種特征進行分類都有代價：誤判上述判別邊界假設將鮭魚誤判為鱸魚和將鱸魚誤判為鮭魚的代價相等（對稱代價）非對稱代價：調整判別邊界的位置結論特征選擇對分類效果有較大的影響模式識別，第一章13鮭魚鱸魚調整判別邊界，減小判別代價模式識別，第一章14為獲取更好的分類效果，組合運用多個特征選取光澤度（lightness）和寬度（width）作為分類特征魚 xT=[x1,x2]特征向量：xT=[x1,x2]LightnessWidth模式識別，第一章15鮭魚鱸魚判別標準：判別邊界組合特征優(yōu)于單一特征模式識別，第一章16需要考慮的問題特征越多分類性能越好嗎？什么樣的特征才是好的特征？特征的相關性與冗余？模式識別，第一章17需要考慮的問題如何獲取判別邊界：判別模型？什么樣的判別邊界才是最優(yōu)的：模型優(yōu)化？模式識別，第一章18復雜的模型鮭魚鱸魚模式識別，第一章19復雜的模型可保證對所有訓練樣本正確分類過于復雜的模型將導致復雜的判別界面新模式推廣能力差模式識別，第一章20分類系統(tǒng)的目標是對未知的樣本正確分類，而不僅僅是對訓練樣本分類必須在模型復雜度和推廣能力之間進行折中考慮最優(yōu)模型模式識別，第一章21鮭魚鱸魚優(yōu)化的判別邊界模式識別，第一章22什么是模式識別？定義利用機器（計算機）模仿人腦對現(xiàn)實世界各種事物進行描述、分類、判斷和識別的過程。周圍物體的認知：桌子、椅子、門、窗戶人的識別：張三、李四聲音的辨別：火車、汽車、鳥鳴氣味的分辨：紅燒肉、炸帶魚模式識別，第一章23什么是模式識別？目標用計算機實現(xiàn)具有感知、識別、理解、自學習和自適應能力的靈活和智能的計算機器。

人和動物的模式識別能力是極其平常的，但對計算機來說是非常困難的。模式識別，第一章24模式識別的產生與發(fā)展起源始于20世紀40年代研究初期，模式識別被看作動物所具有的自然生理現(xiàn)象，很多人認為不值得研究。當人們試圖使計算機去具有人腦的識別能力后，模式識別的難度和重要性才得以重視。模式識別，第一章25模式識別的產生與發(fā)展隨著計算機技術的發(fā)展，60年代后模式識別迅速發(fā)展為一門相對獨立的新興交叉學科明確的問題定義、嚴格的數(shù)學基礎、堅實的理論框架、豐富的理論和應用成果、廣闊的應用前景模式識別，第一章26模式識別的產生與發(fā)展30年代英國統(tǒng)計學家Fisher(費希爾)提出統(tǒng)計分類理論，奠定了統(tǒng)計模式識別的基礎。50年代NoamChemsky提出形式語言理論——傅京蓀提出句法/結構模式識別。60年代模糊模式識別方法得以發(fā)展和應用。模式識別，第一章27模式識別的產生與發(fā)展80年代以Hopfield網、BP網為代表的神經網絡模型導致人工神經元網絡復活，并在模式識別得到較廣泛的應用。90年代小樣本學習理論，支持向量機受到了很大的重視。模式識別，第一章28模式識別的相關學科模式識別人工智能計算機視覺機器學習認知科學心理生物學模式識別，第一章29模式識別的應用語音識別與理解（Speechrecognition）語音識別說話人識別語種識別語音情感識別模式識別，第一章30模式識別的應用字符識別（CharacterRecognition）手寫體印刷體漢字、英文、阿拉伯數(shù)字模式識別，第一章31模式識別的應用圖像識別（ImageRecognition）車牌識別人臉識別模式識別，第一章32模式識別的應用車牌識別模式識別，第一章33模式識別的應用生物特征識別（身份鑒別）指紋識別掌紋識別人臉識別虹膜識別簽名識別步態(tài)識別模式識別，第一章34模式識別的應用生物醫(yī)學信號識別心電圖心音多普勒超聲波生物信號染色體DNA序列模式識別，第一章35模式識別的應用遙感圖像自動識別根據(jù)遙感圖像的光譜特征和紋理特征進行自動分類和識別模式識別，第一章36模式識別的應用遙感圖像識別模式識別，第一章37研究模式識別的意義通過模式識別的研究和應用，提高和擴展計算機的應用能力和領域，促進人工智能的應用與發(fā)展促進人們對人腦識別過程的理解和認識模式識別，第一章38模式識別的理論基礎概率論與數(shù)理統(tǒng)計隨機過程線性代數(shù)優(yōu)化方法形式語言學模式識別，第一章39模式識別的基本方法模式識別方法經典方法現(xiàn)代方法統(tǒng)計方法句法方法神經網絡方法模糊模式識別模式識別，第一章40模式識別的基本方法統(tǒng)計決策法基于模式的定量描述與統(tǒng)計規(guī)律的識別方法，是模式識別最經典、最成熟的方法，目前廣泛應用于模式識別的各個領域原理：樣本觀測值特征概率統(tǒng)計決策準則分類模式識別，第一章41模式識別的基本方法統(tǒng)計方法鮭魚鱸魚決策標準：判別邊界模式識別，第一章42模式識別的基本方法模式描述方法特征向量模式判定模式類用條件概率分布P(X/i)表示,m類就有m個分布，然后判定未知模式屬于哪一個分布特征向量特征值模式識別，第一章43模式識別的基本方法理論基礎概率論數(shù)理統(tǒng)計主要方法概率方法（Bayes決策）幾何方法（線性、非線性分類）聚類分析（無監(jiān)督模式識別）模式識別，第一章44模式識別的基本方法優(yōu)點比較成熟，理論體系較為完善，應用廣泛能考慮干擾噪聲等影響識別模式能力強缺點對結構復雜的模式抽取特征困難不能反映模式的結構特征，難以描述模式的性質模式識別，第一章45模式識別的基本方法句法方法基于模式的空間結構特征的定性描述與形式語言學的方法，廣泛應用于字符識別、圖像識別等領域原理：樣本基元字符串形式語言文法分類模式識別，第一章46模式識別的基本方法模式描述方法符號串樹圖模式判定是一種語言，用一個文法表示一個類，m類就有m個文法，然后判定未知模式遵循哪一個文法模式識別，第一章47模式識別的基本方法句法方法定義基元：模式識別，第一章48模式識別的基本方法理論基礎形式語言自動機技術主要方法CYK剖析算法Early算法狀態(tài)圖法模式識別，第一章49模式識別的基本方法優(yōu)點能有效反映模式的結構特征特別適合于文字、圖象等具有結構特征的模式分類問題缺點當存在干擾及噪聲時，基元提取較為困難分類器的設計比統(tǒng)計方法困難和復雜模式識別，第一章50模式識別的基本方法模糊模式識別基于模糊數(shù)學和統(tǒng)計分析的識別方法，在不能明確描述模式特征和結構的復雜模式識別問題中得到了成功應用根據(jù)隸屬度和模糊文法進行分類模糊模式類很像三角形的圖形遠大于2的整數(shù)清晰模式類三角形大于2的整數(shù)模式識別，第一章51模式識別的基本方法模式描述方法模糊集合

模式判定用隸屬度將模糊集合劃分為若干子集，m類就有m個子集，然后根據(jù)擇近原則進行分類模式識別，第一章52模式識別的基本方法理論基礎模糊數(shù)學主要方法模糊統(tǒng)計法二元對比排序法推理法模糊矩陣

模式識別，第一章53模式識別的基本方法優(yōu)點以隸屬度作為樣本間相似程度的度量，具有較強的抗干擾與畸變能力缺點準確合理的隸屬度函數(shù)往往難以建立，限制了其應用模式識別，第一章54模式識別的基本方法神經網絡方法基于現(xiàn)代生物學和認識科學對人類信息處理的研究成果采用人工神經網絡模型，使識別和處理過程更接近人類的思維過程模式識別，第一章55模式識別的基本方法模式描述方法神經元：不同活躍度表示的輸入節(jié)點集模式判定通過對樣本的學習建立起記憶，將未知模式判決為其最接近的記憶模式識別，第一章56模式識別的基本方法輸入層(i)輸入層(j)輸入層(k)模式識別，第一章57模式識別的基本方法神經網絡方法人工神經網絡由相互廣泛連接的神經元組成，信息分布于神經網絡中每一節(jié)點的輸入為前一層所有節(jié)點輸出的加權和通過已知類別樣本的學習，調整各節(jié)點之間的加權系數(shù)模式識別，第一章58模式識別的基本方法理論基礎神經生理學心理學主要方法BP模型HOP模型高階網模式識別，第一章59模式識別的基本方法優(yōu)點具有自適應學習能力，適用于并行計算與處理缺點模型在不斷豐富與完善中目前能識別的模式類還不夠多模式識別，第一章60模式識別的一般過程無論采用何種方法，模式識別一般都要包括下列兩個基本過程模式識別學習過程（設計過程）識別過程（實現(xiàn)過程）模式識別，第一章61模式識別的一般過程學習過程通過一批已知類別的學習樣本進行分析，推出分類準則。識別過程對末知類別的單個待識樣本，根據(jù)分類準則進行識別分類。模式識別，第一章62模式識別的一般過程學習樣本數(shù)據(jù)獲取預處理特征提取統(tǒng)計分析分類準則待識樣本數(shù)據(jù)獲取預處理特征提取識別分類分類結果統(tǒng)計模式識別的過程模式識別，第一章63模式識別的一般過程學習樣本數(shù)據(jù)獲取預處理特征提取統(tǒng)計分析分類準則人工干預改進采集方法改進預處理改進特征提取改進分類規(guī)則訓練樣本測試樣本正確率測試模式識別，第一章64模式識別的一般過程數(shù)據(jù)獲取采用傳感器(攝像機或麥克風)，通過測量、采樣和量化，得到反映樣本信息的原始數(shù)據(jù)（一維波形、二維圖像等）數(shù)據(jù)質量依賴于傳感器的特性和局限性（如帶寬、分辯率、靈敏度、信噪比等）預處理采用特定方法，對樣本數(shù)據(jù)進行分割、噪聲濾除、邊緣增強等處理預處理的方法與樣本對象所屬領域密切相關（如語音、圖像），即預處理的面向問題的

模式識別，第一章65被干擾的心電信號預處理（濾波）后的心電信號模式識別，第一章66模式識別的一般過程特征提取采用特定的方法提取反映樣本本質特性的特征（Feature），壓縮原始數(shù)據(jù)例如，語音信號的常用特征為短時能量、短時過零率、基音周期、共振峰等

模式識別，第一章67電話撥號音模式識別，第一章68特征表達用反映事物本質特性的特征向量表達模式模式識別的一般過程模式識別，第一章69統(tǒng)計分析采用一定的統(tǒng)計方法，通過學習樣本的分布規(guī)律，建立識別模型，推斷出分類準則。模式識別的一般過程鮭魚鱸魚模式識別，第一章70模式識別的一般過程識別分類根據(jù)分類準則，對待識樣本進行分類。鮭魚鱸魚判別標準：判別邊界待識樣本為鮭魚模式識別，第一章71模式識別的一般過程句法模式識別的過程學習樣本數(shù)據(jù)獲取預處理基元提取文法推斷文法待識樣本數(shù)據(jù)獲取預處理基元提取句法分析分類結果模式識別，第一章72模式識別系統(tǒng)實現(xiàn)學習過程和識別過程的計算機系統(tǒng)稱為模式識別系統(tǒng)，亦稱為分類器。學習過程即是分類器的設計過程識別過程即是分類器的實現(xiàn)過程模式識別，第一章73分類器設計采集數(shù)據(jù)（Datacollection）選擇特征（FeatureChoice）選擇方法和模型（ModelChoice）訓練分類器（Training）評價分類器（Evaluation）模式識別，第一章74開始采集數(shù)據(jù)選擇特征選擇方法和模型訓練分類器評價分類器結束先驗知識人工干預模式識別，第一章75采集數(shù)據(jù)（DataCollection）在開發(fā)模式識別系統(tǒng)費用中，數(shù)據(jù)據(jù)采集占到令人吃驚的比重為保證分類器的性能，必須有足夠多的訓練樣本怎樣才能知道已經采集到足夠多有代表性的供訓練和測試用的數(shù)據(jù)了呢？ 分類器設計模式識別，第一章76選擇特征（Featurechoice）怎么做才能把先驗知識和訓練數(shù)據(jù)有機結合起來，以發(fā)現(xiàn)有用的和有效的特征呢？分類器設計模式識別，第一章77分類器設計特征選擇（Featurechoice）依賴于具體的問題（語音識別、圖像識別）選擇反映模式本質特性的參數(shù)作為特征使樣本類間距離較大、類內距離較小與類別信息不相關的變換（平移、旋轉、尺度變換）具有不變性盡量選擇相關性小的特征盡可能不受噪聲的干擾模式識別，第一章78模型選擇（ModelChoice）怎樣選擇合適的模型，得到識別分類的標準？模型是唯一的嗎？什么樣的模型更優(yōu)呢？分類器設計模式識別，第一章79訓練或學習（Training）利用樣本數(shù)據(jù)來確定分類器的過程“基于樣本的學習”的方法是設計分類器的最有效的方法。分類器設計模式識別，第一章80評價分類器（Evaluation）識別率誤識率實時性計算復雜度分類器設計模式識別，第一章81模式識別的研究機構中科院自動化所模式識別國家重點實驗室模式識別基礎理論研究圖像處理與計算機視覺語音語言信息處理模式識別，第一章82模式識別的研究機構微軟亞洲研究院