第1章-模式識別概述2014

模式識別

PatternClassification

第一章:模式識別概述模式識別，第一章3一個例子通過光學(xué)感知手段，將傳送帶上的魚進行自動分類 鱸魚

魚類 鮭魚模式識別，第一章4問題分析

架設(shè)一臺攝影像機，拍攝若干樣品的圖像提取用于區(qū)分兩類魚的有效特征(feature)長度光澤度寬度鰭的數(shù)目和形狀嘴的位置，等等…….模式識別，第一章5

預(yù)處理（preprocessing）去除干擾，圖像增強采用圖像分割技術(shù)將不同的魚分離開來，或?qū)Ⅳ~同背景分開特征提?。╢eatureextraction）將每條魚的數(shù)據(jù)送入特征提取器，通過測量特定的“特征”或“屬性”來簡化原始數(shù)據(jù)將特征送入分類器，以便進行分類模式識別，第一章6分類（Classification）將待識別樣本進行特征提取，并與存儲于分類器中的特征進行比較，從而判斷樣本的類別模式識別，第一章7根據(jù)先驗知識：鱸魚長度一般要比鮭魚大選擇長度（length）作為可能的分類特征獲取足夠多的樣本（訓(xùn)練樣本）進行統(tǒng)計（直方圖）實現(xiàn)方法確定合適的長度臨界值L*作為分類標(biāo)準(zhǔn)模式識別，第一章8鮭魚鱸魚分類標(biāo)準(zhǔn)確定合適的長度臨界值L*作為分類標(biāo)準(zhǔn)模式識別，第一章9單一的特征判據(jù)（長度）不足以完全正確分類無論怎樣確定臨界值，都有無法僅憑長度就把兩類魚截然分開問題模式識別，第一章10選擇光澤度（lightness）作為分類特征獲取足夠多的樣本（訓(xùn)練樣本）進行統(tǒng)計（直方圖）確定合適的光澤度臨界值x*作為分類標(biāo)準(zhǔn)方法改進模式識別，第一章11鮭魚鱸魚分類標(biāo)準(zhǔn)以光澤度為分類特征，兩類魚的分離性更好！模式識別，第一章12判別邊界與判別代價

無論采用哪一種特征進行分類都有代價：誤判上述判別邊界假設(shè)將鮭魚誤判為鱸魚和將鱸魚誤判為鮭魚的代價相等（對稱代價）非對稱代價：調(diào)整判別邊界的位置結(jié)論特征選擇對分類效果有較大的影響模式識別，第一章13鮭魚鱸魚調(diào)整判別邊界，減小判別代價模式識別，第一章14為獲取更好的分類效果，組合運用多個特征選取光澤度（lightness）和寬度（width）作為分類特征魚 xT=[x1,x2]特征向量：xT=[x1,x2]LightnessWidth模式識別，第一章15鮭魚鱸魚判別標(biāo)準(zhǔn)：判別邊界組合特征優(yōu)于單一特征模式識別，第一章16需要考慮的問題特征越多分類性能越好嗎？什么樣的特征才是好的特征？特征的相關(guān)性與冗余？模式識別，第一章17需要考慮的問題如何獲取判別邊界：判別模型？什么樣的判別邊界才是最優(yōu)的：模型優(yōu)化？模式識別，第一章18復(fù)雜的模型鮭魚鱸魚模式識別，第一章19復(fù)雜的模型可保證對所有訓(xùn)練樣本正確分類過于復(fù)雜的模型將導(dǎo)致復(fù)雜的判別界面新模式推廣能力差模式識別，第一章20分類系統(tǒng)的目標(biāo)是對未知的樣本正確分類，而不僅僅是對訓(xùn)練樣本分類必須在模型復(fù)雜度和推廣能力之間進行折中考慮最優(yōu)模型模式識別，第一章21鮭魚鱸魚優(yōu)化的判別邊界模式識別，第一章22什么是模式識別？定義利用機器（計算機）模仿人腦對現(xiàn)實世界各種事物進行描述、分類、判斷和識別的過程。周圍物體的認(rèn)知：桌子、椅子、門、窗戶人的識別：張三、李四聲音的辨別：火車、汽車、鳥鳴氣味的分辨：紅燒肉、炸帶魚模式識別，第一章23什么是模式識別？目標(biāo)用計算機實現(xiàn)具有感知、識別、理解、自學(xué)習(xí)和自適應(yīng)能力的靈活和智能的計算機器。

人和動物的模式識別能力是極其平常的，但對計算機來說是非常困難的。模式識別，第一章24模式識別的產(chǎn)生與發(fā)展起源始于20世紀(jì)40年代研究初期，模式識別被看作動物所具有的自然生理現(xiàn)象，很多人認(rèn)為不值得研究。當(dāng)人們試圖使計算機去具有人腦的識別能力后，模式識別的難度和重要性才得以重視。模式識別，第一章25模式識別的產(chǎn)生與發(fā)展隨著計算機技術(shù)的發(fā)展，60年代后模式識別迅速發(fā)展為一門相對獨立的新興交叉學(xué)科明確的問題定義、嚴(yán)格的數(shù)學(xué)基礎(chǔ)、堅實的理論框架、豐富的理論和應(yīng)用成果、廣闊的應(yīng)用前景模式識別，第一章26模式識別的產(chǎn)生與發(fā)展30年代英國統(tǒng)計學(xué)家Fisher(費希爾)提出統(tǒng)計分類理論，奠定了統(tǒng)計模式識別的基礎(chǔ)。50年代NoamChemsky提出形式語言理論——傅京蓀提出句法/結(jié)構(gòu)模式識別。60年代模糊模式識別方法得以發(fā)展和應(yīng)用。模式識別，第一章27模式識別的產(chǎn)生與發(fā)展80年代以Hopfield網(wǎng)、BP網(wǎng)為代表的神經(jīng)網(wǎng)絡(luò)模型導(dǎo)致人工神經(jīng)元網(wǎng)絡(luò)復(fù)活，并在模式識別得到較廣泛的應(yīng)用。90年代小樣本學(xué)習(xí)理論，支持向量機受到了很大的重視。模式識別，第一章28模式識別的相關(guān)學(xué)科模式識別人工智能計算機視覺機器學(xué)習(xí)認(rèn)知科學(xué)心理生物學(xué)模式識別，第一章29模式識別的應(yīng)用語音識別與理解（Speechrecognition）語音識別說話人識別語種識別語音情感識別模式識別，第一章30模式識別的應(yīng)用字符識別（CharacterRecognition）手寫體印刷體漢字、英文、阿拉伯?dāng)?shù)字模式識別，第一章31模式識別的應(yīng)用圖像識別（ImageRecognition）車牌識別人臉識別模式識別，第一章32模式識別的應(yīng)用車牌識別模式識別，第一章33模式識別的應(yīng)用生物特征識別（身份鑒別）指紋識別掌紋識別人臉識別虹膜識別簽名識別步態(tài)識別模式識別，第一章34模式識別的應(yīng)用生物醫(yī)學(xué)信號識別心電圖心音多普勒超聲波生物信號染色體DNA序列模式識別，第一章35模式識別的應(yīng)用遙感圖像自動識別根據(jù)遙感圖像的光譜特征和紋理特征進行自動分類和識別模式識別，第一章36模式識別的應(yīng)用遙感圖像識別模式識別，第一章37研究模式識別的意義通過模式識別的研究和應(yīng)用，提高和擴展計算機的應(yīng)用能力和領(lǐng)域，促進人工智能的應(yīng)用與發(fā)展促進人們對人腦識別過程的理解和認(rèn)識模式識別，第一章38模式識別的理論基礎(chǔ)概率論與數(shù)理統(tǒng)計隨機過程線性代數(shù)優(yōu)化方法形式語言學(xué)模式識別，第一章39模式識別的基本方法模式識別方法經(jīng)典方法現(xiàn)代方法統(tǒng)計方法句法方法神經(jīng)網(wǎng)絡(luò)方法模糊模式識別模式識別，第一章40模式識別的基本方法統(tǒng)計決策法基于模式的定量描述與統(tǒng)計規(guī)律的識別方法，是模式識別最經(jīng)典、最成熟的方法，目前廣泛應(yīng)用于模式識別的各個領(lǐng)域原理：樣本觀測值特征概率統(tǒng)計決策準(zhǔn)則分類模式識別，第一章41模式識別的基本方法統(tǒng)計方法鮭魚鱸魚決策標(biāo)準(zhǔn)：判別邊界模式識別，第一章42模式識別的基本方法模式描述方法特征向量模式判定模式類用條件概率分布P(X/i)表示,m類就有m個分布，然后判定未知模式屬于哪一個分布特征向量特征值模式識別，第一章43模式識別的基本方法理論基礎(chǔ)概率論數(shù)理統(tǒng)計主要方法概率方法（Bayes決策）幾何方法（線性、非線性分類）聚類分析（無監(jiān)督模式識別）模式識別，第一章44模式識別的基本方法優(yōu)點比較成熟，理論體系較為完善，應(yīng)用廣泛能考慮干擾噪聲等影響識別模式能力強缺點對結(jié)構(gòu)復(fù)雜的模式抽取特征困難不能反映模式的結(jié)構(gòu)特征，難以描述模式的性質(zhì)模式識別，第一章45模式識別的基本方法句法方法基于模式的空間結(jié)構(gòu)特征的定性描述與形式語言學(xué)的方法，廣泛應(yīng)用于字符識別、圖像識別等領(lǐng)域原理：樣本基元字符串形式語言文法分類模式識別，第一章46模式識別的基本方法模式描述方法符號串樹圖模式判定是一種語言，用一個文法表示一個類，m類就有m個文法，然后判定未知模式遵循哪一個文法模式識別，第一章47模式識別的基本方法句法方法定義基元：模式識別，第一章48模式識別的基本方法理論基礎(chǔ)形式語言自動機技術(shù)主要方法CYK剖析算法Early算法狀態(tài)圖法模式識別，第一章49模式識別的基本方法優(yōu)點能有效反映模式的結(jié)構(gòu)特征特別適合于文字、圖象等具有結(jié)構(gòu)特征的模式分類問題缺點當(dāng)存在干擾及噪聲時，基元提取較為困難分類器的設(shè)計比統(tǒng)計方法困難和復(fù)雜模式識別，第一章50模式識別的基本方法模糊模式識別基于模糊數(shù)學(xué)和統(tǒng)計分析的識別方法，在不能明確描述模式特征和結(jié)構(gòu)的復(fù)雜模式識別問題中得到了成功應(yīng)用根據(jù)隸屬度和模糊文法進行分類模糊模式類很像三角形的圖形遠(yuǎn)大于2的整數(shù)清晰模式類三角形大于2的整數(shù)模式識別，第一章51模式識別的基本方法模式描述方法模糊集合

模式判定用隸屬度將模糊集合劃分為若干子集，m類就有m個子集，然后根據(jù)擇近原則進行分類模式識別，第一章52模式識別的基本方法理論基礎(chǔ)模糊數(shù)學(xué)主要方法模糊統(tǒng)計法二元對比排序法推理法模糊矩陣

模式識別，第一章53模式識別的基本方法優(yōu)點以隸屬度作為樣本間相似程度的度量，具有較強的抗干擾與畸變能力缺點準(zhǔn)確合理的隸屬度函數(shù)往往難以建立，限制了其應(yīng)用模式識別，第一章54模式識別的基本方法神經(jīng)網(wǎng)絡(luò)方法基于現(xiàn)代生物學(xué)和認(rèn)識科學(xué)對人類信息處理的研究成果采用人工神經(jīng)網(wǎng)絡(luò)模型，使識別和處理過程更接近人類的思維過程模式識別，第一章55模式識別的基本方法模式描述方法神經(jīng)元：不同活躍度表示的輸入節(jié)點集模式判定通過對樣本的學(xué)習(xí)建立起記憶，將未知模式判決為其最接近的記憶模式識別，第一章56模式識別的基本方法輸入層(i)輸入層(j)輸入層(k)模式識別，第一章57模式識別的基本方法神經(jīng)網(wǎng)絡(luò)方法人工神經(jīng)網(wǎng)絡(luò)由相互廣泛連接的神經(jīng)元組成，信息分布于神經(jīng)網(wǎng)絡(luò)中每一節(jié)點的輸入為前一層所有節(jié)點輸出的加權(quán)和通過已知類別樣本的學(xué)習(xí)，調(diào)整各節(jié)點之間的加權(quán)系數(shù)模式識別，第一章58模式識別的基本方法理論基礎(chǔ)神經(jīng)生理學(xué)心理學(xué)主要方法BP模型HOP模型高階網(wǎng)模式識別，第一章59模式識別的基本方法優(yōu)點具有自適應(yīng)學(xué)習(xí)能力，適用于并行計算與處理缺點模型在不斷豐富與完善中目前能識別的模式類還不夠多模式識別，第一章60模式識別的一般過程無論采用何種方法，模式識別一般都要包括下列兩個基本過程模式識別學(xué)習(xí)過程（設(shè)計過程）識別過程（實現(xiàn)過程）模式識別，第一章61模式識別的一般過程學(xué)習(xí)過程通過一批已知類別的學(xué)習(xí)樣本進行分析，推出分類準(zhǔn)則。識別過程對末知類別的單個待識樣本，根據(jù)分類準(zhǔn)則進行識別分類。模式識別，第一章62模式識別的一般過程學(xué)習(xí)樣本數(shù)據(jù)獲取預(yù)處理特征提取統(tǒng)計分析分類準(zhǔn)則待識樣本數(shù)據(jù)獲取預(yù)處理特征提取識別分類分類結(jié)果統(tǒng)計模式識別的過程模式識別，第一章63模式識別的一般過程學(xué)習(xí)樣本數(shù)據(jù)獲取預(yù)處理特征提取統(tǒng)計分析分類準(zhǔn)則人工干預(yù)改進采集方法改進預(yù)處理改進特征提取改進分類規(guī)則訓(xùn)練樣本測試樣本正確率測試模式識別，第一章64模式識別的一般過程數(shù)據(jù)獲取采用傳感器(攝像機或麥克風(fēng))，通過測量、采樣和量化，得到反映樣本信息的原始數(shù)據(jù)（一維波形、二維圖像等）數(shù)據(jù)質(zhì)量依賴于傳感器的特性和局限性（如帶寬、分辯率、靈敏度、信噪比等）預(yù)處理采用特定方法，對樣本數(shù)據(jù)進行分割、噪聲濾除、邊緣增強等處理預(yù)處理的方法與樣本對象所屬領(lǐng)域密切相關(guān)（如語音、圖像），即預(yù)處理的面向問題的

模式識別，第一章65被干擾的心電信號預(yù)處理（濾波）后的心電信號模式識別，第一章66模式識別的一般過程特征提取采用特定的方法提取反映樣本本質(zhì)特性的特征（Feature），壓縮原始數(shù)據(jù)例如，語音信號的常用特征為短時能量、短時過零率、基音周期、共振峰等

模式識別，第一章67電話撥號音模式識別，第一章68特征表達(dá)用反映事物本質(zhì)特性的特征向量表達(dá)模式模式識別的一般過程模式識別，第一章69統(tǒng)計分析采用一定的統(tǒng)計方法，通過學(xué)習(xí)樣本的分布規(guī)律，建立識別模型，推斷出分類準(zhǔn)則。模式識別的一般過程鮭魚鱸魚模式識別，第一章70模式識別的一般過程識別分類根據(jù)分類準(zhǔn)則，對待識樣本進行分類。鮭魚鱸魚判別標(biāo)準(zhǔn)：判別邊界待識樣本為鮭魚模式識別，第一章71模式識別的一般過程句法模式識別的過程學(xué)習(xí)樣本數(shù)據(jù)獲取預(yù)處理基元提取文法推斷文法待識樣本數(shù)據(jù)獲取預(yù)處理基元提取句法分析分類結(jié)果模式識別，第一章72模式識別系統(tǒng)實現(xiàn)學(xué)習(xí)過程和識別過程的計算機系統(tǒng)稱為模式識別系統(tǒng)，亦稱為分類器。學(xué)習(xí)過程即是分類器的設(shè)計過程識別過程即是分類器的實現(xiàn)過程模式識別，第一章73分類器設(shè)計采集數(shù)據(jù)（Datacollection）選擇特征（FeatureChoice）選擇方法和模型（ModelChoice）訓(xùn)練分類器（Training）評價分類器（Evaluation）模式識別，第一章74開始采集數(shù)據(jù)選擇特征選擇方法和模型訓(xùn)練分類器評價分類器結(jié)束先驗知識人工干預(yù)模式識別，第一章75采集數(shù)據(jù)（DataCollection）在開發(fā)模式識別系統(tǒng)費用中，數(shù)據(jù)據(jù)采集占到令人吃驚的比重為保證分類器的性能，必須有足夠多的訓(xùn)練樣本怎樣才能知道已經(jīng)采集到足夠多有代表性的供訓(xùn)練和測試用的數(shù)據(jù)了呢？ 分類器設(shè)計模式識別，第一章76選擇特征（Featurechoice）怎么做才能把先驗知識和訓(xùn)練數(shù)據(jù)有機結(jié)合起來，以發(fā)現(xiàn)有用的和有效的特征呢？分類器設(shè)計模式識別，第一章77分類器設(shè)計特征選擇（Featurechoice）依賴于具體的問題（語音識別、圖像識別）選擇反映模式本質(zhì)特性的參數(shù)作為特征使樣本類間距離較大、類內(nèi)距離較小與類別信息不相關(guān)的變換（平移、旋轉(zhuǎn)、尺度變換）具有不變性盡量選擇相關(guān)性小的特征盡可能不受噪聲的干擾模式識別，第一章78模型選擇（ModelChoice）怎樣選擇合適的模型，得到識別分類的標(biāo)準(zhǔn)？模型是唯一的嗎？什么樣的模型更優(yōu)呢？分類器設(shè)計模式識別，第一章79訓(xùn)練或?qū)W習(xí)（Training）利用樣本數(shù)據(jù)來確定分類器的過程“基于樣本的學(xué)習(xí)”的方法是設(shè)計分類器的最有效的方法。分類器設(shè)計模式識別，第一章80評價分類器（Evaluation）識別率誤識率實時性計算復(fù)雜度分類器設(shè)計模式識別，第一章81模式識別的研究機構(gòu)中科院自動化所模式識別國家重點實驗室模式識別基礎(chǔ)理論研究圖像處理與計算機視覺語音語言信息處理模式識別，第一章82模式識別的研究機構(gòu)微軟亞洲研究院