模式識(shí)別概述

模式識(shí)別概述第1頁(yè)，共59頁(yè)，2023年，2月20日，星期五第一章:模式識(shí)別概述第2頁(yè)，共59頁(yè)，2023年，2月20日，星期五一個(gè)例子通過(guò)光學(xué)感知手段，將傳送帶上的魚(yú)進(jìn)行自動(dòng)分類(lèi) 鱸魚(yú)

魚(yú)類(lèi) 鮭魚(yú)3第3頁(yè)，共59頁(yè)，2023年，2月20日，星期五問(wèn)題分析架設(shè)一臺(tái)攝影像機(jī)，拍攝若干樣品的圖像提取用于區(qū)分兩類(lèi)魚(yú)的有效特征(feature)長(zhǎng)度光澤度寬度鰭的數(shù)目和形狀嘴的位置，等等…….上述參數(shù)即是我們對(duì)兩類(lèi)魚(yú)進(jìn)行分類(lèi)的備選特征4第4頁(yè)，共59頁(yè)，2023年，2月20日，星期五

預(yù)處理（preprocessing）去除干擾，圖像增強(qiáng)采用圖像分割技術(shù)將不同的魚(yú)分離開(kāi)來(lái)，或者將魚(yú)同背景分開(kāi)特征提?。╢eatureextraction）將每條魚(yú)的數(shù)據(jù)送入特征提取器，通過(guò)測(cè)量特定的“特征”或“屬性”來(lái)簡(jiǎn)化原始數(shù)據(jù)類(lèi)將特征送入分類(lèi)器，以便進(jìn)行分類(lèi)5第5頁(yè)，共59頁(yè)，2023年，2月20日，星期五鮭魚(yú)鮭魚(yú)鱸魚(yú)6第6頁(yè)，共59頁(yè)，2023年，2月20日，星期五分類(lèi)（Classification）根據(jù)先驗(yàn)知識(shí)：鱸魚(yú)長(zhǎng)度一般要比鮭魚(yú)大選擇長(zhǎng)度（length）作為可能的分類(lèi)特征獲取足夠多的樣本（訓(xùn)練樣本）進(jìn)行統(tǒng)計(jì)（直方圖）確定合適的長(zhǎng)度臨界值L*作為分類(lèi)標(biāo)準(zhǔn)7第7頁(yè)，共59頁(yè)，2023年，2月20日，星期五鮭魚(yú)鱸魚(yú)分類(lèi)標(biāo)準(zhǔn)8第8頁(yè)，共59頁(yè)，2023年，2月20日，星期五單一的特征判據(jù)（長(zhǎng)度）不足以完全正確分類(lèi)無(wú)論怎樣確定臨界值，都有無(wú)法僅憑長(zhǎng)度就把兩類(lèi)魚(yú)截然分開(kāi)9第9頁(yè)，共59頁(yè)，2023年，2月20日，星期五選擇光澤度（lightness）作為分類(lèi)特征獲取足夠多的樣本（訓(xùn)練樣本）進(jìn)行統(tǒng)計(jì)（直方圖）確定合適的光澤度臨界值x*作為分類(lèi)標(biāo)準(zhǔn)以光澤度為分類(lèi)特征，兩類(lèi)魚(yú)的分離性更好！10第10頁(yè)，共59頁(yè)，2023年，2月20日，星期五分類(lèi)標(biāo)準(zhǔn)鮭魚(yú)鱸魚(yú)11第11頁(yè)，共59頁(yè)，2023年，2月20日，星期五判別邊界與判別代價(jià)

無(wú)論采用哪一種特征進(jìn)行分類(lèi)都有代價(jià)：誤判上述判別邊界假設(shè)將鮭魚(yú)誤判為鱸魚(yú)和將鱸魚(yú)誤判為鮭魚(yú)的代價(jià)相等（對(duì)稱(chēng)代價(jià)）非對(duì)稱(chēng)代價(jià)：調(diào)整判別邊界的位置決策論12第12頁(yè)，共59頁(yè)，2023年，2月20日，星期五鮭魚(yú)鱸魚(yú)調(diào)整判別邊界，減小判別代價(jià)13第13頁(yè)，共59頁(yè)，2023年，2月20日，星期五為獲取更好的分類(lèi)效果，組合運(yùn)用多個(gè)特征選取光澤度（lightness）和寬度（width）作為分類(lèi)特征魚(yú) xT=[x1,x2]特征向量：xT=[x1,x2]LightnessWidth14第14頁(yè)，共59頁(yè)，2023年，2月20日，星期五鮭魚(yú)鱸魚(yú)判別標(biāo)準(zhǔn)：判別邊界組合特征優(yōu)于單一特征15第15頁(yè)，共59頁(yè)，2023年，2月20日，星期五需要考慮的問(wèn)題：特征越多分類(lèi)性能越好嗎？什么樣的特征才是好的特征？特征的相關(guān)性與冗余？16第16頁(yè)，共59頁(yè)，2023年，2月20日，星期五如何獲取判別邊界：判別模型？

什么樣的判別邊界才是最優(yōu)的：模型優(yōu)化？

17第17頁(yè)，共59頁(yè)，2023年，2月20日，星期五復(fù)雜的模型鮭魚(yú)鱸魚(yú)18第18頁(yè)，共59頁(yè)，2023年，2月20日，星期五復(fù)雜的模型可保證對(duì)所有訓(xùn)練樣本正確分類(lèi)過(guò)于復(fù)雜的模型將導(dǎo)致復(fù)雜的判別曲線(xiàn)新模式推廣能力差19第19頁(yè)，共59頁(yè)，2023年，2月20日，星期五分類(lèi)系統(tǒng)的目標(biāo)是對(duì)未知的樣本正確分類(lèi)，而不僅僅是對(duì)訓(xùn)練樣本分類(lèi)必須在模型復(fù)雜度和推廣能力之間進(jìn)行折中考慮最優(yōu)模型20第20頁(yè)，共59頁(yè)，2023年，2月20日，星期五鮭魚(yú)鱸魚(yú)優(yōu)化的判別邊界21第21頁(yè)，共59頁(yè)，2023年，2月20日，星期五什么是模式識(shí)別？定義利用機(jī)器（計(jì)算機(jī)）模仿人腦對(duì)現(xiàn)實(shí)世界各種事物進(jìn)行描述、分類(lèi)、判斷和識(shí)別的過(guò)程。目標(biāo)用計(jì)算機(jī)實(shí)現(xiàn)具有感知、識(shí)別、理解、自學(xué)習(xí)和自適應(yīng)能力的靈活和智能的計(jì)算機(jī)器。22第22頁(yè)，共59頁(yè)，2023年，2月20日，星期五模式識(shí)別的產(chǎn)生與發(fā)展起源于20世紀(jì)40年代研究初期，模式識(shí)別被看作動(dòng)物所具有的自然生理現(xiàn)象，很多人認(rèn)為不值得研究。當(dāng)人們?cè)噲D使計(jì)算機(jī)去具有人腦的識(shí)別能力后，模式識(shí)別的難度和重要性才得以重視。23第23頁(yè)，共59頁(yè)，2023年，2月20日，星期五模式識(shí)別的產(chǎn)生與發(fā)展隨著計(jì)算機(jī)技術(shù)的發(fā)展，60年代后模式識(shí)別迅速發(fā)展為一門(mén)相對(duì)獨(dú)立的新興交叉學(xué)科明確的問(wèn)題定義、嚴(yán)格的數(shù)學(xué)基礎(chǔ)、堅(jiān)實(shí)的理論框架、豐富的理論和應(yīng)用成果、廣闊的應(yīng)用前景24第24頁(yè)，共59頁(yè)，2023年，2月20日，星期五模式識(shí)別的相關(guān)學(xué)科模式識(shí)別人工智能計(jì)算機(jī)視覺(jué)機(jī)器學(xué)習(xí)認(rèn)知科學(xué)心理生物學(xué)25第25頁(yè)，共59頁(yè)，2023年，2月20日，星期五模式識(shí)別的應(yīng)用語(yǔ)音識(shí)別與理解（Speechrecognition）語(yǔ)音識(shí)別說(shuō)話(huà)人識(shí)別語(yǔ)種識(shí)別語(yǔ)音情感識(shí)別特定人、非特定人母語(yǔ)、非母語(yǔ)孤立音、連續(xù)音26第26頁(yè)，共59頁(yè)，2023年，2月20日，星期五模式識(shí)別的應(yīng)用字符識(shí)別（CharacterRecognition）手寫(xiě)體印刷體漢字、英文、阿拉伯?dāng)?shù)字27第27頁(yè)，共59頁(yè)，2023年，2月20日，星期五模式識(shí)別的應(yīng)用生物特征識(shí)別指紋識(shí)別掌紋識(shí)別人臉識(shí)別虹膜識(shí)別28第28頁(yè)，共59頁(yè)，2023年，2月20日，星期五模式識(shí)別的應(yīng)用生物醫(yī)學(xué)信號(hào)識(shí)別心電圖、心音、多普勒生物信號(hào)、染色體、DNA序列圖像檢索軍事目標(biāo)跟蹤與識(shí)別遙感圖像處理29第29頁(yè)，共59頁(yè)，2023年，2月20日，星期五研究模式識(shí)別的意義通過(guò)模式識(shí)別的研究和應(yīng)用，提高和擴(kuò)展計(jì)算機(jī)的應(yīng)用能力和領(lǐng)域，促進(jìn)人工智能的應(yīng)用與發(fā)展促進(jìn)人們對(duì)人腦識(shí)別過(guò)程的理解和認(rèn)識(shí)30第30頁(yè)，共59頁(yè)，2023年，2月20日，星期五模式識(shí)別存在的問(wèn)題模式識(shí)別是一門(mén)快速發(fā)展的新興學(xué)科，涉及到多學(xué)科、多領(lǐng)域的復(fù)雜問(wèn)題和生物認(rèn)知系統(tǒng)相比，現(xiàn)有人工模式識(shí)別系統(tǒng)的適應(yīng)和識(shí)別能力還遠(yuǎn)遠(yuǎn)不能令人滿(mǎn)意模式識(shí)別的許多理論和基本方法方面的問(wèn)題還遠(yuǎn)沒(méi)有得到解決新問(wèn)題層出不窮傳統(tǒng)方法均存在一定的局限性31第31頁(yè)，共59頁(yè)，2023年，2月20日，星期五模式識(shí)別的理論基礎(chǔ)概率論與數(shù)理統(tǒng)計(jì)隨機(jī)過(guò)程線(xiàn)性代數(shù)優(yōu)化方法形式語(yǔ)言學(xué)32第32頁(yè)，共59頁(yè)，2023年，2月20日，星期五模式識(shí)別的基本方法模式識(shí)別方法經(jīng)典方法現(xiàn)代方法統(tǒng)計(jì)決策方法句法方法神經(jīng)網(wǎng)絡(luò)方法模糊模式識(shí)別33第33頁(yè)，共59頁(yè)，2023年，2月20日，星期五模式識(shí)別的基本方法統(tǒng)計(jì)決策法基于模式的定量描述與統(tǒng)計(jì)規(guī)律的識(shí)別方法，是模式識(shí)別最經(jīng)典、最成熟的方法，目前廣泛應(yīng)用于模式識(shí)別的各個(gè)領(lǐng)域原理：樣本觀測(cè)值特征概率統(tǒng)計(jì)決策準(zhǔn)則分類(lèi)34第34頁(yè)，共59頁(yè)，2023年，2月20日，星期五模式識(shí)別的基本方法統(tǒng)計(jì)方法鮭魚(yú)鱸魚(yú)決策標(biāo)準(zhǔn)：判別邊界35第35頁(yè)，共59頁(yè)，2023年，2月20日，星期五模式識(shí)別的基本方法句法方法基于模式的空間結(jié)構(gòu)特征的定性描述與形式語(yǔ)言學(xué)的方法，廣泛應(yīng)用于字符識(shí)別、圖像識(shí)別等領(lǐng)域原理：樣本基元字符串形式語(yǔ)言文法分類(lèi)36第36頁(yè)，共59頁(yè)，2023年，2月20日，星期五模式識(shí)別的基本方法句法方法定義基元：37第37頁(yè)，共59頁(yè)，2023年，2月20日，星期五模式識(shí)別的基本方法模糊模式識(shí)別基于模糊數(shù)學(xué)和統(tǒng)計(jì)分析的識(shí)別方法，在不能明確描述模式特征和結(jié)構(gòu)的復(fù)雜模式識(shí)別問(wèn)題中得到了成功應(yīng)用根據(jù)隸屬度和模糊文法進(jìn)行分類(lèi)模糊模式類(lèi)很像三角形的圖形遠(yuǎn)大于2的整數(shù)清晰模式類(lèi)三角形大于2的整數(shù)38第38頁(yè)，共59頁(yè)，2023年，2月20日，星期五模式識(shí)別的基本方法神經(jīng)網(wǎng)絡(luò)方法基于現(xiàn)代生物學(xué)和認(rèn)識(shí)科學(xué)對(duì)人類(lèi)信息處理的研究成果采用人工神經(jīng)網(wǎng)絡(luò)模型，使識(shí)別和處理過(guò)程更接近人類(lèi)的思維過(guò)程39第39頁(yè)，共59頁(yè)，2023年，2月20日，星期五模式識(shí)別的基本方法輸入層(i)輸入層(j)輸入層(k)W

ijW

jk神經(jīng)網(wǎng)絡(luò)方法40第40頁(yè)，共59頁(yè)，2023年，2月20日，星期五模式識(shí)別的基本方法神經(jīng)網(wǎng)絡(luò)方法人工神經(jīng)網(wǎng)絡(luò)由相互廣泛連接的神經(jīng)元組成，信息分布于神經(jīng)網(wǎng)絡(luò)中每一節(jié)點(diǎn)的輸入為前一層所有節(jié)點(diǎn)輸出的加權(quán)和通過(guò)已知類(lèi)別樣本的學(xué)習(xí)，調(diào)整各節(jié)點(diǎn)之間的加權(quán)系數(shù)具有自適應(yīng)學(xué)習(xí)能力，適用于并行計(jì)算與處理41第41頁(yè)，共59頁(yè)，2023年，2月20日，星期五模式識(shí)別的一般過(guò)程無(wú)論采用何種方法，模式識(shí)別一般都要包括下列兩個(gè)基本過(guò)程模式識(shí)別學(xué)習(xí)過(guò)程（設(shè)計(jì)過(guò)程）識(shí)別過(guò)程（實(shí)現(xiàn)過(guò)程）42第42頁(yè)，共59頁(yè)，2023年，2月20日，星期五模式識(shí)別的一般過(guò)程學(xué)習(xí)過(guò)程通過(guò)一批已知類(lèi)別的學(xué)習(xí)樣本進(jìn)行分析，推出分類(lèi)準(zhǔn)則。識(shí)別過(guò)程對(duì)末知類(lèi)別的單個(gè)待識(shí)樣本，根據(jù)分類(lèi)準(zhǔn)則進(jìn)行識(shí)別分類(lèi)。43第43頁(yè)，共59頁(yè)，2023年，2月20日，星期五模式識(shí)別的一般過(guò)程學(xué)習(xí)樣本數(shù)據(jù)獲取預(yù)處理特征提取統(tǒng)計(jì)分析分類(lèi)準(zhǔn)則待識(shí)樣本數(shù)據(jù)獲取預(yù)處理特征提取識(shí)別分類(lèi)分類(lèi)結(jié)果統(tǒng)計(jì)模式識(shí)別的過(guò)程44第44頁(yè)，共59頁(yè)，2023年，2月20日，星期五模式識(shí)別的一般過(guò)程數(shù)據(jù)獲取采用傳感器(攝像機(jī)或麥克風(fēng))，通過(guò)測(cè)量、采樣和量化，得到反映樣本信息的原始數(shù)據(jù)（一維波形、二維圖像等）數(shù)據(jù)質(zhì)量依賴(lài)于傳感器的特性和局限性（如帶寬、分辯率、靈敏度、信噪比等）預(yù)處理采用特定方法，對(duì)樣本數(shù)據(jù)進(jìn)行分割、噪聲濾除、邊緣增加等處理預(yù)處理的方法與樣本對(duì)象所屬領(lǐng)域密切相關(guān)（如語(yǔ)音、圖像）

45第45頁(yè)，共59頁(yè)，2023年，2月20日，星期五特征提取采用特定的方法提取反映樣本本質(zhì)特性的特征（Feature），壓縮原始數(shù)據(jù)。統(tǒng)計(jì)分析采用一定的統(tǒng)計(jì)方法，通過(guò)學(xué)習(xí)樣本的分布規(guī)律，建立識(shí)別模型，推斷出分類(lèi)準(zhǔn)則。識(shí)別分類(lèi)根據(jù)分類(lèi)準(zhǔn)則，對(duì)待識(shí)樣本進(jìn)行分類(lèi)。模式識(shí)別的一般過(guò)程46第46頁(yè)，共59頁(yè)，2023年，2月20日，星期五模式識(shí)別的一般過(guò)程句法模式識(shí)別的過(guò)程學(xué)習(xí)樣本數(shù)據(jù)獲取預(yù)處理基元提取文法推斷文法待識(shí)樣本數(shù)據(jù)獲取預(yù)處理基元提取句法分析分類(lèi)結(jié)果47第47頁(yè)，共59頁(yè)，2023年，2月20日，星期五模式識(shí)別系統(tǒng)實(shí)現(xiàn)學(xué)習(xí)過(guò)程和識(shí)別過(guò)程的計(jì)算機(jī)系統(tǒng)稱(chēng)為模式識(shí)別系統(tǒng)，亦稱(chēng)為分類(lèi)器。學(xué)習(xí)過(guò)程即是分類(lèi)器的設(shè)計(jì)過(guò)程識(shí)別過(guò)程即是分類(lèi)器的實(shí)現(xiàn)過(guò)程48第48頁(yè)，共59頁(yè)，2023年，2月20日，星期五分類(lèi)器設(shè)計(jì)采集數(shù)據(jù)（Datacollection）選擇特征（FeatureChoice）選擇模型（ModelChoice）訓(xùn)練分類(lèi)器（Training）評(píng)價(jià)分類(lèi)器（Evaluation）計(jì)算復(fù)雜度（ComputationalComplexity）49第49頁(yè)，共59頁(yè)，2023年，2月20日，星期五開(kāi)始采集數(shù)據(jù)選擇特征選擇模型訓(xùn)練分類(lèi)器評(píng)價(jià)分類(lèi)器結(jié)束先驗(yàn)知識(shí)50第50頁(yè)，共59頁(yè)，2023年，2月20日，星期五采集數(shù)據(jù)（DataCollection）在開(kāi)發(fā)模式識(shí)別系統(tǒng)費(fèi)用中，數(shù)據(jù)據(jù)采集占到令人吃驚的比重為保證分類(lèi)器的性能，必須有足夠多的訓(xùn)練樣本怎樣才能知道已經(jīng)采集到足夠多有代表性的供訓(xùn)練和測(cè)試用的數(shù)據(jù)了呢？ 分類(lèi)器設(shè)計(jì)51第51頁(yè)，共59頁(yè)，2023年，2月20日，星期五選擇特征（Featurechoice）怎么做才能把先驗(yàn)知識(shí)和訓(xùn)練數(shù)據(jù)有機(jī)結(jié)合起來(lái)，以發(fā)現(xiàn)有用的和有效的特征呢？分類(lèi)器設(shè)計(jì)52第52頁(yè)，共59頁(yè)，2023年，2月20日，星期五特征選擇（Featurechoice）依賴(lài)于具體的問(wèn)題（語(yǔ)音識(shí)別、圖像識(shí)別）選擇反映模式本質(zhì)特性的參數(shù)作為特征使樣本類(lèi)間距離較大、類(lèi)內(nèi)距離較小與類(lèi)別信息不相關(guān)的變換（平移、旋轉(zhuǎn)、尺度變換）具有不變性盡量選擇相關(guān)性小的特征盡可能不受噪聲的干擾53第53頁(yè)，共59頁(yè)，2023年，2月20日，星期五模型選擇（ModelChoice）怎樣選擇合適的模型，得到識(shí)別分類(lèi)的標(biāo)準(zhǔn)？模型是唯一的嗎？什么樣的模型更優(yōu)呢？分類(lèi)器設(shè)計(jì)54第54頁(yè)，共59頁(yè)，2023年，2月20日，星期五訓(xùn)練或?qū)W習(xí)（Training）利用樣本數(shù)據(jù)來(lái)確定分類(lèi)器的過(guò)程“基于樣本的學(xué)習(xí)”的方法是設(shè)計(jì)分類(lèi)器的最有效的方法。分類(lèi)器設(shè)計(jì)55第55頁(yè)，共59頁(yè)，2023年，2月20日，星期五評(píng)價(jià)分類(lèi)器（Evaluation）識(shí)別率誤識(shí)