哈工大模式識(shí)別課程期末總結(jié)名師優(yōu)質(zhì)課獲獎(jiǎng)市賽課一等獎(jiǎng)?wù)n件

哈爾濱工業(yè)大學(xué)課程總復(fù)習(xí)第1頁主要內(nèi)容1.關(guān)于期末考試/考查2.章節(jié)知識(shí)點(diǎn)整理第2頁21.關(guān)于期末考試/考查第3頁31.確認(rèn)考試人員名單；2.考試/考查方式學(xué)位課：考試70%+匯報(bào)30%；選修課：匯報(bào)100%（不用考試）。3.匯報(bào)形式(見word文檔)4.考試題目（100分）1．簡答題（35分）7*5’=35分2．推導(dǎo)題（8分）3．證實(shí)題（8分）4．問答題（24分）3*8’=24分5．計(jì)算題（25分）9’+8’+8’=25分（記得要帶尺子，鉛筆，橡皮擦）【關(guān)于期末考試】第4頁42.章節(jié)知識(shí)點(diǎn)整理第5頁5哈爾濱工業(yè)大學(xué)第1章模式識(shí)別緒論第6頁主要內(nèi)容模式識(shí)別基本概念模式識(shí)別系統(tǒng)組成模式識(shí)別基本問題應(yīng)用領(lǐng)域小結(jié)第7頁模式識(shí)別系統(tǒng)組成

第8頁【模式識(shí)別系統(tǒng)組成】1.信息獲?。航?jīng)過測量、采樣、量化并用矩陣或向量表示。通常輸入對(duì)象信息有三個(gè)類型：二維圖像（文字、指紋、地圖、照片等）、一維波形（腦電圖、心電圖、機(jī)械震動(dòng)波形等）、物理參量和邏輯值（體檢中溫度、血化驗(yàn)結(jié)果等）2.預(yù)處理：去除噪聲，加強(qiáng)有用信息，并對(duì)輸入測量儀器或其它原因造成干擾進(jìn)行處理。3.特征提取與選擇：為了實(shí)現(xiàn)有效識(shí)別分類，要對(duì)原始數(shù)據(jù)進(jìn)行變換得到最能反應(yīng)分類本質(zhì)特征，此過程為特征提取和選擇。4.分類決議：在特征空間中用統(tǒng)計(jì)方法把被識(shí)別對(duì)象歸為某一類?；咀鞣ㄊ窃跇颖居?xùn)練集基礎(chǔ)上確定某個(gè)判決規(guī)則，使按這種判決規(guī)則對(duì)被識(shí)別對(duì)象進(jìn)行分類所造成錯(cuò)誤識(shí)別率最小或引發(fā)損失最小。5.后處理：針對(duì)決議采取對(duì)應(yīng)行動(dòng)。信息獲取預(yù)處理特征提取與選擇分類決議后處理模式識(shí)別系統(tǒng)組成框圖第9頁哈爾濱工業(yè)大學(xué)第2章貝葉斯決議理論第10頁主要內(nèi)容概率論基礎(chǔ)知識(shí)貝葉斯決議基礎(chǔ)知識(shí)基于最小錯(cuò)誤率貝葉斯決議基于最小風(fēng)險(xiǎn)貝葉斯決議貝葉斯分類器設(shè)計(jì)正態(tài)分布時(shí)統(tǒng)計(jì)決議小結(jié)第11頁貝葉斯決議基礎(chǔ)知識(shí)第12頁【貝葉斯決議基礎(chǔ)知識(shí)】貝葉斯決議理論先驗(yàn)概率：后驗(yàn)概率：類條件概率：貝葉斯公式：第13頁基于最小錯(cuò)誤率貝葉斯決議第14頁【基于最小錯(cuò)誤率貝葉斯決議】

（4）第15頁【基于最小錯(cuò)誤率貝葉斯決議】

第16頁【基于最小錯(cuò)誤率貝葉斯決議】第17頁【基于最小風(fēng)險(xiǎn)貝葉斯決議】概念

決議決議空間前面所講錯(cuò)誤率抵達(dá)最小。在一些實(shí)際應(yīng)用中，最小錯(cuò)誤率貝葉斯準(zhǔn)則并不適合。以癌細(xì)胞識(shí)別為例，診療中假如把正常細(xì)胞判為癌癥細(xì)胞，當(dāng)然會(huì)給病人精神造成傷害，但傷害有限；相反地，若把癌癥細(xì)胞誤判為正常細(xì)胞，將會(huì)使早期癌癥患者失去治療最正確時(shí)機(jī)，造成驗(yàn)證后果。第18頁【基于最小風(fēng)險(xiǎn)貝葉斯決議】數(shù)學(xué)描述

第19頁【基于最小風(fēng)險(xiǎn)貝葉斯決議】期望風(fēng)險(xiǎn)：條件期望損失：目標(biāo)：期望風(fēng)險(xiǎn)最小化第20頁【基于最小風(fēng)險(xiǎn)貝葉斯決議】最小風(fēng)險(xiǎn)貝葉斯決議規(guī)則:

第21頁【基于最小風(fēng)險(xiǎn)貝葉斯決議】算法步驟:

第22頁【基于最小風(fēng)險(xiǎn)貝葉斯決議】例題2:

第23頁【基于最小風(fēng)險(xiǎn)貝葉斯決議】第24頁【基于最小錯(cuò)誤率貝葉斯決議與最小風(fēng)險(xiǎn)貝葉斯決議關(guān)系】定理：0-1風(fēng)險(xiǎn)

第25頁哈爾濱工業(yè)大學(xué)第3章概率密度函數(shù)預(yù)計(jì)第26頁主要內(nèi)容

引言參數(shù)預(yù)計(jì)正態(tài)分布參數(shù)預(yù)計(jì)非參數(shù)預(yù)計(jì)本章小結(jié)第27頁參數(shù)預(yù)計(jì)

第28頁【參數(shù)預(yù)計(jì)】

最大似然預(yù)計(jì)貝葉斯預(yù)計(jì)貝葉斯學(xué)習(xí)第29頁【最大似然預(yù)計(jì)】基本假設(shè)第30頁【最大似然預(yù)計(jì)】基本概念第31頁【最大似然預(yù)計(jì)】基本原理第32頁【最大似然預(yù)計(jì)】預(yù)計(jì)量預(yù)計(jì)值第33頁【最大似然預(yù)計(jì)】一元參數(shù)第34頁【最大似然預(yù)計(jì)】多元參數(shù)第35頁【最大似然預(yù)計(jì)】例子（梯度法不適合）：不成功！第36頁【貝葉斯預(yù)計(jì)】采取最小風(fēng)險(xiǎn)貝葉斯決議第37頁【貝葉斯預(yù)計(jì)】第38頁【貝葉斯預(yù)計(jì)】第39頁【貝葉斯學(xué)習(xí)】第40頁【三種方法總結(jié)】第41頁【三種方法總結(jié)】第42頁哈爾濱工業(yè)大學(xué)第4章線性判別函數(shù)第43頁主要內(nèi)容線性判別函數(shù)基本概念Fisher線性判別準(zhǔn)則函數(shù)感知準(zhǔn)則函數(shù)最小平方誤差準(zhǔn)則函數(shù)多類問題第44頁§4.1.1概念提出【線性判別函數(shù)】定義第45頁§4.1.1概念提出【線性判別函數(shù)】分類決議第46頁§4.1.1概念提出【線性判別函數(shù)】分析第47頁§4.1.1概念提出【線性判別函數(shù)】分析說明：判別函數(shù)g(x)正比于任意一點(diǎn)x到超平面代數(shù)距離。第48頁Fisher線性判別準(zhǔn)則函數(shù)第49頁【Fisher線性判別準(zhǔn)則函數(shù)】概念

應(yīng)用統(tǒng)計(jì)方法處理模式識(shí)別問題時(shí)，往往碰到維數(shù)問題（舉例：圖像識(shí)別），降維是有效方法?？紤]到降d維空間樣本投影到一條直線上，假如投影到任意一條直線上則可能造成原來有很好區(qū)分度樣本在直線上線性不可分。所以，直線方向很關(guān)鍵。第50頁【Fisher線性判別準(zhǔn)則函數(shù)】基本思緒Fisher判別基本思想：希望投影后一維數(shù)據(jù)滿足：兩類之間距離盡可能遠(yuǎn)；每一類本身盡可能緊湊。第51頁【Fisher線性判別準(zhǔn)則函數(shù)】第52頁【Fisher線性判別準(zhǔn)則函數(shù)】第53頁【Fisher線性判別準(zhǔn)則函數(shù)】第54頁【Fisher線性判別準(zhǔn)則函數(shù)】第55頁哈爾濱工業(yè)大學(xué)第5章非線性判別函數(shù)第56頁主要內(nèi)容基本概念基于距離分段線性判別函數(shù)分段線性分類器設(shè)計(jì)二次判別函數(shù)程序設(shè)計(jì)方法實(shí)際應(yīng)用系統(tǒng)設(shè)計(jì)研究匯報(bào)第57頁哈爾濱工業(yè)大學(xué)第6章特征選擇與提取第58頁主要內(nèi)容1.引言2類別可分離性判據(jù)3特征選擇4.特征提取第59頁哈爾濱工業(yè)大學(xué)第7章近鄰法第60頁60主要內(nèi)容0.引言1.近鄰法原理及其決議規(guī)則2.快速搜索近鄰法3.剪輯近鄰法4.壓縮近鄰法第61頁611.近鄰法原理及其決議規(guī)則第62頁62【基本原理】最小距離分類器是將各類訓(xùn)練樣本劃分成若干子類，并在每個(gè)子類中確定代表點(diǎn)，普通用子類質(zhì)心或鄰近質(zhì)心某一樣本為代表點(diǎn)。測試樣本類別則以其與這些代表點(diǎn)距離最近作決議。該法缺點(diǎn)是所選擇代表點(diǎn)并不一定能很好地代表各類,后果將使錯(cuò)誤率增加。近鄰法基本思想：增加代表點(diǎn)數(shù)量有沒有可能取得性能好分類器呢?一個(gè)極端情況是以全部訓(xùn)練樣本作為“代表點(diǎn)”，計(jì)算測試樣本與這些“代表點(diǎn)”，即全部樣本距離，并以最近鄰者類別作為決議。此為近鄰法基本思想。第63頁63【最近鄰法決議規(guī)則

】若則其中表示是類第

個(gè)樣本。決議規(guī)則為:

定義：將與測試樣本最近鄰樣本類別作為決議方法。對(duì)一個(gè)

類別問題，每類有個(gè)樣本，，則第

類判別函數(shù)

第64頁64最近鄰法能夠擴(kuò)展成找測試樣本個(gè)最近樣本作決議依據(jù)方法。其基本規(guī)則是，在全部個(gè)樣本中找到與測試樣本

個(gè)最近鄰者；其中各類別所占個(gè)數(shù)表示成則決議為：【-近鄰法決議規(guī)則

】注意：

近鄰普通采取為奇數(shù)，跟投票表決一樣，防止因兩種票數(shù)相等而難以決議。

若則第65頁65【問題提出】上述討論中能夠看出，盡管近鄰法有其優(yōu)良品質(zhì)，不過它一個(gè)嚴(yán)重弱點(diǎn)與問題是需要存放全部訓(xùn)練樣本，以及繁重距離計(jì)算量。但以簡單方式降低樣本數(shù)量，只能使其性能降低，這也是不希望。為此要研究既能降低近鄰法計(jì)算量與存放量，同時(shí)又不顯著降低其性能一些改進(jìn)算法。

改進(jìn)算法大致基于兩種原理。一個(gè)是對(duì)樣本集進(jìn)行組織與整理，分群分層，盡可能將計(jì)算壓縮到在靠近測試樣本鄰域小范圍內(nèi)，防止與訓(xùn)練樣本集中每個(gè)樣本進(jìn)行距離計(jì)算。另一個(gè)原理則是在原有樣本集中挑選出對(duì)分類計(jì)算有效樣本，使樣本總數(shù)合理地降低，以同時(shí)到達(dá)既降低計(jì)算量，又降低存放量雙重效果。第66頁662.快速搜索近鄰法第67頁673.剪輯近鄰法第68頁684.壓縮近鄰法第69頁69哈爾濱工業(yè)大學(xué)第8章主成份分析(PCA)第70頁70主要內(nèi)容1.引言2主成份分析(PCA)3基于K-L展開式特征提取4.應(yīng)用舉例第71頁712.主成份分析第72頁72依據(jù)方差最大化原理，用一組新、線性無關(guān)且相互正交向量來表征原來數(shù)據(jù)矩陣行（或列）。這組新向量（主成份）是原始數(shù)據(jù)向量線性組合。經(jīng)過對(duì)原始數(shù)據(jù)平移、尺度伸縮(減均值除方差)和坐標(biāo)旋轉(zhuǎn)(特征分解)，得到新坐標(biāo)系(特征向量)后，用原始數(shù)據(jù)在新坐標(biāo)系下投影(點(diǎn)積)來替換原始變量。一.主成份分析基本原理第73頁73主成份分析優(yōu)點(diǎn)

★它能找到表現(xiàn)原始數(shù)據(jù)陣最主要變量組合★

經(jīng)過表示最大方差，能有效地直觀反應(yīng)樣本之間關(guān)系★

能從最大幾個(gè)主成份得分來近似反應(yīng)原始數(shù)據(jù)陣信息第74頁74圖像預(yù)處理

【人臉識(shí)別】第75頁75【人臉識(shí)別】第76頁76【人臉識(shí)別】第77頁77【人臉識(shí)別】第78頁78基于PCA構(gòu)建特征臉空間是對(duì)圖像進(jìn)行K-L變換，以去除樣本間相關(guān)性，然后依據(jù)特征值大小選擇特征向量。這種方法首先將人臉圖像映射為高維空間向量，然后應(yīng)用基于統(tǒng)計(jì)離散K-L變換方法，結(jié)構(gòu)一個(gè)各分量互不相關(guān)特征空間，即特征臉空間，再將人臉圖像在高維空間中向量映射到特征臉空間，得到特征系數(shù)。PCA構(gòu)建特征臉空間第79頁79哈爾濱工業(yè)大學(xué)第9章人工神經(jīng)網(wǎng)絡(luò)第80頁主要內(nèi)容1.基礎(chǔ)知識(shí)2.前饋神經(jīng)網(wǎng)絡(luò)3.反饋神經(jīng)網(wǎng)絡(luò)4.自組織映射神經(jīng)網(wǎng)絡(luò)第81頁神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)：從環(huán)境中獲取知識(shí)并改進(jìn)本身性能，主要指調(diào)整網(wǎng)絡(luò)參數(shù)使網(wǎng)絡(luò)到達(dá)某種度量，又稱為網(wǎng)絡(luò)訓(xùn)練。學(xué)習(xí)方式：監(jiān)督學(xué)習(xí)非監(jiān)督學(xué)習(xí)再勵(lì)學(xué)習(xí)學(xué)習(xí)規(guī)則：誤差糾正學(xué)習(xí)算法競爭學(xué)習(xí)算法第82頁4.自組織映射自組織映射Self-OrganizingMap亦稱SOFM。Kohonen提出（1980s）第83頁SOM用于非監(jiān)督模式識(shí)別自組織學(xué)習(xí)過程本身就是一個(gè)非監(jiān)督學(xué)習(xí)過程SOMA(自組織分析)基本思緒：用未知樣本集訓(xùn)練SOM;計(jì)算象密度圖;依據(jù)象密度圖劃分聚類(把結(jié)點(diǎn)代表小聚類合并)。特點(diǎn)：對(duì)數(shù)據(jù)分布形狀少依賴性；可反應(yīng)真實(shí)存在聚類數(shù)目，尤其適合人機(jī)合作分析(高維數(shù)據(jù)有效二維顯示)數(shù)學(xué)上待研究問題多：象密度與樣本分布密度之間關(guān)系？拓?fù)浔３痔卣?？怎樣在SOM平面上聚類？第84頁哈爾濱工業(yè)大學(xué)第10章無監(jiān)督學(xué)習(xí)第85頁主要內(nèi)容1.引言2.單峰子集（類）分離方法3.類別分離間接方法4.分級(jí)聚類方法第86頁監(jiān)督模式識(shí)別：（已知）樣本集→訓(xùn)練（學(xué)習(xí)）→識(shí)別（分類）非監(jiān)督模式識(shí)別：（未知）樣本集→非監(jiān)督學(xué)習(xí)（聚類分析）→后處理【引言】經(jīng)過尋找可能存在分類來了解某一對(duì)象將復(fù)雜多樣對(duì)象用有限經(jīng)典來代表依據(jù)：某種假設(shè)（對(duì)聚類應(yīng)含有性質(zhì)認(rèn)識(shí)）結(jié)果：聚類（clusters）屬中間結(jié)果（數(shù)學(xué)結(jié)果），需經(jīng)解釋賦予物理含義（后處理）應(yīng)用：復(fù)雜系統(tǒng)未知特征分析（舉例）航天、航空、航海（詳細(xì)闡述）直接方法:基于概率密度函數(shù)預(yù)計(jì)

相間接聚類方法:基于樣本間似性度量第87頁【動(dòng)態(tài)聚類】屢次迭代，逐步調(diào)整類別劃分，最終使某準(zhǔn)則到達(dá)最優(yōu)。三個(gè)關(guān)鍵點(diǎn)：①選某種距離作為樣本相同性度量②定義某個(gè)準(zhǔn)則函數(shù)，用于評(píng)價(jià)聚類質(zhì)量。③初始分類方法及迭代算法C-均值聚類ISODATA聚類慣用算法：第88頁【動(dòng)態(tài)聚類】C均值算法第89頁【動(dòng)態(tài)聚類】C均值算法第90頁【動(dòng)態(tài)聚類】C均值算法初始劃分：普通可先選代表點(diǎn)，再進(jìn)行初始分類。代表點(diǎn)選擇方法：1.經(jīng)驗(yàn)選擇2.隨機(jī)分成c類，選各類重心作為代表點(diǎn)3.“密度”法。計(jì)算每個(gè)樣本一定球形鄰域內(nèi)樣本數(shù)作為“密度”，選“密度”最大樣本點(diǎn)作為第一個(gè)代表點(diǎn)，在離它一定距離選最大“密度”點(diǎn)作為第二個(gè)代表點(diǎn)，…，依次類推。4.用前c個(gè)樣本點(diǎn)作為代表點(diǎn)。5.用c?1聚類求c個(gè)代表點(diǎn)：各類中心外加離它們最遠(yuǎn)樣本點(diǎn)，從1類開始。第91頁【動(dòng)態(tài)聚類】C均值算法初始分類方法：1.最近距離法。離哪個(gè)代表點(diǎn)近就歸入哪一類。2.最近距離法歸類，但每次都重新計(jì)算該類代表點(diǎn)。3.直接劃分初始分類：每一個(gè)樣本自成一類，第二個(gè)樣本若離它小于某距離閾值則歸入這類，不然建新類，……4.將特征歸一化，用樣本各特征之和作為初始分類依據(jù)。說明：初始劃分無一定之規(guī)，多為啟發(fā)式方法。C均值方法結(jié)果受初值影響，是局部最優(yōu)解。第92頁【動(dòng)態(tài)聚類】C均值聚類方法用于非監(jiān)督模式識(shí)別問題：要求類別數(shù)已知；是最小方差劃分，并不一定能反應(yīng)內(nèi)在分布；與初始劃分相關(guān)，不確保全局最優(yōu)。C均值算法第93頁4.分級(jí)聚類方法（HierachicalClustering）第94頁【分級(jí)聚類方法

】思想：從各類只有一個(gè)樣本點(diǎn)開始，逐層合并，每級(jí)只合并兩類，直到最終全部樣本都?xì)w到一類。Hierarchicaltree--dendrogram聚類過程中逐層考查類間相同度，依此決定類別數(shù)第95頁樹枝長度：反應(yīng)結(jié)點(diǎn)/樹枝之間相同度或距離樹枝位置：在不改變樹結(jié)構(gòu)情況下能夠任意調(diào)整，調(diào)整方法需研究距離/相同性度量：各種選擇，如歐式距離、相關(guān)、CityBlock、…【分級(jí)聚類方法

】第96頁距離（相同性度量）：樣本之間度量聚類之間度量算法（從底向上）：（1）初始化，每個(gè)樣本形成一類（2）把相同性最大（距離最?。﹥深惡喜ⅲ?）重復(fù)（2），直到全部樣本合并為兩類?！痉旨?jí)聚類方法

】第97頁【分級(jí)聚類方法

】第98頁哈爾濱工業(yè)大學(xué)第11章含糊模式識(shí)別第99頁主要內(nèi)容1.引言2.含糊集基本知識(shí)3.含糊特征和含糊分類4.特征含糊評(píng)價(jià)5.含糊聚類方法6.含糊k近鄰分類器第100頁【含糊C均值方法（FCM）】C均值算法第101頁【含糊C均值】第102頁【含糊C均值】第103頁【含糊C均值】含糊C均值算法：第104頁【改進(jìn)含糊C均值算法】含糊C均值算法一個(gè)缺點(diǎn)：第105頁【改進(jìn)含糊C均值算法】第106頁【改進(jìn)含糊C均值算法】特點(diǎn)AFC有更加好魯棒，且對(duì)給定聚類數(shù)目不十分敏感。但有時(shí)可能會(huì)出現(xiàn)一個(gè)類中只包含一個(gè)樣本情況，可經(jīng)過在距離計(jì)算中引入非線性，使之不會(huì)小于革值來改進(jìn)。

AFC、FCM與C均值一樣，依賴于初值。試驗(yàn)效果舉例例一：類別重迭及類別不顯著情況+：C圴值×：FCMO：AFC第107頁【改進(jìn)含糊C均值算法】正確聚類(C=4)CM聚類(C=3)FCM聚類(C=3)AFC聚類(C=3)例二：給定類別數(shù)與實(shí)際類別數(shù)不一致情況第108頁改進(jìn)含糊C均值算法改進(jìn)含糊C均值算法較前面提到含糊C均值算法含有更加好魯棒性，它不但能夠在有孤立樣本存在情況下得到很好聚類效果，而且能夠放松隸屬度條件，而且因?yàn)榉潘闪穗`屬度條件，使最終聚類結(jié)果對(duì)預(yù)先確定聚類數(shù)目不十分敏感。與確定性C均值算法和含糊C均值算法一樣，改進(jìn)含糊C均值算法依然對(duì)聚類中心初值十分敏感，為了得到很好結(jié)果，能夠用確定性C均值算法或含糊C均值算法結(jié)果作為初值?！靖倪M(jìn)含糊C均值算法】第109頁109哈爾濱工業(yè)大學(xué)第12章統(tǒng)計(jì)學(xué)習(xí)理論第110頁主要內(nèi)容1.統(tǒng)計(jì)學(xué)習(xí)理論2.支持向量機(jī)3.核方法第111頁2.支持向量機(jī)第112頁依據(jù)統(tǒng)計(jì)學(xué)習(xí)理論，學(xué)習(xí)機(jī)器實(shí)際風(fēng)險(xiǎn)由經(jīng)驗(yàn)風(fēng)險(xiǎn)值和置信范圍值兩部分組成。而基于經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化準(zhǔn)則學(xué)習(xí)方法只強(qiáng)調(diào)了訓(xùn)練樣本經(jīng)驗(yàn)風(fēng)險(xiǎn)最小誤差，沒有最小化置信范圍值，所以其推廣能力較差?！净靖拍睢縑apnik與1995年提出支持向量機(jī)（SupportVectorMachine,SVM）以訓(xùn)練誤差作為優(yōu)化問題約束條件，以置信范圍值最小化作為優(yōu)化目標(biāo)，即SVM是一個(gè)基于結(jié)構(gòu)風(fēng)險(xiǎn)最小化準(zhǔn)則學(xué)習(xí)方法，其推廣能力顯著優(yōu)于一些傳統(tǒng)學(xué)習(xí)方法。第113頁【基本概念】因?yàn)镾VM求解最終轉(zhuǎn)化成二次規(guī)劃問題求解，所以SVM解是全局唯一最優(yōu)解SVM在處理小樣本、非線性及高維模式識(shí)別問題中表現(xiàn)出許多特有優(yōu)勢，并能夠推廣應(yīng)用到函數(shù)擬合等其它機(jī)器學(xué)習(xí)問題中Joachims最近采取SVM在Reuters-21578來進(jìn)行文本分類，并聲稱它比當(dāng)前發(fā)表其它方法都好第114頁【基本概念】因?yàn)镾VM求解最終轉(zhuǎn)化成二次規(guī)劃問題求解，所以SVM解是全局唯一最優(yōu)解SVM在處理小樣本、非線性及高維