哈工大模式識別課程期末總結(jié)課件

哈爾濱工業(yè)大學(xué)課程總復(fù)習(xí)2主要內(nèi)容1.關(guān)于期末考試/考察2.章節(jié)知識點整理31.關(guān)于期末考試/考察41.確認(rèn)考試人員名單；2.考試/考察方式學(xué)位課：考試70%+報告30%；選修課：報告100%（不用考試）。3.報告形式(見word文檔)4.考試題目（100分）1．簡答題（35分）7*5’=35分2．推導(dǎo)題（8分）3．證明題（8分）4．問答題（24分）3*8’=24分5．計算題（25分）9’+8’+8’=25分（記得要帶尺子，鉛筆，橡皮擦）【關(guān)于期末考試】52.章節(jié)知識點整理主要內(nèi)容模式識別基本概念模式識別系統(tǒng)組成模式識別基本問題應(yīng)用領(lǐng)域小結(jié)模式識別系統(tǒng)組成

哈爾濱工業(yè)大學(xué)第2章貝葉斯決策理論主要內(nèi)容概率論基礎(chǔ)知識貝葉斯決策基礎(chǔ)知識基于最小錯誤率的貝葉斯決策基于最小風(fēng)險的貝葉斯決策貝葉斯分類器設(shè)計正態(tài)分布時的統(tǒng)計決策小結(jié)貝葉斯決策基礎(chǔ)知識基于最小錯誤率的貝葉斯決策【基于最小錯誤率的貝葉斯決策】

（4）【基于最小錯誤率的貝葉斯決策】【基于最小風(fēng)險的貝葉斯決策】概念

決策決策空間前面所講的錯誤率達(dá)到最小。在某些實際應(yīng)用中，最小錯誤率的貝葉斯準(zhǔn)則并不適合。以癌細(xì)胞識別為例，診斷中如果把正常細(xì)胞判為癌癥細(xì)胞，固然會給病人精神造成傷害，但傷害有限；相反地，若把癌癥細(xì)胞誤判為正常細(xì)胞，將會使早期的癌癥患者失去治療的最佳時機(jī)，造成驗證的后果。【基于最小風(fēng)險的貝葉斯決策】數(shù)學(xué)描述

【基于最小風(fēng)險的貝葉斯決策】期望風(fēng)險：條件期望損失：目的：期望風(fēng)險最小化【基于最小風(fēng)險的貝葉斯決策】最小風(fēng)險貝葉斯決策規(guī)則:

【基于最小風(fēng)險的貝葉斯決策】算法步驟:

【基于最小風(fēng)險的貝葉斯決策】【基于最小錯誤率的貝葉斯決策與最小風(fēng)險的貝葉斯決策的關(guān)系】定理：0-1風(fēng)險

主要內(nèi)容

引言參數(shù)估計正態(tài)分布的參數(shù)估計非參數(shù)估計本章小結(jié)參數(shù)估計

【參數(shù)估計】

最大似然估計貝葉斯估計貝葉斯學(xué)習(xí)【最大似然估計】基本假設(shè)【最大似然估計】基本概念【最大似然估計】基本原理【最大似然估計】估計量估計值

【最大似然估計】一元參數(shù)【最大似然估計】多元參數(shù)【最大似然估計】例子（梯度法不適合）：不成功！【貝葉斯估計】采用最小風(fēng)險貝葉斯決策【貝葉斯估計】【貝葉斯估計】【貝葉斯學(xué)習(xí)】【三種方法總結(jié)】【三種方法總結(jié)】哈爾濱工業(yè)大學(xué)第4章線性判別函數(shù)主要內(nèi)容線性判別函數(shù)的基本概念Fisher線性判別準(zhǔn)則函數(shù)感知準(zhǔn)則函數(shù)最小平方誤差準(zhǔn)則函數(shù)多類問題§4.1.1概念的提出【線性判別函數(shù)】定義§4.1.1概念的提出【線性判別函數(shù)】分類決策§4.1.1概念的提出【線性判別函數(shù)】分析§4.1.1概念的提出【線性判別函數(shù)】分析說明：判別函數(shù)g(x)正比于任意一點x到超平面的代數(shù)距離。Fisher線性判別準(zhǔn)則函數(shù)【Fisher線性判別準(zhǔn)則函數(shù)】概念

應(yīng)用統(tǒng)計方法解決模式識別問題時，往往遇到維數(shù)問題（舉例：圖像識別），降維是有效方法?？紤]到降d維空間的樣本投影到一條直線上，如果投影到任意一條直線上則可能造成本來有很好區(qū)分度的樣本在直線上線性不可分。因此，直線的方向很關(guān)鍵?！綟isher線性判別準(zhǔn)則函數(shù)】基本思路

Fisher判別的基本思想：希望投影后的一維數(shù)據(jù)滿足：兩類之間的距離盡可能遠(yuǎn)；每一類自身盡可能緊湊。【Fisher線性判別準(zhǔn)則函數(shù)】【Fisher線性判別準(zhǔn)則函數(shù)】【Fisher線性判別準(zhǔn)則函數(shù)】【Fisher線性判別準(zhǔn)則函數(shù)】哈爾濱工業(yè)大學(xué)第5章非線性判別函數(shù)主要內(nèi)容基本概念基于距離的分段線性判別函數(shù)分段線性分類器設(shè)計二次判別函數(shù)程序設(shè)計方法實際應(yīng)用系統(tǒng)設(shè)計研究報告哈爾濱工業(yè)大學(xué)第6章特征的選擇與提取主要內(nèi)容1.引言2類別可分離性判據(jù)3特征選擇4.特征提取60哈爾濱工業(yè)大學(xué)第7章近鄰法61主要內(nèi)容0.引言1.近鄰法原理及其決策規(guī)則2.快速搜索近鄰法3.剪輯近鄰法4.壓縮近鄰法621.近鄰法原理及其決策規(guī)則63【基本原理】最小距離分類器是將各類訓(xùn)練樣本劃分成若干子類，并在每個子類中確定代表點，一般用子類的質(zhì)心或鄰近質(zhì)心的某一樣本為代表點。測試樣本的類別則以其與這些代表點距離最近作決策。該法的缺點是所選擇的代表點并不一定能很好地代表各類,后果將使錯誤率增加。近鄰法的基本思想：增加代表點的數(shù)量有沒有可能獲得性能好的分類器呢?一種極端的情況是以全部訓(xùn)練樣本作為“代表點”，計算測試樣本與這些“代表點”，即所有樣本的距離，并以最近鄰者的類別作為決策。此為近鄰法的基本思想。64【最近鄰法決策規(guī)則

】若則其中表示是類的第

個樣本。決策規(guī)則為:

定義：將與測試樣本最近鄰樣本類別作為決策的方法。對一個

類別問題，每類有個樣本，，則第

類的判別函數(shù)

65最近鄰法可以擴(kuò)展成找測試樣本的個最近樣本作決策依據(jù)的方法。其基本規(guī)則是，在所有個樣本中找到與測試樣本的

個最近鄰者；其中各類別所占個數(shù)表示成則決策為：【-近鄰法決策規(guī)則

】注意：

近鄰一般采用為奇數(shù)，跟投票表決一樣，避免因兩種票數(shù)相等而難以決策。

若則66【問題的提出】上述討論中可以看出，盡管近鄰法有其優(yōu)良品質(zhì)，但是它的一個嚴(yán)重弱點與問題是需要存儲全部訓(xùn)練樣本，以及繁重的距離計算量。但以簡單的方式降低樣本數(shù)量，只能使其性能降低，這也是不希望的。為此要研究既能減少近鄰法計算量與存儲量，同時又不明顯降低其性能的一些改進(jìn)算法。

改進(jìn)算法大致基于兩種原理。一種是對樣本集進(jìn)行組織與整理，分群分層，盡可能將計算壓縮到在接近測試樣本鄰域的小范圍內(nèi)，避免與訓(xùn)練樣本集中每個樣本進(jìn)行距離計算。另一種原理則是在原有樣本集中挑選出對分類計算有效的樣本，使樣本總數(shù)合理地減少，以同時達(dá)到既減少計算量，又減少存儲量的雙重效果。672.快速搜索近鄰法683.剪輯近鄰法694.壓縮近鄰法70哈爾濱工業(yè)大學(xué)第8章主成分分析(PCA)71主要內(nèi)容1.引言2主成分分析(PCA)3基于K-L展開式的特征提取4.應(yīng)用舉例722.主成分分析73根據(jù)方差最大化原理，用一組新的、線性無關(guān)且相互正交的向量來表征原來數(shù)據(jù)矩陣的行（或列）。這組新向量（主成分）是原始數(shù)據(jù)向量的線性組合。通過對原始數(shù)據(jù)的平移、尺度伸縮(減均值除方差)和坐標(biāo)旋轉(zhuǎn)(特征分解)，得到新的坐標(biāo)系(特征向量)后，用原始數(shù)據(jù)在新坐標(biāo)系下的投影(點積)來替代原始變量。一.主成分分析的基本原理74主成分分析的優(yōu)點

★它能找到表現(xiàn)原始數(shù)據(jù)陣最重要的變量的組合★

通過表示最大的方差，能有效地直觀反映樣本之間的關(guān)系★

能從最大的幾個主成分的得分來近似反映原始的數(shù)據(jù)陣的信息75圖像預(yù)處理

【人臉識別】76【人臉識別】77【人臉識別】78【人臉識別】79基于PCA構(gòu)建特征臉空間是對圖像進(jìn)行K-L變換，以去除樣本間的相關(guān)性，然后根據(jù)特征值的大小選擇特征向量。這種方法首先將人臉圖像映射為高維空間的向量，然后應(yīng)用基于統(tǒng)計的離散K-L變換方法，構(gòu)造一個各分量互不相關(guān)的特征空間，即特征臉空間，再將人臉圖像在高維空間中的向量映射到特征臉空間，得到特征系數(shù)。PCA構(gòu)建特征臉空間哈爾濱工業(yè)大學(xué)第9章人工神經(jīng)網(wǎng)絡(luò)主要內(nèi)容1.基礎(chǔ)知識2.前饋神經(jīng)網(wǎng)絡(luò)3.反饋神經(jīng)網(wǎng)絡(luò)4.自組織映射神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)：從環(huán)境中獲取知識并改進(jìn)自身性能，主要指調(diào)節(jié)網(wǎng)絡(luò)參數(shù)使網(wǎng)絡(luò)達(dá)到某種度量，又稱為網(wǎng)絡(luò)的訓(xùn)練。學(xué)習(xí)方式：監(jiān)督學(xué)習(xí)非監(jiān)督學(xué)習(xí)再勵學(xué)習(xí)學(xué)習(xí)規(guī)則：誤差糾正學(xué)習(xí)算法競爭學(xué)習(xí)算法4.自組織映射自組織映射Self-OrganizingMap亦稱SOFM。Kohonen提出（1980s）SOM用于非監(jiān)督模式識別自組織學(xué)習(xí)過程本身就是一個非監(jiān)督學(xué)習(xí)過程SOMA(自組織分析)基本思路：用未知樣本集訓(xùn)練SOM;計算象密度圖;根據(jù)象密度圖劃分聚類(把結(jié)點代表的小聚類合并)。特點：對數(shù)據(jù)分布形狀少依賴性；可反映真實存在的聚類數(shù)目，尤其適合人機(jī)合作分析(高維數(shù)據(jù)的有效二維顯示)數(shù)學(xué)上待研究的問題多：象密度與樣本分布密度之間的關(guān)系？拓?fù)浔３痔匦?？如何在SOM平面上聚類？哈爾濱工業(yè)大學(xué)第10章無監(jiān)督學(xué)習(xí)主要內(nèi)容1.引言2.單峰子集（類）的分離方法3.類別分離的間接方法4.分級聚類方法監(jiān)督模式識別：（已知）樣本集→訓(xùn)練（學(xué)習(xí)）→識別（分類）非監(jiān)督模式識別：（未知）樣本集→非監(jiān)督學(xué)習(xí)（聚類分析）→后處理【引言】通過尋找可能存在的分類來理解某一對象將復(fù)雜多樣的對象用有限典型來代表根據(jù)：某種假設(shè)（對聚類應(yīng)具有的性質(zhì)的認(rèn)識）結(jié)果：聚類（clusters）屬中間結(jié)果（數(shù)學(xué)結(jié)果），需經(jīng)解釋賦予物理含義（后處理）應(yīng)用：復(fù)雜系統(tǒng)未知特性分析（舉例）航天、航空、航海（具體闡述）直接方法:基于概率密度函數(shù)估計

相間接聚類方法:基于樣本間似性度量【動態(tài)聚類】多次迭代，逐步調(diào)整類別劃分，最終使某準(zhǔn)則達(dá)到最優(yōu)。三個要點：①選某種距離作為樣本相似性度量②定義某個準(zhǔn)則函數(shù)，用于評價聚類質(zhì)量。③初始分類方法及迭代算法C-均值聚類ISODATA聚類常用算法：【動態(tài)聚類】C均值算法【動態(tài)聚類】C均值算法【動態(tài)聚類】C均值算法初始劃分：一般可先選代表點，再進(jìn)行初始分類。代表點選擇方法：1.經(jīng)驗選擇2.隨機(jī)分成c類，選各類重心作為代表點3.“密度”法。計算每個樣本的一定球形鄰域內(nèi)的樣本數(shù)作為“密度”，選“密度”最大的樣本點作為第一個代表點，在離它一定距離選最大“密度”點作為第二個代表點，…，依次類推。4.用前c個樣本點作為代表點。5.用c?1聚類求c個代表點：各類中心外加離它們最遠(yuǎn)的樣本點，從1類開始?！緞討B(tài)聚類】C均值算法初始分類方法：1.最近距離法。離哪個代表點近就歸入哪一類。2.最近距離法歸類，但每次都重新計算該類代表點。3.直接劃分初始分類：每一個樣本自成一類，第二個樣本若離它小于某距離閾值則歸入此類，否則建新類，……4.將特征歸一化，用樣本各特征之和作為初始分類依據(jù)。說明：初始劃分無一定之規(guī)，多為啟發(fā)式方法。C均值方法結(jié)果受初值影響，是局部最優(yōu)解?！緞討B(tài)聚類】C均值聚類方法用于非監(jiān)督模式識別的問題：要求類別數(shù)已知；是最小方差劃分，并不一定能反映內(nèi)在分布；與初始劃分有關(guān)，不保證全局最優(yōu)。C均值算法4.分級聚類方法（HierachicalClustering）【分級聚類方法

】思想：從各類只有一個樣本點開始，逐級合并，每級只合并兩類，直到最后所有樣本都?xì)w到一類。Hierarchicaltree--dendrogram聚類過程中逐級考查類間相似度，依此決定類別數(shù)樹枝長度：反映結(jié)點/樹枝之間的相似度或距離樹枝位置：在不改變樹結(jié)構(gòu)情況下可以任意調(diào)整，調(diào)整方法需研究距離/相似性度量：多種選擇，如歐式距離、相關(guān)、CityBlock、…【分級聚類方法

】距離（相似性度量）：樣本之間的度量聚類之間的度量算法（從底向上）：（1）初始化，每個樣本形成一類（2）把相似性最大（距離最?。┑膬深惡喜ⅲ?）重復(fù)（2），直到所有樣本合并為兩類。【分級聚類方法

】【分級聚類方法

】哈爾濱工業(yè)大學(xué)第11章模糊模式識別主要內(nèi)容1.引言2.模糊集的基本知識3.模糊特征和模糊分類4.特征的模糊評價5.模糊聚類方法6.模糊k近鄰分類器【模糊C均值方法（FCM）】C均值算法【模糊C均值】【模糊C均值】【模糊C均值】模糊C均值算法：【改進(jìn)的模糊C均值算法】模糊C均值算法的一個缺點：【改進(jìn)的模糊C均值算法】【改進(jìn)的模糊C均值算法】特點AFC有更好的魯棒，且對給定的聚類數(shù)目不十分敏感。但有時可能會出現(xiàn)一個類中只包含一個樣本的情況，可通過在距離計算中引入非線性，使之不會小于革值來改進(jìn)。AFC、FCM與C均值一樣，依賴于初值。實驗效果舉例例一：類別重迭及類別不明顯情況+：C圴值×：FCMO：AFC【改進(jìn)的模糊C均值算法】正確聚類(C=4)CM聚類(C=3)FCM聚類(C=3)AFC聚類(C=3)例二：給定類別數(shù)與實際類別數(shù)不一致的情況109改進(jìn)的模糊C均值算法改進(jìn)的模糊C均值算法較前面提到的模糊C均值算法具有更好的魯棒性，它不但可以在有孤立樣本存在的情況下得到較好的聚類效果，而且可以放松隸屬度條件，而且因為放松了隸屬度條件，使最終聚類結(jié)果對預(yù)先確定的聚類數(shù)目不十分敏感。與確定性C均值算法和模糊C均值算法一樣，改進(jìn)的模糊C均值算法仍然對聚類中心的初值十分敏感，為了得到較好的結(jié)果，可以用確定性C均值算法或模糊C均值算法的結(jié)果作為初值?！靖倪M(jìn)的模糊C均值算法】哈爾濱工業(yè)大學(xué)第12章統(tǒng)計學(xué)習(xí)理論主要內(nèi)容1.統(tǒng)計學(xué)習(xí)理論2.支持向量機(jī)3.核方法2.支持向量機(jī)根據(jù)統(tǒng)計學(xué)習(xí)理論，學(xué)習(xí)機(jī)器的實際風(fēng)險由經(jīng)驗風(fēng)險值和置信范圍值兩部分組成。而基于經(jīng)驗風(fēng)險最小化準(zhǔn)則的學(xué)習(xí)方法只強(qiáng)調(diào)了訓(xùn)練樣本的經(jīng)驗風(fēng)險最小誤差，沒有最小化置信范圍值，因此其推廣能力較差。【基本概念】Vapnik與1995年提出的支持向量機(jī)（SupportVectorMachine,SVM）以訓(xùn)練誤差作為優(yōu)化問題的約束條件，以置信范圍值最小化作為優(yōu)化目標(biāo)，即SVM是一種基于結(jié)構(gòu)風(fēng)險最小化準(zhǔn)則的學(xué)習(xí)方法，其推廣能力明顯優(yōu)于一些傳統(tǒng)的學(xué)習(xí)方法?！净靖拍睢坑捎赟VM的求解最后轉(zhuǎn)化成二次規(guī)劃問題的求解，因此SVM的解是全局唯一的最優(yōu)解SVM在解決小樣本、非線性及高維模式識別問題中表現(xiàn)出許多特有的優(yōu)勢，并能夠推廣應(yīng)用到函數(shù)擬合等其他機(jī)器學(xué)習(xí)問題中Joachims最近采用SVM在Reuters-21578來進(jìn)行文本分類，并聲稱它比當(dāng)前發(fā)表的其他方法都好【基本概念】由于SVM的求解最后轉(zhuǎn)化成二次規(guī)劃問題的求解，因此SVM的解是全局唯一的最優(yōu)解SVM在解決小樣本、非線性及高維模式識別問題中表現(xiàn)出許多特有的優(yōu)勢，并能夠推廣應(yīng)用到函數(shù)擬合等其他機(jī)器學(xué)習(xí)問題中Joachims最近采用SVM在Reuter