華南理工模式識別期末考試總結(jié)self

1、 華南理工模式識別期末考試總結(jié)、/、刖言本人是華工17級學(xué)生，作為對剛剛的模式識別課程學(xué)習(xí)的總結(jié)，此篇文章只供參考借鑒使用?；究季V就在本文章中，對于考綱內(nèi)容，不分是做了解釋，部分是想到哪寫到哪。對于哪些是考試重點，已經(jīng)標出，希望可以幫助到大家！另，附聯(lián)系方式QQ：2049945431，歡迎喜歡模式識別課程的同學(xué)們一起討論。由于部分內(nèi)容是截取課程PPT，所以如果有版權(quán)問題，也請按如上方式聯(lián)系。第一章緒論監(jiān)督模式識別與非監(jiān)督模式識別1）有監(jiān)督模式識別分類（classification）a給出若干已知答案的樣本（訓(xùn)練樣本trainingsamples）a由機器從這些樣本中進行學(xué)習(xí)（訓(xùn)練traini

2、ng/learning）a學(xué)習(xí)的目的在于從這些樣本中總結(jié)規(guī)律，使之能夠?qū)π碌臉颖具M行判斷2）無監(jiān)督模式識別一一聚類（clustering）a所面對的只有未知答案的樣本a由機器從這些樣本中進行學(xué)習(xí)（自學(xué)習(xí)）a學(xué)習(xí)的目的在于從這些樣本中發(fā)現(xiàn)規(guī)律,這種規(guī)律應(yīng)該是某種固有的關(guān)系，或者依據(jù)這種規(guī)律對對象的分類有某種功用模式識別系統(tǒng)的典型構(gòu)成組成：信息獲取與預(yù)處理、特征提取與選擇、分類或聚類、后處理等四個部分第二章貝葉斯決策理論（必考）多維正太分布（廿級考,最小錯誤率貝葉斯決策巾7級考點）1）貝葉斯公式J-I尸（月P2）各種概率樣本x,類別先驗概率：除固有條件外沒有其他條件情況下，類發(fā)生的概率，P（w）。

3、后驗概率：P（Ux）,樣本x出現(xiàn)的條件下，類發(fā)生的概率。類概率:P（x|0,類條件下x的概率分布密度。最小風(fēng)險貝葉斯決策第三章概率密度函數(shù)估計最大似然估計1）視參數(shù)為確定量，只是數(shù)值未知，最大化所觀察樣本概率得最優(yōu)參數(shù)2）P（X|0）=nP（x|0）貝葉斯估計與貝葉斯學(xué)習(xí)貝葉斯估計是連續(xù)化了的相對于貝葉斯決策。視參數(shù)為服從某一先驗概率密度分布的隨機變量，對樣本進行觀察的過程，就是把先驗概率密度轉(zhuǎn)化為后驗概率密度，后驗概率密度在待估測參數(shù)值附近取最大。與極大似然估計類似，均已后驗概率表示分類準則。概率密度的非參數(shù)方法非參數(shù)估計的基本原理P(x)二k/(NV)；k為落在窗口中的樣本數(shù)、N為樣本總數(shù)

4、、V為樣本大小K近鄰估計方法窗口點數(shù)一定Parze門窗(0級考了計算，QAQ)窗口大小一定樣本、數(shù)窗寬對估計結(jié)果的影響第四章線性分類器線性判別函數(shù)G(x)二(wAT)x-w0|G(x)|二r|w|；r為x到G(x)的距離Fisher線性判別分析(17級考點)樣本在原特征空間映射后的y空間各類拝本均/值向呈叫2_,/=1,2樣本類網(wǎng)離歆.m.r.度距陣空與議-叫)丫J=l,2裝內(nèi)禹散度距叭陳抽sh.=s,+s2耐二+工X心L2=工0-岡)1心口氏小祥本慣間詔散度距陣&:込=(叫-也Jf/Mj-也Sh=(fn-ih2)大1)最佳法向量解：；常用閾值負的均值中點感知器(7級考點)增廣一一尾行添1(無

5、論規(guī)范化正負)；規(guī)范化一一第二類樣本向量取反(說白了，加負號)=藝(ary)火+1)=口幺)+仇工2屮感知準則函數(shù)；迭代公式線性支持向量機思想：邊界距離最大；由此可得全局最優(yōu)解，且魯棒性好。數(shù)學(xué)表示：已知：rr個觀測樣本，偶曲僅必)x為日維向童也就是我們常說的特征向量；y.e-1,+1,.即用y是鑰或/競示其類別*目痂最優(yōu)分類面討曷+壓“將利別固數(shù)歸一也便兩類所有樣車都瀟足劇工壯|甘英mil世匿x支持薦卒點到fll優(yōu)分董豆枝的距離(帳據(jù)4.2知識，向臺倒另婁面OWQ的距寓是冰刃川刖冊min.w|3求解1對偶問題拉格朗日因子與支持向量的關(guān)系L(w,b,*)=|w|a4-a(1-a?i4*i)轉(zhuǎn)化

6、為對偶問題可以簡化計算；可以引入核函數(shù)支持向量的拉格朗日乘子不為0第五章非線性分類器(17級未考察，但之前有考察計算)多層感知神經(jīng)網(wǎng)絡(luò)Kolmogorov定理：任何一個判決都可以用三層神經(jīng)網(wǎng)絡(luò)實現(xiàn)。激活函數(shù)學(xué)習(xí)率和隱藏層節(jié)點數(shù)，兩者對訓(xùn)練的影響支持向量機核函數(shù)Xj)(颯曲)4仗了)楓航卩0(站j)應(yīng)用舉例近年來百VM方法已經(jīng)在圏像識別、信號處理和基因圖譜識別等方面得到了成功的應(yīng)用顯示了它的優(yōu)勢。SVM通過核函數(shù)實現(xiàn)到高維空間的非線性映射，所以適臺于解決本曉上非線性的分類、回歸和密度函數(shù)估計等問題。支持向呈方法也対樣本分析、因子篩選、信息壓縮、知識挖掘和數(shù)據(jù)修復(fù)等提供了新工具*第六章其他分類方法

7、近鄰法最近鄰（左圖）第六章其他分類方法近鄰法最近鄰（左圖）；K-近鄰法（右圖，k=5）決策樹（隨機森林）1）預(yù)剪枝時間短簡單，但會帶來欠擬合風(fēng)險后剪枝泛化能力較強，但逐一導(dǎo)致訓(xùn)練時間長劃分純度依據(jù)：信息增益、增益率、基尼指數(shù)ID3算法信息增益=ptF*,（SsLnftot切工jp-鬥-信息*商；信息增益錯誤率問題錯誤率（貝葉斯P0最近鄰P1k近鄰P2）P0P1、P22P0在k趨近無窮時p2趨近貝葉斯誤差率二第七章特征選擇特征子集的搜索特征的評價準則夾Hl證飆阻矩陣可能是以有哪些判據(jù)，簡要說明各判據(jù)方式考察）-T是類內(nèi)離散度矩暉占基于距離可分性準則J特征提取1）類內(nèi)類間距離的可分性判據(jù)（17級考

8、察計算）Fishery則時曾用過兩牛描述離歆屢的矩陣。一平是類間則可痔上列各式表示成:其中，m為總均值向量*巴表示各婁別的先臉概率，E,1）概率分布的可分性判據(jù)根據(jù)特征的概率密度分布曲線是否交疊，Jmax完全不交疊2）熵的可分性判據(jù)熵值越，說明樣本的類別不確定性越口特征選擇策論1）過濾式特征選擇發(fā)生在做臉至少。2）包裹式將分類器的性能（維數(shù)、錯誤率）作為特征評估方法3）嵌入式特征選擇可以學(xué)習(xí)器訓(xùn)練嵌入到一個過程完成。總結(jié)背最特征子集搜索方法前向櫻索，后向摟索，或向摟索.特征子集評估方法基于距離的判據(jù)，基于概率密度的劉據(jù)#基于爛的判捕特征逋擇的策略過濾式，邑裏式,嵌入式第八章特征提?。ㄌ卣魈崛∨c

9、選擇的區(qū)別）假諭已有D維特征向量空間y=yPey.t則所謂特征選擇是指從原肓的口維特征空間.刪去一些特征描述呈，從而得到精簡后的特征空間.在這個特征空間中，樣本由也維的特征向量描述：AK1T跆.dD.由于X只是的一個子集，因此毎個分雖兒必然能在原特征集中找到其對座的描述量，旦廬而特征提取則是找到一于映射關(guān)系：A：Y-*X；便朋樣本特征描述維數(shù)比原維數(shù)曄低?；忻總€分量幻是原特征向量各分量的函數(shù)*即Xi=Xi（yi!yEPyo）基于類別可分判據(jù)的特征提取主成分分析（PCA）線性提取方法在力求數(shù)據(jù)館息丟罠最少的原則下，對高錐的變童空間降維，即研究指標休系的少數(shù)幾個線.性組合，并且這幾個錢性組律所構(gòu)

10、成的加含楣標將盡可能多地保留原來捕標變異方面的信息.這些綜合描標就稱為主成分方差最大化KL變換（基于自相關(guān)矩陣的計算，17級考點）1）基本原理變換方法】以樣本特征向量在特征空間分布為康始數(shù)據(jù)*通過實行&I.變換.找到維數(shù)較少的組含特征*達到降維的目飢2）步驟2.利用自相關(guān)矩陣的氏兒變換進軒轄証提耽設(shè)X是z堆馬止向GKX是來自阿芋模此植的樣水也.總樣本將用童按為卅覽恫v町舊后的方也；K爭i家樣本隼的的想體白相養(yǎng)輕障取第耳：購R同轉(zhuǎn)征恤厶.；-Ls-.-r.時轉(zhuǎn)證北山人到小iS和排馭，罐誹肪M亍牧丸的轉(zhuǎn)證ffU第三步：計垮川亍待征價茁應(yīng)的特征向最葉）-1,2,d,歸一隹啟購成充找悔陣U.U=他.伸

11、1嚴-也|第艸!趴對丨觸中的鄰牛莊世行K丄變按，即更攙拆向更X：0=UTXd址向眾注崔餐粹FT址罔ftX進行井鑿的模式HS.上述兩種方法的關(guān)系答：CA是線性變換的特征提取方法達到降維目的無監(jiān)督以方差最大化為評價標準。KL是基于非線性KL變換，映射得到降維的特征空間；有監(jiān)督；以均方誤差的期望值最小為評價標準。兩者都是在原有特征集中進行正交化的整合處理得到維數(shù)更小的特征集合。合。兩者各自的不足之處及優(yōu)點第九章非監(jiān)督模式識別非監(jiān)督處理的樣本無標簽動態(tài)聚類算法C均值算法（17級考點計算+概念，重點內(nèi)容）1）流程圖=刃|“-2）誤差平方和準則目標：使其最小化分級聚類方法分級聚類方法的目的井不把N個樣本分成某一個預(yù)定的類別數(shù)C,而是把樣本集按不同的相似程度要求分成不同類別的聚類，最極端的情況毘每個樣本各自為一類，N個樣本共有陽類，沒有