《ch線性判別函數(shù)》ppt課件

1、第四章線性判別函數(shù)4.1 引言4.2 Fisher線性判別函數(shù)4.3 感知器準那么函數(shù)4.4 最小平方(MSE)誤差準那么4.5 最小錯分樣本數(shù)準那么4.6 線性支持向量機4.1 引言wBayes 決策規(guī)那么雖然是最優(yōu)的，但是實現(xiàn)困難。緣由就是要求知類條件概率密度 和先驗概率 。w方式識別的最終義務是分類，可以直接設計分類函數(shù)分類器函數(shù)。w最簡單的分類函數(shù)是分類超平面。w(2-維的情形，為一條直線，3-維的情形為一個平面，高維的情形即為超平面)( |)ip x()iP4.1.1 線性判別函數(shù)的根本概念線性判別函數(shù)的普通方式為： (4.1)其中 是一個d維特征向量(方式向量),b是一個常數(shù)，稱為

2、閾值。留意：上式中所涉及到的運算包括：( )Td xw xbx12( ,)Tdxx xx12(,)Tdww ww線性判別規(guī)那么( )Td xw xb假設，設 當 那么，判決 x 屬于第一類，即 當 那么，判決 x 屬于第二類，即 當 那么，判決 x 屬于任一類，或回絕12( )( )( )d xd xdx( )0d x 對于2-類分類問題，設1x( )0d x 2x( )0d x 關于線性判別函數(shù)的闡明1方程 定義了空間中的一個超平面，普通將其稱為分類決策超平面。其中向量w是該超平面的法向量。這是由于在該超平面上任取兩點， 那么有因此，有上式闡明：向量w超平面是正交的。 ( )0d x 12,

3、x x12TTw xbw xb12()0Twxx關于線性判別函數(shù)的闡明2( )0d x ( )0d x ( )0d x 12w 關于線性判別函數(shù)的闡明3( )0d x 2:( )0Rd x 1:()0Rdxxwpx關于線性判別函數(shù)的闡明4可以把 表示為如下的方式：因此，當 為坐標原點時，假設 ，那么原點在超平面的正側，假設 原點在超平面的負側。x|pwxxxw( )()|TTTTppww wd xw xbwxrbw xbrrwwwx( )d xb0b 0b 廣義的線性判別函數(shù)問題：假設給定一個一維的方式空間，希望的劃分是 或 ，那么 ；假設 ，那么xaxb1xaxb2xab處理的方法ab處理的

4、方法經(jīng)過對上圖的分析，可以建立下面的一個二次判別函數(shù)：決策規(guī)那么為：( )()()d xxa xb12( )0,( )0,d xxd xx若則決策；若則決策判別函數(shù)的規(guī)范化上述的二次判別函數(shù)寫成如下的普通方式，便有選擇(構造)一個適當?shù)淖儞Q，便可以把二次判別函數(shù)變換為一次的：2012( )d xcc xc x3123121( )(,)Tiiid xa ya a axa yx 其中 經(jīng)過變換 后，得到一個方式上類似于線性函數(shù)的判別函數(shù)。這種方法稱為廣義的線性判別函數(shù)。21yxx012cacc( )Td xa y線性分類器的設計步驟設計線性分類器，就是利用訓練集建立線性判別函數(shù)式d(x)=wT x

5、+b，或是廣義線性判別函數(shù)式。函數(shù)式中只含有兩個未知的量，即權向量和懲罰項常數(shù)閾值。所以說線性分類器的設計過程，本質上就是尋覓最優(yōu)的權向量以及閾值常數(shù)。其步驟如下：設計步驟：w知一組具有類別標志的樣本集，訓練集 ；w根據(jù)實踐問題確定一個準那么函數(shù)，使得該函數(shù)的值可以反映分類器的性能；w利用最優(yōu)化技術，求出準那么函數(shù)中最優(yōu)的 和 ；它們所對應的極值解即為最優(yōu)的分類決策。12 ,Nx xx *w*b4.2 Fisher 線性判別方法w在傳統(tǒng)的方式識別方法中，降維技術是被廣泛研討的，這也是一個非常有效的方法，至今不斷被研討者所注重。w傳統(tǒng)的降維方法包括：Fisher線性判別方法，SOM方法等。w但是

6、，在利用降維方法處置方式識別問題時，經(jīng)常遇到一些無法抑制的問題，例如，。Fisher 線性判別方法的根本思想1w2wFisher線性分類器的任務原理 設訓練集為 ，對于2-類分類問題，其中屬于 類的方式記為子集 ，它含有 個樣本，屬于 類的方式記為 ，它含有 個樣本。 令 這樣便得到了N個一維樣本 ，并且分別屬于兩個集合 。12 ,NXx xx11X1N22X2NTnnyw xny12YY和幾個根本參量1d-維空間中各類樣本均值向量 ：樣本類內離散度矩陣 和總的類內離散度矩陣 為：樣本類間離散度矩陣im1,1,2iix Ximx iNiSwS()()iTiiix XSxmxm12wSSS121

7、2()()TbSmmmm幾個根本參量2一維Y空間各類樣本均值 ： 樣本類內離散度矩陣 和總離散度矩陣 ； ；1,1,2iiiyYimy iNim 2iSwS22() ,1,2iiiy YSymi2212wSSSFisher 準那么函數(shù) 希望投影變換之后，在一維Y空間內，各類樣本盡能夠的分得開，即兩類均值之差越大越好；同時各類樣本內部盡量密集，即類內離散度越小越好。 定義函數(shù)： 4.23 要使得該函數(shù)值盡能夠的大，就是說使得其分母盡能夠的小，同時使得其分子盡能夠的大。212()2212()F wmmJSS分析(4.23)由于故(4.23)之分子便成為： 111()iiiTTTiiy Yy Yy

8、Yiiimyw xwxw mNNN2212121212()()()()TTTTbm mw mw mw m m mmw S w分析(4.23)(4.23)之分母：因此，222()()()() iiiTTiiiy Yx XTTTiiiy YSymw xw mwxmxmww S w221212()TSSwSSw分析(4.23)將上述結果代入(4.23),可以得到： (4.27)下面求使得上式獲得極大值時的條件.利用Lagrange乘子法求解。令其分母為一常數(shù)c，即()TbF wTww S wJw S wTwcw S w求極值引入Lagrange函數(shù)如下： (4.28) 上式中的 為Lagrange乘

9、子。將上式對w求偏導，并令其為零，得( , )()TTbbL ww S ww S wcbwLS wS ww*0bwS wS w*bwS wS w求極值 是 的極值解。由于 是一個非奇特矩陣，所以有： 而進一步的，有故，而我們所要求的是w的方向，故實踐上，這是一個由d維空間到一維空間的一個映射。*w()F wJwS*wbS S ww22222222*()()*()()*TbTS wmmmmwmm RRmmw1122*()wbwwS S wSmm R112*()wRwSmm112*()wwSmmFisher線性判別規(guī)那么上面的任務：把d維空間中的向量映射到一維空間；因此d維空間中的分類問題便轉化為

10、一維空間中的分類問題。如今的問題是求出一個適當?shù)拈撝礲。實踐上，只需確定一個 (將其視為閾值)，將投影點 與 進展比較，即可做出決策。0yny0yFisher線性判別規(guī)那么(1)當維數(shù)d以及樣本數(shù)N都很大時，可采用Bayes分類決策規(guī)那么。(2)可以利用先驗知識，選擇閾值點 ，例如：0y(1)1202mmy(3)1211012ln( ()/ln()22mmPPyNN(2)1122012N mN myNNFisher線性判別規(guī)那么對于恣意給定的未知樣本 ，首先計算 ，然后計算其投影點：決策規(guī)那么為： 時，有 時，有 x*w*Tywx0yy1x1yy2xFisher線性判別函數(shù)的推行問題：如何將2

11、-類分類的情形推行至多類分類情形？4.3 基于間隔的分類決策近鄰法簡介最近鄰決策規(guī)那么最近鄰的改良之一k-近鄰近鄰法根本思想： 對于未知樣本輸入方式、數(shù)據(jù) ，比較該樣本與一切知樣本之間的間隔，并決策 與離它最近的樣本同屬一類。xx最近鄰(nearest neighbor)決策規(guī)那么 設有c個類別的方式識別問題(分類問題)， 為訓練集，每一類 中含有 個樣本。 定義：因此，決策規(guī)那么為：假設那么，決策1 ,NXxxiiN( )min|,1,kiiikd xxxkN ( )min( ),1,jiidxd xicjx最近鄰的改良之一 設有c類知類別的樣本(方式)，從每一類中選擇一個規(guī)范樣本，例如樣本均值：定義：按照最小間隔分類原那么，決策規(guī)那么為：假設 那么 1,cmm2( ) | ,1,2,iid xxmic( )( ),1, ,ijd xd x ic jiix決策規(guī)那么的簡化可以將上面的決策規(guī)那么進展化簡：可以進一步的簡化為：因此決策規(guī)那么可以表示為：( )()()2TiiiTTTiiid xxmxmx xm xm m1( )2TTiiiid xm xm m( )( ),1, ,ijd xd x ic jiix決策函數(shù)的簡化假設定義：決策規(guī)那么將如何？( ) |iid xxmk-近鄰 根本思想是：察看未知樣本x的k個最近鄰，假設這k個近鄰中的多數(shù)樣本向量屬于某一類