第6章 特征的選擇及提取

1、第第6 6章章 特征選擇和特征提取特征選擇和特征提取第第6 6章章 特征選擇和特征提取特征選擇和特征提取返回本章首頁返回本章首頁第第6 6章章 特征選擇和特征提取特征選擇和特征提取返回本章首頁返回本章首頁第第6 6章章 特征選擇和特征提取特征選擇和特征提取返回本章首頁返回本章首頁第第6 6章章 特征選擇和特征提取特征選擇和特征提取返回本章首頁返回本章首頁121(,)()dijdijkkJx xxJx第第6 6章章 特征選擇和特征提取特征選擇和特征提取返回本章首頁返回本章首頁0, 0, ijijijjiJijJijJJ12121(,)(,)ijdijddJx xxJx xxx第第6 6章章 特征

2、選擇和特征提取特征選擇和特征提取返回本章首頁返回本章首頁( )( )111( )(,)jinnijdklijklJn nxxxij( )( )( )( )( )( )(,) () ()ijijijTklklklxxxxxx( )( )111111( )(,)2jinnccijdijklijijklJPPn n xxx第第6 6章章 特征選擇和特征提取特征選擇和特征提取返回本章首頁返回本章首頁( )11iniikiknmx1111ccciiiiiiiiinPnnnmmmm( )( )111( )() () () ()inciiTTdiiiiikkiikJPnxxmxmmmmm第第6 6章章 特征

3、選擇和特征提取特征選擇和特征提取返回本章首頁返回本章首頁( )( )111( )( )11 1( )() () () ()()( ) 1()()iinciiTTdiiiiikkiikcTbiiiinciiTwiiikkiikiibbwwiiJPnSPSSSSSxnEE xPxxmxmmmmmmm mmmxmmmx( )( )11()() ()()cciiTTbiiiwiiiikkiiSPSPExx第第6 6章章 特征選擇和特征提取特征選擇和特征提取返回本章首頁返回本章首頁11111( ) tr(+) tr(+)tr( )dbwbwnnnnniiiJSSSSaaAaaAax第第6 6章章 特征選

4、擇和特征提取特征選擇和特征提取返回本章首頁返回本章首頁第第6 6章章 特征選擇和特征提取特征選擇和特征提取返回本章首頁返回本章首頁0PJ maxPJ 0PJ ,BCDJJJBJ1212ln() ()BJppdxxx1212( )() ()expBPPPJe第第6 6章章 特征選擇和特征提取特征選擇和特征提取返回本章首頁返回本章首頁112ln()() 0,1ssCJppds xxx01s CJ0CJ x120()()CJpp xx01s 121( ;,)( ;)nCnCiiJs x xxJs x12121( ;,)( ;,)CkCkkJs x xxJs x xxxx第第6 6章章 特征選擇和特征

5、提取特征選擇和特征提取返回本章首頁返回本章首頁122112121121121122221221()()()( )( )()() ln()()()()()()()()ln( )()lnDJIIppdIppppppppppEpdIEpd xxxxxxxxxxxxxxxxxxxxxDJ第第6 6章章 特征選擇和特征提取特征選擇和特征提取返回本章首頁返回本章首頁0DJ120()()DJpp xx121(,)()nDnDiiJx xxJx12121(,)(,)DkDkkJx xxJx xxxxx1221(,)(,)DDJJ 第第6 6章章 特征選擇和特征提取特征選擇和特征提取返回本章首頁返回本章首頁12

6、2112121121121122221221()()()( )( )()() ln()()()()()()()()ln( )()lnDJIIppdIppppppppppEpdIEpd xxxxxxxxxxxxxxxxxxxxxDJ第第6 6章章 特征選擇和特征提取特征選擇和特征提取返回本章首頁返回本章首頁11111122112222122211()exp2(2 )11()exp2(2 )tr() tr()TdTdTTppA BBAxxxxxx111122111121122212121221()lnln() ln()()111lntrtr222111lntrtr222TTTTppppxxxxxx

7、xxxxxx第第6 6章章 特征選擇和特征提取特征選擇和特征提取返回本章首頁返回本章首頁112121211111222122111()( )()ln()11lntr221tr()211ln()ln22TTpIpdppdpdxxxxxxxxxxxxx第第6 6章章 特征選擇和特征提取特征選擇和特征提取返回本章首頁返回本章首頁1111111111222112112112111211212122121111tr()21tr21tr21tr()21tr()211trtr221( )ln2()TTTTTpdpdpdpdI xxxxxxxxxxxxxxxxx1111121212121111trtrtr22

8、2T 第第6 6章章 特征選擇和特征提取特征選擇和特征提取返回本章首頁返回本章首頁1112121111112122121212121221111121121212121212121211111( )lntrtrtr222111( )lntrtrtr2222( )( )11 2t22r2TTDTJIIII xxxxI121111211212121211212112tr22 TDTMJJ I第第6 6章章 特征選擇和特征提取特征選擇和特征提取返回本章首頁返回本章首頁212211212121212121()211ln8221 21 8DTBBDJJJJ 第第6 6章章 特征選擇和特征提取特征選擇和特

9、征提取返回本章首頁返回本章首頁1tr(+)bwJSS12(,)TDy yyyy12(,)Tdx xxxdDTW yxD dWx第第6 6章章 特征選擇和特征提取特征選擇和特征提取返回本章首頁返回本章首頁12534 lntr t ()trrwbwbwbwbwJSSSSJSSJSSJS( )( )111() () () () cciiTTbiiiwiiiikkiiciiiSPSPEPxx第第6 6章章 特征選擇和特征提取特征選擇和特征提取返回本章首頁返回本章首頁下面我們著重討論選擇下面我們著重討論選擇 的情況的情況 。在線性變換矩陣。在線性變換矩陣 的作用下的作用下在變換后的子空間在變換后的子空間

10、 非奇異線性變換的不變非奇異線性變換的不變性性2JJW112( ) tr() tr ()TTbbTwwTTwbwbW ySW S WSW S WJdSSW S WW S Wx12tr()wbJSS111111111trtr ()tr ()tr()trTTTTwbwbTTTTwbwbwbAS AAS AASAAS AASS ASS AASS第第6 6章章 特征選擇和特征提取特征選擇和特征提取返回本章首頁返回本章首頁這里不加證明的給出一下結(jié)論：這里不加證明的給出一下結(jié)論： 和和 分別為分別為 和和 對應(yīng)的本征值。對應(yīng)的本征值。這樣，要選則最佳變換這樣，要選則最佳變換 是要選擇一個(gè)是要選擇一個(gè) d

11、維子空間，維子空間，使得在此子空間中，使得在此子空間中， 的本征值的本征值121121() tr()( ) tr()DwbiidwbiiJDSSJdSSi1wbSSi1wbSSD dW1wbSS12121,1,2,iiDdwbiiiidWSSu uuuu35,JJ 同樣是這樣選擇。參考教材同樣是這樣選擇。參考教材P188例題例題8-1 第第6 6章章 特征選擇和特征提取特征選擇和特征提取返回本章首頁返回本章首頁例題例題6-1 已知有兩類數(shù)據(jù)已知有兩類數(shù)據(jù),分別為分別為 試求：該組數(shù)據(jù)的類內(nèi)試求：該組數(shù)據(jù)的類內(nèi) 及類間及類間 離散矩陣離散矩陣 。解解： 12: (1,0), (2,0), (1,

12、1): ( 1,0), (0,1), ( 1,1)wSbS1121114122(,) , (,) 3 3 3 3 121333112112()()1123333333331 142126311111 12124369999TxSmmx mx m第第6 6章章 特征選擇和特征提取特征選擇和特征提取返回本章首頁返回本章首頁2222121212631()()3691201012963663611()()6113393TxwTbSSSSSx mx mmmmm第第6 6章章 特征選擇和特征提取特征選擇和特征提取返回本章首頁返回本章首頁例題例題6-2 1）已知兩個(gè)正態(tài)分布時(shí)的散度公式為）已知兩個(gè)正態(tài)分布時(shí)

13、的散度公式為 試將其轉(zhuǎn)換成用于兩個(gè)一維正態(tài)分布試將其轉(zhuǎn)換成用于兩個(gè)一維正態(tài)分布 及及 時(shí)的公式。時(shí)的公式。2）兩個(gè)一維正態(tài)分布，其期望與方差分別為）兩個(gè)一維正態(tài)分布，其期望與方差分別為 第一組：第一組： 第二組：第二組： 求其散度求其散度 。 11112112211221112tr22TDJ I211(,)N 222(,)N DJ2212120, 2, 4, 0.252212120, 2, 1, 1第第6 6章章 特征選擇和特征提取特征選擇和特征提取返回本章首頁返回本章首頁解解： 22222222112121211222DJ2212120, 2, 4, 0.250.251411124478.5

14、2 0.2542432DJ 2212120, 2, 1, 114 2 42DJ 第第6 6章章 特征選擇和特征提取特征選擇和特征提取返回本章首頁返回本章首頁例題例題6-3 對上題給出的數(shù)據(jù)，求使對上題給出的數(shù)據(jù)，求使 達(dá)到最大的特征提取。達(dá)到最大的特征提取。解解：由前面所得：由前面所得由于由于 秩為秩為1，故，故 只有一個(gè)非零本征值，只有一個(gè)非零本征值， 是是 矩陣，即矩陣，即 ，為求，為求 的本征值應(yīng)解方程：的本征值應(yīng)解方程：2J1136612011 6101299() 1 () 1304304bwbwbwSSrank Srank SSS1wbSS1wbSSW1DW w1wbSS第第6 6章

15、章 特征選擇和特征提取特征選擇和特征提取返回本章首頁返回本章首頁 由于由于 為標(biāo)量，所以為標(biāo)量，所以1212111212()()()TwbTwbSSSSwwmmmmmmwmmw12()Tmmw1126306341()3114034wSwmm第第6 6章章 特征選擇和特征提取特征選擇和特征提取返回本章首頁返回本章首頁習(xí)題講解（習(xí)題講解（P81）習(xí)題習(xí)題3-1 解解：極大似然估計(jì)：極大似然估計(jì)222121212112212111()exp2211ln()ln(2)221( )ln()11221kkNkNkkNkkkNkkxppxxHpxxN0 xxx 第第6 6章章 特征選擇和特征提取特征選擇和特

16、征提取返回本章首頁返回本章首頁Bayes估計(jì)估計(jì)2200220022220011( )( , ) ( )( , )( )( , 1) ( )(0 , 1)1111kNkNNkkkkpNpNNmNNpNpNNxxNNN xx第第6 6章章 特征選擇和特征提取特征選擇和特征提取返回本章首頁返回本章首頁習(xí)題講解習(xí)題講解（P81）習(xí)題習(xí)題3-4 求求Bayes估計(jì)量估計(jì)量解：解：12NH ，x ,x ,x11111()()(1)()()(1)NNkkkkNNkkNkkNMN Mkkp H PpPPPMp H PpPPPxxxxxP第第6 6章章 特征選擇和特征提取特征選擇和特征提取返回本章首頁返回本章

17、首頁P(yáng)10() ( )(1)()() ( )(1)MN MMN Mp H P f PPPp P Hp H P f P dPPPdP11010(1)()(1)MN MMN MPPdPPP p P H dPPPdPP第第6 6章章 特征選擇和特征提取特征選擇和特征提取返回本章首頁返回本章首頁111001111001110101101(1)(1)11(1)(1)1(1)111(1)12111121(1)1MN MMN MMN MN MMMN MNMN MPPdPPdPN MPPPdPN MMPPdPN MMMPdPN MN MN MMMMN MN MN MMNPPdPMN 1111212MMN MN

18、 MMN第第6 6章章 特征選擇和特征提取特征選擇和特征提取返回本章首頁返回本章首頁11011010110(111(1)1211)11122(111(1)1)1212MN MMNMN MNkMN MkMMMPPdPN MN MN MMNMMPPdPPPdPMPNNPPdPN MN MN MMNx第第6 6章章 特征選擇和特征提取特征選擇和特征提取返回本章首頁返回本章首頁第第6 6章章 特征選擇和特征提取特征選擇和特征提取返回本章首頁返回本章首頁0, 0, ijijijjiJijJijJJ222()()ikjkkikjkmmJ x第第6 6章章 特征選擇和特征提取特征選擇和特征提取返回本章首頁返回本章首頁,ikjkmm22,ikjk,ijm m(),1,2,kJ xkD第第6 6章章 特征選擇和特征提取特征選擇和特征提取返回本章首頁返回本章首頁222()()0ikjkkikjkmmJ x第第6 6章章 特征選擇和特征提取特征選擇和特征提取返回本章首頁返回本章首頁1() ()cTbiiiiSP( )( )1()()ciiTwiiiikkiSPExxwbSSS11det()wbiiJSS12tr()wbiiJSS第第6 6章章 特征選擇和特征提取特征選擇和特征提取返回本章首頁返回本章首