基于K-L展開式的特征提取

1、實現(xiàn)特征提取的途徑n考慮利用線性變換的方式實現(xiàn)降維q本質(zhì)上說是高維低維的投影q形式上可看是原始向量各分量的線性組合n由上章內(nèi)容，此處關(guān)鍵是選擇合適的變換，使變換之后的數(shù)據(jù)保持足夠的類別可分性TWxy111111DdddDDxwwyxwwy1122TiiiiDDixw yw yw yw y實現(xiàn)特征提取的途徑n兩類經(jīng)典的處理方法q多重判別分析：考慮模式類可分離性q成分分析：用較少數(shù)量的特征對樣本進(jìn)行描述，減少或去除冗余信息（去相關(guān)、信息壓縮）n所謂成分分析，即有可能將認(rèn)為是不重要的成分去除或用較少數(shù)據(jù)粗略表示，從而減少數(shù)據(jù)量，實現(xiàn)特征降維DKLT的性質(zhì)：的性質(zhì)：1. 使變換后產(chǎn)生的新的分量不相關(guān)使

2、變換后產(chǎn)生的新的分量不相關(guān)2. 以部分新分量表示原向量均方誤差最小以部分新分量表示原向量均方誤差最小3. 使變換向量更趨確定、能量更趨集中使變換向量更趨確定、能量更趨集中離散離散K-L變換（變換（DKLT），又稱霍特林），又稱霍特林(Hotelling)變換或主分量分解，它是一種基變換或主分量分解，它是一種基于目標(biāo)統(tǒng)計特性的最佳正交變換于目標(biāo)統(tǒng)計特性的最佳正交變換7.1 K-L變換的定義與性質(zhì)設(shè)設(shè)n維隨機(jī)向量維隨機(jī)向量r rxx xxn (,)12T，其均，其均值向量值向量 r rr rxE x ，相關(guān)矩陣，相關(guān)矩陣 RE x xxr rr r r r T，協(xié)方，協(xié)方差矩陣差矩陣 CE xxx

3、xxr rr rr rr rr r - - -()()T ，r rx經(jīng)正交變換后經(jīng)正交變換后產(chǎn)生向量產(chǎn)生向量r ryyyyn (,)12T設(shè)有標(biāo)準(zhǔn)正交變換矩陣設(shè)有標(biāo)準(zhǔn)正交變換矩陣T，（即，（即 TT=I）),( )(2121nnyyyxtttxTyrrrrrr-niiityyTyTx11) (rrrrxtyiirr),2 , 1(ni取前取前m項為項為 的估計值的估計值xrrrxy tiiim1nm 1（稱為（稱為 的的K-L展開式）展開式）xr其均方誤差為其均方誤差為2T( )() ()mExxxx-rrrr211nniiii mi mE yE y ynmiiinmiiyyEyE112nmi

4、ixinmiiitRttxxEt11)(rrrrrr2( )mxtyiir rr r 在在TT=I的約束條件下的約束條件下,要使均方誤差要使均方誤差21( )()()minnix ii mmE xxxxt R t-rrrrrrr-nmiiiinmiixitttRtJ11) 1(rrrrr為此設(shè)定準(zhǔn)則函數(shù)為此設(shè)定準(zhǔn)則函數(shù)nmi,.,10itJr0)(-iixtIRrr由由 可得可得iiixttRrrrnmi,.,1即即iiixttRrrrnmi,.,1xRritr i是是 的特征值，而的特征值，而 是相應(yīng)的特征向量。是相應(yīng)的特征向量。由由表明表明:2111( )nnnix iii iii mi

5、mi mmt R tttrrrrr利用上式有利用上式有:用用“截斷截斷”方式產(chǎn)生方式產(chǎn)生x的估計時，使均方誤差最的估計時，使均方誤差最小的正交變換矩陣是其相關(guān)矩陣小的正交變換矩陣是其相關(guān)矩陣Rx的前的前m個特征個特征值對應(yīng)的特征向量構(gòu)成的。值對應(yīng)的特征向量構(gòu)成的。DKLT的性質(zhì)的性質(zhì)(1) 變換后各特征分量不相關(guān)變換后各特征分量不相關(guān) 的自相關(guān)矩陣和協(xié)方差矩陣為變換后的向量的各分量不相關(guān)的i=E(yi2)，或i=Eyi -E(yi)2 (含義：方差)yrnxyTRTxTxTEyyERrrrrrr21T )(-nxyTCTyyyyECrrrrrr21 )(1x2x1y2y1tr2trDKLT使新

6、的分量y1和y2不相關(guān)兩個新的坐標(biāo)軸方向分別由 和 確定1tr2tr通過K-L變換，消除了原有向量x的各分量之間的相關(guān)性，從而有可能去掉那些帶有較少信息的坐標(biāo)軸以達(dá)到降低特征空間維數(shù)的目的。(2)(2)最佳逼近性最佳逼近性(3)(3)使能量向某些分量相對集中，增強隨機(jī)使能量向某些分量相對集中，增強隨機(jī)向量總體的確定性（即得到主要成分）向量總體的確定性（即得到主要成分）min)(12nmiimnmmixtyii;, 2 , 1 rrDKLT的性質(zhì)的性質(zhì)采用同等維數(shù)進(jìn)行表示，該結(jié)果與原始數(shù)據(jù)的均方誤差最小何謂主軸及主成分表示n主軸q特征值大q方差大n主成分表示與類可分性qOqQ例例: 已知兩類樣本

7、已知兩類樣本 試用試用K-L變換變換做一維特征提取。做一維特征提取。)5, 6( ,)6, 5( ,)5, 4( ,)4, 5( ,)5, 5(:1-)5 , 4( ,)4 , 5( ,)5 , 6( ,)6 , 5( ,)5 , 5(:20515151)2(51)1(rrrriiiixxm解：解：（1 1）4 . 0 , 4 .50 025)4 .25(|2122-IR-1121 ,1121 21,21tt,jt tRjjjrrrr（3）求R的特征值、特征向量2/110/5)()(21PP4 .2525254 .25 5121 5121 )( 51)2()2(51)1()1()()(21ii

8、iiiiiiiixxxxxxEPxxERrrrrrrrr（2 2）（4）選選 1對應(yīng)的對應(yīng)的 作為變換矩陣作為變換矩陣1tr11211tTr得211,211,29,29,210:1-29,29,211,211,210:21x2x1tr2tr55-5-50yxTyr21055) 1 , 1 (21)1(1)1(1-xTyr211)1(5)1(5-xTyr由由 得變換后的一維模式特征為得變換后的一維模式特征為兩組二維空間的數(shù)據(jù)（兩組二維空間的數(shù)據(jù)（a）（）（b）如圖所示，）如圖所示， 試用試用K-L變變換來做一維的特征提取。換來做一維的特征提取。（a）（b）解：這兩種情況下的期望向量 對于數(shù)據(jù)（a），有41( )( )1 4 121211 12211221212 4 101011010 4 55155 2 TTTiiiEEEE- - - xaxxxxxxx x 0E x對于數(shù)據(jù)（b），有計算協(xié)方差矩陣的特征值和特征向量：計算協(xié)方差矩陣的特征值和特征向量：對于數(shù)據(jù)（對于數(shù)據(jù)（a）: 對于數(shù)據(jù)（對于數(shù)據(jù)（b）:411