模式識別之特征選擇和提取

1、關于模式識別之特征選擇與提取第一張，PPT共四十七頁，創(chuàng)作于2022年6月5.1 基本概念5.2 類別可分性測度5.3 基于類內(nèi)散布矩陣的單類模式特征提取5.4 基于K-L變換的多類模式特征提取第5章 特征選擇與特征提取第二張，PPT共四十七頁，創(chuàng)作于2022年6月5.1 基本概念 由于測量上可實現(xiàn)性的限制或經(jīng)濟上的考慮，所獲得的測量值為數(shù)不多。 能獲得的性質(zhì)測量值很多。如果全部直接作為分類特征，耗費機時，且分類效果不一定好。有人稱之為“特征維數(shù)災難”。 特征選擇和提取的目的：經(jīng)過選擇或變換，組成識別特征，盡可能保留分類信息，在保證一定分類精度的前提下，減少特征維數(shù)，使分類器的工作即快又準確。

2、1兩種數(shù)據(jù)測量情況第三張，PPT共四十七頁，創(chuàng)作于2022年6月(1) 具有很大的識別信息量。即應具有很好的可分性。(2) 具有可靠性。模棱兩可、似是而非、時是時非等不易判別 的特征應丟掉。(3) 盡可能強的獨立性。重復的、相關性強的特征只選一個。(4) 數(shù)量盡量少，同時損失的信息盡量小。2對特征的要求3. 特征選擇和特征提取的異同（1）特征選擇：從L個度量值集合 中按一定準 則選出供分類用的子集，作為降維（m維，m L）的分類 特征。（2）特征提?。菏挂唤M度量值 通過某種變換 產(chǎn)生新的m個特征 ，作為降維的分類特征， 其中 。第四張，PPT共四十七頁，創(chuàng)作于2022年6月(c)是具有分類能力

3、的特征，故選(c)，扔掉(a) 、 (b) 。BA解：法1 特征抽?。簻y量三個結構特征 (a) 周長 (b) 面積 (c)兩個互相垂直的內(nèi)徑比 特征選擇：一般根據(jù)物理特征或結構特征進行壓縮。 分析：例：特征選擇與特征提取的區(qū)別：對一個條形和圓進行識別。 當模式在空間中發(fā)生移動、旋轉(zhuǎn)、縮放時，特征值應保持不變，保證仍可得到同樣的識別效果。第五張，PPT共四十七頁，創(chuàng)作于2022年6月法2： 特征抽?。簻y量物體向兩個坐標軸的投影值，則A、B各有2個值域區(qū)間?？梢钥闯觯瑑蓚€物體的投影有重疊，直接使用投影值無法將兩者區(qū)分開。 特征選擇：將坐標系按逆時針方向做一旋轉(zhuǎn)變化，或物體按順時針方向變，并適當平移

4、等。根據(jù)物體在 軸上投影的坐標值的正負可區(qū)分兩個物體。特征提取，一般用數(shù)學的方法進行壓縮。 BABA第六張，PPT共四十七頁，創(chuàng)作于2022年6月5.2 類別可分性測度5.2.1 基于距離的可分性測度類別可分性測度：衡量類別間可分性的尺度。相似性測度：衡量模式之間相似性的一種尺度類內(nèi)距離和類間距離類概率密度函數(shù) 類別可分性測度空間分布：隨機模式向量： 錯誤率 與錯誤率有關的距離 1類內(nèi)距離和類內(nèi)散布矩陣1) 類內(nèi)距離：同一類模式點集內(nèi)，各樣本間的均方距離。 平方形式：Xi,，Xj： n維模式點集X中的任意兩個樣本 。第七張，PPT共四十七頁，創(chuàng)作于2022年6月特征選擇和提取的結果應使類內(nèi)散布

5、矩陣的跡愈 ？愈好。特征選擇和提取的結果應使類內(nèi)散布矩陣的跡愈 小愈好。若X中的樣本相互獨立，有式中，R：該類模式分布的自相關矩陣； M：均值向量； C：協(xié)方差矩陣； ：C主對角線上的元素，表示模式向量第k個分量的方差； tr：矩陣的跡（方陣主對角線上各元素之和）。2) 類內(nèi)散布矩陣：表示各樣本點圍繞均值的散布情況,即該類分布的協(xié)方差矩陣。類第八張，PPT共四十七頁，創(chuàng)作于2022年6月類間散布矩陣的跡愈大愈有利于分類。2類間距離和類間散布矩陣1) 類間距離：模式類之間的距離，記為 。 每類模式均值向量與模式總體均值向量之間平方距離的先驗概率加權和。2) 類間散布矩陣：表示c類模式在空間的散布

6、情況，記為Sb。類間散布矩陣的跡愈？愈有利于分類。3) 類間距離與類間散布矩陣的關系：注意：與類間距離的轉(zhuǎn)置位置不同。第九張，PPT共四十七頁，創(chuàng)作于2022年6月3多類模式向量間的距離和總體散布矩陣1）兩類情況的距離 q個 p個 共pq個距離 兩個類區(qū)之間的距離 = pq個距離的平均距離多類間任意兩個點間距離的平均距離類似地 多類情況多類間任意兩個點間平方距離的平均值第十張，PPT共四十七頁，創(chuàng)作于2022年6月（5-8） 類的均值向量： （5-10） c類模式總體的均值向量： （5-11） 2）多類情況的距離(2) Jd的另一種形式：將以下3式代入(5-8)式(1)多類模式向量間的平均平方

7、距離Jd（5-9） 平方距離：任意類的組合特定兩類間任意樣本的組合第十一張，PPT共四十七頁，創(chuàng)作于2022年6月得某類類內(nèi)平方距離平均值 某類類間平方距離多類模式向量之間的平方距離=各類平方距離的先驗概率加權和 某類的平方距離模式類間的距離模式類內(nèi)的距離多類模式向量之間的距離3）多類情況的散布矩陣多類類間散布矩陣 ：第十二張，PPT共四十七頁，創(chuàng)作于2022年6月4）多類模式平均平方距離與總體散布矩陣的關系多類類內(nèi)散布矩陣： 各類模式協(xié)方差矩陣的 先驗概率加權平均值。 多類模式的總體散布矩陣： 得第十三張，PPT共四十七頁，創(chuàng)作于2022年6月 距離與散布矩陣作為可分性測度的特點： * 計算

8、方便，概念直觀（反映模式的空間分布情況 ）； * 與分類錯誤率沒有直接的聯(lián)系。5.2.2 基于概率分布的可分性測度1散度出發(fā)點：對數(shù)似然比含有類別的可分性信息。 1）散度的定義 第十四張，PPT共四十七頁，創(chuàng)作于2022年6月 對不同的X，似然函數(shù)不同，對數(shù)似然比體現(xiàn)的可分性不同，通常采用平均可分性信息對數(shù)似然比的期望值 。 類對數(shù)似然比的期望值：類對數(shù)似然比的期望值：散度等于兩類的對數(shù)似然比期望值之和。 第十五張，PPT共四十七頁，創(chuàng)作于2022年6月 散度表示了區(qū)分i類和j 類的總的平均信息。2）散度的性質(zhì)（1）特征選擇和特征提取應使散度盡可能的 ？特征選擇和特征提取應使散度盡可能的大。第

9、十六張，PPT共四十七頁，創(chuàng)作于2022年6月（3）錯誤率分析中，兩類概率密度曲線交疊越少，錯誤率越小。 由散度的定義式可知，散度愈大，兩類概率密度函數(shù)曲線相差愈大，交疊愈少，分類錯誤率愈小。 第十七張，PPT共四十七頁，創(chuàng)作于2022年6月?lián)丝晒烙嬅恳粋€特征在分類中的重要性： 散度較大的特征含有較大的可分信息保留。（5）可加性表明，加入新的特征，不會使散度減小。即3）兩個正態(tài)分布模式類的散度設i類和j 類的概率密度函數(shù)分別為 第十八張，PPT共四十七頁，創(chuàng)作于2022年6月兩類模式之間馬氏距離的平方 一維正態(tài)分布時： 兩類均值向量距離越遠，散度愈大每類自身分布愈集中，兩類間的散度愈大模式識

10、別導論（齊敏）p135第十九張，PPT共四十七頁，創(chuàng)作于2022年6月5.3 基于類內(nèi)散布矩陣的單類模式特征提取對某類模式：壓縮模式向量的維數(shù)。 對多類分類：壓縮維數(shù)； 保留類別間的鑒別信息，突出可分性。 特征提取的目的：特征提取操作方法：m1 mn n1 (m n)注意：維數(shù)降低后，在新的m維空間里各模式類之間的分布規(guī) 律應至少保持不變或更優(yōu)化。第二十張，PPT共四十七頁，創(chuàng)作于2022年6月討論內(nèi)容： * 根據(jù)類內(nèi)散布矩陣如何確定變換矩陣A； * 通過A如何進行特征提取。1根據(jù)類內(nèi)散布矩陣確定變換矩陣式中，X為n維向量，C為 nn 的實對稱矩陣。第二十一張，PPT共四十七頁，創(chuàng)作于2022

11、年6月 n個特征向量相互正交，且都是單位長度。 若選n個歸一化特征向量作為A的行，則A為歸一化正交矩陣：第二十二張，PPT共四十七頁，創(chuàng)作于2022年6月(1)(2)Ann第二十三張，PPT共四十七頁，創(chuàng)作于2022年6月(3) 變換后的類內(nèi)距離變換后：類內(nèi)距離保持不變 。第二十四張，PPT共四十七頁，創(chuàng)作于2022年6月根據(jù)以上特點得到構造變換矩陣的方法：思路：目標：構造一變換矩陣，可以將n維向量X變換成m維（mn）。 將變換前的C的n個特征值從小到大排隊選擇前m個小的特征值對應的特征向量作為矩陣A的行（mn）對X進行A變換 優(yōu)點：壓縮了維數(shù)； 類內(nèi)距離減小，樣本更密集 相當去掉了方差大的特

12、征分量。后 續(xù)第二十五張，PPT共四十七頁，創(chuàng)作于2022年6月2特征提取的方法其中， 第二步：計算C的特征值，對特征值從小到大進行排隊，選擇 前m個。第二十六張，PPT共四十七頁，創(chuàng)作于2022年6月第四步：利用A對樣本集X進行變換。則m維（m n）模式向量X *就是作為分類用的模式向量。解：1) 求樣本均值向量和協(xié)方差矩陣。第二十七張，PPT共四十七頁，創(chuàng)作于2022年6月由 得由歸一化特征向量u1構成變換矩陣A：第二十八張，PPT共四十七頁，創(chuàng)作于2022年6月變換前變換后第二十九張，PPT共四十七頁，創(chuàng)作于2022年6月5.4 基于K-L變換的多類模式特征提取對一類模式：維數(shù)壓縮。對多

13、類模式：維數(shù)壓縮，突出類別的可分性。 特征提取的目的： 卡洛南-洛伊（Karhunen-Loeve）變換（K-L變換）：* 一種常用的特征提取方法；* 最小均方誤差意義下的最優(yōu)正交變換；* 適用于任意的概率密度函數(shù)；* 在消除模式特征之間的相關性、突出差異性方面 有最優(yōu)的效果。離散K-L變換連續(xù)K-L變換分為：第三十張，PPT共四十七頁，創(chuàng)作于2022年6月1K-L展開式aj：隨機系數(shù)；用有限項估計X時 ：引起的均方誤差：代入X、 ，利用第三十一張，PPT共四十七頁，創(chuàng)作于2022年6月由 兩邊 左乘 得 。uj為確定性向量 R：自相關矩陣。 ：拉格朗日乘數(shù) 第三十二張，PPT共四十七頁，創(chuàng)作

14、于2022年6月說明：當用X的自相關矩陣R的特征值對應的特征向量展開X 時，截斷誤差最小。 選前d項估計X時引起的均方誤差為 因此，當用X的正交展開式中前d項估計X時，展開式中的uj應當是前d個較大的特征值對應的特征向量。第三十三張，PPT共四十七頁，創(chuàng)作于2022年6月K-L變換方法：對R的特征值由大到小進行排隊： 均方誤差最小的X的近似式：矩陣形式： 式中， ， 。 其中： （5-49） K-L展開式 對式(5-49)兩邊左乘U t ： K-L變換 系數(shù)向量a就是變換后的模式向量。 自相關矩陣第三十四張，PPT共四十七頁，創(chuàng)作于2022年6月2利用自相關矩陣的K-L變換進行特征提取第一步：

15、求樣本集X的總體自相關矩陣R。 決定壓縮后的維數(shù)第三十五張，PPT共四十七頁，創(chuàng)作于2022年6月 3不同散布矩陣的K-L變換 根據(jù)不同的散布矩陣進行K-L變換，對保留分類鑒別信息的效果不同。多類類內(nèi)散布矩陣： 若要突出各類模式的主要特征分量： 選用對應于大特征值的特征向量組成變換矩陣； 若要使同一類模式聚集于最小的特征空間范圍： 選用對應于小特征值的特征向量組成變換矩陣。類間散布矩陣： 第三十六張，PPT共四十七頁，創(chuàng)作于2022年6月 適用于類間距離比類內(nèi)距離大得多的多類問題，選擇與大特征值對應的特征向量組成變換矩陣?？傮w散布矩陣： 把多類模式合并起來看成一個總體分布。 適合于多類模式在總

16、體分布上具有良好的可分性的情況。采用大特征值對應的特征向量組成變換矩陣，能夠保留模式原有分布的主要結構。1）變換在均方誤差最小的意義下使新樣本集X *逼近原樣本集 X的分布，既壓縮了維數(shù)又保留了類別鑒別信息。利用K-L變換進行特征提取的優(yōu)點：第三十七張，PPT共四十七頁，創(chuàng)作于2022年6月2）變換后的新模式向量各分量相對總體均值的方差等于原樣本 集總體自相關矩陣的大特征值，表明變換突出了模式類之間 的差異性。3）C*為對角矩陣說明了變換后樣本各分量互不相關，亦即消 除了原來特征之間的相關性，便于進一步進行特征的選擇。K-L變換的不足之處： 1）對兩類問題容易得到較滿意的結果。類別愈多，效果愈

17、差。2）需要通過足夠多的樣本估計樣本集的協(xié)方差矩陣或其它類型的散布矩陣。當樣本數(shù)不足時，矩陣的估計會變得十分粗略，變換的優(yōu)越性也就不能充分的地顯示出來。第三十八張，PPT共四十七頁，創(chuàng)作于2022年6月3）計算矩陣的本征值和本征向量缺乏統(tǒng)一的快速算法，給計算帶來困難。 例5.3 兩個模式類的樣本分別為利用自相關矩陣R作K-L變換，把原樣本集壓縮成一維樣本集。 解：第一步：計算總體自相關矩陣R。第二步：計算R的本征值，并選擇較大者。由 得 第三十九張，PPT共四十七頁，創(chuàng)作于2022年6月第四十張，PPT共四十七頁，創(chuàng)作于2022年6月多類類內(nèi)散布矩陣Sw5.5 特征選擇 從n個特征中選擇d個(

18、d n)最優(yōu)特征構成分類用特征向量。5.5.1 特征選取擇的準則1散布矩陣準則類別可分性測度類間散布矩陣Sb多類總體散布矩陣St特征選擇準則 使tr(Sw)最小使tr(Sb)最大使J1J4最大 第四十一張，PPT共四十七頁，創(chuàng)作于2022年6月2散度準則用于正態(tài)分布的模式類。兩類的散度表達式 * 平均散度 選擇使J最大的特征子集 * 變換散度 * 平均變換散度 第四十二張，PPT共四十七頁，創(chuàng)作于2022年6月5.5.2 特征選擇的方法從n個特征中挑選d個特征，所有可能的特征子集數(shù)為組合數(shù)很大 窮舉法： 計算出各種可能特征組合的某個測度值，加以比較，選擇最優(yōu)特征組。 特點：計算量大，難實現(xiàn)。采取搜索技術可降低計算量。可以得到最優(yōu)特征組；1最優(yōu)