模式識別理論及應(yīng)用

模式識別理論及應(yīng)用第1頁，課件共31頁，創(chuàng)作于2023年2月內(nèi)容目錄IPL第六章模式特征的選擇與提取

6.1引言3245

6.2類別可分離性判據(jù)6.3特征提取與K-L變換6.4特征的選擇6.5討論1模式識別與神經(jīng)網(wǎng)絡(luò)第2頁，課件共31頁，創(chuàng)作于2023年2月6.1引言特征的選擇與提取是模式識別中重要而困難的一個環(huán)節(jié)：分析各種特征的有效性并選出最有代表性的特征是模式識別的關(guān)鍵一步降低特征維數(shù)在很多情況下是有效設(shè)計分類器的重要課題三大類特征：物理、結(jié)構(gòu)和數(shù)學特征物理和結(jié)構(gòu)特征：易于為人的直覺感知，但有時難于定量描述，因而不易用于機器判別數(shù)學特征：易于用機器定量描述和判別，如基于統(tǒng)計的特征3第3頁，課件共31頁，創(chuàng)作于2023年2月特征的形成特征形成(acquisition)：信號獲取或測量→原始測量原始特征實例：數(shù)字圖象中的各像素灰度值人體的各種生理指標原始特征分析：原始測量不能反映對象本質(zhì)高維原始特征不利于分類器設(shè)計：計算量大，冗余，樣本分布十分稀疏引言4第4頁，課件共31頁，創(chuàng)作于2023年2月特征的選擇與提取兩類提取有效信息、壓縮特征空間的方法：特征提取和特征選擇特征提取

(extraction)：用映射（或變換）的方法把原始特征變換為較少的新特征特征選擇(selection)

：從原始特征中挑選出一些最有代表性，分類性能最好的特征特征的選擇與提取與具體問題有很大關(guān)系，目前沒有理論能給出對任何問題都有效的特征選擇與提取方法引言5第5頁，課件共31頁，創(chuàng)作于2023年2月特征的選擇與提取舉例細胞自動識別：原始測量：（正常與異常）細胞的數(shù)字圖像原始特征（特征的形成，找到一組代表細胞性質(zhì)的特征）：細胞面積，胞核面積，形狀系數(shù)，光密度，核內(nèi)紋理，和漿比壓縮特征：原始特征的維數(shù)仍很高，需壓縮以便于分類特征選擇：挑選最有分類信息的特征特征提?。簲?shù)學變換傅立葉變換或小波變換用PCA方法作特征壓縮引言6第6頁，課件共31頁，創(chuàng)作于2023年2月6.2類別可分離性判據(jù)類別可分離性判據(jù)：衡量不同特征及其組合對分類是否有效的定量準則理想準則：某組特征使分類器錯誤概率最小實際的類別可分離性判據(jù)應(yīng)滿足的條件：度量特性：與錯誤率有單調(diào)關(guān)系當特征獨立時有可加性：單調(diào)性：常見類別可分離性判據(jù)：基于距離、概率分布、熵函數(shù)7第7頁，課件共31頁，創(chuàng)作于2023年2月基于距離的可分性判據(jù)類間可分性:=所有樣本間的平均距離：可分性判據(jù)(8-1)squaredEuclidian(8-5)類內(nèi)平均距離類間距離(8-6)8第8頁，課件共31頁，創(chuàng)作于2023年2月基于距離的可分性判據(jù)矩陣形式可分性判據(jù)基于距離的準則概念直觀，計算方便，但與錯誤率沒有直接聯(lián)系樣本類間

離散度矩陣樣本類內(nèi)

離散度矩陣類間可分離性判據(jù)9第9頁，課件共31頁，創(chuàng)作于2023年2月基于概率的可分性判據(jù)基于概率的可分性判據(jù)：用概率密度函數(shù)間的距離來度量可分性判據(jù)散度：10第10頁，課件共31頁，創(chuàng)作于2023年2月正態(tài)分布的散度可分性判據(jù)Mahalanobis11第11頁，課件共31頁，創(chuàng)作于2023年2月基于熵函數(shù)的可分性判據(jù)熵函數(shù)：可分性判據(jù)Shannon熵：平方熵：熵函數(shù)期望表征類別的分離程度：12第12頁，課件共31頁，創(chuàng)作于2023年2月類別可分離性判據(jù)應(yīng)用舉例圖像分割：Otsu灰度圖像閾值算法

(Otsuthresholding)圖像有L階灰度，ni是灰度為i的像素數(shù)，圖像總像素數(shù)N=n1+n2+…+nL灰度為i的像素概率：pi=ni/N類間方差：可分性判據(jù)13第13頁，課件共31頁，創(chuàng)作于2023年2月Otsuthresholding灰度圖像閾值:可分性判據(jù)Otsu灰度圖像二值化算法演示及程序分析:14第14頁，課件共31頁，創(chuàng)作于2023年2月6.3特征提取與K-L變換特征提?。河糜成洌ɑ蜃儞Q）的方法把原始特征變換為較少的新特征PCA(PrincipleComponentAnalysis)方法：

進行特征降維變換，不能完全地表示原有的對象，能量總會有損失。希望找到一種能量最為集中的的變換方法使損失最小K-L(Karhunen-Loeve)變換：最優(yōu)正交線性變換，相應(yīng)的特征提取方法被稱為PCA方法15第15頁，課件共31頁，創(chuàng)作于2023年2月K-L變換離散K-L變換：對向量x用確定的完備正交歸一向量系uj展開特征

提取16第16頁，課件共31頁，創(chuàng)作于2023年2月離散K-L變換的均方誤差用有限項估計x

：特征

提取該估計的均方誤差：17第17頁，課件共31頁，創(chuàng)作于2023年2月求解最小均方誤差正交基用Lagrange乘子法：特征

提取結(jié)論：以相關(guān)矩陣R的d個本征向量為基向量來展開x時，其均方誤差為：K-L變換：當取矩陣R的d個最大本征值對應(yīng)的本征向量來展開x時，其截斷均方誤差最小。這d個本征向量組成的正交坐標系稱作x所在的D維空間的d維K-L變換坐標系，x在K-L坐標系上的展開系數(shù)向量y稱作x的K-L變換18第18頁，課件共31頁，創(chuàng)作于2023年2月K-L變換的表示K-L變換的向量展開表示：特征

提取K-L變換的矩陣表示：19第19頁，課件共31頁，創(chuàng)作于2023年2月K-L變換的性質(zhì)y的相關(guān)矩陣是對角矩陣：特征

提取20第20頁，課件共31頁，創(chuàng)作于2023年2月K-L變換的性質(zhì)特征

提取K-L坐標系把矩陣R對角化，即通過K-L變換消除原有向量x的各分量間的相關(guān)性，從而有可能去掉那些帶有較少信息的分量以達到降低特征維數(shù)的目的21第21頁，課件共31頁，創(chuàng)作于2023年2月K-L變換圖解x1x2u2u1二次

曲線方程標準二次

曲線方程特征

提取22第22頁，課件共31頁，創(chuàng)作于2023年2月K-L變換的數(shù)據(jù)壓縮圖解取2x1變換矩陣U=[u1]，則x的K-L變換y為：

y=UTx=u1Tx=y1變換的能量損失為特征

提取23第23頁，課件共31頁，創(chuàng)作于2023年2月K-L變換的產(chǎn)生矩陣數(shù)據(jù)集KN={xi}的K-L變換的產(chǎn)生矩陣由數(shù)據(jù)的二階統(tǒng)計量決定，即K-L坐標系的基向量為某種基于數(shù)據(jù)x的二階統(tǒng)計量的產(chǎn)生矩陣的本征向量K-L變換的產(chǎn)生矩陣可以有多種選擇：x的相關(guān)函數(shù)矩陣R=E[xxT]x的協(xié)方差矩陣C=E[(x-μ)(x-μ)T]樣本總類內(nèi)離散度矩陣：特征

提取24第24頁，課件共31頁，創(chuàng)作于2023年2月未知類別樣本的K-L變換用總體樣本的協(xié)方差矩陣C=E[(x-μ)(x-μ)T]

進行K-L變換，K-L坐標系U=[u1,u2,...,ud]按照C的本征值的下降次序選擇例：設(shè)一樣本集的協(xié)方差矩陣是：

求最優(yōu)2x1特征提取器U

解答：計算特征值及特征向量[V,D]=eig(C);

特征值D=[24.736,2.263]T,特征向量:

由于λ1>λ2，故最優(yōu)2x1特征提取器

此時的K-L變換式為：特征

提取25第25頁，課件共31頁，創(chuàng)作于2023年2月6.4特征的選擇特征選擇:=從原始特征中挑選出一些最有代表性、分類性能最好的特征進行分類從D個特征中選取d個,共種組合。若不限定特征選擇個數(shù)，則共2D種組合

－典型的組合優(yōu)化問題特征選擇的方法大體可分兩大類：Filter方法：根據(jù)獨立于分類器的指標J來評價所選擇的特征子集S，然后在所有可能的特征子集中搜索出使得J最大的特征子集作為最優(yōu)特征子集。不考慮所使用的學習算法。Wrapper方法：將特征選擇和分類器結(jié)合在一起，在學習過程中表現(xiàn)優(yōu)異的的特征子集會被選中。26第26頁，課件共31頁，創(chuàng)作于2023年2月經(jīng)典特征選擇算法許多特征選擇算法力求解決搜索問題，經(jīng)典算法有：分支定界法單獨最優(yōu)特征組合法順序后退法順序前進法模擬退火法Tabu搜索法遺傳算法特征

選擇27第27頁，課件共31頁，創(chuàng)作于2023年2月單獨最優(yōu)特征組合計算各特征單獨使用時的可分性判據(jù)J并加以排隊，取前d個作為選擇結(jié)果不一定是最優(yōu)結(jié)果當可分性判據(jù)對各特征具有(廣義)可加性，該方法可以選出一組最優(yōu)的特征來，例：各類具有正態(tài)分布各特征統(tǒng)計獨立可分性判據(jù)基于Mahalanobis距離特征

選擇28第28頁，課件共31頁，創(chuàng)作于2023年2月順序后退法該方法根據(jù)特征子集的分類表現(xiàn)來選擇特征搜索特征子集：從全體特征開始，每次剔除一個特征，使得所保留的特征集合有最大的分類識別率依次迭代，直至識別率開始下降為止用“l(fā)eave-one-out”方法估計平均識別率：用N-1個樣本判斷余下一個的類別，N次取平均特征

選擇29第29頁，課件共31頁，創(chuàng)作于2023年2月6.5

討論特征的選擇與提取是模式識別中重要而困難的一步模式識別的第一步：分析各種特征的有效性并選出最有代表性的特征降低特征維數(shù)在很