模式識(shí)別 課件 第9章 特征提取

第9章特征提取主要內(nèi)容9.1概述9.2基于類(lèi)別可分性判據(jù)的特征提取9.3K-L變換9.4其他降維方法簡(jiǎn)介對(duì)研究對(duì)象進(jìn)行觀測(cè)，獲取原始特征的過(guò)程稱(chēng)為特征提取，跟具體問(wèn)題密切相關(guān)對(duì)原始特征進(jìn)行映射，映射后降低維數(shù)，消除或減少特征之間的相關(guān)性，或改變表現(xiàn)形式，以利于分類(lèi)，稱(chēng)為特征提取，也稱(chēng)作特征變換線性變換和非線性變換9.1概述特征提取根據(jù)訓(xùn)練樣本求適當(dāng)?shù)腤，使某種特征變換的準(zhǔn)則最優(yōu)。9.1概述線性特征變換

關(guān)鍵：確定變換陣W非線性特征變換

高維數(shù)據(jù)的低維可視化9.2基于類(lèi)別可分性判據(jù)的特征提取根據(jù)判據(jù)求解最優(yōu)W核心思想例：基于散布矩陣可分性判據(jù)的特征提取

9.2基于類(lèi)別可分性判據(jù)的特征提取

提取過(guò)程僅取第一個(gè)特征值，即是Fisher線性判別法需要已知類(lèi)別的數(shù)據(jù)，監(jiān)督降維方法9.2基于類(lèi)別可分性判據(jù)的特征提取

例題9.2基于類(lèi)別可分性判據(jù)的特征提取

9.2基于類(lèi)別可分性判據(jù)的特征提取

9.2基于類(lèi)別可分性判據(jù)的特征提取簡(jiǎn)易解法：與前面所求只差一系數(shù)，降維后兩類(lèi)完全可分，只是特征比例變化9.3K-L變換

用有限的m項(xiàng)來(lái)估計(jì)x，即：9.3K-L變換（1）定義均方誤差推導(dǎo)求均方誤差取極值時(shí)的u

9.3K-L變換總結(jié)例題自相關(guān)矩陣求特征值

9.3K-L變換求特征向量變換矩陣U計(jì)算K-L變換9.3K-L變換U為正交矩陣變換后的向量z的自相關(guān)矩陣，是對(duì)角矩陣，且對(duì)角元素就是x的自相關(guān)矩陣的特征值顯然，通過(guò)K-L變換，消除了原有向量x的各分量之間的相關(guān)性，即變換后的數(shù)據(jù)z的各分量之間的信息是相互獨(dú)立的。9.3K-L變換（2）K-L變換的性質(zhì)9.3K-L變換（3）信息量分析協(xié)方差矩陣作為產(chǎn)生矩陣

采用大特征值對(duì)應(yīng)的特征向量組成變換矩陣，能對(duì)應(yīng)地保留原向量中方差大的成分，K-L變換起到了減小相關(guān)性、突出差異性的效果，稱(chēng)之為主成分分析。n個(gè)互不相關(guān)的主成分包含了原數(shù)據(jù)中的全部信息主成分的方差之和：

n個(gè)主成分的貢獻(xiàn)率依次遞減，第一主成分貢獻(xiàn)率最大，數(shù)據(jù)的大部分信息集中在較少的幾個(gè)主成分上累積貢獻(xiàn)率：反映前m個(gè)主成分綜合原始變量信息的能力選幾個(gè)主成分代替原始變量合適？取較小的m，使得前m個(gè)主成分的累積貢獻(xiàn)率不低于某一水平（如85%以上），達(dá)到降維的目的。貢獻(xiàn)率9.3K-L變換主成分的特點(diǎn)主成分是原變量的線性組合；各個(gè)主成分之間互不相關(guān)；主成分按照方差從大到小依次排列，第一主成分對(duì)應(yīng)最大的方差（特征值）；每個(gè)主成分的均值為0，其方差為協(xié)方差陣對(duì)應(yīng)的特征值；不同的主成分軸之間相互正交。9.3K-L變換

設(shè)計(jì)思路9.3K-L變換（4）仿真實(shí)現(xiàn)獲取訓(xùn)練數(shù)據(jù)，計(jì)算其協(xié)方差矩陣、協(xié)方差矩陣的特征值、特征向量，構(gòu)成降維變換矩陣，對(duì)訓(xùn)練數(shù)據(jù)降維，并利用主成分重建原始數(shù)據(jù)，觀察原始數(shù)據(jù)和重建數(shù)據(jù)的差別。程序clc,clear;X=[-5-5;-5-4;-4-5;-5-6;-6-5;55;54;45;56;65];[N,n]=size(X);V=cov(X)*(N-1)/N;[coefflamda]=eigs(V);[lamda_sort,index]=sort(diag(lamda),'descend');lamda=lamda(index,index);coeff=coeff(:,index);result1(1,:)={'特征值','特征向量'};fori=1:nresult1(1+i,1)=num2cell(lamda(i,i));endresult1(2:n+1,2)=(num2cell(coeff,1))';9.3K-L變換score=coeff'*X';result2(1,:)={'各樣本第一主成分','各樣本第二主成分'};result2(2:N+1,:)=(num2cell(score(:,1:N)))';figure;plot(score(1,:),score(2,:),'ko'),title('K-L變換');xlabel('第一主成分得分');ylabel('第二主成分得分');reconstructed=score'*coeff';9.3K-L變換result1=

'特征值''特征向量'

[50.4000][0.707106781186548;0.707106781186548]

[0.4000]

[-0.707106781186548;0.707106781186548]運(yùn)行結(jié)果result2=

'各樣本第一主成分''各樣本第二主成分'

[-7.0711]

[0]

[-6.3640]

[0.7071]

[-6.3640]

[-0.7071]

[-7.7782]

[-0.7071]

[-7.7782]

[0.7071]

[7.0711]

[0]

[6.3640]

[-0.7071]

[6.3640]

[0.7071]

[7.7782]

[0.7071]

[7.7782]

[-0.7071]9.3K-L變換reconstructed=-5.0000-5.0000-5.0000-4.0000-4.0000-5.0000-5.0000-6.0000-6.0000-5.00005.00005.00005.00004.00004.00005.00005.00006.00006.00005.00009.3K-L變換9.3K-L變換（5）奇異值分解

用前m個(gè)大的奇異值近似描述矩陣X降維9.3K-L變換

9.4其他降維方法簡(jiǎn)介

（1）獨(dú)立成分分析ICA9.4其他降維方法簡(jiǎn)介fisheriris數(shù)據(jù)獨(dú)立成分的兩兩分布獨(dú)立成分的個(gè)數(shù)和混合信號(hào)的維數(shù)一致，用于降維時(shí)，不能確定選擇哪些獨(dú)立成分作為降維后的數(shù)據(jù)。

9.4其他降維方法簡(jiǎn)介基于ICA的fisheriris數(shù)據(jù)降維9.4其他降維方法簡(jiǎn)介SparseFiltering，從特征分布的稀疏性角度對(duì)特征進(jìn)行評(píng)價(jià)，并定義了相應(yīng)的目標(biāo)函數(shù)，通過(guò)優(yōu)化算法實(shí)現(xiàn)特征提取非線性特征變換（2）稀疏濾波對(duì)fisheriris數(shù)據(jù)進(jìn)行二維特征提取9.4其他降維方法簡(jiǎn)介MultidimensionalScaling，MDS，一種經(jīng)典的數(shù)據(jù)映射方法，根據(jù)樣本之間的距離關(guān)系或不相似度關(guān)系在低維空間生成對(duì)樣本的一種表示。度量型MDS：把樣本間的距離或不相似度看做一種定量的度量，在低維空間里的表示能夠盡可能保持這種度量關(guān)系。非度量型MDS，也稱(chēng)作順序MDS，把樣本間的距離或不相似度關(guān)系僅看作一種定性關(guān)系，在低維空間里的表示只需保持這種關(guān)系的順序?？捎迷趯?duì)非數(shù)值對(duì)象的研究中，在生物學(xué)、醫(yī)學(xué)、心理學(xué)、社會(huì)學(xué)、經(jīng)濟(jì)、金融等方面都有很多應(yīng)用。（3）多維尺度法9.4其他降維方法簡(jiǎn)介經(jīng)典尺度法

問(wèn)題描述

構(gòu)成矩陣：9.4其他降維方法簡(jiǎn)介求解

求樣本矩陣X：

9.4其他降維方法簡(jiǎn)介經(jīng)典尺度法實(shí)現(xiàn)數(shù)據(jù)降維度量型MDS9.4其他降維方法簡(jiǎn)介

非度量型MDS9.4其他降維方法簡(jiǎn)介

9.4其他降維方法簡(jiǎn)介等度量映射213當(dāng)樣本在高維空間按照某種復(fù)雜結(jié)構(gòu)分布時(shí)，直接計(jì)算兩個(gè)樣本點(diǎn)之間的歐氏距離，損失了樣本分布的結(jié)構(gòu)信息。測(cè)地距離（GeodesicDistance）：