模式識別習(xí)題課

本文格式為Word版，下載可任意編輯——模式識別習(xí)題課

1、在圖像識別中，假定有灌木和坦克2種類型，它們的先驗(yàn)概率分別是0.7和0.3，損失函數(shù)如下表所示。其中，類型w1和w2分別表示灌木和坦克，判決a1=w1，a2=w2?，F(xiàn)在做了2次試驗(yàn)，獲得2個(gè)樣本的類概率密度如下：

P(x|?1)?0.2P(x|?2)?0.6

0.50.3

狀態(tài)損失決策a1a2W1W20.5421.0（1）試用最小錯(cuò)誤率貝葉斯準(zhǔn)則判決2個(gè)樣本各屬于哪一類？坦克、灌木。（2）試用最小風(fēng)險(xiǎn)決策規(guī)則判決2個(gè)樣本各屬于哪一類？灌木、灌木。答：（1）最小錯(cuò)誤率貝葉斯準(zhǔn)則

第一個(gè)樣本：p(x|?1)P(?1)0.2*0.714P(?1|x)?2???0.43750.2*0.7?0.6*0.332?p(x|?j)P(?j)j?1P(?2|x)?1?P(?1|x)?1?0.4375?0.5625P(?2|x)?P(?1|x)?x??2，決策為坦克其次個(gè)樣本：p(x|?1)P(?1)0.5*0.735P(?1|x)?2???0.7950.5*0.7?0.3*0.344p(x|?)P(?)?jjj?1

P(?2|x)?1?P(?1|x)?1?0.795?0.205?P(?2|x)?P(?1|x)?x??1，決策為灌木（2）最小風(fēng)險(xiǎn)決策規(guī)則

944?11?0.5?12?2?21?4?22?1.0第一個(gè)樣本R(a1|x)???1jP(?j|x)??11P(?1|x)??12P(?2|x)j?12?0.5*0.4375?2*0.5625?1.35375R(a2|x)???2jP(?j|x)??21P(?1|x)??22P(?2|x)j?12

?4*0.4375?1.0*0.5625?2.3175R(a1|x)?R(a2|x)?x??1，決策為灌木其次個(gè)樣本R(a1|x)???1jP(?j|x)??11P(?1|x)??12P(?2|x)j?12?0.5*0.795?2*0.205?0.8075R(a2|x)???2jP(?j|x)??21P(?1|x)??22P(?2|x)j?12

?4*0.795?1.0*0.205?3.385R(a1|x)?R(a2|x)?x??1，決策為灌木

2、給出二維樣本數(shù)據(jù)(-1,1),(2,2),(1,-1),(-2,-2)，試用K-L變換作一維數(shù)據(jù)壓縮。

答：數(shù)據(jù)壓縮結(jié)果：0，22，0，?221.樣本的均值向量為:m?1?0??0???????0??04???????2??1???2?1???1??????????????????11?22?1?1??2?2????2???1???2?4???1????????2自相關(guān)矩陣.R??1?106??2.51.5??????????6101.52.54????3.求特征值與特征向量??2.5?1.5?1.5??2.5?0??1?4,?2?1特征向量(標(biāo)準(zhǔn))分別是:?2??2??????X1??2?,X2??2??2??2??????2??2?4.取更大的特征值所對應(yīng)的特征向量X1為變換矩陣5.將原樣本變換成一維樣本(分別用X1左乘以每原數(shù)據(jù)樣本),得?22????22??02222*2?*2220?2222?22?22*(?2)?*(?2)??22?T

??0算出m后應(yīng)當(dāng)把它當(dāng)作坐標(biāo)原點(diǎn)重新計(jì)算其他坐標(biāo)值

3|λE-A|=0

(λE-A)*X=00向量?平移坐標(biāo)系，將模式的總體均值向量作為新坐標(biāo)系的原點(diǎn)?求隨機(jī)向量X的自相關(guān)矩陣?求自相關(guān)矩陣的n個(gè)特征值及其對應(yīng)的特征向量?將特征值從大到小排序，取前m個(gè)大的特征值所對應(yīng)的特征向量構(gòu)成新的變換矩陣?將n維向量變換為m維新向量3、已知兩類的數(shù)據(jù)：ω1：(1,0),(2,0),(1,1)；ω2：(-1,0),(0,1),(-1,1)，試求該組數(shù)據(jù)的類內(nèi)與

類間散布矩陣。

答:1).取均值向量1mi?x?Nix??i?41??22?m1???,m2????3333????2).分別計(jì)算兩個(gè)類與均值向量的距離平方和S1?1?2?1?T??(x?m)(x?m)??11?3??12?x??1?TTT1??1???3??3??2??31???3?T?1???3T2?3??T1?21?S2??(x?m2)(x?m2)???12??3x??2??2??1?2????3??3??33).計(jì)算Sw與SbT1?3??T?1???31?3??T1?2?1?1?21?1?40????Sw?S1?S2???????????3??12?3?12?3?04???6????61?1?36?6?T3???Sb?(m1?m2)(m1?m2)???????13?9??61?????3????3?Sw（within）neileiSb(betwwen)neijian

4、已知?dú)W氏二維空間中兩類9個(gè)訓(xùn)練樣本w1:(-1,0)T,(-2,0)T,(-2,1)T,(-2,-1)T

w2:(1,1)T,(2,0)T,(1,-1)T,(2,1)T,(2,2)T，試分別用最近鄰法和K近鄰法求測試樣本(0,0)T的分類，取K=5，7。

答：

最近鄰法：最近鄰為(-1，0)T分類為w1

K近鄰法：

K=5：5個(gè)近鄰為1類的(-1,0)T,(-2,0)T，2類的(1,1)T,(2,0)T,(1,-1)T分類為w2

K=7：1）若近鄰為1類的(-1,0)T,(-2,0)T,(-2,1)T,(-2,-1)T，2類的(1,1)T,(2,0)T,(1,-1)T，則分類為w1

2）若近鄰為1類的(-1,0)T,(-2,0)T,(-2,1)T或(-2,-1)T兩個(gè)之一，2類的(1,1)T,(2,0)T,(1,-1)T,(2,1)T，則分類為w2

2、已知兩類的訓(xùn)練樣本：w1(0,0)T,(0,2)T;w2(2,0)T,(2,2)T，試用最小平方誤差準(zhǔn)則算法進(jìn)行分類器訓(xùn)練，求解向量w*。

1.什么是模式與模式識別2.什么是誤差平方和準(zhǔn)則

對于一個(gè)給定的聚類，均值向量是最能代表聚類中所有樣本的一個(gè)向量，也稱其為聚類中心。一個(gè)好的聚類方法應(yīng)能使集合中的所有向量與這個(gè)均值向量的誤差的長度平方和最小。3.確定線性分類器的主要步驟

采集訓(xùn)練樣本，構(gòu)成訓(xùn)練樣本集。樣本應(yīng)當(dāng)具有典型性

確定一個(gè)準(zhǔn)則J=J(w,x)，能反映分類器性能，且存在權(quán)值w*使得分類器性能最優(yōu)設(shè)計(jì)求解w的最優(yōu)算法，得到解向量w*4.分級聚類算法的2種基本途徑是什么

按事物的相像性，或內(nèi)在聯(lián)系組織起來，組成有層次的結(jié)構(gòu)，使得本質(zhì)上最接近的劃為一類，然后把相近的類再合并，依次類推，這就是分級聚類算法的基本思想。

聚合法：把所有樣本各自看為一類，逐級聚合成一類?；舅悸肥歉鶕?jù)類間相像性大小逐級聚合，每級只把相像性最大的兩類聚合成一類，最終把所有樣本聚合為一類。分解法：把所有樣本看做一類，逐級分解為每個(gè)樣本一類。5.什么是K近鄰法

取未知樣本x的k個(gè)近鄰，看這k個(gè)近鄰中多數(shù)屬于哪一類，就把x歸為哪一類。6.監(jiān)視學(xué)習(xí)與非監(jiān)視學(xué)習(xí)的區(qū)別

利用已經(jīng)標(biāo)定類別的樣本集進(jìn)行分類器設(shè)計(jì)的方法稱為監(jiān)視學(xué)習(xí)。好多狀況下無法預(yù)先知道

樣本的類別，從沒有標(biāo)記的樣本集開始進(jìn)行分類器設(shè)計(jì)，這就是非監(jiān)視學(xué)習(xí)7.什么是支持向量機(jī)

過兩類樣本中離分類面最近的點(diǎn)且平行于最優(yōu)分類面的超平面上的訓(xùn)練樣本，叫做支持向量。

支持向量機(jī)的基本思想：首先通過非線性變換將輸入空間變換到一個(gè)高維空間，然后在這個(gè)新空間中求取最優(yōu)線性分類面，而這種非線性變換是通過定義適當(dāng)?shù)膬?nèi)積函數(shù)實(shí)現(xiàn)的。8.近鄰法的基本思想是什么

作為一種分段線性判別函數(shù)的極端狀況，將各類中全部樣本都作為代表點(diǎn)，這樣的決策方法就是近鄰法的基本思想。9.描述K均值聚類算法

給定一個(gè)數(shù)據(jù)點(diǎn)集合和需要的聚類數(shù)目k，k由用戶指定，k均值算法根據(jù)某個(gè)距離函數(shù)反復(fù)把數(shù)據(jù)分入k個(gè)聚類中。先隨機(jī)選取K個(gè)對象作為初始的聚類中心。然后計(jì)算每個(gè)對象與各個(gè)種子聚類中心之間的距離，把每個(gè)對象分派給距離它最近的聚類中心。聚類中心以及分派給它們的對象就代表一個(gè)聚類。一旦全部對象都被分派了，每個(gè)聚類的聚類中心會根據(jù)聚類中現(xiàn)有的對象被重新計(jì)算。10.詳細(xì)寫出感知器訓(xùn)練算法步驟

給定初始值：置k=0，權(quán)向量w(k)為任意值，可選常數(shù)0＜c≤1輸入樣本xm∈{x1,x2,?,xn}，計(jì)算判決函數(shù)值g(xm)=wT(k)xm按如下規(guī)則修改權(quán)向量

若xm∈wi，且g(xm)≤0，則w(k+1)=w(k)+cxm若xm∈wj，且g(xm)＞0，則w(k+