模式識(shí)別實(shí)驗(yàn)指導(dǎo)書(shū)

1、信 息 工 程 學(xué) 院模式識(shí)別實(shí) 驗(yàn) 指 導(dǎo) 書(shū)王文華，徐蔚然編著2007年3月目 錄 TOC o 1-3 h z u HYPERLINK l _Toc179705811 實(shí)驗(yàn)課概況 PAGEREF _Toc179705811 h 1 HYPERLINK l _Toc179705812 實(shí)驗(yàn)一、Bayes分類(lèi)器設(shè)計(jì) PAGEREF _Toc179705812 h 2 HYPERLINK l _Toc179705813 實(shí)驗(yàn)二、基于Fisher準(zhǔn)則線性分類(lèi)器設(shè)計(jì) PAGEREF _Toc179705813 h 5 HYPERLINK l _Toc179705814 實(shí)驗(yàn)三、基于感知函數(shù)準(zhǔn)則線性分

2、類(lèi)器設(shè)計(jì) PAGEREF _Toc179705814 h 10 HYPERLINK l _Toc179705815 實(shí)驗(yàn)四、近鄰法分類(lèi)器設(shè)計(jì) PAGEREF _Toc179705815 h 12 HYPERLINK l _Toc179705816 實(shí)驗(yàn)五、動(dòng)態(tài)聚類(lèi) PAGEREF _Toc179705816 h 21實(shí)驗(yàn)課概況課程名稱(chēng)：模式識(shí)別適應(yīng)專(zhuān)業(yè)：信息工程、自動(dòng)化、信息安全、信息科學(xué)、數(shù)字媒體藝術(shù)實(shí)驗(yàn)學(xué)時(shí)：8開(kāi)科學(xué)期：5學(xué)期實(shí)驗(yàn)的性質(zhì)、任務(wù)和基本要求實(shí)驗(yàn)課的性質(zhì)模式識(shí)別實(shí)驗(yàn)課是一門(mén)非獨(dú)立的實(shí)驗(yàn)課，是同學(xué)對(duì)模式識(shí)別理論內(nèi)容進(jìn)行充分的理解的基礎(chǔ)上，根據(jù)相應(yīng)的原理，設(shè)計(jì)實(shí)驗(yàn)內(nèi)容，完成實(shí)驗(yàn)任務(wù)，

3、是理論知識(shí)實(shí)踐化的方式，利于學(xué)生更好的吸收，領(lǐng)悟模式識(shí)別的原理與應(yīng)用，培養(yǎng)學(xué)生的動(dòng)手實(shí)踐的能力。實(shí)驗(yàn)課的基本要求理解模式識(shí)別的基本概念掌握各種算法的流程，以及相應(yīng)的優(yōu)缺點(diǎn)。會(huì)使用相應(yīng)的模式識(shí)別分類(lèi)器等算法處理實(shí)驗(yàn)問(wèn)題。實(shí)驗(yàn)的分配情況序號(hào)實(shí)驗(yàn)內(nèi)容學(xué)時(shí)選作1Bayes分類(lèi)器算法2必做2Fisher線性分類(lèi)器設(shè)計(jì)， 2二選一3感知器設(shè)計(jì)24近鄰法4二選一5動(dòng)態(tài)聚類(lèi)4實(shí)驗(yàn)一、Bayes分類(lèi)器設(shè)計(jì)1.1實(shí)驗(yàn)類(lèi)型：基礎(chǔ)型：Bayes分類(lèi)器設(shè)計(jì)1.2實(shí)驗(yàn)?zāi)康模罕緦?shí)驗(yàn)旨在讓同學(xué)對(duì)模式識(shí)別有一個(gè)初步的理解，能夠根據(jù)自己的設(shè)計(jì)對(duì)貝葉斯決策理論算法有一個(gè)深刻地認(rèn)識(shí)，理解二類(lèi)分類(lèi)器的設(shè)計(jì)原理。1.3實(shí)驗(yàn)條件：matl

4、ab軟件1.4實(shí)驗(yàn)原理： 最小風(fēng)險(xiǎn)貝葉斯決策可按下列步驟進(jìn)行：(1)在已知，i=1,，c及給出待識(shí)別的的情況下，根據(jù)貝葉斯公式計(jì)算出后驗(yàn)概率：j=1,，x (2)利用計(jì)算出的后驗(yàn)概率及決策表，按下面的公式計(jì)算出采取,i=1,，a的條件風(fēng)險(xiǎn),i=1,2,a(3)對(duì)(2)中得到的a個(gè)條件風(fēng)險(xiǎn)值,i=1,，a進(jìn)行比較，找出使其條件風(fēng)險(xiǎn)最小的決策，即則就是最小風(fēng)險(xiǎn)貝葉斯決策。1.5實(shí)驗(yàn)內(nèi)容：假定某個(gè)局部區(qū)域細(xì)胞識(shí)別中正常（）和非正常（）兩類(lèi)先驗(yàn)概率分別為正常狀態(tài)：P（）=0.9；異常狀態(tài)：P（）=0.1?，F(xiàn)有一系列待觀察的細(xì)胞，其觀察值為：-3.9847 -3.5549 -1.2401 -0.9780

5、 -0.7932 -2.8531 -2.7605 -3.7287 -3.5414 -2.2692 -3.4549 -3.0752 -3.9934 2.8792 -0.9780 0.7932 1.1882 3.0682-1.5799 -1.4885 -0.7431 -0.4221 -1.1186 4.2532 已知先驗(yàn)概率是的曲線如下圖：類(lèi)條件概率分布正態(tài)分布分別為（-2，0.25）（2,4）試對(duì)觀察的結(jié)果進(jìn)行分類(lèi)。1.6 實(shí)驗(yàn)要求：用matlab完成分類(lèi)器的設(shè)計(jì)，要求程序相應(yīng)語(yǔ)句有說(shuō)明文字，要求有子程序的調(diào)用過(guò)程。根據(jù)例子畫(huà)出后驗(yàn)概率的分布曲線以及分類(lèi)的結(jié)果示意圖。如果是最小風(fēng)險(xiǎn)貝葉斯決策，決

6、策表如下：最小風(fēng)險(xiǎn)貝葉斯決策表：狀態(tài)決策106210請(qǐng)重新設(shè)計(jì)程序，畫(huà)出相應(yīng)的后驗(yàn)概率的分布曲線和分類(lèi)結(jié)果,并比較兩個(gè)結(jié)果。實(shí)驗(yàn)二、基于Fisher準(zhǔn)則線性分類(lèi)器設(shè)計(jì)2.1實(shí)驗(yàn)類(lèi)型：設(shè)計(jì)型：線性分類(lèi)器設(shè)計(jì)（Fisher準(zhǔn)則）2.2實(shí)驗(yàn)?zāi)康模罕緦?shí)驗(yàn)旨在讓同學(xué)進(jìn)一步了解分類(lèi)器的設(shè)計(jì)概念，能夠根據(jù)自己的設(shè)計(jì)對(duì)線性分類(lèi)器有更深刻地認(rèn)識(shí)，理解Fisher準(zhǔn)則方法確定最佳線性分界面方法的原理，以及Lagrande乘子求解的原理。2.3實(shí)驗(yàn)條件：matlab軟件2.4實(shí)驗(yàn)原理：線性判別函數(shù)的一般形式可表示成 其中 根據(jù)Fisher選擇投影方向W的原則，即使原樣本向量在該方向上的投影能兼顧類(lèi)間分布盡可能分開(kāi)，

7、類(lèi)內(nèi)樣本投影盡可能密集的要求，用以評(píng)價(jià)投影方向W的函數(shù)為： 上面的公式是使用Fisher準(zhǔn)則求最佳法線向量的解，該式比較重要。另外，該式這種形式的運(yùn)算，我們稱(chēng)為線性變換，其中式一個(gè)向量，是的逆矩陣，如是d維，和都是dd維，得到的也是一個(gè)d維的向量。向量就是使Fisher準(zhǔn)則函數(shù)達(dá)極大值的解，也就是按Fisher準(zhǔn)則將d維X空間投影到一維Y空間的最佳投影方向，該向量的各分量值是對(duì)原d維特征向量求加權(quán)和的權(quán)值。以上討論了線性判別函數(shù)加權(quán)向量W的確定方法，并討論了使Fisher準(zhǔn)則函數(shù)極大的d維向量 的計(jì)算方法，但是判別函數(shù)中的另一項(xiàng)尚未確定，一般可采用以下幾種方法確定如或者 或當(dāng)與已知時(shí)可用當(dāng)W0

8、確定之后，則可按以下規(guī)則分類(lèi)，使用Fisher準(zhǔn)則方法確定最佳線性分界面的方法是一個(gè)著名的方法，盡管提出該方法的時(shí)間比較早，仍見(jiàn)有人使用。2.5實(shí)驗(yàn)內(nèi)容：已知有兩類(lèi)數(shù)據(jù)和二者的概率已知=0.6， =0.4。中數(shù)據(jù)點(diǎn)的坐標(biāo)對(duì)應(yīng)一一如下： 數(shù)據(jù)：x = 0.2331 1.5207 0.6499 0.7757 1.0524 1.1974 0.2908 0.2518 0.6682 0.5622 0.9023 0.1333 -0.5431 0.9407 -0.2126 0.0507 -0.0810 0.7315 0.3345 1.0650 -0.0247 0.1043 0.3122 0.6655 0.5

9、838 1.1653 1.2653 0.8137 -0.3399 0.5152 0.7226 -0.2015 0.4070 -0.1717 -1.0573 -0.2099y = 2.3385 2.1946 1.6730 1.6365 1.7844 2.0155 2.0681 2.1213 2.4797 1.5118 1.9692 1.8340 1.8704 2.2948 1.7714 2.3939 1.5648 1.9329 2.2027 2.4568 1.7523 1.6991 2.4883 1.7259 2.0466 2.0226 2.3757 1.7987 2.0828 2.0798 1

10、.9449 2.3801 2.2373 2.1614 1.9235 2.2604z = 0.5338 0.8514 1.0831 0.4164 1.1176 0.5536 0.6071 0.4439 0.4928 0.5901 1.0927 1.0756 1.0072 0.4272 0.4353 0.9869 0.4841 1.0992 1.0299 0.7127 1.0124 0.4576 0.8544 1.1275 0.7705 0.4129 1.0085 0.7676 0.8418 0.8784 0.9751 0.7840 0.4158 1.0315 0.7533 0.9548數(shù)據(jù)點(diǎn)的對(duì)

11、應(yīng)的三維坐標(biāo)為x2 = 1.4010 1.2301 2.0814 1.1655 1.3740 1.1829 1.7632 1.9739 2.4152 2.5890 2.8472 1.9539 1.2500 1.2864 1.2614 2.0071 2.1831 1.7909 1.3322 1.1466 1.7087 1.5920 2.9353 1.4664 2.9313 1.8349 1.8340 2.5096 2.7198 2.3148 2.0353 2.6030 1.2327 2.1465 1.5673 2.9414y2 = 1.0298 0.9611 0.9154 1.4901 0.82

12、00 0.9399 1.1405 1.0678 0.8050 1.2889 1.4601 1.4334 0.7091 1.2942 1.3744 0.9387 1.2266 1.1833 0.8798 0.5592 0.5150 0.9983 0.9120 0.7126 1.2833 1.1029 1.2680 0.7140 1.2446 1.3392 1.1808 0.5503 1.4708 1.1435 0.7679 1.1288z2 = 0.6210 1.3656 0.5498 0.6708 0.8932 1.4342 0.9508 0.7324 0.5784 1.4943 1.0915

13、 0.7644 1.2159 1.3049 1.1408 0.9398 0.6197 0.6603 1.3928 1.4084 0.6909 0.8400 0.5381 1.3729 0.7731 0.7319 1.3439 0.8142 0.9586 0.7379 0.7548 0.7393 0.6739 0.8651 1.3699 1.1458數(shù)據(jù)的樣本點(diǎn)分布如下圖：2.6實(shí)驗(yàn)要求：請(qǐng)把數(shù)據(jù)作為樣本，根據(jù)Fisher選擇投影方向的原則，使原樣本向量在該方向上的投影能兼顧類(lèi)間分布盡可能分開(kāi)，類(lèi)內(nèi)樣本投影盡可能密集的要求，求出評(píng)價(jià)投影方向的函數(shù)，并在圖形表示出來(lái)。并在實(shí)驗(yàn)報(bào)告中表示出來(lái)，并求使

14、取極大值的。用matlab完成Fisher線性分類(lèi)器的設(shè)計(jì)，程序的語(yǔ)句要求有注釋。根據(jù)上述的結(jié)果并判斷（1，1.5，0.6）(1.2，1.0，0.55)，(2.0，0.9，0.68)，(1.2，1.5，0.89)，（0.23，2.33，1.43），屬于哪個(gè)類(lèi)別，并畫(huà)出數(shù)據(jù)分類(lèi)相應(yīng)的結(jié)果圖，要求畫(huà)出其在上的投影?；卮鹑缦聠?wèn)題，分析一下的比例因子對(duì)于Fisher判別函數(shù)沒(méi)有影響的原因。實(shí)驗(yàn)三、基于感知函數(shù)準(zhǔn)則線性分類(lèi)器設(shè)計(jì)3.1 實(shí)驗(yàn)類(lèi)型：設(shè)計(jì)型：線性分類(lèi)器設(shè)計(jì)（感知函數(shù)準(zhǔn)則）3.2 實(shí)驗(yàn)?zāi)康模罕緦?shí)驗(yàn)旨在讓同學(xué)理解感知準(zhǔn)則函數(shù)的原理，通過(guò)軟件編程模擬線性分類(lèi)器，理解感知函數(shù)準(zhǔn)則的確定過(guò)程，掌握梯度

15、下降算法求增廣權(quán)向量，進(jìn)一步深刻認(rèn)識(shí)線性分類(lèi)器。3.3 實(shí)驗(yàn)條件：matlab軟件3.4 實(shí)驗(yàn)原理：感知準(zhǔn)則函數(shù)是五十年代由Rosenblatt提出的一種自學(xué)習(xí)判別函數(shù)生成方法，由于Rosenblatt企圖將其用于腦模型感知器，因此被稱(chēng)為感知準(zhǔn)則函數(shù)。其特點(diǎn)是隨意確定的判別函數(shù)初始值，在對(duì)樣本分類(lèi)訓(xùn)練過(guò)程中逐步修正直至最終確定。感知準(zhǔn)則函數(shù)利用梯度下降算法求增廣權(quán)向量的做法，可簡(jiǎn)單敘述為： 任意給定一向量初始值，第k+1次迭代時(shí)的權(quán)向量等于第k次的權(quán)向量加上被錯(cuò)分類(lèi)的所有樣本之和與的乘積?？梢宰C明，對(duì)于線性可分的樣本集，經(jīng)過(guò)有限次修正，一定可以找到一個(gè)解向量，即算法能在有限步內(nèi)收斂。其收斂速度

16、的快慢取決于初始權(quán)向量和系數(shù)。3.5 實(shí)驗(yàn)內(nèi)容已知有兩個(gè)樣本空間w1和w2，這些點(diǎn)對(duì)應(yīng)的橫縱坐標(biāo)的分布情況是：x1=1,2,4,1,5;y1=2,1,-1,-3,-3;x2=-2.5,-2.5,-1.5,-4,-5,-3;y2=1,-1,5,1,-4,0;在二維空間樣本分布圖形如下所示：（plot(x1,y1,x2,y2)）3.6 實(shí)驗(yàn)任務(wù)：用matlab完成感知準(zhǔn)則函數(shù)確定程序的設(shè)計(jì)。請(qǐng)確定sample=(0,-3),(1,3),(-1,5),(-1,1),(0.5,6),(-3,-1),(2,-1),(0,1),(1,1),(-0.5,-0.5),( 0.5,-0.5);屬于哪個(gè)樣本空間,

17、根據(jù)數(shù)據(jù)畫(huà)出分類(lèi)的結(jié)果。請(qǐng)分析一下和對(duì)于感知函數(shù)準(zhǔn)則確定的影響，并確定當(dāng)=1/2/3時(shí)，相應(yīng)的k的值，以及不同時(shí)，k值得變化情況。根據(jù)實(shí)驗(yàn)結(jié)果請(qǐng)說(shuō)明感知準(zhǔn)則函數(shù)是否是唯一的，為什么？實(shí)驗(yàn)四、近鄰法分類(lèi)器設(shè)計(jì)4.1 實(shí)驗(yàn)類(lèi)型：設(shè)計(jì)型：近鄰法分類(lèi)器設(shè)計(jì)4.2 實(shí)驗(yàn)?zāi)康模罕緦?shí)驗(yàn)旨在讓同學(xué)理解近鄰法的原理，通過(guò)軟件編程分段線性分類(lèi)器的極端情況，理解k-近鄰法和剪輯近鄰的設(shè)計(jì)過(guò)程，掌握影響k-近鄰法錯(cuò)誤率的估算因素等。4.3 實(shí)驗(yàn)條件：matlab軟件4.4 實(shí)驗(yàn)原理：最近鄰法可以擴(kuò)展成找測(cè)試樣本的k個(gè)最近樣本作決策依據(jù)的方法。其基本規(guī)則是，在所有N個(gè)樣本中找到與測(cè)試樣本的k個(gè)最近鄰者，其中各類(lèi)別所占個(gè)

18、數(shù)表示成,則決策規(guī)劃是：如果則決策X (3-63)k近鄰一般采用k為奇數(shù)，跟投票表決一樣，避免因兩種票數(shù)相等而難以決策。剪輯近鄰法的基本思想是從這樣一個(gè)現(xiàn)象出發(fā)的，即當(dāng)不同類(lèi)別的樣本在分布上有交迭部分的，分類(lèi)的錯(cuò)誤率主要來(lái)自處于交迭區(qū)中的樣本。當(dāng)我們得到一個(gè)作為識(shí)別用的參考樣本集時(shí)，由于不同類(lèi)別交迭區(qū)域中不同類(lèi)別的樣本彼此穿插，導(dǎo)致用近鄰法分類(lèi)出錯(cuò)。因此如果能將不同類(lèi)別交界處的樣本以適當(dāng)方式篩選，可以實(shí)現(xiàn)既減少樣本數(shù)又提高正確識(shí)別率的雙重目的。為此可以利用現(xiàn)有樣本集對(duì)其自身進(jìn)行剪輯。下面以?xún)深?lèi)別問(wèn)題為例說(shuō)明這種方法的原理。假設(shè)現(xiàn)有一個(gè)樣本集N，樣本數(shù)量為N。我們將此樣本集分成兩個(gè)互相獨(dú)立的樣本

19、子集。一個(gè)被當(dāng)作考試集，另一個(gè)作為參考集，數(shù)量分別為與，+N。將中的樣本表示成，而在中的樣本表示為。將一個(gè)樣本集分成兩個(gè)相互獨(dú)立的樣本子集是指，分完以后的兩個(gè)子集具有相同的分布例如將一個(gè)樣本集分成兩個(gè)相互獨(dú)立的對(duì)等子集，則在每個(gè)特征空間的子區(qū)域，兩個(gè)子集都有相同的比例，或說(shuō)各類(lèi)數(shù)量近似相等。要注意指出的是每個(gè)子區(qū)域(從大空間到小空間)實(shí)際做時(shí)要用從總的集合中隨機(jī)抽取的方式進(jìn)行。剪輯的過(guò)程是： 首先對(duì)中每一個(gè)Xi在中找到其最近鄰的樣本Yi(Xi)，用Yi(Xi)表示Yi是Xi的最近鄰參考樣本。如果Yi與Xi不屬于同一類(lèi)別，則將Xi從中刪除，最后從中得到一個(gè)經(jīng)過(guò)剪輯的樣本集，稱(chēng)為剪輯樣本集?？捎脕?lái)

20、取代原樣本集，作為參考樣本集對(duì)待識(shí)別樣本進(jìn)行分類(lèi)。經(jīng)過(guò)剪輯后，要作為新的訓(xùn)練樣本集，則是對(duì)其性能進(jìn)行測(cè)試的樣本，如發(fā)現(xiàn)中的某個(gè)訓(xùn)練樣本對(duì)分類(lèi)不利，就要把它剪輯掉。實(shí)際上剪輯樣本的過(guò)程也可以用k-近鄰法進(jìn)行，即對(duì)中的每個(gè)樣本Xi，找到在中的k個(gè)近鄰，用k-近鄰法判斷Xi是否被錯(cuò)分類(lèi)。從而決定其取舍，其它過(guò)程與前述方法完全一樣。剪輯近鄰法也可用到多類(lèi)別情況。剪輯過(guò)程也可不止一次。重復(fù)多次的稱(chēng)為重復(fù)剪輯近鄰法。4.5 實(shí)驗(yàn)內(nèi)容如下面的matlab程序闡述的一樣，有兩個(gè)類(lèi)別，x，y，樣本的分布規(guī)律服從正態(tài)分布，其均值和方差分別為（2，2），（2，4），每個(gè)類(lèi)別里面分別有樣本100個(gè)，如下面的數(shù)據(jù)所列（

21、第一行為橫坐標(biāo)，相應(yīng)的下一行對(duì)應(yīng)的是縱坐標(biāo)），圖形所示clear allclose allx = 2 + sqrt(2) * randn(2,100)y = -2 + sqrt(4) * randn(2,100) plot(x(1,:),x(2,:),ro);hold on plot(y(1,:),y(2,:),b*);grid onx1 = 1 + sqrt(2) * randn(2,2)y1 = -1 + sqrt(4) * randn(2,3) plot(x1(1,:),x1(2,:),gs);hold on plot(y1(1,:),y1(2,:),gd);x = Columns 1

22、through 8 2.3393 3.0777 1.8737 2.7339 2.3723 2.0607 2.7958 1.1613 4.0497 2.7254 2.9687 1.2959 0.4281 2.7207 1.9812 2.2180 Columns 9 through 16 1.5151 2.8422 0.6955 1.9956 -1.4693 3.1027 2.0873 1.5888 1.3233 1.8781 4.1631 1.6972 0.4532 0.6957 4.4584 2.4472 Columns 17 through 24 1.2210 2.7702 5.3554 2

23、.5755 3.1579 1.4299 2.6070 0.5714 5.0188 1.7864 1.2680 1.4595 1.4049 2.2075 2.9997 2.4271 Columns 25 through 32 1.6260 2.3400 0.7291 1.4722 2.7524 3.1380 3.7800 0.9639 2.4397 2.5036 -0.1208 1.6814 0.1167 0.9358 0.9934 1.0406 Columns 33 through 40 1.6377 0.6335 0.5944 0.6900 2.7269 0.7390 -0.9497 2.2

24、660 1.1267 0.9308 -0.2890 5.5362 1.9855 2.0577 0.2602 -2.1053 Columns 41 through 48 0.7235 0.8765 1.2597 -0.1537 5.8664 1.4564 0.8619 1.2108 1.8883 2.6320 1.5465 0.4295 4.6099 2.7126 0.8788 3.3248 Columns 49 through 56 1.7689 3.9543 2.1305 3.5910 3.4501 2.8476 2.2794 1.7877 1.2711 1.4769 0.6973 2.78

25、46 2.4393 2.0672 3.1551 1.4484 Columns 57 through 64 3.9710 1.9122 3.8749 3.1035 2.1726 1.0068 3.2602 3.4937 -0.2553 3.2665 3.2834 1.1804 3.9009 4.2703 2.6435 3.7896 Columns 65 through 72 1.8904 0.9381 2.6499 1.1209 -0.7602 0.9878 3.3209 2.6825 2.2168 1.6666 0.6734 -0.2885 3.4517 -0.8319 3.5121 1.23

26、36 Columns 73 through 80 1.3980 1.7750 3.0315 4.3814 0.0746 1.0233 0.7370 2.3106 2.8502 2.4497 2.4605 2.5328 1.8479 1.9284 1.9925 2.9242 Columns 81 through 88 1.6755 2.5795 2.0735 1.2835 4.4952 2.1099 1.5293 4.2977 1.6345 4.2585 4.4371 3.7047 3.7777 2.2204 1.7801 2.4882 Columns 89 through 96 0.5578

27、2.3503 1.9332 2.8394 1.9185 1.1366 2.6934 3.6876 2.7108 2.2008 3.1586 1.0979 2.2828 1.1050 0.7363 6.0314 Columns 97 through 100 0.8630 4.8719 0.7702 1.1824 2.5452 0.9279 2.4000 2.9063y = Columns 1 through 8 -4.0741 -2.2019 0.2772 2.5119 -2.6005 -2.7258 -0.9535 -2.6182 -3.6242 1.8317 -0.3543 -1.3855

28、-1.0020 -2.2239 -0.4317 -2.0749 Columns 9 through 16 1.1157 -2.9820 -0.7157 -4.8064 -2.1368 0.0204 -4.6403 -1.4024 -1.1429 -1.9817 -1.0701 3.5301 -0.3107 -2.6776 -3.6135 -3.0649 Columns 17 through 24 1.0383 0.0278 -3.8224 -1.7426 -0.8970 -3.1769 -2.6497 -1.0395 -2.4134 -3.3121 -3.0811 -2.6541 -0.712

29、5 -3.1175 -1.9918 -2.0607 Columns 25 through 32 -2.9279 -5.6277 -3.2913 -0.3836 -6.5657 -6.9075 -4.9407 -2.4313 -3.3265 -2.0005 -1.7682 -2.1453 -0.7046 -3.2416 0.6713 -1.8313 Columns 33 through 40 1.1533 0.0380 -0.9046 0.4450 2.1135 -0.9418 -0.3634 0.2072 -0.2502 -1.9232 -1.7691 -3.5266 -1.1793 -2.3

30、955 -1.7491 -2.2116 Columns 41 through 48 -2.7789 -0.4264 -1.5418 -4.5961 -3.1488 -3.2813 0.1521 0.3201 -2.8753 -3.1971 -5.1734 -1.7970 -1.2165 1.0112 1.8658 0.6457 Columns 49 through 56 1.7258 2.4568 1.0064 -2.8329 -2.2510 -2.2932 -0.4625 -2.1996 -3.2806 -1.3224 -1.5015 -3.4684 -3.3073 -1.0344 1.30

31、12 -4.8685 Columns 57 through 64 -0.3933 -4.4781 -0.8298 -2.7694 -4.4012 -2.3012 -2.7238 4.4696 -1.9525 -3.9448 -4.2802 -2.8949 -7.0979 -1.7046 -2.1852 -2.5313 Columns 65 through 72 -0.2649 -0.5083 1.2236 -4.0723 -2.7961 -3.8391 -6.0491 -1.2649 0.8744 -3.6436 -1.7198 -1.0935 -1.5580 -0.2845 -1.1005

32、-7.1413 Columns 73 through 80 -0.7904 -4.9162 -0.8173 -3.0191 -1.5423 -3.4648 -3.9127 -1.0085 -0.1674 -1.8316 -1.9920 -6.5079 -1.1666 -3.2242 -2.6278 -1.7200 Columns 81 through 88 -3.0868 -2.2972 -3.3748 -1.1780 -3.1821 -3.7845 -1.4982 -1.7623 -0.3149 -4.3529 -1.3920 -1.1284 -0.0297 -5.7240 -2.0337

33、-2.7306 Columns 89 through 96 -2.0356 -3.1204 -1.6235 -1.6992 -4.8063 -2.9712 -5.5903 -3.5470 -2.3859 -0.1046 -0.6685 -3.2670 -0.1880 1.7160 -4.2020 -3.9663 Columns 97 through 100 -1.6145 2.1930 -2.3963 -5.2112 -0.5505 -5.9320 1.6841 -3.7229請(qǐng)使用k-近鄰法判斷下列sample中樣本的分類(lèi)情況（-0.7303，2.1624），（1.4445，-0.1649）

34、，（-1.2587，0.9187），（1.2617，-0.2086），（0.7302，1.6587） 4.6 實(shí)驗(yàn)要求：要求用matlab編程，來(lái)確定分類(lèi)的情況，并以圖形的方式表示出來(lái)。分析k值的不同對(duì)分類(lèi)的情況是否有影響，并把結(jié)果用圖形的方式表示出來(lái)?；卮鹣铝袉?wèn)題設(shè)在一個(gè)二維空間，A類(lèi)有三個(gè)訓(xùn)練樣本，圖中用紅點(diǎn)表示，B類(lèi)四個(gè)樣本，圖中用藍(lán)點(diǎn)表示。 試問(wèn)：（1） 按近鄰法分類(lèi)，這兩類(lèi)最多有多少個(gè)分界面（2） 畫(huà)出實(shí)際用到的分界面（3） A1與B4之間的分界面沒(méi)有用到請(qǐng)根據(jù)剪輯方法近鄰的原理，對(duì)樣本的空間進(jìn)行剪輯，再確定上述樣本點(diǎn)的分類(lèi)情況。并對(duì)兩種分類(lèi)結(jié)果進(jìn)行分析（選作）。實(shí)驗(yàn)五、動(dòng)態(tài)聚類(lèi)5.

35、1 實(shí)驗(yàn)類(lèi)型：設(shè)計(jì)型：C-均值動(dòng)態(tài)聚類(lèi)算法5.2 實(shí)驗(yàn)?zāi)康模罕緦?shí)驗(yàn)旨在讓同學(xué)理解動(dòng)態(tài)聚類(lèi)算法的原理，掌握C-均值算法，并能利用C-均值算法解決實(shí)際的分類(lèi)問(wèn)題。5.3 實(shí)驗(yàn)條件：matlab軟件5.4 實(shí)驗(yàn)原理：動(dòng)態(tài)聚類(lèi)方法的任務(wù)是將數(shù)據(jù)集劃分成一定數(shù)量的子集，例如將一個(gè)數(shù)據(jù)集劃分成三個(gè)子集，四個(gè)子集等。因此要?jiǎng)澐殖啥嗌賯€(gè)子集往往要預(yù)先確定，或大致確定，當(dāng)然這個(gè)子集數(shù)目在理想情況現(xiàn)能體現(xiàn)數(shù)據(jù)集比較合理的劃分。這里要解決的問(wèn)題是:1 怎樣才能知道該數(shù)據(jù)集應(yīng)該劃分的子集數(shù)目2 如果劃分?jǐn)?shù)目已定，則又如何找到最佳劃分。因?yàn)閿?shù)據(jù)集可以有許多種不同的劃分方法，需要對(duì)不同的劃分作出評(píng)價(jià)，并找到優(yōu)化的劃分結(jié)果。由于優(yōu)化過(guò)程是從不甚合理的劃分到“最佳”劃分，是一個(gè)動(dòng)態(tài)的迭代過(guò)程，故這種方法稱(chēng)為動(dòng)態(tài)聚類(lèi)方法。我們先討論在子集數(shù)目已定條件下的聚類(lèi)方法，然后在討論如何確定合理的子集數(shù)目。一個(gè)動(dòng)態(tài)聚類(lèi)算法需要有以下幾個(gè)要點(diǎn)：1.選定某種距離度量作為樣本間的相似性度量；2.確定樣本合理的初始分類(lèi)，包括代表點(diǎn)的選擇，初始分類(lèi)的方法選擇等。3.確定某種評(píng)價(jià)聚類(lèi)