Matlab筆記——模糊聚類(lèi)分析原理及實(shí)現(xiàn)023

1、23. 模糊聚類(lèi)分析原理及實(shí)現(xiàn)聚類(lèi)分析，就是用數(shù)學(xué)方法研究和處理所給定對(duì)象，按照事物間的相似性進(jìn)行區(qū)分和分類(lèi)的過(guò)程。 傳統(tǒng)的聚類(lèi)分析是一種硬劃分，它把每個(gè)待識(shí)別的對(duì)象嚴(yán)格地劃分到某個(gè)類(lèi)中，具有非此即彼的性質(zhì)，這種分類(lèi)的類(lèi)別界限是分明的。隨著模糊理論的建立，人們開(kāi)始用模糊的方法來(lái)處理聚類(lèi)問(wèn)題，稱(chēng)為模糊聚類(lèi)分析。由于模糊聚類(lèi)得到了樣本數(shù)與各個(gè)類(lèi)別的不確定性程度，表達(dá)了樣本類(lèi)屬的中介性，即建立起了樣本對(duì)于類(lèi)別的不確定性的描述，能更客觀(guān)地反映現(xiàn)實(shí)世界。本篇先介紹傳統(tǒng)的兩種（適合數(shù)據(jù)量較小情形，及理解模糊聚類(lèi)原理）：基于擇近原則、模糊等價(jià)關(guān)系的模糊聚類(lèi)方法。（一）預(yù)備知識(shí)一、模糊等價(jià)矩陣定義1設(shè)R=(r

2、ij)n×n為模糊矩陣，I為n階單位矩陣，若R滿(mǎn)足i) 自反性：IR （等價(jià)于rii =1）；ii) 對(duì)稱(chēng)性：RT=R;則稱(chēng)R為模糊相似矩陣，若再滿(mǎn)足iii) 傳遞性：R2R（等價(jià)于）則稱(chēng)R為模糊等價(jià)矩陣。定理1設(shè)R為n階模糊相似矩陣，則存在一個(gè)最小的自然數(shù)k（k<n）, 使得Rk為模糊等價(jià)矩陣，且對(duì)一切大于k的自然數(shù)l，恒有Rl=Rk. Rk稱(chēng)為R的傳遞閉包矩陣，記為t(R).二、模糊矩陣的-截矩陣定義2設(shè)A=(aij)n×m為模糊矩陣，對(duì)任意的0,1, 作矩陣其中，稱(chēng)為模糊矩陣A的-截矩陣。顯然，A為布爾矩陣，且其等價(jià)性與與A一致。意義：將模糊等價(jià)矩陣轉(zhuǎn)化為等價(jià)的

3、布爾矩陣，可以得到有限論域上的普通等價(jià)關(guān)系，而等價(jià)關(guān)系是可以分類(lèi)的。因此，當(dāng)在0,1上變動(dòng)時(shí)，由A得到不同的分類(lèi)。若12, 則A1A2, 從而由A2確定的分類(lèi)是由A1確定的分類(lèi)的加細(xì)。當(dāng)從1遞減變化到0時(shí)，A的分類(lèi)由細(xì)變粗，逐漸歸并，形成一個(gè)分級(jí)聚類(lèi)樹(shù)。例1設(shè)U=u1, u2, u3, u4, u5, 對(duì)給定的U上的模糊等價(jià)關(guān)系讓從1到0變化，觀(guān)察分類(lèi)過(guò)程。 (1) 當(dāng)=1時(shí)，分類(lèi)結(jié)果為5類(lèi)：（每行代表一類(lèi)，1代表對(duì)應(yīng)元素在該類(lèi)）u1, u2, u3, u4, u5 (2) 當(dāng)=0.8時(shí)，分類(lèi)結(jié)果為4類(lèi)：u1, u3, u2, u4, u5 (3) 當(dāng)=0.6時(shí)，分類(lèi)結(jié)果為3類(lèi)：u1, u3,

4、 u2, u4, u5 (4) 當(dāng)=0.5時(shí)，分類(lèi)結(jié)果為2類(lèi)：u1, u3, u4, u5, u2 (4) 當(dāng)=0.4（R中的最小值）時(shí)，分類(lèi)結(jié)果為1類(lèi)：u1, u2, u3, u4, u5整個(gè)動(dòng)態(tài)分類(lèi)過(guò)程如下：（二）基于擇近原則的模糊聚類(lèi)擇近原則就是利用貼近度來(lái)實(shí)現(xiàn)分類(lèi)操作，貼近度用來(lái)衡量?jī)蓚€(gè)模糊集A和B的接近程度，用N(A,B)表示。貼近度越大，表明二者越接近。設(shè)論域有限或者在一定區(qū)間，即U=u1, u2, , un或U=a,b, 常用的貼近度有以下三種： (1) 海明貼近度(2) 歐氏貼近度(3) 格貼近度其中，.Matlab實(shí)現(xiàn)：格貼近度的實(shí)現(xiàn)函數(shù)fuz_closing.mfuncti

5、on y=fuz_closing(A,B,type)%要求A與B列數(shù)相同的行向量m,n=size(A);switch typecase 1 %海明貼近度 y=1-sum(abs(A-B)/n; case 2 %歐氏貼近度 y=1-(sum(A-B).2)(1/2)/sqrt(n); case 3 %格貼近度 y1=max(min(ones(m,n)-A,ones(m,n)-B); %ones(m,n)-A等于Ac y2=max(min(A,B); y=min(y1,y2);end例2 設(shè)某產(chǎn)品的質(zhì)量等級(jí)分為5級(jí)，其中一級(jí)有5種評(píng)判因素u1, u2, u3, u4, u5. 每一等級(jí)的模糊集為B

6、1=0.5 0.5 0.6 0.4 0.3B2=0.3 0.3 0.4 0.2 0.2B3=0.2 0.2 0.3 0.1 0.1B4=0.1 0.1 0.2 0.1 0B5=0.1 0.1 0.1 0.1 0假設(shè)某產(chǎn)品各評(píng)判因素的值為A=0.4 0.3 0.2 0.1 0.2, 問(wèn)該產(chǎn)品屬于哪個(gè)等級(jí)？代碼：A=0.4 0.3 0.2 0.1 0.2;B=0.5 0.5 0.6 0.4 0.3; 0.3 0.3 0.4 0.2 0.2; 0.2 0.2 0.3 0.1 0.1; 0.1 0.1 0.2 0.1 0; 0.1 0.1 0.1 0.1 0;fori=1:5haiming(i)=fu

7、z_closing(A,B(i,:),1);oushi(i)=fuz_closing(A,B(i,:),2);ge(i)=fuz_closing(A,B(i,:),3);endhaimingoushige運(yùn)行結(jié)果：haiming = 0.7800 0.9200 0.9000 0.8600 0.8400oushi = 0.5081 0.9106 0.8658 0.6870 0.6422ge = 0.4000 0.3000 0.2000 0.2000 0.1000可見(jiàn)樣本A與各等級(jí)的格貼近度分別為0.4, 0.3, 0.2, 0.2, 0.1, 故可認(rèn)為該產(chǎn)品屬于B1等級(jí)。若按令兩種貼近度判斷，該

8、產(chǎn)品屬于B2等級(jí)。（三）基于模糊等價(jià)關(guān)系的模糊聚類(lèi)一、算法步驟1. 樣本數(shù)據(jù)歸一化設(shè)X=x1, x2, , xn為要分類(lèi)的n個(gè)樣本，每個(gè)樣本有m個(gè)指標(biāo)，即xi= xi1, xi2, , xim, i=1,2,.,n得到原始數(shù)據(jù)矩陣X=(xij)n×m.由于不同指標(biāo)的數(shù)據(jù)量綱不同，為了使數(shù)據(jù)能夠比較，要先對(duì)X做歸一化處理。2. 建立模糊相似矩陣R先建立樣本xi與xj相似程度rij, 進(jìn)而構(gòu)造模糊相似矩陣R=(rij)n×n建立rij常用的方法有：(1) 相似系數(shù)法夾角余弦法：相關(guān)系數(shù)法：(2)距離法一般取rij=1-c(d(xi,xj), 其中c和為適當(dāng)選取的參數(shù)，使得0ri

9、j1. 常用的距離有：海明距離：歐氏距離：切比雪夫距離：(3) 貼近度法最大最小法：算術(shù)平均最小法：幾何平均最小法：3. 求出R的傳遞閉包t(R)即改造相似關(guān)系為等價(jià)關(guān)系：令, 再令, , 直到滿(mǎn)足與Rl相等，即為t(R), 仍記為R. 4. 選取合適的, 利用-截矩陣R進(jìn)行分類(lèi)（參考例1）。二、Matlab實(shí)現(xiàn)求模糊相似矩陣R的函數(shù)：fuz_distance.mfunction R=fuz_distance(x,type)%x為歸一化的數(shù)據(jù)矩陣, type選擇計(jì)算相似程度的方法%返回模糊相似矩陣Rn,m=size(x);%距離法的選擇參數(shù)c和a, 需要根據(jù)具體情況修改以保證R(i,j)屬于0

10、,1c=0.1;a=1;fori=1:nfor j=1:nswitch typecase 1 %夾角余弦法 R(i,j)=(x(i,:)*x(j,:)')/(norm(x(i,:),2)*norm(x(j,:),2); case 2 %相關(guān)系數(shù)法Dxi=abs(x(i,:)-mean(x(i,:);Dxj=abs(x(j,:)-mean(x(j,:); R(i,j)=(Dxi*Dxj')/(norm(Dxi,2)*norm(Dxj,2);case 3 %海明距離法 d=sum(abs(x(i,:)-x(j,:);R(i,j)=1-c*da;case 4 %歐氏距離法 d=nor

11、m(x(i,:)-x(j,:),2);R(i,j)=1-c*da;case 5 %切比雪夫距離法 d=max(abs(x(i,:)-x(j,:);R(i,j)=1-c*da;case 6 最大最小(貼近度)法R(i,j)=sum(min(x(i,:);x(j,:)/sum(max(x(i,:);x(j,:);case 7 算術(shù)平均最小(貼近度)法 R(i,j)=2*sum(min(x(i,:);x(j,:)/sum(x(i,:)+x(j,:);case 8 %幾何平均最小(貼近度)法R(i,j)=sum(min(x(i,:);x(j,:)/sum(sqrt(x(i,:).*x(j,:);end

12、endend求R的傳遞閉包t(R)的函數(shù)：tran_R.mfunction B,k=tran_R(R)%R為模糊相似矩陣, 循環(huán)構(gòu)造滿(mǎn)足傳遞性的t(R)%k為滿(mǎn)足R2k = Rk的最小的自然數(shù)kn=length(R);B=zeros(n,n);flag=0;k=1/2;while flag=0 B=fco(R,R); %做模糊合成運(yùn)算 k=2*k;if B=Rflag=1;else R=B; %循環(huán)計(jì)算R傳遞閉包endend上面的函數(shù)tran_R.m調(diào)用函數(shù)矩陣模糊合成算子函數(shù)：fco.mfunction B=fco(Q,R)%實(shí)現(xiàn)模糊合成算子的計(jì)算, 要求Q的列數(shù)等于R的行數(shù)n,m=size

13、(Q); m,l=size(R);B=zeros(n,l);fori=1:nfor k=1:l B(i,k)=max(min(Q(i,:);R(:,k)'); endend求t(R)的-截矩陣的函數(shù)：fuz_lamda.mfunction y=fuz_lamda(X,m)%用-截矩陣將樣本分成m類(lèi), m總樣本數(shù)lamda=unique(X)' %根據(jù)R中的值取值%unique函數(shù)取矩陣不重復(fù)元素組成向量并從小到大排好序X(find(X<lamda(m)=0;X(find(X>=lamda(m)=1;y=X;例3某地區(qū)設(shè)有11個(gè)雨量站，其分布如圖所示：10年來(lái)各雨量站

14、測(cè)得的年降雨量表如下：現(xiàn)因經(jīng)費(fèi)問(wèn)題，希望撤銷(xiāo)幾個(gè)雨量站，問(wèn)撤銷(xiāo)哪些雨量站而不會(huì)太多地減少降雨信息？分析：對(duì)11個(gè)雨量站進(jìn)行模糊聚類(lèi)，同一類(lèi)的只需保留一個(gè)即可。比如，已知該市決定撤銷(xiāo)6個(gè)只保留5個(gè)雨量站，則模糊聚類(lèi)為5類(lèi)。代碼：loaddata;%數(shù)據(jù)歸一化X,ps=mapminmax(data',0,1);X=X'%選擇計(jì)算相似程度的方法type=3; %c=0.1, a=1, 此時(shí)也稱(chēng)絕對(duì)值減數(shù)法%求模糊相似矩陣R0R0=fuz_distance(X,type)%將模糊相似矩陣R0改造成模糊等價(jià)矩陣RR,k=tran_R(R0)%求將樣本分成8類(lèi)的-截矩陣R_lamda=fu

15、z_lamda(R,8)運(yùn)行結(jié)果及說(shuō)明：歸一化后的數(shù)據(jù)矩陣X:模糊相似矩陣R0:由R0改造成的模糊等價(jià)矩陣R:k = 8說(shuō)明R16=R8.將樣本分為5類(lèi)的-截矩陣R_lamda:可以判斷5類(lèi)分別是：x1,x7 x2, x4,x5,x6 x3, x9 x8, x11 x10注：對(duì)于這類(lèi)C均值模糊聚類(lèi)問(wèn)題，也可以直接調(diào)用Matlab自帶的模糊聚類(lèi)函數(shù)fcm.m求解。調(diào)用方式：center,U, obj_fcn,=fcm(data,cluster_n)其中，data為歸一化后的樣本數(shù)據(jù)，每一行是一個(gè)樣本；cluster_n為聚類(lèi)數(shù)；center返回最終的聚類(lèi)中心矩陣；U為最終的模糊分區(qū)矩陣；obj_fcn為迭代過(guò)程中的目標(biāo)函數(shù)值（越小越好）。代碼：（X為前面已歸一化的樣本數(shù)據(jù)）center,U, obj_fcn=fcm(X,5)maxU=max(U);index1 = find(U(1,:)=maxU); %第一類(lèi)index2 = find(U(2,:)=maxU); %第二類(lèi)index3 = find(U(3,:)=maxU); %第三類(lèi)index4 = find(U(4,:)=maxU); %第四類(lèi)index5 = find(U(5,:)=maxU);