改進(jìn)的模糊聚類在分類器設(shè)計(jì)中的應(yīng)用

1、改進(jìn)的模糊聚類在分類器設(shè)計(jì)中的應(yīng)用摘要：提出了一種基于改進(jìn)的模糊C均值算法的分類器設(shè)計(jì)方法。該方法解決了分類過(guò)程中樣本點(diǎn)分散和樣本錯(cuò)分的問(wèn)題。其基本思想是：在樣本決策函數(shù)中引入隸屬度函數(shù)，為了避免傳統(tǒng)的隸屬度函數(shù)歸一化問(wèn)題，引入放松的歸一化條件，利用決策函數(shù)根據(jù)條件求偏導(dǎo)，得到經(jīng)過(guò)訓(xùn)練的分類器。采用UCI標(biāo)準(zhǔn)進(jìn)行數(shù)據(jù)集實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明，該算法具有一定的優(yōu)越性。關(guān)鍵詞：模糊聚類；模糊隸屬度；分類器;模糊C均值;歸一化處理0引言模式分類和回歸問(wèn)題是機(jī)器學(xué)習(xí)和模式識(shí)別等研究領(lǐng)域中常遇到的最基本的任務(wù)之一，該任務(wù)的主要目標(biāo)是利用實(shí)際數(shù)據(jù)構(gòu)建一個(gè)具有較強(qiáng)泛化能力的預(yù)測(cè)模型，使我們可以對(duì)新的未知對(duì)象給出

2、盡可能精確的估計(jì)。因此，人們關(guān)注的一個(gè)根本問(wèn)題是如何提高學(xué)習(xí)系統(tǒng)的泛化能力。分類是數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)中的一個(gè)重要研究課題，它對(duì)由屬性集描述的實(shí)例指定最適合的類標(biāo)簽，一般這個(gè)目標(biāo)是通過(guò)構(gòu)造分類器實(shí)現(xiàn)的。有許多方法和技術(shù)用于建立分類器模型，例如決策樹(shù)、神經(jīng)網(wǎng)絡(luò)、K-最近鄰、貝葉斯方法、支持向量機(jī)等。為了改變?cè)跇颖痉诸愔校嬖跇颖痉稚Ⅻc(diǎn)不能很好地分類的問(wèn)題，本文提出了基于改進(jìn)的模糊C均值算法的分類器，就是在原有算法的樣本決策函數(shù)中引入隸屬度函數(shù)。同時(shí)為避免傳統(tǒng)的隸屬度函數(shù)歸一化問(wèn)題，引入放松的歸一化條件，利用決策函數(shù)根據(jù)條件求偏導(dǎo)，得到我們所訓(xùn)練的分類器。采用UCI標(biāo)準(zhǔn)進(jìn)行數(shù)據(jù)集實(shí)驗(yàn)，結(jié)果表明，本文

3、所提出的NN-MDC與MDC相比具有較高的分類精度。1C均值分類器設(shè)有C個(gè)模式類1,2,c，第i個(gè)模式類i的訓(xùn)練樣本數(shù)為ni,Xis(s=1,2,ni)表示第i個(gè)模式類i的第s個(gè)訓(xùn)練樣本。第i個(gè)模式類i的樣本均值向量為mimi=1n刀Xis。對(duì)于待識(shí)別樣本X，計(jì)算它到第i個(gè)模式類的均值向量mi的距離，即：di(X)=IIX-miIIi=1,2,c(1)常用的最小距離分類器就是根據(jù)式(1)定義的距離di(X)，對(duì)X進(jìn)行分類決策。決策規(guī)則如下：e(X)=arg:minii1是一個(gè)可以控制聚類結(jié)果的模糊程度的常數(shù)。在不同的隸屬度定義方法下，最小化式(3)，使得所有樣本各類的隸屬度總和為n,即刀cj=

4、1刀ni=1j(xi)=n(4)在滿足式(4)的條件下，令Jm對(duì)mi和卩j(xi)的偏導(dǎo)數(shù)為0,可得到必要條件式(5)和式(6)：卩j(xi)=n(1/Ixi-mjI2)1/(b-1)刀ck=1刀nl=1(1/11xl-xkII2)1/(b-1)i=1,2,n;j=1,2,c(5)mj=刀ni=1卩j(xi)bxi刀ni=1卩j(xi)b,j=1,2，,c(6)改進(jìn)的模糊C均值算法與C均值算法相比,具有更好的魯棒性,當(dāng)樣本有分散點(diǎn)存在時(shí),有較好的聚類結(jié)果,可以對(duì)樣本進(jìn)行正確分類。實(shí)驗(yàn)結(jié)果3.1實(shí)驗(yàn)數(shù)據(jù)我們?cè)赨CI標(biāo)準(zhǔn)數(shù)據(jù)集上進(jìn)行了測(cè)試,選用了6個(gè)數(shù)據(jù)集,分另為zoo,iris,wine,wav

5、e,Segmen,Glassdata為了能夠驗(yàn)證該分類器集成方法的有效性,我們選用的6個(gè)數(shù)據(jù)集中既有多類別大樣本數(shù)據(jù)集,又有多類另小樣本數(shù)據(jù)集。表1列出了實(shí)驗(yàn)使用的每個(gè)數(shù)據(jù)集的實(shí)例個(gè)數(shù)、類個(gè)數(shù)、屬性個(gè)數(shù)等數(shù)據(jù)信息。3.2實(shí)驗(yàn)結(jié)果及分析在實(shí)驗(yàn)過(guò)程中，將每個(gè)訓(xùn)練集隨機(jī)分成5組，每次用其中2組作為測(cè)試集，其余3組作為訓(xùn)練集，實(shí)驗(yàn)結(jié)果是5次實(shí)驗(yàn)結(jié)果的平均值，我們采用了5倍交叉驗(yàn)證技術(shù)，因此，每組樣本都可以作為測(cè)試集。為了驗(yàn)證該方法的有效性，我們將本文所提到的方法與最小距離分類器進(jìn)行比較，并在表2和表3的最后一行列出了2個(gè)分類器在6個(gè)數(shù)據(jù)集上的平均值。實(shí)驗(yàn)結(jié)果如表2和表3所示。表2給出了各個(gè)數(shù)據(jù)集在訓(xùn)練

6、樣本上的識(shí)別結(jié)果，表3給出了各個(gè)數(shù)據(jù)集在測(cè)試樣本上的識(shí)別結(jié)果。從表2和表3可以看出，對(duì)于這些數(shù)據(jù)集，無(wú)論在訓(xùn)練集或測(cè)試集上，本文提出的方法與最小距離分類器相比，在識(shí)別率上都得到了進(jìn)一步的提高。在訓(xùn)練樣本上，本文方法的平均分類準(zhǔn)確率比最小距離分類器提高約5.57，在測(cè)試樣本上，本文方法的平均分類準(zhǔn)確率比最小距離分類器提高約4.95。這些實(shí)驗(yàn)結(jié)果表明，本文方法比最小距離分類器具有更高的分類準(zhǔn)確率。結(jié)束語(yǔ)本文提出了一種基于改進(jìn)的模糊C均值算法的分類器設(shè)計(jì)方法。所提到的方法在樣本決策函數(shù)中引入隸屬度函數(shù)，為了避免傳統(tǒng)的隸屬度函數(shù)歸一化問(wèn)題，引入了放松的歸一化條件，利用決策函數(shù)根據(jù)條件求偏導(dǎo)，得到我們所

7、訓(xùn)練的分類器。在實(shí)驗(yàn)中，我們發(fā)現(xiàn)如果在迭代過(guò)程中出現(xiàn)某個(gè)聚類中心距離某個(gè)樣本非常近，則最后可能會(huì)得到只包含這一個(gè)樣本的一個(gè)聚類，這個(gè)問(wèn)題是我們下一步研究的關(guān)鍵。參考文獻(xiàn)：1張春霞，張講社.選擇性集成學(xué)習(xí)算法綜述J.計(jì)算機(jī)學(xué)報(bào),2011(8).2TOTHD，AACHT.ImprovedMinimumDistanceClassificationWithGaussianOutlierDetectionForIndustrialInspectionC.Italy，11thInternationalconferenceonImageAnalysisandProcessingPalermo，2001.3郭亞琴，王正群，樂(lè)曉容等.基于自適應(yīng)距離度量的最小距離分類器集成J.計(jì)算機(jī)應(yīng)用,2006(7).4CHENGXY,GUOHL.TheTechnologyofSelectiveMultipleClassifiersEnsembleBasedonKernelClusteringC.Proceedingsofthe2ndSymposiumonIntelligentInformationTechnologyApplication.Shanghai,China,2008.5BAKKERB,HESKEST.Clusteringensemblesofneuralnetworkmo