改進(jìn)的模糊聚類在分類器設(shè)計中的應(yīng)用

1、改進(jìn)的模糊聚類在分類器設(shè)計中的應(yīng)用摘要：提出了一種基于改進(jìn)的模糊C均值算法的分類器設(shè)計方法。該方法解決了分類過程中樣本點分散和樣本錯分的問題。其基本思想是：在樣本決策函數(shù)中引入隸屬度函數(shù)，為了避免傳統(tǒng)的隸屬度函數(shù)歸一化問題，引入放松的歸一化條件，利用決策函數(shù)根據(jù)條件求偏導(dǎo)，得到經(jīng)過訓(xùn)練的分類器。采用UCI標(biāo)準(zhǔn)進(jìn)行數(shù)據(jù)集實驗，實驗結(jié)果表明，該算法具有一定的優(yōu)越性。關(guān)鍵詞：模糊聚類；模糊隸屬度；分類器;模糊C均值;歸一化處理0引言模式分類和回歸問題是機(jī)器學(xué)習(xí)和模式識別等研究領(lǐng)域中常遇到的最基本的任務(wù)之一，該任務(wù)的主要目標(biāo)是利用實際數(shù)據(jù)構(gòu)建一個具有較強(qiáng)泛化能力的預(yù)測模型，使我們可以對新的未知對象給出

2、盡可能精確的估計。因此，人們關(guān)注的一個根本問題是如何提高學(xué)習(xí)系統(tǒng)的泛化能力。分類是數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)中的一個重要研究課題，它對由屬性集描述的實例指定最適合的類標(biāo)簽，一般這個目標(biāo)是通過構(gòu)造分類器實現(xiàn)的。有許多方法和技術(shù)用于建立分類器模型，例如決策樹、神經(jīng)網(wǎng)絡(luò)、K-最近鄰、貝葉斯方法、支持向量機(jī)等。為了改變在樣本分類中，存在樣本分散點不能很好地分類的問題，本文提出了基于改進(jìn)的模糊C均值算法的分類器，就是在原有算法的樣本決策函數(shù)中引入隸屬度函數(shù)。同時為避免傳統(tǒng)的隸屬度函數(shù)歸一化問題，引入放松的歸一化條件，利用決策函數(shù)根據(jù)條件求偏導(dǎo)，得到我們所訓(xùn)練的分類器。采用UCI標(biāo)準(zhǔn)進(jìn)行數(shù)據(jù)集實驗，結(jié)果表明，本文

3、所提出的NN-MDC與MDC相比具有較高的分類精度。1C均值分類器設(shè)有C個模式類1,2,c，第i個模式類i的訓(xùn)練樣本數(shù)為ni,Xis(s=1,2,ni)表示第i個模式類i的第s個訓(xùn)練樣本。第i個模式類i的樣本均值向量為mimi=1n刀Xis。對于待識別樣本X，計算它到第i個模式類的均值向量mi的距離，即：di(X)=IIX-miIIi=1,2,c(1)常用的最小距離分類器就是根據(jù)式(1)定義的距離di(X)，對X進(jìn)行分類決策。決策規(guī)則如下：e(X)=arg:minii1是一個可以控制聚類結(jié)果的模糊程度的常數(shù)。在不同的隸屬度定義方法下，最小化式(3)，使得所有樣本各類的隸屬度總和為n,即刀cj=

4、1刀ni=1j(xi)=n(4)在滿足式(4)的條件下，令Jm對mi和卩j(xi)的偏導(dǎo)數(shù)為0,可得到必要條件式(5)和式(6)：卩j(xi)=n(1/Ixi-mjI2)1/(b-1)刀ck=1刀nl=1(1/11xl-xkII2)1/(b-1)i=1,2,n;j=1,2,c(5)mj=刀ni=1卩j(xi)bxi刀ni=1卩j(xi)b,j=1,2，,c(6)改進(jìn)的模糊C均值算法與C均值算法相比,具有更好的魯棒性,當(dāng)樣本有分散點存在時,有較好的聚類結(jié)果,可以對樣本進(jìn)行正確分類。實驗結(jié)果3.1實驗數(shù)據(jù)我們在UCI標(biāo)準(zhǔn)數(shù)據(jù)集上進(jìn)行了測試,選用了6個數(shù)據(jù)集,分另為zoo,iris,wine,wav

5、e,Segmen,Glassdata為了能夠驗證該分類器集成方法的有效性,我們選用的6個數(shù)據(jù)集中既有多類別大樣本數(shù)據(jù)集,又有多類另小樣本數(shù)據(jù)集。表1列出了實驗使用的每個數(shù)據(jù)集的實例個數(shù)、類個數(shù)、屬性個數(shù)等數(shù)據(jù)信息。3.2實驗結(jié)果及分析在實驗過程中，將每個訓(xùn)練集隨機(jī)分成5組，每次用其中2組作為測試集，其余3組作為訓(xùn)練集，實驗結(jié)果是5次實驗結(jié)果的平均值，我們采用了5倍交叉驗證技術(shù)，因此，每組樣本都可以作為測試集。為了驗證該方法的有效性，我們將本文所提到的方法與最小距離分類器進(jìn)行比較，并在表2和表3的最后一行列出了2個分類器在6個數(shù)據(jù)集上的平均值。實驗結(jié)果如表2和表3所示。表2給出了各個數(shù)據(jù)集在訓(xùn)練

6、樣本上的識別結(jié)果，表3給出了各個數(shù)據(jù)集在測試樣本上的識別結(jié)果。從表2和表3可以看出，對于這些數(shù)據(jù)集，無論在訓(xùn)練集或測試集上，本文提出的方法與最小距離分類器相比，在識別率上都得到了進(jìn)一步的提高。在訓(xùn)練樣本上，本文方法的平均分類準(zhǔn)確率比最小距離分類器提高約5.57，在測試樣本上，本文方法的平均分類準(zhǔn)確率比最小距離分類器提高約4.95。這些實驗結(jié)果表明，本文方法比最小距離分類器具有更高的分類準(zhǔn)確率。結(jié)束語本文提出了一種基于改進(jìn)的模糊C均值算法的分類器設(shè)計方法。所提到的方法在樣本決策函數(shù)中引入隸屬度函數(shù)，為了避免傳統(tǒng)的隸屬度函數(shù)歸一化問題，引入了放松的歸一化條件，利用決策函數(shù)根據(jù)條件求偏導(dǎo)，得到我們所

7、訓(xùn)練的分類器。在實驗中，我們發(fā)現(xiàn)如果在迭代過程中出現(xiàn)某個聚類中心距離某個樣本非常近，則最后可能會得到只包含這一個樣本的一個聚類，這個問題是我們下一步研究的關(guān)鍵。參考文獻(xiàn)：1張春霞，張講社.選擇性集成學(xué)習(xí)算法綜述J.計算機(jī)學(xué)報,2011(8).2TOTHD，AACHT.ImprovedMinimumDistanceClassificationWithGaussianOutlierDetectionForIndustrialInspectionC.Italy，11thInternationalconferenceonImageAnalysisandProcessingPalermo，2001.3郭亞琴，王正群，樂曉容等.基于自適應(yīng)距離度量的最小距離分類器集成J.計算機(jī)應(yīng)用,2006(7).4CHENGXY,GUOHL.TheTechnologyofSelectiveMultipleClassifiersEnsembleBasedonKernelClusteringC.Proceedingsofthe2ndSymposiumonIntelligentInformationTechnologyApplication.Shanghai,China,2008.5BAKKERB,HESKEST.Clusteringensemblesofneuralnetworkmo