數(shù)據(jù)預(yù)處理任務(wù)及方法

1、數(shù)據(jù)預(yù)處理任務(wù)及方法聚類(lèi)(Aggregation)抽樣(Sample)維數(shù)約減(Dimensionality reduction )特征子集選擇(Feature subset selection)特征創(chuàng)造(Feature creation)離散化和二進(jìn)制化(Discretization and binarization)變量轉(zhuǎn)換(Variable transformation)總的來(lái)說(shuō)，這些內(nèi)容可以分為兩類(lèi)：為分析數(shù)據(jù)選擇數(shù)據(jù)對(duì)象和屬性；為分析數(shù)據(jù)創(chuàng)造或改 變屬性。所有這些內(nèi)容都是考慮到時(shí)間、成本和質(zhì)量，提高數(shù)據(jù)挖掘分析質(zhì)量。(屬性、特 征、變量都是近義詞，不做具體區(qū)分)考慮到有時(shí)候“l(fā)ess

2、 is more”，將兩個(gè)或多個(gè)對(duì)象合并成一個(gè)就是聚類(lèi)的思想。舉個(gè) 例子，下表是由交易記錄(數(shù)據(jù)對(duì)象)構(gòu)成的一個(gè)數(shù)據(jù)集，它是不同地點(diǎn)的商店在一年內(nèi)的 時(shí)間的產(chǎn)品日常銷(xiāo)售數(shù)據(jù)(Minneapolis，Chicago，Paris，)。聚合這樣的數(shù)據(jù)集的 一種方法是將一個(gè)商店的所有的交易記錄用一個(gè)單獨(dú)的商店范圍的交易代替。這樣就可以減 少上千條交易記錄了。Transaction IDItemStore LocationDataPrice 101123WatchChicago09/06/04$25.99 101123BatteryChicago09/06/04$5.99 101124ShoesMinn

3、eapolis09/06/04$75.00 但是這樣的方法有一個(gè)非常明顯的問(wèn)題:如何創(chuàng)造一個(gè)聚類(lèi)的交易記錄，即應(yīng)該如何根 據(jù)一個(gè)指定地點(diǎn)的記錄來(lái)合并屬性的值，創(chuàng)造聚類(lèi)交易，使其能代表一個(gè)商店或者一個(gè)時(shí)間 的交易。數(shù)值型屬性如價(jià)格，可以采用加和或者平均值的方式代替。質(zhì)量型屬性如項(xiàng)目，則 可以采用省略或者某個(gè)地點(diǎn)的項(xiàng)目和的方法。該表格的數(shù)據(jù)可以看成是多維的列，每個(gè)屬性即是一個(gè)維度。根據(jù)這種思想，聚類(lèi)可以 看成是消除屬性，如刪除項(xiàng)目列，或者減少某個(gè)屬性的值的數(shù)量，如將日期可能的值從365 天改成12個(gè)月的記錄方式。這種聚類(lèi)經(jīng)常出現(xiàn)在在線(xiàn)分析處理中(Online AnalyticalProcessin

4、g, OLAP )中。聚類(lèi)的動(dòng)機(jī)：1、小的數(shù)據(jù)集可以節(jié)省內(nèi)存，提高處理效率。2、聚類(lèi)可以提供更高層 的數(shù)據(jù)視圖。3、群體對(duì)象的行為要比個(gè)體更加穩(wěn)定。但是聚類(lèi)有一個(gè)缺點(diǎn)就是可能會(huì)丟失有趣的細(xì)節(jié)。二抽樣數(shù)據(jù)挖掘中的抽樣動(dòng)機(jī)與統(tǒng)計(jì)學(xué)中的抽樣有所不同。統(tǒng)計(jì)學(xué)的抽樣是因?yàn)楂@得全體的成 本花費(fèi)太高，而數(shù)據(jù)挖掘的抽樣是因?yàn)樘幚硭械臄?shù)據(jù)代價(jià)太高。抽樣就要使樣本具有代表 性，即樣本與總體有近似的屬性。抽樣的方法:最簡(jiǎn)單的抽樣方法是隨機(jī)抽樣。隨即抽樣分成兩種（其它抽樣方法類(lèi)似）： 不帶重復(fù)的抽樣和帶重復(fù)的抽樣。當(dāng)樣本與總體數(shù)據(jù)相比很小時(shí)，兩種方法沒(méi)有大的區(qū)別， 但是帶重復(fù)的抽樣在分析時(shí)相對(duì)簡(jiǎn)單，因?yàn)樵跇颖咎幚碇?/p>

5、，選取任何對(duì)象的概率是一樣的。當(dāng)總體有很多不同類(lèi)型的對(duì)象，且對(duì)象的數(shù)量有很大不同時(shí)，簡(jiǎn)單隨機(jī)抽樣并不適合。 這就要使用分層抽樣。約減(Dimensionality Reduction)數(shù)據(jù)集可以有很多的特征。對(duì)維數(shù)進(jìn)行約減可以有很多好處。其中一個(gè)關(guān)鍵的有點(diǎn)是很 多數(shù)據(jù)挖掘算法在低維度的情況下有很好的表現(xiàn)。這是因?yàn)榫S數(shù)約減可以消除無(wú)關(guān)的特征并 降低噪音數(shù)據(jù)，也可能是因?yàn)榫S數(shù)災(zāi)難（the curse of dimensionality），維數(shù)約減的另一 個(gè)好處是可以建立一個(gè)容易被理解的模型。維數(shù)約減通?？梢圆捎媒⑿聦傩缘姆绞?，將幾個(gè)舊屬性合并在一起。也可以選擇舊屬 性集中的子集，這種方法通常稱(chēng)為

6、特征子集選擇或者特征選擇。災(zāi)難(The Curse of Dimensionality)維數(shù)災(zāi)難是指很多情況下的數(shù)據(jù)分析在數(shù)據(jù)維度增加的情況下會(huì)變得非常困難的現(xiàn)象。 特別地，當(dāng)數(shù)據(jù)維度增加時(shí)，數(shù)據(jù)會(huì)變得非常稀疏。與維數(shù)約減有關(guān)的線(xiàn)性代數(shù)技術(shù)維數(shù)約減中最常用的方法（尤其是針對(duì)連續(xù)性數(shù)據(jù)來(lái)說(shuō)）是使用線(xiàn)性代數(shù)的相關(guān)技術(shù)。主成分分析(Principal Components Analysis, PCA )是給連續(xù)性數(shù)據(jù)建立新屬性的線(xiàn)性 代數(shù)的方法。其新屬性是：(1)源屬性的線(xiàn)性聯(lián)合，(2)是相互正交的，(3)是數(shù)據(jù)中變 化最大的(capture the maximum amount of variat

7、ion in the data)。奇異值分解(Singular Value Decomposition, SVD)是一種與PCA有關(guān)的線(xiàn)性代數(shù)的技術(shù)，在維數(shù) 約減中被經(jīng)常使用。三、特征子集選擇只使用特征集中的一個(gè)子集是維數(shù)約減中的一種方法盡管這樣的方法可能會(huì)丟失信息， 但是如果有多余的(redundant)和無(wú)關(guān)的(irrelevant)特征時(shí)就不會(huì)出現(xiàn)這種狀況。多 余的特征(Redundant features)是指有重復(fù)的信息或者所有的信息都在一個(gè)或者多個(gè)屬 性中。無(wú)關(guān)的特征(Irrelevant features)包含了目前的數(shù)據(jù)挖據(jù)中沒(méi)有用的信息。盡管無(wú)關(guān)的和多余的屬性可以使用常識(shí)或者

8、領(lǐng)域知識(shí)被消除定期選擇最好的特征子集 需要一個(gè)系統(tǒng)的方法。特征選擇的完美的方法是盡可能?chē)L試所有可能的特征子集作為數(shù)據(jù)挖 掘算法的輸入，然后選擇輸出結(jié)果最好的特征子集。但是這樣的窮舉法顯然不適合。特征選 擇有三種標(biāo)準(zhǔn)的方法：嵌入式(embedded)，過(guò)濾器(filter)和封裝器(wrapper)。嵌入式方法(Embedded approaches):特征選擇是數(shù)據(jù)挖掘算法的一部分。特別地， 數(shù)據(jù)挖掘算法操作時(shí)，算法本身決定使用哪些屬性忽略哪些屬性。過(guò)濾器方法(Filter approaches):在算法運(yùn)行之前選擇特征，使用一些獨(dú)立于數(shù)據(jù)挖 掘任務(wù)的方法。比如，選擇屬性之間關(guān)聯(lián)盡可能小的。封

9、裝器方法(Wrapper approaches):這類(lèi)的方法將目標(biāo)數(shù)據(jù)挖掘算法作為一個(gè)黑盒 尋找最好的屬性子集。但通常并不枚舉出所有可能的子集。特征子集選擇的架構(gòu)(An Architecture for Feature SubsetSelection )一般的架構(gòu)可能既包含過(guò)濾器也包含封裝器。特征選擇處理一般有四個(gè)部分：一個(gè)評(píng)價(jià) 子集的測(cè)量方法，一個(gè)搜尋策略(控制新特征子集的產(chǎn)生)，一個(gè)停止標(biāo)準(zhǔn)和一個(gè)驗(yàn)證程序。 過(guò)濾方法和封裝方法的不同僅僅在于其對(duì)子集的評(píng)價(jià)方式上。從概念上說(shuō)，特征子集選擇就是搜尋所有可能的特征子集。有很多搜尋策略可以使用， 但是搜尋策略在計(jì)算代價(jià)方面要較小，且能夠找出最優(yōu)的或

10、者近似最優(yōu)的特征集合。由于通 常情況下不可能滿(mǎn)足所有的要求，因此必須要權(quán)衡。SelectedAttributesDoneStoppingCriterionEvaluationNotAttributesSearchStrategySubset ofAttributesDoneValidationProcedure搜尋中一個(gè)必不可少的部分就是評(píng)價(jià)目前的特征子集。這就需要針對(duì)特定的數(shù)據(jù)挖掘任 務(wù)測(cè)量評(píng)價(jià)屬性子集的好處。對(duì)于過(guò)濾器方法，這些測(cè)量嘗試預(yù)測(cè)在給定的屬性集下實(shí)際的 數(shù)據(jù)挖掘算法運(yùn)行的情況。對(duì)于封裝器方法，評(píng)價(jià)是由實(shí)際運(yùn)行的目標(biāo)數(shù)據(jù)挖掘應(yīng)用組成。由于子集的數(shù)量可能很大，因此枚舉出所有的子集實(shí)際

11、上并不可能，所以需要一些停止 策略。這個(gè)策略通常基于以下一個(gè)或者多個(gè)情況：迭代次數(shù)子集價(jià)值的評(píng)價(jià)是否是最優(yōu)的或者超過(guò)一個(gè)闕值是否已經(jīng)得到一定量子集數(shù)量標(biāo)準(zhǔn)與評(píng)價(jià)標(biāo)準(zhǔn)是否同時(shí)達(dá)到這個(gè)策略下是否還有其他選項(xiàng)可以提升效果一旦子集確定了，關(guān)于該子集的目標(biāo)數(shù)據(jù)挖掘結(jié)果就要被驗(yàn)證了。一個(gè)直觀的評(píng)價(jià)方法 是直接運(yùn)行算法并比較總體結(jié)果與子集結(jié)果。希望的結(jié)果是利用子集產(chǎn)生的結(jié)果要比使用所 有特征好或者至少差不多。另一種驗(yàn)證方法是使用很多不同的特征選擇算法獲得特征子集并 比較每種特征子集下算法運(yùn)行的結(jié)果。特征賦權(quán)(Feature Weighting )特征賦權(quán)是一種替代保持或消除特征的方法。更重要的特征被賦予更高

12、的權(quán)重，反之亦 然。這些權(quán)重有時(shí)是基于領(lǐng)域知識(shí)確定的。也可以自動(dòng)確定。特征創(chuàng)造(Feature Creation)從源屬性中創(chuàng)造一些包含重要信息的新的屬性集也是一種高效的方法。新的屬性數(shù)量要 比源屬性少，這就使我們可以獲得屬性約減所有的好處。特征創(chuàng)造有以下一些內(nèi)容：特征抽 取(feature extraction)，將數(shù)據(jù)映射到新的空間中(mapping the data to a new space), 特征構(gòu)造(feature construction)o特征抽取(Feature Extraction)從原始數(shù)據(jù)源中構(gòu)造新的特征集合叫做特征抽取。例如，圖片的分類(lèi)可以根據(jù)它是否包 含人臉來(lái)進(jìn)

13、行。源數(shù)據(jù)是像素的集合，這并不適合大多數(shù)的分類(lèi)算法。然而，如果數(shù)據(jù)被處 理后可以提供更高級(jí)別的特征，如與人臉相關(guān)的某些邊界和區(qū)域是否存在。那么，很多的分 類(lèi)技術(shù)就可以在這個(gè)問(wèn)題上使用了。不幸的是，通常情況下，特征抽取都是高度領(lǐng)域化的。某個(gè)特定的領(lǐng)域，如圖片處理中， 需要很長(zhǎng)時(shí)間來(lái)建立特征和技術(shù)來(lái)從眾抽取，同時(shí)，這些技術(shù)很少可以使用到其它領(lǐng)域。因 此，當(dāng)數(shù)據(jù)挖掘應(yīng)用到一個(gè)新的領(lǐng)域時(shí)，就需要發(fā)展一些新的特征抽取方法了。數(shù)據(jù)映射到新的空間(Mapping the Data to a New Space)舉個(gè)例子，時(shí)間序列數(shù)據(jù)經(jīng)常包含周期模式。如果只有一種周期模式并且沒(méi)有噪音，這 樣的周期模式就很容易

14、被偵測(cè)。相反，如果有很多周期模式且存在大量噪音數(shù)據(jù)，這就很難 偵測(cè)。這樣的情況下，通常對(duì)時(shí)間序列使用傅立葉變換(Fourier transform )轉(zhuǎn)換表示方 法。特征構(gòu)造(Feature Construction)源數(shù)據(jù)中的某些特征有必要的信息，但其并不適合數(shù)據(jù)挖掘算法。這種情況通常需要從 原始特征中構(gòu)造一個(gè)或多個(gè)新特征使用。、離散化和二進(jìn)制化一些數(shù)據(jù)挖掘算法，尤其是某些分類(lèi)算法，需要數(shù)據(jù)的屬性是類(lèi)別屬性(categorical attributes )格式的。關(guān)聯(lián)規(guī)則算法需要數(shù)據(jù)的屬性是二進(jìn)制形式的(binary attributes )。 因此常常需要將連續(xù)屬性(continuous

15、attributes )轉(zhuǎn)變成類(lèi)別屬性(categorical attributes),即離散化(discretization )o而連續(xù)屬性或者類(lèi)別屬性則可能需要變成二進(jìn)制 化(binarization)。此外，如果類(lèi)別屬性有太多的值，或者一些值出現(xiàn)的頻率很小，通過(guò) 把一些值聯(lián)合起來(lái)可以減少類(lèi)別的屬性。類(lèi)似于特征選擇，離散化和二進(jìn)制化最好的方法是對(duì)分析數(shù)據(jù)的數(shù)據(jù)挖掘算法來(lái)說(shuō)， 會(huì)產(chǎn)生最好的結(jié)果。通常這并不實(shí)際，因此，離散化和二進(jìn)制化都只是需要滿(mǎn)足一些標(biāo)準(zhǔn)， 以期能獲得好點(diǎn)的數(shù)據(jù)挖掘結(jié)果。二進(jìn)制化(Binarization)類(lèi)別屬性的二進(jìn)制化的一個(gè)簡(jiǎn)單的例子如下：如果類(lèi)別有m個(gè)值，給每個(gè)原始的

16、值賦 予唯一的整數(shù)，其區(qū)間在0,m-1o如果屬性是順序的，則賦值也是順序的(注意，即便原 始屬性值是整數(shù)類(lèi)型的，這一步也是必須的，因?yàn)樵嫉膶傩灾悼赡懿辉?,m-1之間)。下 一步，將每個(gè)整數(shù)值變成二進(jìn)制的形式。由于n = Flog2(m)J個(gè)二進(jìn)位制可以代表這些整數(shù)，因此，代表這些二進(jìn)位數(shù)需要有n個(gè)二進(jìn)位屬性。例如下表1 :Categorical ValueInteger ValuexiX2X3awful0000poor1001OK2010good3011great4100Categorical ValueInteger ValuexiX 2X3X4X 5awful010000poor101

17、000OK200100good300010great400001但是，這種轉(zhuǎn)變會(huì)帶來(lái)復(fù)雜性。如屬性和x3會(huì)產(chǎn)生聯(lián)系，因?yàn)間ood這個(gè)屬性的編碼 同時(shí)用到了這兩個(gè)屬性。此外，關(guān)聯(lián)分析需要非對(duì)稱(chēng)的二進(jìn)制屬性，只有那些值為1的屬 性才是重要的。因此，對(duì)于關(guān)聯(lián)問(wèn)題，有必要給每個(gè)類(lèi)別值引入一個(gè)二進(jìn)制屬性，如表2, 如果結(jié)果屬性數(shù)量太大，下面的內(nèi)容可以用來(lái)減少這樣的類(lèi)別值的數(shù)量。同樣的，對(duì)于關(guān)聯(lián)問(wèn)題，將一個(gè)二進(jìn)制屬性用兩個(gè)非對(duì)稱(chēng)二進(jìn)制屬性代替是有必要的。 考慮一個(gè)二進(jìn)制屬性代表了一個(gè)人的性別，男性或者女性。對(duì)于傳統(tǒng)的關(guān)聯(lián)規(guī)則算法，這樣 的信息要轉(zhuǎn)變成兩個(gè)非對(duì)稱(chēng)二進(jìn)制屬性，一個(gè)是其中一個(gè)1代表女性，一個(gè)是其

18、中一個(gè)1 是代表男性。連續(xù)屬性的離散化(Discretization of Continuous Attributes )離散化通常在分類(lèi)和關(guān)聯(lián)分析中使用。一般情況下，最好的離散化依賴(lài)于使用的算法， 也要考慮到其他的屬性。然而，一個(gè)屬性的離散化通常是單獨(dú)考慮的。連續(xù)屬性轉(zhuǎn)變成類(lèi)別屬性通常涉及到兩個(gè)子任務(wù):確定類(lèi)別數(shù)量，確定多少連續(xù)屬性映 射到這些類(lèi)別中。第一步中，連續(xù)屬性值分類(lèi)后，通過(guò)指定的n-1個(gè)分割點(diǎn)(split points) 將它們分成n個(gè)區(qū)間。第二步，所有一個(gè)區(qū)間內(nèi)的值映射到相同的類(lèi)別值上。因此，離散 化的問(wèn)題主要是確定選擇多少個(gè)分割點(diǎn)并在哪里分割。結(jié)果可以表示成一個(gè)區(qū)間的集合 (X

19、 ,X ,(X ,X ,., (X ,X ，其中6和X 可能代表+8或者8 ，且、xj，,x 0 112 n1 n0 n01 n1X x。耳非監(jiān)督式的離散化(Unsupervised Discretization)分類(lèi)中離散化方法的一個(gè)很大的區(qū)別是是否使用類(lèi)別信息。使用了類(lèi)別信息的成為監(jiān)督 式的離散化(supervised)，沒(méi)有使用類(lèi)別信息的成為非監(jiān)督式的方法(Unsupervised)。 等寬方法(equal width)將范圍內(nèi)的屬性劃分成一個(gè)用戶(hù)指定的區(qū)間數(shù)量，每個(gè)區(qū)間都有 相同的寬度(width)。這樣的方法受離群值影響很大。因此，等頻方法(等深方法)(equal frequency

20、，equal depth),是將相同數(shù)量的對(duì)象分到每個(gè)區(qū)間中，這也很常用。ffiS式的M散化( Supervised Discretization )使用額外的信息(類(lèi)標(biāo)簽)通常會(huì)產(chǎn)生更好的結(jié)果。無(wú)類(lèi)標(biāo)簽知識(shí)構(gòu)造的區(qū)間通常會(huì)包 含混合的類(lèi)標(biāo)簽。從概念上講，分割的簡(jiǎn)單的方法是最大化區(qū)間純度(purity)。實(shí)際中， 這樣的方法需要人工選擇區(qū)間的純度和最小的區(qū)間大小。為了克服這樣的困難，一些統(tǒng)計(jì)的 方法被用來(lái)解決這些問(wèn)題。先將每個(gè)類(lèi)的值都作為單獨(dú)的區(qū)間，再根據(jù)統(tǒng)計(jì)測(cè)試，合并臨近 的相似區(qū)間(adjacent intervals)獲取更大的區(qū)間。基于熵(entropy)的方法是很好的。有太多得類(lèi)別屬性(Categorical Attributes with Too ManyValues)類(lèi)別屬性有時(shí)候會(huì)產(chǎn)生很多的值。如果類(lèi)別屬性的是順序的，可以利用類(lèi)似連續(xù)屬性離 散化的方法。如果類(lèi)別屬性是分類(lèi)的則要利用一些領(lǐng)域知識(shí)。如一個(gè)大學(xué)可以有很多學(xué)院。 學(xué)院名稱(chēng)可能有很多的值，這種情況我們可以將很多的學(xué)院聯(lián)合在一起組成更大的組，如工 程類(lèi)，社會(huì)科學(xué)類(lèi)