數(shù)據(jù)歸約數(shù)據(jù)歸約途徑

大數(shù)據(jù)采集與預(yù)處理主講教師：龍霄漢《大數(shù)據(jù)導(dǎo)論》課程Introductiontobigdata數(shù)據(jù)歸約數(shù)據(jù)歸約011數(shù)據(jù)歸約數(shù)據(jù)歸約對(duì)于真正意義上的大型數(shù)據(jù)集，在應(yīng)用數(shù)據(jù)挖掘技術(shù)之前，還需要執(zhí)行一個(gè)中間的、額外的步驟—數(shù)據(jù)歸約，雖然大型數(shù)據(jù)集可能得到最佳的挖掘結(jié)果，但是未必能獲得比小型數(shù)據(jù)集更好的數(shù)據(jù)挖掘結(jié)果。圖片來自互聯(lián)網(wǎng)數(shù)據(jù)歸約數(shù)據(jù)歸約是指在盡可能保持?jǐn)?shù)據(jù)原貌的前提下，最大限度地精簡數(shù)據(jù)量（完成該任務(wù)的必要前提是理解挖掘任務(wù)和熟悉數(shù)據(jù)本身內(nèi)容）。圖片來自互聯(lián)網(wǎng)數(shù)據(jù)歸約數(shù)據(jù)的描述以及特征的挑選、歸約或轉(zhuǎn)換可能是決定數(shù)據(jù)挖掘質(zhì)量的最重要問題，在實(shí)踐中，特征的數(shù)量可達(dá)到數(shù)百個(gè)之多，如果只有上百條樣本可用于分析，就需要進(jìn)行恰當(dāng)?shù)木S歸約，以挖掘出可靠的模型或使其具有實(shí)用性，另一方面，由高維度引起的數(shù)據(jù)超負(fù)，會(huì)使一些數(shù)據(jù)挖掘算法不可用，唯一的方法是再進(jìn)行維歸約。圖片來自互聯(lián)網(wǎng)數(shù)據(jù)歸約數(shù)據(jù)歸約主要有兩個(gè)途徑：屬性選擇和數(shù)據(jù)采樣，分別針對(duì)原始數(shù)據(jù)集中的屬性和記錄。假定在公司的數(shù)據(jù)倉庫選擇了數(shù)據(jù)，用于分析。這樣數(shù)據(jù)集將非常大。在海量數(shù)據(jù)上進(jìn)行復(fù)雜的數(shù)據(jù)分析扣挖掘?qū)⑿枰荛L時(shí)間，使得這種分析不現(xiàn)實(shí)或不可行。數(shù)據(jù)歸約技術(shù)可以用來得到數(shù)據(jù)集的歸約表示，它雖然小，但仍大致保持原數(shù)據(jù)的完整性。這樣，在歸約后的數(shù)據(jù)集上挖掘?qū)⒏行?，并產(chǎn)生相同(或幾乎相同)的分析結(jié)果?？偨Y(jié)數(shù)據(jù)歸約技術(shù)可以用來得到數(shù)據(jù)集的歸約表示，它雖然小，但仍大致保持原數(shù)據(jù)的完整性。這樣，在歸約后的數(shù)據(jù)集上挖掘?qū)⒏行?，并產(chǎn)生相同(或幾乎相同)的分析結(jié)果。圖