基于云計算的海量數(shù)據(jù)挖掘研究

1、    基于云計算的海量數(shù)據(jù)挖掘研究    陳健摘要：基于云計算的海量數(shù)據(jù)挖掘模型中，進(jìn)行海量數(shù)據(jù)的處理和存儲時都是在云計算的環(huán)境之中所進(jìn)行的。隨著時代的不斷發(fā)展所需進(jìn)行數(shù)據(jù)挖掘的數(shù)量也在逐漸增加，這種新的數(shù)據(jù)挖掘方式更加能適應(yīng)時代的發(fā)展。關(guān)鍵詞：云計算；海量數(shù)據(jù)挖掘研究；數(shù)據(jù)預(yù)處理：tp391.41 ：a ：1007-9416（2017）07-0131-02隨著時代的不斷發(fā)展，信息技術(shù)的發(fā)展也越來越快，所產(chǎn)生的數(shù)據(jù)的數(shù)量也在快速上升，據(jù)不完全統(tǒng)計現(xiàn)今18月的數(shù)據(jù)產(chǎn)生量相當(dāng)與以前幾千年所產(chǎn)生的數(shù)據(jù)量的總和1。隨著數(shù)據(jù)產(chǎn)生的量的不斷增多，人們可以得到的信息

2、也在不斷增多，但隨著而來的是從海量數(shù)據(jù)中挖掘有用信息的難度也在不斷的增加。基于云計算的海量數(shù)據(jù)挖掘是在云計算平臺基礎(chǔ)之上進(jìn)行海量數(shù)據(jù)挖掘，云計算平臺可以進(jìn)行動態(tài)資源調(diào)度和分配、具有高度虛擬化和高可用性等特點2，因此可以在很大程度上滿足海量數(shù)據(jù)挖掘的要求。1 云計算概述云計算從其開發(fā)到現(xiàn)在已經(jīng)有很長一段時間了，在其運用方面仍然還存在一定的問題，因此從其開發(fā)到現(xiàn)在仍然沒有確切的定義。維基百科對其的定義為：云計算是一種能夠通過互聯(lián)網(wǎng)為用戶提供服務(wù)的計算模式，云計算提供的主要是能夠進(jìn)行動態(tài)伸縮地虛擬化了的資源，用戶不需要了解如何管理那些支持云計算的基礎(chǔ)設(shè)施3。簡而言之就是可以將云計算看作一種比較新的商

3、業(yè)模式，在進(jìn)行任務(wù)的處理時低成本的特點，因為它在工作時只需要大量的低成本的相互連接在互聯(lián)網(wǎng)上的計算機(jī)就可以完成。2 基于云計算的海量數(shù)據(jù)挖掘2.1 數(shù)據(jù)挖掘數(shù)據(jù)挖掘是指從海量數(shù)據(jù)中發(fā)現(xiàn)一些比較新的、有效的或者存在潛在價值的模式的過程4。而對于一個企業(yè)而言，海量數(shù)據(jù)挖掘就是從海量的數(shù)據(jù)中挖掘出有用的、有價值的知識，同時要求數(shù)據(jù)的規(guī)模要盡可能的大，數(shù)據(jù)的規(guī)模越大從中所挖掘的信息的準(zhǔn)確性也就越高。企業(yè)對于數(shù)據(jù)挖掘的要求是非常高的，為了達(dá)到高要求的海量數(shù)據(jù)挖掘的目的，就需要創(chuàng)造出高要求的開發(fā)環(huán)境和應(yīng)用環(huán)境。針對這一情況來說，采用基于云計算的海量數(shù)據(jù)挖掘是最好的方式，因為云計算平臺具有存儲量大、可以進(jìn)行

4、動態(tài)資源調(diào)度和分配、高度虛擬化和高可用性等特點，采用云計算技術(shù)來結(jié)合海量數(shù)據(jù)挖掘技術(shù)可以在很大程度上保證數(shù)據(jù)挖掘的高效率和準(zhǔn)確性。2.2 基于云計算的海量數(shù)據(jù)挖掘模型基于云計算的海量數(shù)據(jù)挖掘服務(wù)是在云計算的基礎(chǔ)之上所進(jìn)行的，它主要是通過云計算的特性來進(jìn)行海量數(shù)據(jù)的挖掘，如圖1所示。可以看出，整個基于云計算的海量數(shù)據(jù)挖掘模型總體來說可以分為三個層次，分別是云計算服務(wù)層、數(shù)據(jù)挖掘處理層和與用戶層。對于云計算服務(wù)服層而言，它主要的任務(wù)是提供分布式并行數(shù)據(jù)處理及數(shù)據(jù)的海量存儲。對于數(shù)據(jù)挖掘處理層而言，它主要任務(wù)可以分為兩個方面：一方面是數(shù)據(jù)的預(yù)處理，其主要內(nèi)容是將海量的數(shù)據(jù)先進(jìn)行預(yù)處理，將一些不規(guī)則的

5、數(shù)據(jù)先進(jìn)行一定的處理方便云計算進(jìn)行數(shù)據(jù)的處理；一方面是海量數(shù)據(jù)挖掘算法并行化，這是海量數(shù)據(jù)挖掘的關(guān)鍵點。對于用戶層而言，它所面對的是用戶，主要是接收用戶的請求并將其傳送給其他兩層進(jìn)行處理，處理完成以后將結(jié)果反饋給用戶。3 結(jié)語隨著時代的不斷變化，信息技術(shù)的不斷發(fā)展，現(xiàn)如今所產(chǎn)生的數(shù)據(jù)量也在逐年快速增長，傳統(tǒng)的數(shù)據(jù)挖掘方式已經(jīng)逐漸不能跟上時代的變化了，因此為了改善這一情況就需要改變以往的數(shù)據(jù)挖掘方法了。云計算技術(shù)是一種很早之前就存在的技術(shù)，具有動態(tài)資源調(diào)度和分配、高度虛擬化和高可用性等特點，與此同時云計算在使用時的效率是非產(chǎn)高的，且所需要的成本也是非常低的，因此將云計算技術(shù)運用到海量數(shù)據(jù)挖掘技術(shù)中可以在很大程度上改善傳統(tǒng)海量數(shù)據(jù)挖掘方式所存在的問題?？偟膩碚f，基于云計算的海量數(shù)據(jù)挖掘是一種非常好的方式來進(jìn)行海量數(shù)據(jù)的處理，并且在未來具有良好的發(fā)展趨勢，雖然云計算的安全還存在一些問題，但仍然值得推廣和發(fā)展。參考文獻(xiàn)1丁巖，楊慶平，錢煜明.基于云計算的數(shù)據(jù)挖掘平臺架構(gòu)及其關(guān)鍵技術(shù)研究j.中興通訊技術(shù)，2013，19（1）：53-56.2趙華茗. 搭建基于云計算的開源海量數(shù)據(jù)挖掘平臺c.全國計算機(jī)信息管理學(xué)術(shù)研討會.2010：76-81.3