基于大數(shù)據(jù)的智能數(shù)據(jù)分析技術(shù)

基于大數(shù)據(jù)的智能數(shù)據(jù)分析技術(shù)【摘要】由于多媒體等多種技術(shù)的發(fā)展與應用，各領(lǐng)域都發(fā)生了很大的變化，每天不僅產(chǎn)生大量的數(shù)據(jù)，而且數(shù)據(jù)更新?lián)Q代的速度極快。人們在處理以及分析數(shù)據(jù)的過程中，繼續(xù)使用傳統(tǒng)的智能數(shù)據(jù)分析技術(shù)已經(jīng)難以實現(xiàn)理想的效果，專家開始意識到必須盡快開發(fā)新的技術(shù)。這就需要了解典型理論和技術(shù)，掌握不同種方法的特點，這樣才能有效的避免各自的劣勢，充分發(fā)揮優(yōu)勢達到互補的作用。本文在分析不同種傳統(tǒng)數(shù)據(jù)智能分析方法的基礎(chǔ)上，分析了結(jié)合新平臺開發(fā)的新型分析方法?！娟P(guān)鍵詞】大數(shù)據(jù)智能數(shù)據(jù)技術(shù)分析一、前言當前世界依然迎來了大數(shù)據(jù)時代，隨著多媒體等多種技術(shù)的應用，社會中的相關(guān)領(lǐng)域時刻都涌現(xiàn)大量的數(shù)據(jù)，增加了技術(shù)處理以及分析的難度。通常情況下大數(shù)據(jù)具有復雜性，而且還具有數(shù)量大、分布式的特點，這樣就必須要采取新的技術(shù)方法對數(shù)據(jù)進行處理，因此智能分析技術(shù)在數(shù)據(jù)的處理中具有非常重要的意義。二、幾種常見的智能數(shù)據(jù)分析法雖然在大數(shù)據(jù)時代傳統(tǒng)的智能數(shù)據(jù)分析法已經(jīng)不能適應當前的需求，但是依然有一定的相似性，相關(guān)理論和技術(shù)依然可以沿用，幾種常見數(shù)據(jù)分析法：第一種方法是決策樹。這種數(shù)據(jù)分析方法需要基于信息論基礎(chǔ)上，這種方法實現(xiàn)的輸出結(jié)果容易理解，精確度較高，效率也較快，但是它不能用來對復雜的數(shù)據(jù)進行處理與分析[1]。第二種方法是關(guān)聯(lián)規(guī)則。這種方法主要是用于事物數(shù)據(jù)庫中，通常帶有大量的數(shù)據(jù)，當今使用這種方法來削減搜索空間。第三種方法是粗糙集。這種數(shù)據(jù)分析方法能夠?qū)?shù)據(jù)進行主觀評價，只要通過觀測數(shù)據(jù)，就可以清除冗余的信息。第四種方法是模糊數(shù)學分析。這種數(shù)據(jù)分析方法能夠?qū)嶋H問題進行模糊的分析，與其他的分析方法相比，能夠取得更為客觀的效果。第五種方法是人工神經(jīng)網(wǎng)絡。這種數(shù)據(jù)分析方法具有自學習功能，在此基礎(chǔ)上還具有聯(lián)想存儲的功能。第六種方法是混沌和分形理論。這兩種理論主要是用來對自然社會中存在的現(xiàn)象進行解釋，一般用來進行智能認知研究，還能應用于自動控制等眾多領(lǐng)域中[2]。第七種方法是自然計算分析方法。這種數(shù)據(jù)分析方法根據(jù)不同生物層面的模擬與仿真，通?？梢苑譃橐韵氯N不同類型的分析方法：一是群體智能算法，二是免疫算法，三是DNA算法。群體智能主要是對集體行為進行研究，免疫算法具有多樣性，經(jīng)典的主要有反向、克隆選擇等，而DNA算法主要使屬于隨機化搜索方法，它可以進行全局尋優(yōu)，在實際的運用中一般都能獲取優(yōu)化的搜索空間，在此基礎(chǔ)上還能自動調(diào)整搜索方向，在整個過程中都不需要確定的規(guī)則。當前DNA算法普遍應用于多種行業(yè)中，并取得了不錯的成效。三、大數(shù)據(jù)背景下的智能數(shù)據(jù)分析技術(shù)大數(shù)據(jù)具有一定的復雜性，只有通過使用新的智能分析技術(shù)才能對數(shù)據(jù)進行有效處理。目前已經(jīng)有專家針對大數(shù)據(jù)提出了新的智能分析技術(shù)方案，例如HAVEn、TeradataAster分析平臺，經(jīng)過研究發(fā)現(xiàn)推出的一系列分析方案，基本上離不開Hadoop分析平臺。Hadoop主要分為以下兩大部分，其中一個部分是分布文件系統(tǒng)，專家稱之為HDFS，另一部分是分布計算系統(tǒng)，專家稱之為MapReduce。一般來說HDFS主要是表現(xiàn)為主/從結(jié)構(gòu)，其中主結(jié)構(gòu)稱為名字節(jié)點，主要功能是管理元數(shù)據(jù)，從結(jié)構(gòu)通常稱為數(shù)據(jù)節(jié)點。主要功能是用來存放，或者管理相關(guān)的應用數(shù)據(jù)[3]。一個HDFS系統(tǒng)能夠支持的數(shù)據(jù)非常龐大，一般能夠達到10PB數(shù)量級，因此HDFS系統(tǒng)能夠應用于大數(shù)據(jù)處理分析中。同時為了能夠更好的支持大數(shù)據(jù)，在HDFS系統(tǒng)的基礎(chǔ)上，還繼續(xù)構(gòu)建Hbase系統(tǒng)，該系統(tǒng)的接口語言色設(shè)為Pig。并且還構(gòu)建了Hivi系統(tǒng)，該系統(tǒng)主要是屬于數(shù)據(jù)倉庫。此外還構(gòu)建了機器學習軟件包，稱為Mahout，這樣就可以對大數(shù)據(jù)進行有效管理以及分析。這些新的智能數(shù)據(jù)分析融合了多種傳統(tǒng)的技術(shù)，能夠?qū)Υ髷?shù)據(jù)進行更為全面、高效的分析。四、結(jié)語傳統(tǒng)中可應用的數(shù)據(jù)智能分析技術(shù)多種多樣，常用的主要有七種方法，每一種方法都有自身的優(yōu)勢以及局限性，如果在大數(shù)據(jù)中單一使用一種方法，根本就不能達到理想的效果。但是憑借當前的技術(shù)水平還不能找到通用的智能分析技術(shù)方法，這就需要將傳統(tǒng)的多種方法結(jié)合起來，這樣就可以彌補各自的缺陷，而且還能充分發(fā)揮優(yōu)勢，這是當前大數(shù)據(jù)智能分析技術(shù)的重要研究方向。沿著這個方向，目前已經(jīng)開發(fā)了hadoop，這個系統(tǒng)不僅集合了傳統(tǒng)的方法，而且還結(jié)合了新型平臺，是一種全新的技術(shù)，未來需要專家不斷的進行探索與研究，繼續(xù)開發(fā)更好的數(shù)據(jù)智能分析方法。參考文獻[1]楊舒林.智能分析技術(shù)發(fā)展現(xiàn)狀及應用[J].中國公共安全.2015，08（14）：207-209.[