大數(shù)據(jù)的產(chǎn)生、特點(diǎn)及其數(shù)據(jù)分析方法

大數(shù)據(jù)的產(chǎn)生、特點(diǎn)及其數(shù)據(jù)分析方法大數(shù)據(jù)產(chǎn)生背景進(jìn)入2012年以來大數(shù)據(jù)(BigData)一詞越來越多地被人們提及與使用，人們用它來描述和定義信息爆炸時(shí)代產(chǎn)生的海量數(shù)據(jù)，它已經(jīng)出現(xiàn)過在《紐約時(shí)報(bào)》、《華爾街時(shí)報(bào)》的專欄封面、進(jìn)入過美國(guó)白宮網(wǎng)的新聞、現(xiàn)身在國(guó)內(nèi)外一些互聯(lián)網(wǎng)主題的講座沙龍中，甚至被嗅覺靈敏的國(guó)君證劵、國(guó)泰君安、銀河證劵等寫進(jìn)了投資推薦報(bào)告。有人說21世紀(jì)是數(shù)據(jù)信息時(shí)代，移動(dòng)互聯(lián)、社交網(wǎng)絡(luò)、電子商務(wù)大大拓展了互聯(lián)網(wǎng)的疆界和應(yīng)用領(lǐng)域，我們?cè)谙硎鼙憷耐瑫r(shí)，也無償貢獻(xiàn)了自己的“行蹤”。現(xiàn)在互聯(lián)網(wǎng)不但知道對(duì)面是一只狗，還知道這只狗喜歡什么食物，幾點(diǎn)出去遛彎，幾點(diǎn)回窩睡覺。我們不得不接受這個(gè)現(xiàn)實(shí)，每個(gè)人從互聯(lián)網(wǎng)進(jìn)入到大數(shù)據(jù)時(shí)代，都將是透明性存在。各種數(shù)據(jù)正在迅速膨脹并變大，它決定著企業(yè)的未來發(fā)展，雖然現(xiàn)在企業(yè)可能并沒有意識(shí)到數(shù)據(jù)爆炸性增長(zhǎng)帶來問題的隱患，但是隨著時(shí)間的推移，人們將越來越多的意識(shí)到數(shù)據(jù)對(duì)企業(yè)的重要性。大數(shù)據(jù)時(shí)代對(duì)人類的數(shù)據(jù)駕馭能力提出了新的挑戰(zhàn)，也為人們獲得更為深刻、全面的洞察能力“大數(shù)據(jù)”提供了前所未有的空間與潛力。正如《紐約時(shí)報(bào)》2012年2月的一篇專欄中所稱，大數(shù)據(jù)時(shí)代已經(jīng)降臨，在商業(yè)、經(jīng)濟(jì)及其他領(lǐng)域中，各種決策將日益基于數(shù)據(jù)和分析而作出，而并非基于經(jīng)驗(yàn)和直覺。哈佛大學(xué)社會(huì)學(xué)教授加里金說：“這是一場(chǎng)革命，龐大的數(shù)據(jù)資源使得各個(gè)領(lǐng)域開始了量化進(jìn)程，無論學(xué)術(shù)界、商界還是政府，所有領(lǐng)域都將開始這種進(jìn)程。大數(shù)據(jù)的四大特點(diǎn)海量性：例如，IDC最近的報(bào)告預(yù)測(cè)稱，到2020年，全球數(shù)據(jù)量將擴(kuò)大50倍。目前，大數(shù)據(jù)的規(guī)模尚是一個(gè)不斷變化的指標(biāo)，單一數(shù)據(jù)集的規(guī)模范圍從幾十TB到數(shù)PB不等。簡(jiǎn)而言之，存儲(chǔ)1PB數(shù)據(jù)將需要兩萬臺(tái)配備50GB硬盤的個(gè)人電腦。此外，各種意想不到的來源都能產(chǎn)生數(shù)據(jù)。多樣性：一個(gè)普遍觀點(diǎn)認(rèn)為，人們使用互聯(lián)網(wǎng)搜索是形成數(shù)據(jù)多樣性的主要原因，這一看法部分正確。然而數(shù)據(jù)多樣性的增加主要是由于新型多結(jié)構(gòu)數(shù)據(jù)，以及包括網(wǎng)絡(luò)日志、社交媒體、互聯(lián)網(wǎng)搜索、手機(jī)通話記錄及傳感器網(wǎng)絡(luò)等數(shù)據(jù)類型造成。其中部分傳感器安裝在火車、汽車和飛機(jī)上，每個(gè)傳感器都增加了數(shù)據(jù)的多樣性。高速性：高速描述的是數(shù)據(jù)被創(chuàng)建和移動(dòng)的速度。在高速網(wǎng)絡(luò)時(shí)代，通過基于實(shí)現(xiàn)軟件性能優(yōu)化的高速電腦處理器和服務(wù)器，創(chuàng)建實(shí)時(shí)數(shù)據(jù)流已成為流行趨勢(shì)。企業(yè)不僅需要了解如何快速創(chuàng)建數(shù)據(jù)，還必須知道如何快速處理、分析并返回給用戶，以滿足他們的實(shí)時(shí)需求。根據(jù)IMSResearch關(guān)于數(shù)據(jù)創(chuàng)建速度的調(diào)查，據(jù)預(yù)測(cè)，到2020年全球?qū)碛?20億部互聯(lián)網(wǎng)連接設(shè)備。易變性：大數(shù)據(jù)具有多層結(jié)構(gòu)，這意味著大數(shù)據(jù)會(huì)呈現(xiàn)出多變的形式和類型。相較傳統(tǒng)的業(yè)務(wù)數(shù)據(jù)，大數(shù)據(jù)存在不規(guī)則和模糊不清的特性，造成很難甚至無法使用傳統(tǒng)的應(yīng)用軟件進(jìn)行分析。傳統(tǒng)業(yè)務(wù)數(shù)據(jù)隨時(shí)間演變已擁有標(biāo)準(zhǔn)的格式，能夠被標(biāo)準(zhǔn)的商務(wù)智能軟件識(shí)別。目前，企業(yè)面臨的挑戰(zhàn)是處理并從各種形式呈現(xiàn)的復(fù)雜數(shù)據(jù)中挖掘價(jià)值。大數(shù)據(jù)三大特征第一個(gè)特征是數(shù)據(jù)類型繁多。包括網(wǎng)絡(luò)日志、音頻、視頻、圖片、地理位置信息等等多類型的數(shù)據(jù)對(duì)數(shù)據(jù)的處理能力提出了更高的要求。第二個(gè)特征是數(shù)據(jù)價(jià)值密度相對(duì)較低。如隨著物聯(lián)網(wǎng)的廣泛應(yīng)用，信息感知無處不在，信息海量，但價(jià)值密度較低，如何通過強(qiáng)大的機(jī)器算法更迅速地完成數(shù)據(jù)的價(jià)值“提純”，是大數(shù)據(jù)時(shí)代亟待解決的難題。第三個(gè)特征是處理速度快、時(shí)效性要求高。這是大數(shù)據(jù)區(qū)分于傳統(tǒng)數(shù)據(jù)挖掘最顯著的特征。大數(shù)據(jù)主要分析技術(shù)我們要想從急劇增長(zhǎng)的數(shù)據(jù)資源中充分挖掘并分析出有價(jià)值的信息，就需要以先進(jìn)的分析技術(shù)作為支撐。從宏觀上來看，大數(shù)據(jù)分析技術(shù)的發(fā)展所面臨的問題均包含以下三個(gè)主要特征：對(duì)變量B有正作用，且變量B對(duì)變量C有正作用，但是變量A對(duì)變量C可能有負(fù)作用。為了避免類似“中間變量悖論”現(xiàn)象的發(fā)生