“大數(shù)據(jù)”的認(rèn)識與思考

“大數(shù)據(jù)”的認(rèn)識與思考劉姝祎目錄1“大數(shù)據(jù)”的時代背景 41.1“大數(shù)據(jù)”的概念 41.2“大數(shù)據(jù)”產(chǎn)生的背景 41.3“大數(shù)據(jù)”的特征 51.4“大數(shù)據(jù)”的發(fā)展階段 51.5“大數(shù)據(jù)”帶來的機(jī)遇 62“大數(shù)據(jù)”的關(guān)鍵技術(shù) 92.1“大數(shù)據(jù)”的采集和預(yù)處理 92.2“大數(shù)據(jù)”存儲技術(shù) 102.3“大數(shù)據(jù)”分析技術(shù) 102.4“大數(shù)據(jù)”與云計算 113大數(shù)據(jù)產(chǎn)業(yè)的應(yīng)用 123.1大數(shù)據(jù)產(chǎn)業(yè) 123.2“大數(shù)據(jù)”在典型領(lǐng)域中的應(yīng)用 133.3智慧城市：立體的大數(shù)據(jù)生態(tài)系統(tǒng) 14智慧城市的產(chǎn)生 14全球智慧城市的實踐 15中國智慧城市 164問題與挑戰(zhàn) 184.1數(shù)據(jù)質(zhì)量 184.2數(shù)據(jù)安全 184.3用戶隱私與便利性的沖突 184.4龐大能耗 184.5數(shù)據(jù)分析與管理人才緊缺 194.6跟風(fēng)現(xiàn)象較為嚴(yán)重 194.7缺少技術(shù)創(chuàng)新水平較高的互聯(lián)網(wǎng)公司 195對大數(shù)據(jù)產(chǎn)業(yè)發(fā)展的建議 205.1政府方面 205.2企業(yè)方面 215.3公眾方面 221“大數(shù)據(jù)”的時代背景1.1“大數(shù)據(jù)”的概念紐約時報在2012年宣布“大數(shù)據(jù)時代”已經(jīng)降臨，“大數(shù)據(jù)”成為了時下最火熱的詞匯。顧名思義，大數(shù)據(jù)是“無法任意時間內(nèi)用常規(guī)軟件工具對其內(nèi)容進(jìn)行抓取、管理和處理的大量而復(fù)雜的數(shù)據(jù)集合”。Gartner認(rèn)為大數(shù)據(jù)是“需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)”?！按髷?shù)據(jù)”的要義是盡可能地收集眾多可以相互疊加補(bǔ)充的信息，據(jù)以完成對“未來”的預(yù)測。這些數(shù)據(jù)可能有些混亂，甚至?xí)霈F(xiàn)紕漏，但數(shù)據(jù)量的“多“和時間的“即刻”可以彌補(bǔ)數(shù)據(jù)質(zhì)量的瑕疵，“大數(shù)據(jù)”將以最快的速度“預(yù)測”出最“可靠”的答案，指引人們迅速采取行動。1.2“大數(shù)據(jù)”產(chǎn)生的背景大數(shù)據(jù)的應(yīng)用和技術(shù)是在互聯(lián)網(wǎng)快速發(fā)展中誕生的， 起點(diǎn)可追溯到 2000年前后。當(dāng)時互聯(lián)網(wǎng)網(wǎng)頁爆發(fā)式增長，每天新增約700萬個網(wǎng)頁，到2000年底全球網(wǎng)頁數(shù)達(dá)到40億，用戶檢索信息越來越不方便。谷歌等公司率先建立了覆蓋數(shù)十億網(wǎng)頁的索引庫，開始提供較為精確的搜索服務(wù)，大大提升了人們使用互聯(lián)網(wǎng)的效率，這是大數(shù)據(jù)應(yīng)用的起點(diǎn)。當(dāng)時搜索引擎要存儲和處理的數(shù)據(jù)，不僅數(shù)量之大前所未有，而且以非結(jié)構(gòu)化數(shù)據(jù)為主，傳統(tǒng)技術(shù)無法應(yīng)對。為此，谷歌提出了一套以分布式為特征的全新技術(shù)體系，即后來陸續(xù)公開的分布式文件系統(tǒng)(GFS，GoogleFileSystem)、分布式并行計算(MapReduce)和分布式數(shù)據(jù)庫(BigTable)等技術(shù)，以較低的成本實現(xiàn)了之前技術(shù)無法達(dá)到的規(guī)模。這些技術(shù)奠定了當(dāng)前大數(shù)據(jù)技術(shù)的基礎(chǔ)，可以認(rèn)為是大數(shù)據(jù)技術(shù)的源頭。伴隨著互聯(lián)網(wǎng)產(chǎn)業(yè)的崛起，這種創(chuàng)新的海量數(shù)據(jù)處理技術(shù)在電子商務(wù)、定向廣告、智能推薦、社交網(wǎng)絡(luò)等方面得到應(yīng)用，取得巨大的商業(yè)成功。這啟發(fā)全社會開始重新審視數(shù)據(jù)的巨大價值，于是金融、電信等擁有大量數(shù)據(jù)的行業(yè)開始嘗試這種新的理念和技術(shù)，取得初步成效。與此同時，業(yè)界也在不斷對谷歌提出的技術(shù)體系進(jìn)行擴(kuò)展，使之能在更多的場景下使用。2011年，麥肯錫、世界經(jīng)濟(jì)論壇等知名機(jī)構(gòu)對這種數(shù)據(jù)驅(qū)動的創(chuàng)新進(jìn)行了研究總結(jié)，隨即在全世界興起了一股大數(shù)據(jù)熱潮。2012年3月，美國政府發(fā)布《大數(shù)據(jù)研究和發(fā)展計劃》 ，同時組建大數(shù)據(jù)高級指導(dǎo)小組，以協(xié)調(diào)政府在數(shù)據(jù)領(lǐng)域的兩億多美元投資。根據(jù)這一計劃，美國希望利用大數(shù)據(jù)技術(shù)再多個領(lǐng)域?qū)崿F(xiàn)突破，包括科研教學(xué)、環(huán)境保護(hù)、國土安全等，此舉標(biāo)志著，美國把應(yīng)對大數(shù)據(jù)技術(shù)革命帶來的機(jī)遇和挑戰(zhàn)，提高到國家戰(zhàn)略層面，形成了全體動員格局。隨后，英國、法國、日本等各國都相繼將大數(shù)據(jù)計劃作為國家戰(zhàn)略型計劃提上日程。值得一提的是，由中國各級政府主導(dǎo)的大數(shù)據(jù)計劃也已經(jīng)全面展開，“大數(shù)據(jù)”已成為推動我國經(jīng)濟(jì)和科技發(fā)展的重要力量。1.3“大數(shù)據(jù)”的特征“大數(shù)據(jù)”具有 4V的特點(diǎn)：一是數(shù)據(jù)容量巨大（ Volume）。國際數(shù)據(jù)公司（IDC）的研究報告稱，2011年全球被創(chuàng)建和被復(fù)制的數(shù)據(jù)總量為1.8ZB（2的70次方），并預(yù)測到2020年，全球?qū)碛?35ZB的數(shù)據(jù)量。二是數(shù)據(jù)類型眾多Variety）。相對于過往以文本形式為主的結(jié)構(gòu)化數(shù)據(jù)，大數(shù)據(jù)時代的數(shù)據(jù)類型涵蓋了圖片、音頻、視頻、網(wǎng)絡(luò)日志和地理位置信息等種類繁多的半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。三是數(shù)據(jù)價值密度低（Value）。舉例而言，在一個連續(xù)監(jiān)控三個小時的視頻中，能夠提供有效信息幫助刑偵人員破案的畫面可能只有三五秒。四是處理數(shù)據(jù)的速度要求非?？欤╒elocity）。一方面，面對如此巨大的數(shù)據(jù)量，處理效率至關(guān)重要，另一方面，越來越多的處理需要在瞬間完成以便做出及時的反應(yīng)。在此基礎(chǔ)上，阿里巴巴延伸至3個維度—可實時性、可解釋性、數(shù)據(jù)準(zhǔn)確性穩(wěn)定性，這三個維度是決定數(shù)據(jù)是否有價值的關(guān)鍵。1.4“大數(shù)據(jù)”的發(fā)展階段每種技術(shù)都有自己的生命周期，Gartner曾經(jīng)指出新技術(shù)生命周期的5個階段，即技術(shù)萌芽期（technologytrigger）、期望膨脹期（PeakofInflatedExpectations）、泡沫化的谷底期 （ThroughofDisillusionment）、穩(wěn)步爬升的光明期（SlopeofEnlightement），最后才能進(jìn)入成熟使用期 （PlateauofProductivity）。如下圖

1-1所示圖1-1大數(shù)據(jù)生命周期圖而大數(shù)據(jù)正是出于期望膨脹期，預(yù)計通過近兩年的發(fā)展，大數(shù)據(jù)將會在2016年達(dá)到泡沫化的低谷期，之后在5-10年的時間內(nèi)經(jīng)歷穩(wěn)步爬上的光明期，到2020年后將會到達(dá)實質(zhì)的成熟使用期。1.5“大數(shù)據(jù)”帶來的機(jī)遇（1）新一代信息技術(shù)融合應(yīng)用新焦點(diǎn)對大數(shù)據(jù)的處理和分析正成為未來新一代信息技術(shù)融合應(yīng)用的核心支撐結(jié)點(diǎn)。物聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)、數(shù)字家庭、社會化網(wǎng)絡(luò)等都是新一代信息技術(shù)具體的應(yīng)用形態(tài)，大數(shù)據(jù)伴隨這些應(yīng)用不斷增長，云計算則為這些海量的、多樣化的大數(shù)據(jù)提供存儲和運(yùn)算的支撐平臺。以大數(shù)據(jù)為結(jié)點(diǎn)，各項新一代信息技術(shù)應(yīng)用產(chǎn)生的信息將不斷匯集，并通過對不同來源數(shù)據(jù)的統(tǒng)一性、綜合性的處理、分析與優(yōu)化，將結(jié)果反饋或交叉反饋到物聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)、數(shù)字家庭、社會化網(wǎng)絡(luò)等應(yīng)用中，又進(jìn)一步改善使用體驗，并創(chuàng)造出巨大的商業(yè)價值、經(jīng)濟(jì)價值和社會價值。（2）信息產(chǎn)業(yè)持續(xù)高速增長的新引擎大數(shù)據(jù)因其巨大的商業(yè)價值和市場需求正在推動著信息產(chǎn)業(yè)持續(xù)高速增長。隨著行業(yè)用戶對大數(shù)據(jù)價值的認(rèn)可程度增加， 市場需求將出現(xiàn)井噴，面向大數(shù)據(jù)市場的新技術(shù)、新產(chǎn)品、新服務(wù)、新業(yè)態(tài)將會不斷涌現(xiàn)，大數(shù)據(jù)將為信息產(chǎn)業(yè)打開一個高增長的新市場。在硬件與集成設(shè)備領(lǐng)域，大數(shù)據(jù)面臨的有效存儲、快速讀寫、實時分析等挑戰(zhàn)，將對芯片、存儲產(chǎn)業(yè)產(chǎn)生重要影響，還將催生一體化數(shù)據(jù)存儲處理服務(wù)器、內(nèi)存計算等市場。在軟件與服務(wù)領(lǐng)域，因為大數(shù)據(jù)中蘊(yùn)含的巨大價值，帶來對數(shù)據(jù)快速處理和分析的迫切需求，將引發(fā)數(shù)據(jù)挖掘、商業(yè)智能市場的空前繁榮。（3）用戶提升競爭能力的新動力對大數(shù)據(jù)的利用將成為企業(yè)提高核心競爭力、并搶占市場先機(jī)的關(guān)鍵。企業(yè)的決策正在從“業(yè)務(wù)驅(qū)動”轉(zhuǎn)變?yōu)椤皵?shù)據(jù)驅(qū)動”。在未來3到5年，我們將會看到那些真正理解大數(shù)據(jù)并能利用大數(shù)據(jù)進(jìn)行價值挖掘的企業(yè)和不懂得大數(shù)據(jù)價值挖掘企業(yè)之間的差距。真正能夠利用好大數(shù)據(jù)、并將其價值轉(zhuǎn)化成生產(chǎn)力的企業(yè)必將具備強(qiáng)勁有力的競爭優(yōu)勢，從而成為行業(yè)的領(lǐng)導(dǎo)者。在零售行業(yè)，對大數(shù)據(jù)的分析可以使零售商實時掌握市場動態(tài)并迅速做出應(yīng)對；在互聯(lián)網(wǎng)行業(yè)，對大數(shù)據(jù)的分析可以為商家制定更加精準(zhǔn)有效的營銷策略提供決策支持；在服務(wù)行業(yè)，對大數(shù)據(jù)的分析可以幫助企業(yè)為消費(fèi)者提供更加及時和個性化的服務(wù)； 甚至在公共事業(yè)領(lǐng)域，大數(shù)據(jù)也開始發(fā)揮促進(jìn)經(jīng)濟(jì)發(fā)展、維護(hù)社會穩(wěn)定等不可小覷的重要作用。（4）推動商業(yè)模式的創(chuàng)新對于海量數(shù)據(jù)而言，提供髙附加價值的數(shù)據(jù)分析服務(wù)， 將數(shù)據(jù)封裝為服務(wù)形成可對外開放、可商業(yè)化的核心能力，實現(xiàn)商業(yè)模式的創(chuàng)新，才是大數(shù)據(jù)運(yùn)用的關(guān)鍵所在。對于政府和企業(yè)而言，至少可以實踐4種商業(yè)模式的創(chuàng)新。第一是客戶關(guān)系管理的創(chuàng)新，通過大數(shù)據(jù)分析可以根據(jù)客戶的屬性， 從不同角度深層次分析客戶、了解客戶，推出新的客戶關(guān)系管理平臺，以增加新的客戶，提高客戶的忠誠度，降低客戶流失率。第二是企業(yè)經(jīng)營決策指導(dǎo)的創(chuàng)新。企業(yè)可以利用用戶數(shù)據(jù)，有效提升資源利用能力，提高決策的準(zhǔn)確性，從而提升整體運(yùn)營效率。如，沃爾瑪通過分析客戶購買產(chǎn)品的種類組合，適時推出產(chǎn)品聯(lián)合促銷信息，以提升產(chǎn)品的銷量。第三是個性化精準(zhǔn)推薦。企業(yè)根據(jù)用戶喜好推薦各類產(chǎn)品和業(yè)務(wù)，如淘寶根據(jù)分析客戶的檢索數(shù)據(jù)，適時向客戶推送相關(guān)產(chǎn)品的廣告信息。第四是創(chuàng)新社會管理。政府可以將大數(shù)據(jù)運(yùn)用到交通、應(yīng)對突發(fā)災(zāi)害、維穩(wěn)等領(lǐng)域中。如，在大數(shù)據(jù)的幫助下，什么時間段、哪條路擁堵等問題，都可以通過分析得知，通過同一條路上多個用戶的手機(jī)位移速度， 便可以判斷當(dāng)時的路況，為擁堵做出準(zhǔn)確預(yù)警。2“大數(shù)據(jù)”的關(guān)鍵技術(shù)“大數(shù)據(jù)”已經(jīng)不僅是數(shù)據(jù)大這一事實了，更重要的是要對大數(shù)據(jù)進(jìn)行分析以獲取更多智能、深入和有價值的信息。而隨著“大數(shù)據(jù)”在越來越多的領(lǐng)域得到應(yīng)用，“大數(shù)據(jù)”也變得越來越復(fù)雜，因此“大數(shù)據(jù)”處理技術(shù)在大數(shù)據(jù)領(lǐng)域就顯得尤為重要，可以說是決定最終信息是否有價值的決定性因素。大數(shù)據(jù)應(yīng)用分析結(jié)果需要經(jīng)過數(shù)據(jù)采集、預(yù)處理、存儲、分析和挖掘等多多個環(huán)節(jié)才能最終呈現(xiàn)出來。2.1“大數(shù)據(jù)”的采集和預(yù)處理在數(shù)據(jù)分析界有著一個“拇指法則”，即數(shù)據(jù)分析工作至少有70%~80%的時間都花在搜集和準(zhǔn)備數(shù)據(jù)上，而僅有20%~30%的時間花在分析本身上。隨著新技術(shù)采集手段的出現(xiàn)，數(shù)據(jù)來源和數(shù)據(jù)類型變得豐富多彩，企業(yè)和機(jī)構(gòu)采集數(shù)據(jù)首先需要明確所需的數(shù)據(jù)內(nèi)容，并制定好數(shù)據(jù)分類存儲規(guī)則，以便更有效的采集數(shù)據(jù)。按照數(shù)據(jù)所有者劃分，企業(yè)數(shù)據(jù)采集源可以分成3類：一類是企業(yè)和機(jī)構(gòu)的內(nèi)部數(shù)據(jù)，如系統(tǒng)日志、生產(chǎn)經(jīng)營數(shù)據(jù)等；一類是合作機(jī)構(gòu)的內(nèi)部數(shù)據(jù)，可以通過設(shè)定好企業(yè)與合作機(jī)構(gòu)的系統(tǒng)接口進(jìn)行采集；還有一類是大量的網(wǎng)絡(luò)公開數(shù)據(jù)，可以通過網(wǎng)絡(luò)爬蟲或者網(wǎng)站公開的應(yīng)用開發(fā)接口（API）將所需信息從網(wǎng)頁中采集出來。目前一些互聯(lián)網(wǎng)企業(yè)和開源社區(qū)開發(fā)的海量數(shù)據(jù)采集工具，如Facebook的日志采集工具Scribe、淘寶的實時數(shù)據(jù)傳輸平臺TimeTunnel等，均已能夠滿足每秒數(shù)百M(fèi)B的日志數(shù)據(jù)采集和傳輸需求。下面就物聯(lián)網(wǎng)及社交網(wǎng)絡(luò)這兩個“大數(shù)據(jù)”的新型來源進(jìn)行簡單的介紹。（1）“大數(shù)據(jù)”與物聯(lián)網(wǎng)物聯(lián)網(wǎng)是一個信息技術(shù)領(lǐng)域的熱詞，其本質(zhì)是傳感器技術(shù)進(jìn)步的產(chǎn)物。遍布大街小巷的攝像頭，是大家可以直觀感受到的一種物聯(lián)網(wǎng)形態(tài)。事實上，傳感器幾乎無處不在，現(xiàn)在大家常用的智能手機(jī)中，就包括重力感應(yīng)器、加速度感應(yīng)器、距離感應(yīng)器、光線感應(yīng)器、陀螺儀、電子羅盤、攝像頭等各類傳感器。這些不同類型的傳感器，無時無刻不在產(chǎn)生大量的數(shù)據(jù)，這些成為大數(shù)據(jù)的重要來源之一。妥善的利用這些數(shù)據(jù)可以監(jiān)測大氣的溫度、壓強(qiáng)、風(fēng)力，監(jiān)測橋梁、礦井的安全，監(jiān)測飛機(jī)、汽車的行駛狀態(tài)等。（2）“大數(shù)據(jù)”與社交網(wǎng)絡(luò)社交網(wǎng)絡(luò)是互聯(lián)網(wǎng)發(fā)展史上一個重要的里程碑。 它把人類真實的人際關(guān)系完美地映射到互聯(lián)網(wǎng)空間，并借助互聯(lián)網(wǎng)的特性而大大升華。 社交網(wǎng)絡(luò)使得互聯(lián)網(wǎng)甚至具備某些人類的特質(zhì)，譬如“情緒” ：人們分享各自的喜怒哀樂，并相互傳染傳播。社交網(wǎng)絡(luò)為“大數(shù)據(jù)”帶來一類最具活力的數(shù)據(jù)類型，人們的喜好和偏愛。由于現(xiàn)實采集的數(shù)據(jù)與大數(shù)據(jù)分析過程中所需的數(shù)據(jù)，會存在結(jié)構(gòu)不一致或不完整的情況，大數(shù)據(jù)預(yù)處理過程可以通過數(shù)據(jù)提取、轉(zhuǎn)換和加載等操作，對采集的數(shù)據(jù)進(jìn)行初步的組織和數(shù)量，從而提高大數(shù)據(jù)分析質(zhì)量和效率。2.2“大數(shù)據(jù)”存儲技術(shù)大數(shù)據(jù)存儲需要滿足海量存儲、安全存儲和快速讀取的要求。其中海量存儲包含數(shù)據(jù)容量和數(shù)據(jù)文件量兩個方面，為保障系統(tǒng)存儲容量能夠以較低成本存儲海量數(shù)據(jù)并能實現(xiàn)快速平滑擴(kuò)展，分布式存儲和存儲虛擬化技術(shù)被廣泛采用；為更好的對系統(tǒng)中海量文件進(jìn)行有效管理，將數(shù)據(jù)傳輸和數(shù)據(jù)控制分離開的對象存儲架構(gòu)應(yīng)用廣泛。為了保障數(shù)據(jù)安全存儲不丟失，大數(shù)據(jù)存儲過程中會采用加密等安全技術(shù)，同時會對數(shù)據(jù)進(jìn)行數(shù)次備份。為了支持?jǐn)?shù)據(jù)的快速讀取和并發(fā)訪問，分布式存儲和對象存儲架構(gòu)將會更有效。目前應(yīng)用廣泛的大數(shù)據(jù)海量文件存儲技術(shù)主要有谷歌文件系統(tǒng)（GFS）和基于GFS發(fā)展的開源Hadoop分布式文件系統(tǒng)HDFS）等。一些大型網(wǎng)站將“數(shù)據(jù)”視為最核心的資產(chǎn)，他們甚至花費(fèi)高昂的費(fèi)用來保管這些數(shù)據(jù)，以便加快用戶的訪問速度。谷歌公司購買了單獨(dú)的水力發(fā)電站，為其龐大的數(shù)據(jù)中心提供充足的電力。2.3“大數(shù)據(jù)”分析技術(shù)當(dāng)大數(shù)據(jù)的采集和存儲已經(jīng)完成，如何分析數(shù)據(jù)，將這些碎片化的數(shù)據(jù)系統(tǒng)化，在無序的數(shù)據(jù)和信息世界里尋找有序的連接，挖掘到可應(yīng)用的價值，是真正駕馭大數(shù)據(jù)的重要環(huán)節(jié)。大數(shù)據(jù)的分析技術(shù)，大致包括 5個基本方法理論技術(shù)：（1）可視化分析可視化分析能夠直觀的呈現(xiàn)大數(shù)據(jù)特點(diǎn)，簡單明了易于接受。（2）數(shù)據(jù)挖掘算法大數(shù)據(jù)分析的理論核心就是數(shù)據(jù)挖掘算法， 各種數(shù)據(jù)挖掘的算法基于不同的數(shù)據(jù)類型和格式能更加科學(xué)的呈現(xiàn)出數(shù)據(jù)本身具備的特點(diǎn)，而這些數(shù)據(jù)挖掘的算法能夠快速的處理大數(shù)據(jù)。（3）預(yù)測性分析能力大數(shù)據(jù)分析最重要的應(yīng)用領(lǐng)域之一就是預(yù)測性分析，從大數(shù)據(jù)中挖掘出特點(diǎn)，通過科學(xué)的建立模型，之后便可以通過模型帶入新的數(shù)據(jù)，從而預(yù)測未來的數(shù)據(jù)。（4）語義引擎大數(shù)據(jù)分析廣泛應(yīng)用于網(wǎng)絡(luò)數(shù)據(jù)挖掘，可從用戶的搜索關(guān)鍵詞、標(biāo)簽關(guān)鍵詞、或其他輸入語義，分析，判斷用戶需求，從而實現(xiàn)更好的用戶體驗和廣告匹配。（5）數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理大數(shù)據(jù)分析離不開數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理，高質(zhì)量的數(shù)據(jù)和有效的數(shù)據(jù)管理能夠保證分析結(jié)果的真實和有價值。2.4“大數(shù)據(jù)”與云計算對于許多組織來說，“大數(shù)據(jù)”對存儲容量的需求已經(jīng)超出目前的存儲能力。我們正處于PB級存儲時代，而EB及存儲時代也即將到來。大容量的存儲不但要求系統(tǒng)具備在原有數(shù)據(jù)存儲規(guī)格上進(jìn)行擴(kuò)展的能力，還要簡單快速的進(jìn)行擴(kuò)展。云計算就為“大數(shù)據(jù)”的誕生提供了集中采集數(shù)據(jù)和存儲數(shù)據(jù)的基礎(chǔ)。云計算的出現(xiàn)改變了數(shù)據(jù)的存儲和訪問方式，在云計算出現(xiàn)之前，數(shù)據(jù)大多分散保存在每個人的個人計算機(jī)中、每家企業(yè)的服務(wù)器中。云計算，尤其是公用云計算，把所有的數(shù)據(jù)集中存儲到“數(shù)據(jù)中心”，也即所謂的“云端”，用戶通過瀏覽器或者專用應(yīng)用程序來訪問。一些大型的網(wǎng)站，通過提供基于“云”的服務(wù)，積累大量的數(shù)據(jù)，成為事實上的“數(shù)據(jù)中心”，這為“大數(shù)據(jù)”誕生奠定了基礎(chǔ)。而云計算及其技術(shù)給了人們廉價獲取巨量計算和存儲的能力，云計算分布式架構(gòu)能夠很好地支持“大數(shù)據(jù)”存儲和處理需求。這樣的低成本硬件+低成本軟件+低成本運(yùn)維，更加經(jīng)濟(jì)和實用，也使得“大數(shù)據(jù)”處理和利用成為可能?？梢哉f云計算為“大數(shù)據(jù)”提供了存儲空間和訪問渠道，“大數(shù)據(jù)”則是云計算的靈魂和必然的發(fā)展方向。而近年來國內(nèi)各地也興起了建設(shè)云計算基地的風(fēng)潮，客觀上為“大數(shù)據(jù)”在我國的推廣和應(yīng)用準(zhǔn)備了必備的儲存空間和訪問渠道。大數(shù)據(jù)產(chǎn)業(yè)的應(yīng)用3.1大數(shù)據(jù)產(chǎn)業(yè)“大數(shù)據(jù)”的應(yīng)用能帶來巨大的經(jīng)濟(jì)價值和社會價值，對于產(chǎn)業(yè)發(fā)展而言，“大數(shù)據(jù)”可以實現(xiàn)應(yīng)用創(chuàng)新、降低行業(yè)內(nèi)的生產(chǎn)成本并創(chuàng)造新的產(chǎn)業(yè)價值。咨詢機(jī)構(gòu)麥肯錫最早提出“大數(shù)據(jù)時代已經(jīng)到來”，在2012年發(fā)布的《大數(shù)據(jù)：創(chuàng)新、競爭和生產(chǎn)力的下一個領(lǐng)域》文章上表明，在零售業(yè)、制造業(yè)、醫(yī)療衛(wèi)生和公共部門，“大數(shù)據(jù)”可以加快產(chǎn)業(yè)規(guī)模的增長速度，降低生產(chǎn)運(yùn)營成本；對于企業(yè)而言，采用“大數(shù)據(jù)”可以提升企業(yè)的競爭力，改善企業(yè)的營銷規(guī)劃，客戶定位，產(chǎn)品創(chuàng)新、工作流程優(yōu)化、人力資源管理、物理管理和風(fēng)險控制等多方面的能力。目前，數(shù)據(jù)已經(jīng)滲透到當(dāng)今每一個行業(yè)和業(yè)務(wù)職能領(lǐng)域， 成為重要的生產(chǎn)因素，人們對于海量數(shù)據(jù)的挖掘和運(yùn)用， 預(yù)示著新一波生產(chǎn)率增長和消費(fèi)者盈余浪潮的到來。對于“大數(shù)據(jù)”產(chǎn)業(yè)，政府與公共事業(yè)部門、行業(yè)企業(yè)、個人消費(fèi)者是其的最終用戶。在政府與公共事業(yè)領(lǐng)域，“大數(shù)據(jù)”可以應(yīng)用到城市規(guī)劃、公共安全、公共交通、輿情管理等社會管理和民生服務(wù)領(lǐng)域，帶來效率提升、響應(yīng)速度加快、服務(wù)水平提高、管理成本下降等諸多效益。對于行業(yè)企業(yè)，“大數(shù)據(jù)”可以應(yīng)用到產(chǎn)品研發(fā)設(shè)計、生產(chǎn)運(yùn)作管理、供應(yīng)鏈管理、客戶關(guān)系管理、企業(yè)品牌營銷等各個環(huán)節(jié)，能夠幫助企業(yè)準(zhǔn)確把握市場需求變動、提高產(chǎn)品設(shè)計與生產(chǎn)效率、提高供應(yīng)鏈的敏捷性和準(zhǔn)確性、實現(xiàn)個性化精準(zhǔn)營銷，同時也促進(jìn)IT技術(shù)的創(chuàng)新。對于個人消費(fèi)者，通過“大數(shù)據(jù)”的應(yīng)用服務(wù)將使信息變得更加泛在，從家庭生活、出行、消費(fèi)、娛樂、旅游、學(xué)習(xí)等方方面面拓展民眾生活空間、提高民眾的生活品質(zhì)?？偨Y(jié)以往，“大數(shù)據(jù)”的應(yīng)用價值可以分為感知現(xiàn)在和預(yù)知未來兩部分。（1）感知現(xiàn)在通過對歷史數(shù)據(jù)和當(dāng)前數(shù)據(jù)的融合，以及潛在模式挖掘，力求達(dá)到對事物對群體與社會發(fā)展當(dāng)前狀態(tài)進(jìn)行更全面、更精確、更理性的認(rèn)知。這種認(rèn)知可以是宏觀的，也可以是微觀的。宏觀方面可以對PB級社會媒體數(shù)據(jù)、百億級日志數(shù)據(jù)繼續(xù)擰分析挖掘，掌握宏觀現(xiàn)狀，如環(huán)境指數(shù)，健康指數(shù)等。在微觀方面可以利用PB級的日志數(shù)據(jù)和 EB級的監(jiān)控數(shù)據(jù)，挖掘潛在線索，如犯罪行為軌跡等。（2）預(yù)測未來通過對“大數(shù)據(jù)”彼此之間的關(guān)聯(lián)分析，演化態(tài)勢和效應(yīng)的判定與調(diào)控，揭示事物發(fā)展的演變規(guī)律，進(jìn)而對是事物發(fā)展趨勢進(jìn)行預(yù)測。如基于twitter等網(wǎng)上公開數(shù)據(jù)的實時感知、動態(tài)獲取與綜合分析，結(jié)合仿真調(diào)控，預(yù)測大選結(jié)果；聯(lián)合國“全球脈動”利用網(wǎng)絡(luò)大數(shù)據(jù)預(yù)測失業(yè)率與疾病暴發(fā)等現(xiàn)象，利用數(shù)字化的早起預(yù)警信號來提前指導(dǎo)援助項目，以免某個脫貧地區(qū)重新陷入貧困。這些都說明了正確的大數(shù)據(jù)應(yīng)用對于準(zhǔn)確預(yù)測事件發(fā)展趨勢具有重大的價值，人們可以給予“大數(shù)據(jù)”更好的進(jìn)行科學(xué)決策和事前準(zhǔn)備，未來“大數(shù)據(jù)”預(yù)測技術(shù)將會更廣泛的運(yùn)用到人們的日常生活中，變革人們的生活。3.2“大數(shù)據(jù)”在典型領(lǐng)域中的應(yīng)用當(dāng)前“大數(shù)據(jù)”已經(jīng)在物理學(xué)、生物學(xué)、環(huán)境生態(tài)學(xué)等領(lǐng)域，以及軍事、金融、通訊等行業(yè)有所應(yīng)用并帶來了巨大的產(chǎn)業(yè)價值。以下本文將舉出實際案例以介紹“大數(shù)據(jù)”在各個領(lǐng)域的具體應(yīng)用。在IT領(lǐng)域，一個典型的案例就是eBay通過數(shù)據(jù)分析技術(shù)可以精確計算出廣告中的每一個關(guān)鍵字為公司帶來的回報，通過對廣告投放的優(yōu)化，自2007年以來eBay產(chǎn)品銷售的廣告費(fèi)降低了99%，而頂級賣家占總銷售額的百分比卻上升至32%。在經(jīng)濟(jì)領(lǐng)域，大數(shù)據(jù)在經(jīng)濟(jì)領(lǐng)域的應(yīng)用可以通過這樣一個有趣的案例進(jìn)行說明，社交媒體檢測平臺DataSift檢測了社交網(wǎng)絡(luò)Facebook首次公開募股當(dāng)天Twitter上的情感傾向與Facebook股價波動的關(guān)聯(lián)。在Fcebook開盤前，Twitter上的情感逐漸轉(zhuǎn)向負(fù)向，25分鐘之后twitter的股價就開始下跌，當(dāng)twitter上的情感轉(zhuǎn)向正面時，F(xiàn)acebook的股價在8分鐘后也開始回彈，最終當(dāng)股市接近收盤，twitter上的情感轉(zhuǎn)向負(fù)面時，10分鐘口Facebook的股價又開始下跌，該機(jī)構(gòu)得出結(jié)論，Twitter上每一次情感傾向的轉(zhuǎn)向都會Facebook股價的波動高度關(guān)聯(lián)。這證實以大數(shù)據(jù)預(yù)測未來股價走向的典型案例。氣象預(yù)測方面，一家美國公司把氣象數(shù)據(jù)放在亞馬遜的 “云平臺”上進(jìn)行處理，以及時提供氣象預(yù)報的方式，保證當(dāng)?shù)氐霓r(nóng)牧業(yè)主在特定的地區(qū)以及特定的季節(jié)不會遭受天氣災(zāi)害，由此獲得了豐厚的利潤。智能交通方面，根據(jù)路網(wǎng)監(jiān)控，火車票及飛機(jī)票的預(yù)定，以及網(wǎng)上地圖查詢記錄，能夠提前預(yù)測某個城市的出行人數(shù)的大致規(guī)模，再結(jié)合交通部門的其他信息，便可以預(yù)測出群體出行的態(tài)勢，對其可能的出行時間、出行路線、出行方式等進(jìn)行預(yù)測，從而為城市交通調(diào)度提供決策幫助。軍事領(lǐng)域，美國“2049項目研究所”于2008年在華盛頓成立，2010年它利用網(wǎng)絡(luò)上公開的數(shù)據(jù)和資料，分析和預(yù)測我國在軍事和經(jīng)濟(jì)領(lǐng)域的安全問題，發(fā)布了一份名為《中國核彈頭存放和使用系統(tǒng)》的報告，稱在陜西、江西、四川等地發(fā)現(xiàn)了中國的核武器基地，甚至還精確到了核基地所在的市縣名稱。2013年3月，他們還發(fā)布了一份關(guān)于中國無人機(jī)項目的研究報告，較全面的分析了中國無人機(jī)的研制、發(fā)展、裝備以及作戰(zhàn)部署情況。以上都是“大數(shù)據(jù)”在一些實際領(lǐng)域的應(yīng)用，未來“大數(shù)據(jù)”將會在更多的領(lǐng)域得到應(yīng)用，決策行為將會基于數(shù)據(jù)分析做出，通過對數(shù)據(jù)的整理和分析，政府和企業(yè)能夠預(yù)測個體下一步的需求，進(jìn)而提供更加智能與高效率的管理和服務(wù)。3.3智慧城市：立體的大數(shù)據(jù)生態(tài)系統(tǒng)智慧城市是城鎮(zhèn)化發(fā)展的高級階段，是城市信息化的新形式，是現(xiàn)代城市發(fā)展的愿景。智慧城市在產(chǎn)生大數(shù)據(jù)的同時，“大數(shù)據(jù)”也支撐著智慧城市的建設(shè)和發(fā)展，而智慧城市的衡量指標(biāo)是由“大數(shù)據(jù)”體現(xiàn)的?！按髷?shù)據(jù)”挖掘?qū)χ腔鄢鞘械慕?jīng)濟(jì)發(fā)展和社會管理是無形的生產(chǎn)資料，“大數(shù)據(jù)”合理利用將創(chuàng)造巨大財富。在未來，大數(shù)據(jù)將成為維護(hù)城市運(yùn)行的基本要素，智慧城市在“大數(shù)據(jù)”的支撐下，成為立體的大數(shù)據(jù)生態(tài)系統(tǒng)，促進(jìn)城市的發(fā)展。智慧城市的產(chǎn)生隨著城市規(guī)模的增大、城市人口的增多，人們對住房、教育、交通、醫(yī)療保險等的需求的也在不斷膨脹。諸如高房價、堵車、霧霾等“城市病”也越來越多，傳統(tǒng)的管理手段已變得捉襟見肘，而信息化可以說是抗擊“城市病”的有效手段。伴隨著網(wǎng)絡(luò)帝國的崛起、移動技術(shù)的融合發(fā)展以及創(chuàng)新的民主化進(jìn)程，知識社會環(huán)境中的智慧城市是繼智能城市之后信息化城市發(fā)展的高級形態(tài)。利用城市管理中產(chǎn)生的大量信息與數(shù)據(jù)，積極促進(jìn)城市機(jī)構(gòu)之間的實時溝通和協(xié)助，分析原因，制定對策，有效平衡社會、商業(yè)和環(huán)境發(fā)展需要，優(yōu)化現(xiàn)有的可用資源，以最優(yōu)化的方式為城市公民提供全面又超前的服務(wù)，積極提高公民的生活幸福感—這種高效、智能且可持續(xù)的城市管理被稱為智慧城市?？梢哉f大數(shù)據(jù)是智慧城市實現(xiàn)智慧化的關(guān)鍵支撐，成為驅(qū)動智慧城市發(fā)展的動力。智慧城市采用以物聯(lián)網(wǎng)、云計算、大數(shù)據(jù)等為核心的新一代信息技術(shù)，集成城市的組織（人）、業(yè)務(wù)（政務(wù)）、交通、通信、能源等城市運(yùn)行中的各個核心系統(tǒng)，使整個城市成為以一種更有智慧的方式運(yùn)行的宏大的智慧城市系統(tǒng)，對保障城市正常運(yùn)行的每個系統(tǒng)進(jìn)行全面的監(jiān)測、管理、預(yù)警和處置，快速、智能地響應(yīng)城市管理者和市民的各種需求，提高城市運(yùn)行效率，提高政府決策力。建設(shè)智慧城市是城市發(fā)展的新范式和新戰(zhàn)略，是當(dāng)今世界城市發(fā)展的趨勢和特征。建設(shè)智慧城市對抗擊“城市病”具有強(qiáng)烈的現(xiàn)實意義。首先智慧化運(yùn)營通過運(yùn)用來自城市多個部門的信息，進(jìn)行數(shù)據(jù)聚集和規(guī)范化后，識別出相關(guān)的重要事件，以提升服務(wù)質(zhì)量。其次，智慧化運(yùn)營能夠預(yù)測城市發(fā)展的問題與危機(jī)，最大限度降低對城市居民的影響。如通過可視化重要事件和警報、地理信息等數(shù)據(jù)，識別出模式和趨勢，保證行動有依據(jù)，主動觸發(fā)預(yù)設(shè)的預(yù)案以加快響應(yīng)，減少服務(wù)中斷概率，避免城市內(nèi)大型事故擴(kuò)大升級，減少災(zāi)害的影響。最后，智慧城市可實現(xiàn)通過協(xié)調(diào)不同部門的資源，以提高更快、更有效的影響?！按髷?shù)據(jù)”的智慧化幫助管理者跨部門決策、協(xié)調(diào)，提高公共服務(wù)交付效率，減少應(yīng)對突發(fā)災(zāi)害的響應(yīng)時間。全球智慧城市的實踐全球在智慧城市的實踐中展現(xiàn)了各自不同的設(shè)計理念：美國在智慧城市建設(shè)方面選擇智能電網(wǎng)進(jìn)行突破，注重于商業(yè)機(jī)構(gòu)的合作，利用UrbanSim等智能化的城市仿真系統(tǒng)對城市空間發(fā)展進(jìn)行優(yōu)化。在美國2009年的經(jīng)濟(jì)復(fù)蘇計劃中，有項高達(dá)110億美元的投資，用于建設(shè)可安裝各種控制設(shè)備的新一代智能電網(wǎng)。日本在2009年7月推出“智慧日本戰(zhàn)略2015”，旨在將數(shù)字信息技術(shù)融入生活的方方面面，聚焦于電子化政府治理、醫(yī)療健康信息服務(wù)、教育與人才培養(yǎng)大公共事業(yè)。韓國政府于2004年提出了“U-韓國”發(fā)展戰(zhàn)略，經(jīng)過多年的實踐，首爾、釜山等一些城市已進(jìn)入“泛在城市”時代。“泛在城市”以“建設(shè)尖端信息城市，提高市民生活質(zhì)量和城市競爭力”為目標(biāo)，利用無線傳感器網(wǎng)絡(luò)，實現(xiàn)對城市設(shè)施、安全、交通、環(huán)境等方面的智能化管理和控制。根據(jù)國際數(shù)據(jù)公司預(yù)計， 2011年，全球新型智慧城市信息技術(shù)的市場規(guī)模達(dá)到340億美元，并將以每年超過 18%的速度增長，到 2014年將達(dá)到570億美元。中國智慧城市2012年11月，住房和城鄉(xiāng)建設(shè)部辦公廳發(fā)布《關(guān)于開展國家智慧城市試點(diǎn)工作的通知》，將建設(shè)智慧城市作為貫徹黨中央、國務(wù)院關(guān)于創(chuàng)新驅(qū)動發(fā)展、推動新型城鎮(zhèn)化、全面建成小康社會的重要舉措，要求各地高度重視，抓住機(jī)遇，通過積極開展智慧城市建設(shè)，提升城市管理能力和服務(wù)水平，促進(jìn)產(chǎn)業(yè)轉(zhuǎn)型發(fā)展。截至2012年7月，中國共有150多個城市提出建設(shè)或正在建設(shè)智慧城市，其中，北京、上海、廣州等城市是智慧城市創(chuàng)建進(jìn)程的領(lǐng)跑者?？傮w上說，中國東部地區(qū)智慧城市建設(shè)重點(diǎn)在于以信息技術(shù)促進(jìn)轉(zhuǎn)變經(jīng)濟(jì)發(fā)展方式， 提高社會管理水平，提升城市競爭力，塑造城市品牌。中西部地區(qū)智慧城市的建設(shè)更加注重對城市的宣傳推廣作用，力爭通過智慧城市建設(shè)促進(jìn)投資軟硬件環(huán)境的改善， 加強(qiáng)招商引資。中國智慧城市建設(shè)分為前期基礎(chǔ)設(shè)施建設(shè)、中期數(shù)據(jù)處理設(shè)施建設(shè)和后期的服務(wù)平臺建設(shè)。就智慧城市的建設(shè)內(nèi)容來看，一方面是加強(qiáng)城市基礎(chǔ)通信網(wǎng)絡(luò)建設(shè)，提高通信網(wǎng)絡(luò)帶寬及覆蓋率；另一方面是在一個云計算平臺之上提供智慧應(yīng)用服務(wù)，如智慧交通、智慧醫(yī)療等。相關(guān)的建設(shè)涉及通信設(shè)備制造企業(yè)、系統(tǒng)集成企業(yè)、數(shù)據(jù)采集分析企業(yè)、通信運(yùn)營商和數(shù)據(jù)服務(wù)企業(yè)，對整個產(chǎn)業(yè)鏈將起到巨大的拉動作用。中國智慧城市建設(shè)有三種模式：一種是以物聯(lián)網(wǎng)產(chǎn)業(yè)發(fā)展為驅(qū)動的建設(shè)模式，如天津、廣州等；一種是以信息基礎(chǔ)設(shè)施建設(shè)為先導(dǎo)的建設(shè)模式，如上海、南京等；一種是以社會服務(wù)與管理應(yīng)用為突破口的建設(shè)模式，如北京、武漢等。在中國智慧城市建設(shè)中，應(yīng)當(dāng)注意以下幾點(diǎn)：1）要因城而異，不能照搬西方的模式。智慧城市建設(shè)目標(biāo)的確立要符合城市當(dāng)前的發(fā)展階段，解決居民最迫切需要解決的問題，走出中國智慧城市建設(shè)的差異化道路。2）注重政府統(tǒng)籌，打破行業(yè)、地域壁壘，建立智慧城市大數(shù)據(jù)的共建共享機(jī)制。3）大力推動智慧城市的創(chuàng)新應(yīng)用，實現(xiàn)創(chuàng)新示范項目應(yīng)用的落地。4）完善智慧城市建設(shè)中大數(shù)據(jù)信息安全的基礎(chǔ)建設(shè)及管理體制，從技術(shù)、管理和法律等多方面保證智慧城市建設(shè)的正常運(yùn)行。問題與挑戰(zhàn)“大數(shù)據(jù)”對社會的好處是無窮無盡的，它在一定程度上解決可迫在眉睫的全球問題，如處理氣候變化、根除疾病等，然而“大數(shù)據(jù)”在帶來大知識、大發(fā)展、大價值的同時，也潛藏著巨大的風(fēng)險。4.1數(shù)據(jù)質(zhì)量真實準(zhǔn)確是數(shù)據(jù)的生命，組織如果沒有能力獲得真實數(shù)據(jù)，數(shù)據(jù)規(guī)模再大、數(shù)據(jù)分析技術(shù)再先進(jìn)也是徒勞。另外由于受到城鄉(xiāng)差異、地域差異等的影響，社會上弱勢群體的信息占有和表達(dá)處于弱勢，這就造成了數(shù)據(jù)鴻溝的存在。而數(shù)據(jù)造假、數(shù)據(jù)鴻溝等問題在大數(shù)據(jù)時代依然存在，偏見和盲區(qū)存在于大數(shù)據(jù)中，大數(shù)據(jù)得出的結(jié)論并不是完全客觀、準(zhǔn)確的，它并不能提供價值判斷，也不能完全取代人的經(jīng)驗和直覺。認(rèn)清這個事實，能夠幫助我們在運(yùn)用大數(shù)據(jù)的過程中，更科學(xué)的解讀數(shù)據(jù)。4.2數(shù)據(jù)安全數(shù)據(jù)安全在大數(shù)據(jù)時代也同樣面臨挑戰(zhàn)。大數(shù)據(jù)發(fā)展的趨勢往往與加大信息開放、設(shè)計新的信息收集設(shè)備以及為海量數(shù)據(jù)的龐大存續(xù)和分析需求提供支持的云計算等如影隨形。帶來的副作用是IT基礎(chǔ)架構(gòu)將變得越來越一體化和外向型，對數(shù)據(jù)安全和知識產(chǎn)權(quán)構(gòu)成更大風(fēng)險。4.3用戶隱私與便利性的沖突“大數(shù)據(jù)”對個人信息獲取渠道的拓寬的需求引發(fā)了另一個重要問題：隱私和便利性之間的沖突。研究表明，消費(fèi)者受惠于海量數(shù)據(jù)：更低的價格、更符合消費(fèi)者需要的商品，以及從改善健康狀況到提高社會互動順暢度等生活質(zhì)量的提高。但同時，隨著個人購買偏好、健康和財務(wù)情況的海量數(shù)據(jù)被收集，人們對隱私的擔(dān)憂也在增大。這需要政府和企業(yè)從政策、技術(shù)和法律等多個方向進(jìn)行思考和應(yīng)對。4.4龐大能耗向來被人們認(rèn)為是綠色環(huán)保的信息產(chǎn)業(yè)其實是污染和耗能大戶，調(diào)查結(jié)果發(fā)現(xiàn)，數(shù)據(jù)中心浪費(fèi)的電力高達(dá)總能耗的90%以上。業(yè)內(nèi)專家估計，全球范圍內(nèi)所有數(shù)據(jù)中心的總功率高達(dá)3000萬千瓦，幾乎等于30座核電站的發(fā)電量。盡管現(xiàn)在已經(jīng)有許多辦法幫助數(shù)據(jù)中心降低能耗，但出于對風(fēng)險的恐懼，多數(shù)公司不愿作出任何改變。目前，中國多個地區(qū)已經(jīng)開始或計劃興建大型數(shù)據(jù)中心，在建設(shè)過程中應(yīng)提前考慮能耗問題，以免重蹈覆轍。4.5數(shù)據(jù)分析與管理人才緊缺人才是大數(shù)據(jù)帶來的挑戰(zhàn)之一。研究表明，單單在美國，對擁有深厚的海量數(shù)據(jù)分析（包括機(jī)器學(xué)習(xí)和高級統(tǒng)計分析）技能人才的需求，可能超出目前預(yù)測供應(yīng)量的50-60%。到2018年，需要新增多達(dá)14-19萬名專家。此外，還需要150萬名熟悉如何應(yīng)用海量數(shù)據(jù)的管理者和分析員。企業(yè)和政府必須加大招聘和人才挽留力度，同時大力投入關(guān)鍵數(shù)據(jù)人員的教育和培訓(xùn)。4.6跟風(fēng)現(xiàn)象較為嚴(yán)重目前大數(shù)據(jù)應(yīng)用市場還沒有很大，要等到數(shù)據(jù)、技術(shù)和系統(tǒng)的準(zhǔn)備有了一定的突破之后才會出現(xiàn)飛速的發(fā)展，但是從現(xiàn)在工業(yè)界發(fā)展的情境看來，很多企業(yè)出現(xiàn)了跟風(fēng)上項目、跟風(fēng)賣產(chǎn)品的現(xiàn)象。在現(xiàn)今“大數(shù)據(jù)”的發(fā)展情境看來，政府和企業(yè)要做到結(jié)合行業(yè)和產(chǎn)業(yè)的特點(diǎn)進(jìn)行整體的規(guī)劃，之后逐步實施，做到不慌張、不跟風(fēng)也不要坐失良機(jī)。4.7缺少技術(shù)創(chuàng)新水平較高的互聯(lián)網(wǎng)公司從全球來看，大數(shù)據(jù)技術(shù)創(chuàng)新水平分布極不均衡，如谷歌、 Facebook、IBM公司的技術(shù)遙遙領(lǐng)先于我國企業(yè)，總體來說，國際形成了“原創(chuàng)技術(shù)-開源軟件-商用產(chǎn)品”的技術(shù)創(chuàng)新鏈條，并以此為基礎(chǔ)初步衍生了從存儲和計算平臺、數(shù)據(jù)分析軟件到大數(shù)據(jù)云服務(wù)的產(chǎn)業(yè)生態(tài)。我國未來大數(shù)據(jù)的發(fā)展必然會受到技術(shù)水平的影響，如何加大創(chuàng)新投入力度，提高我國大數(shù)據(jù)技術(shù)水平成為未來我國大數(shù)據(jù)產(chǎn)業(yè)發(fā)展的一大問題。對大數(shù)據(jù)產(chǎn)業(yè)發(fā)展的建議展望未來，大數(shù)據(jù)發(fā)展的序幕剛剛拉起，冷靜的思考是十分必要的，大數(shù)據(jù)在更多領(lǐng)域落地實施還是要經(jīng)歷一個較長期的過程，而在這個過程中離不開政府、企業(yè)和公民的共同努力。5.1政府方面“大數(shù)據(jù)”是立足全局、面向未來的重大戰(zhàn)略，將為中國創(chuàng)造社會經(jīng)濟(jì)創(chuàng)新發(fā)展的重要機(jī)遇，將引領(lǐng)公共管理與服務(wù)的變革。實施大數(shù)據(jù)戰(zhàn)略，對于政府部門來說，不僅意味著要上馬多少高新科技項目，更意味著要調(diào)整自身運(yùn)作的機(jī)制，進(jìn)行一次政府理念的創(chuàng)新，政府職能的轉(zhuǎn)變、政府流程的再造。（1）政府要成為“大數(shù)據(jù)”的實踐者，積極推動大數(shù)據(jù)的全面落地，在領(lǐng)導(dǎo)意識、組織文化、組織結(jié)構(gòu)和工作流程等各方面的整體優(yōu)化，鼓勵率先在政府部門和公共事務(wù)中推動“大數(shù)據(jù)”的應(yīng)用，更好的增強(qiáng)服務(wù)能力，樹立更加開放、透明、負(fù)責(zé)、高效的政府形象。（2）政府部門作為“大數(shù)據(jù)”的實踐者應(yīng)該建構(gòu)一套數(shù)據(jù)系統(tǒng)，這個數(shù)據(jù)系統(tǒng)需要包括3個必備因素：天上有云（云平臺）、地上有網(wǎng)（物聯(lián)網(wǎng)、泛在網(wǎng)）、中間有數(shù)（數(shù)據(jù)）。所謂天上有云就是建立政府云平臺，把離散在指揮中心、公安、交通等單位的信息資源，聚合成集預(yù)案庫、知識庫、專家?guī)?、案例庫隊伍庫、地理信息庫為一體的應(yīng)急信息資源云，通過統(tǒng)一指揮調(diào)度，在各類突發(fā)事件的處理過程中為各級指揮人員提供決策支持。應(yīng)用云平臺不僅能有效協(xié)調(diào)政府資源和行動，還能在政府部門之間共享數(shù)據(jù)服務(wù)，避免重復(fù)投資，提高計算資源利用率。共享和聯(lián)動是云平臺的關(guān)鍵詞，也是讓大數(shù)據(jù)真正落地實施的突破口。而做到地上有網(wǎng)的關(guān)鍵是消除信息孤