“大數(shù)據(jù)”的認(rèn)識(shí)與思考

“大數(shù)據(jù)”的認(rèn)識(shí)與思考劉姝祎目錄1“大數(shù)據(jù)”的時(shí)代背景 41.1“大數(shù)據(jù)”的概念 41.2“大數(shù)據(jù)”產(chǎn)生的背景 41.3“大數(shù)據(jù)”的特征 51.4“大數(shù)據(jù)”的發(fā)展階段 51.5“大數(shù)據(jù)”帶來的機(jī)遇 62“大數(shù)據(jù)”的關(guān)鍵技術(shù) 92.1“大數(shù)據(jù)”的采集和預(yù)處理 92.2“大數(shù)據(jù)”存儲(chǔ)技術(shù) 102.3“大數(shù)據(jù)”分析技術(shù) 102.4“大數(shù)據(jù)”與云計(jì)算 113大數(shù)據(jù)產(chǎn)業(yè)的應(yīng)用 123.1大數(shù)據(jù)產(chǎn)業(yè) 123.2“大數(shù)據(jù)”在典型領(lǐng)域中的應(yīng)用 133.3智慧城市：立體的大數(shù)據(jù)生態(tài)系統(tǒng) 14智慧城市的產(chǎn)生 14全球智慧城市的實(shí)踐 15中國(guó)智慧城市 164問題與挑戰(zhàn) 184.1數(shù)據(jù)質(zhì)量 184.2數(shù)據(jù)安全 184.3用戶隱私與便利性的沖突 184.4龐大能耗 184.5數(shù)據(jù)分析與管理人才緊缺 194.6跟風(fēng)現(xiàn)象較為嚴(yán)重 194.7缺少技術(shù)創(chuàng)新水平較高的互聯(lián)網(wǎng)公司 195對(duì)大數(shù)據(jù)產(chǎn)業(yè)發(fā)展的建議 205.1政府方面 205.2企業(yè)方面 215.3公眾方面 221“大數(shù)據(jù)”的時(shí)代背景1.1“大數(shù)據(jù)”的概念紐約時(shí)報(bào)在2012年宣布“大數(shù)據(jù)時(shí)代”已經(jīng)降臨，“大數(shù)據(jù)”成為了時(shí)下最火熱的詞匯。顧名思義，大數(shù)據(jù)是“無法任意時(shí)間內(nèi)用常規(guī)軟件工具對(duì)其內(nèi)容進(jìn)行抓取、管理和處理的大量而復(fù)雜的數(shù)據(jù)集合”。Gartner認(rèn)為大數(shù)據(jù)是“需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)”?！按髷?shù)據(jù)”的要義是盡可能地收集眾多可以相互疊加補(bǔ)充的信息，據(jù)以完成對(duì)“未來”的預(yù)測(cè)。這些數(shù)據(jù)可能有些混亂，甚至?xí)霈F(xiàn)紕漏，但數(shù)據(jù)量的“多“和時(shí)間的“即刻”可以彌補(bǔ)數(shù)據(jù)質(zhì)量的瑕疵，“大數(shù)據(jù)”將以最快的速度“預(yù)測(cè)”出最“可靠”的答案，指引人們迅速采取行動(dòng)。1.2“大數(shù)據(jù)”產(chǎn)生的背景大數(shù)據(jù)的應(yīng)用和技術(shù)是在互聯(lián)網(wǎng)快速發(fā)展中誕生的， 起點(diǎn)可追溯到 2000年前后。當(dāng)時(shí)互聯(lián)網(wǎng)網(wǎng)頁(yè)爆發(fā)式增長(zhǎng)，每天新增約700萬個(gè)網(wǎng)頁(yè)，到2000年底全球網(wǎng)頁(yè)數(shù)達(dá)到40億，用戶檢索信息越來越不方便。谷歌等公司率先建立了覆蓋數(shù)十億網(wǎng)頁(yè)的索引庫(kù)，開始提供較為精確的搜索服務(wù)，大大提升了人們使用互聯(lián)網(wǎng)的效率，這是大數(shù)據(jù)應(yīng)用的起點(diǎn)。當(dāng)時(shí)搜索引擎要存儲(chǔ)和處理的數(shù)據(jù)，不僅數(shù)量之大前所未有，而且以非結(jié)構(gòu)化數(shù)據(jù)為主，傳統(tǒng)技術(shù)無法應(yīng)對(duì)。為此，谷歌提出了一套以分布式為特征的全新技術(shù)體系，即后來陸續(xù)公開的分布式文件系統(tǒng)(GFS，GoogleFileSystem)、分布式并行計(jì)算(MapReduce)和分布式數(shù)據(jù)庫(kù)(BigTable)等技術(shù)，以較低的成本實(shí)現(xiàn)了之前技術(shù)無法達(dá)到的規(guī)模。這些技術(shù)奠定了當(dāng)前大數(shù)據(jù)技術(shù)的基礎(chǔ)，可以認(rèn)為是大數(shù)據(jù)技術(shù)的源頭。伴隨著互聯(lián)網(wǎng)產(chǎn)業(yè)的崛起，這種創(chuàng)新的海量數(shù)據(jù)處理技術(shù)在電子商務(wù)、定向廣告、智能推薦、社交網(wǎng)絡(luò)等方面得到應(yīng)用，取得巨大的商業(yè)成功。這啟發(fā)全社會(huì)開始重新審視數(shù)據(jù)的巨大價(jià)值，于是金融、電信等擁有大量數(shù)據(jù)的行業(yè)開始嘗試這種新的理念和技術(shù)，取得初步成效。與此同時(shí)，業(yè)界也在不斷對(duì)谷歌提出的技術(shù)體系進(jìn)行擴(kuò)展，使之能在更多的場(chǎng)景下使用。2011年，麥肯錫、世界經(jīng)濟(jì)論壇等知名機(jī)構(gòu)對(duì)這種數(shù)據(jù)驅(qū)動(dòng)的創(chuàng)新進(jìn)行了研究總結(jié)，隨即在全世界興起了一股大數(shù)據(jù)熱潮。2012年3月，美國(guó)政府發(fā)布《大數(shù)據(jù)研究和發(fā)展計(jì)劃》 ，同時(shí)組建大數(shù)據(jù)高級(jí)指導(dǎo)小組，以協(xié)調(diào)政府在數(shù)據(jù)領(lǐng)域的兩億多美元投資。根據(jù)這一計(jì)劃，美國(guó)希望利用大數(shù)據(jù)技術(shù)再多個(gè)領(lǐng)域?qū)崿F(xiàn)突破，包括科研教學(xué)、環(huán)境保護(hù)、國(guó)土安全等，此舉標(biāo)志著，美國(guó)把應(yīng)對(duì)大數(shù)據(jù)技術(shù)革命帶來的機(jī)遇和挑戰(zhàn)，提高到國(guó)家戰(zhàn)略層面，形成了全體動(dòng)員格局。隨后，英國(guó)、法國(guó)、日本等各國(guó)都相繼將大數(shù)據(jù)計(jì)劃作為國(guó)家戰(zhàn)略型計(jì)劃提上日程。值得一提的是，由中國(guó)各級(jí)政府主導(dǎo)的大數(shù)據(jù)計(jì)劃也已經(jīng)全面展開，“大數(shù)據(jù)”已成為推動(dòng)我國(guó)經(jīng)濟(jì)和科技發(fā)展的重要力量。1.3“大數(shù)據(jù)”的特征“大數(shù)據(jù)”具有 4V的特點(diǎn)：一是數(shù)據(jù)容量巨大（ Volume）。國(guó)際數(shù)據(jù)公司（IDC）的研究報(bào)告稱，2011年全球被創(chuàng)建和被復(fù)制的數(shù)據(jù)總量為1.8ZB（2的70次方），并預(yù)測(cè)到2020年，全球?qū)碛?35ZB的數(shù)據(jù)量。二是數(shù)據(jù)類型眾多Variety）。相對(duì)于過往以文本形式為主的結(jié)構(gòu)化數(shù)據(jù)，大數(shù)據(jù)時(shí)代的數(shù)據(jù)類型涵蓋了圖片、音頻、視頻、網(wǎng)絡(luò)日志和地理位置信息等種類繁多的半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。三是數(shù)據(jù)價(jià)值密度低（Value）。舉例而言，在一個(gè)連續(xù)監(jiān)控三個(gè)小時(shí)的視頻中，能夠提供有效信息幫助刑偵人員破案的畫面可能只有三五秒。四是處理數(shù)據(jù)的速度要求非?？欤╒elocity）。一方面，面對(duì)如此巨大的數(shù)據(jù)量，處理效率至關(guān)重要，另一方面，越來越多的處理需要在瞬間完成以便做出及時(shí)的反應(yīng)。在此基礎(chǔ)上，阿里巴巴延伸至3個(gè)維度—可實(shí)時(shí)性、可解釋性、數(shù)據(jù)準(zhǔn)確性穩(wěn)定性，這三個(gè)維度是決定數(shù)據(jù)是否有價(jià)值的關(guān)鍵。1.4“大數(shù)據(jù)”的發(fā)展階段每種技術(shù)都有自己的生命周期，Gartner曾經(jīng)指出新技術(shù)生命周期的5個(gè)階段，即技術(shù)萌芽期（technologytrigger）、期望膨脹期（PeakofInflatedExpectations）、泡沫化的谷底期 （ThroughofDisillusionment）、穩(wěn)步爬升的光明期（SlopeofEnlightement），最后才能進(jìn)入成熟使用期 （PlateauofProductivity）。如下圖

1-1所示圖1-1大數(shù)據(jù)生命周期圖而大數(shù)據(jù)正是出于期望膨脹期，預(yù)計(jì)通過近兩年的發(fā)展，大數(shù)據(jù)將會(huì)在2016年達(dá)到泡沫化的低谷期，之后在5-10年的時(shí)間內(nèi)經(jīng)歷穩(wěn)步爬上的光明期，到2020年后將會(huì)到達(dá)實(shí)質(zhì)的成熟使用期。1.5“大數(shù)據(jù)”帶來的機(jī)遇（1）新一代信息技術(shù)融合應(yīng)用新焦點(diǎn)對(duì)大數(shù)據(jù)的處理和分析正成為未來新一代信息技術(shù)融合應(yīng)用的核心支撐結(jié)點(diǎn)。物聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)、數(shù)字家庭、社會(huì)化網(wǎng)絡(luò)等都是新一代信息技術(shù)具體的應(yīng)用形態(tài)，大數(shù)據(jù)伴隨這些應(yīng)用不斷增長(zhǎng)，云計(jì)算則為這些海量的、多樣化的大數(shù)據(jù)提供存儲(chǔ)和運(yùn)算的支撐平臺(tái)。以大數(shù)據(jù)為結(jié)點(diǎn)，各項(xiàng)新一代信息技術(shù)應(yīng)用產(chǎn)生的信息將不斷匯集，并通過對(duì)不同來源數(shù)據(jù)的統(tǒng)一性、綜合性的處理、分析與優(yōu)化，將結(jié)果反饋或交叉反饋到物聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)、數(shù)字家庭、社會(huì)化網(wǎng)絡(luò)等應(yīng)用中，又進(jìn)一步改善使用體驗(yàn)，并創(chuàng)造出巨大的商業(yè)價(jià)值、經(jīng)濟(jì)價(jià)值和社會(huì)價(jià)值。（2）信息產(chǎn)業(yè)持續(xù)高速增長(zhǎng)的新引擎大數(shù)據(jù)因其巨大的商業(yè)價(jià)值和市場(chǎng)需求正在推動(dòng)著信息產(chǎn)業(yè)持續(xù)高速增長(zhǎng)。隨著行業(yè)用戶對(duì)大數(shù)據(jù)價(jià)值的認(rèn)可程度增加， 市場(chǎng)需求將出現(xiàn)井噴，面向大數(shù)據(jù)市場(chǎng)的新技術(shù)、新產(chǎn)品、新服務(wù)、新業(yè)態(tài)將會(huì)不斷涌現(xiàn)，大數(shù)據(jù)將為信息產(chǎn)業(yè)打開一個(gè)高增長(zhǎng)的新市場(chǎng)。在硬件與集成設(shè)備領(lǐng)域，大數(shù)據(jù)面臨的有效存儲(chǔ)、快速讀寫、實(shí)時(shí)分析等挑戰(zhàn)，將對(duì)芯片、存儲(chǔ)產(chǎn)業(yè)產(chǎn)生重要影響，還將催生一體化數(shù)據(jù)存儲(chǔ)處理服務(wù)器、內(nèi)存計(jì)算等市場(chǎng)。在軟件與服務(wù)領(lǐng)域，因?yàn)榇髷?shù)據(jù)中蘊(yùn)含的巨大價(jià)值，帶來對(duì)數(shù)據(jù)快速處理和分析的迫切需求，將引發(fā)數(shù)據(jù)挖掘、商業(yè)智能市場(chǎng)的空前繁榮。（3）用戶提升競(jìng)爭(zhēng)能力的新動(dòng)力對(duì)大數(shù)據(jù)的利用將成為企業(yè)提高核心競(jìng)爭(zhēng)力、并搶占市場(chǎng)先機(jī)的關(guān)鍵。企業(yè)的決策正在從“業(yè)務(wù)驅(qū)動(dòng)”轉(zhuǎn)變?yōu)椤皵?shù)據(jù)驅(qū)動(dòng)”。在未來3到5年，我們將會(huì)看到那些真正理解大數(shù)據(jù)并能利用大數(shù)據(jù)進(jìn)行價(jià)值挖掘的企業(yè)和不懂得大數(shù)據(jù)價(jià)值挖掘企業(yè)之間的差距。真正能夠利用好大數(shù)據(jù)、并將其價(jià)值轉(zhuǎn)化成生產(chǎn)力的企業(yè)必將具備強(qiáng)勁有力的競(jìng)爭(zhēng)優(yōu)勢(shì)，從而成為行業(yè)的領(lǐng)導(dǎo)者。在零售行業(yè)，對(duì)大數(shù)據(jù)的分析可以使零售商實(shí)時(shí)掌握市場(chǎng)動(dòng)態(tài)并迅速做出應(yīng)對(duì)；在互聯(lián)網(wǎng)行業(yè)，對(duì)大數(shù)據(jù)的分析可以為商家制定更加精準(zhǔn)有效的營(yíng)銷策略提供決策支持；在服務(wù)行業(yè)，對(duì)大數(shù)據(jù)的分析可以幫助企業(yè)為消費(fèi)者提供更加及時(shí)和個(gè)性化的服務(wù)； 甚至在公共事業(yè)領(lǐng)域，大數(shù)據(jù)也開始發(fā)揮促進(jìn)經(jīng)濟(jì)發(fā)展、維護(hù)社會(huì)穩(wěn)定等不可小覷的重要作用。（4）推動(dòng)商業(yè)模式的創(chuàng)新對(duì)于海量數(shù)據(jù)而言，提供髙附加價(jià)值的數(shù)據(jù)分析服務(wù)， 將數(shù)據(jù)封裝為服務(wù)形成可對(duì)外開放、可商業(yè)化的核心能力，實(shí)現(xiàn)商業(yè)模式的創(chuàng)新，才是大數(shù)據(jù)運(yùn)用的關(guān)鍵所在。對(duì)于政府和企業(yè)而言，至少可以實(shí)踐4種商業(yè)模式的創(chuàng)新。第一是客戶關(guān)系管理的創(chuàng)新，通過大數(shù)據(jù)分析可以根據(jù)客戶的屬性， 從不同角度深層次分析客戶、了解客戶，推出新的客戶關(guān)系管理平臺(tái)，以增加新的客戶，提高客戶的忠誠(chéng)度，降低客戶流失率。第二是企業(yè)經(jīng)營(yíng)決策指導(dǎo)的創(chuàng)新。企業(yè)可以利用用戶數(shù)據(jù)，有效提升資源利用能力，提高決策的準(zhǔn)確性，從而提升整體運(yùn)營(yíng)效率。如，沃爾瑪通過分析客戶購(gòu)買產(chǎn)品的種類組合，適時(shí)推出產(chǎn)品聯(lián)合促銷信息，以提升產(chǎn)品的銷量。第三是個(gè)性化精準(zhǔn)推薦。企業(yè)根據(jù)用戶喜好推薦各類產(chǎn)品和業(yè)務(wù)，如淘寶根據(jù)分析客戶的檢索數(shù)據(jù)，適時(shí)向客戶推送相關(guān)產(chǎn)品的廣告信息。第四是創(chuàng)新社會(huì)管理。政府可以將大數(shù)據(jù)運(yùn)用到交通、應(yīng)對(duì)突發(fā)災(zāi)害、維穩(wěn)等領(lǐng)域中。如，在大數(shù)據(jù)的幫助下，什么時(shí)間段、哪條路擁堵等問題，都可以通過分析得知，通過同一條路上多個(gè)用戶的手機(jī)位移速度， 便可以判斷當(dāng)時(shí)的路況，為擁堵做出準(zhǔn)確預(yù)警。2“大數(shù)據(jù)”的關(guān)鍵技術(shù)“大數(shù)據(jù)”已經(jīng)不僅是數(shù)據(jù)大這一事實(shí)了，更重要的是要對(duì)大數(shù)據(jù)進(jìn)行分析以獲取更多智能、深入和有價(jià)值的信息。而隨著“大數(shù)據(jù)”在越來越多的領(lǐng)域得到應(yīng)用，“大數(shù)據(jù)”也變得越來越復(fù)雜，因此“大數(shù)據(jù)”處理技術(shù)在大數(shù)據(jù)領(lǐng)域就顯得尤為重要，可以說是決定最終信息是否有價(jià)值的決定性因素。大數(shù)據(jù)應(yīng)用分析結(jié)果需要經(jīng)過數(shù)據(jù)采集、預(yù)處理、存儲(chǔ)、分析和挖掘等多多個(gè)環(huán)節(jié)才能最終呈現(xiàn)出來。2.1“大數(shù)據(jù)”的采集和預(yù)處理在數(shù)據(jù)分析界有著一個(gè)“拇指法則”，即數(shù)據(jù)分析工作至少有70%~80%的時(shí)間都花在搜集和準(zhǔn)備數(shù)據(jù)上，而僅有20%~30%的時(shí)間花在分析本身上。隨著新技術(shù)采集手段的出現(xiàn)，數(shù)據(jù)來源和數(shù)據(jù)類型變得豐富多彩，企業(yè)和機(jī)構(gòu)采集數(shù)據(jù)首先需要明確所需的數(shù)據(jù)內(nèi)容，并制定好數(shù)據(jù)分類存儲(chǔ)規(guī)則，以便更有效的采集數(shù)據(jù)。按照數(shù)據(jù)所有者劃分，企業(yè)數(shù)據(jù)采集源可以分成3類：一類是企業(yè)和機(jī)構(gòu)的內(nèi)部數(shù)據(jù)，如系統(tǒng)日志、生產(chǎn)經(jīng)營(yíng)數(shù)據(jù)等；一類是合作機(jī)構(gòu)的內(nèi)部數(shù)據(jù)，可以通過設(shè)定好企業(yè)與合作機(jī)構(gòu)的系統(tǒng)接口進(jìn)行采集；還有一類是大量的網(wǎng)絡(luò)公開數(shù)據(jù)，可以通過網(wǎng)絡(luò)爬蟲或者網(wǎng)站公開的應(yīng)用開發(fā)接口（API）將所需信息從網(wǎng)頁(yè)中采集出來。目前一些互聯(lián)網(wǎng)企業(yè)和開源社區(qū)開發(fā)的海量數(shù)據(jù)采集工具，如Facebook的日志采集工具Scribe、淘寶的實(shí)時(shí)數(shù)據(jù)傳輸平臺(tái)TimeTunnel等，均已能夠滿足每秒數(shù)百M(fèi)B的日志數(shù)據(jù)采集和傳輸需求。下面就物聯(lián)網(wǎng)及社交網(wǎng)絡(luò)這兩個(gè)“大數(shù)據(jù)”的新型來源進(jìn)行簡(jiǎn)單的介紹。（1）“大數(shù)據(jù)”與物聯(lián)網(wǎng)物聯(lián)網(wǎng)是一個(gè)信息技術(shù)領(lǐng)域的熱詞，其本質(zhì)是傳感器技術(shù)進(jìn)步的產(chǎn)物。遍布大街小巷的攝像頭，是大家可以直觀感受到的一種物聯(lián)網(wǎng)形態(tài)。事實(shí)上，傳感器幾乎無處不在，現(xiàn)在大家常用的智能手機(jī)中，就包括重力感應(yīng)器、加速度感應(yīng)器、距離感應(yīng)器、光線感應(yīng)器、陀螺儀、電子羅盤、攝像頭等各類傳感器。這些不同類型的傳感器，無時(shí)無刻不在產(chǎn)生大量的數(shù)據(jù)，這些成為大數(shù)據(jù)的重要來源之一。妥善的利用這些數(shù)據(jù)可以監(jiān)測(cè)大氣的溫度、壓強(qiáng)、風(fēng)力，監(jiān)測(cè)橋梁、礦井的安全，監(jiān)測(cè)飛機(jī)、汽車的行駛狀態(tài)等。（2）“大數(shù)據(jù)”與社交網(wǎng)絡(luò)社交網(wǎng)絡(luò)是互聯(lián)網(wǎng)發(fā)展史上一個(gè)重要的里程碑。 它把人類真實(shí)的人際關(guān)系完美地映射到互聯(lián)網(wǎng)空間，并借助互聯(lián)網(wǎng)的特性而大大升華。 社交網(wǎng)絡(luò)使得互聯(lián)網(wǎng)甚至具備某些人類的特質(zhì)，譬如“情緒” ：人們分享各自的喜怒哀樂，并相互傳染傳播。社交網(wǎng)絡(luò)為“大數(shù)據(jù)”帶來一類最具活力的數(shù)據(jù)類型，人們的喜好和偏愛。由于現(xiàn)實(shí)采集的數(shù)據(jù)與大數(shù)據(jù)分析過程中所需的數(shù)據(jù)，會(huì)存在結(jié)構(gòu)不一致或不完整的情況，大數(shù)據(jù)預(yù)處理過程可以通過數(shù)據(jù)提取、轉(zhuǎn)換和加載等操作，對(duì)采集的數(shù)據(jù)進(jìn)行初步的組織和數(shù)量，從而提高大數(shù)據(jù)分析質(zhì)量和效率。2.2“大數(shù)據(jù)”存儲(chǔ)技術(shù)大數(shù)據(jù)存儲(chǔ)需要滿足海量存儲(chǔ)、安全存儲(chǔ)和快速讀取的要求。其中海量存儲(chǔ)包含數(shù)據(jù)容量和數(shù)據(jù)文件量?jī)蓚€(gè)方面，為保障系統(tǒng)存儲(chǔ)容量能夠以較低成本存儲(chǔ)海量數(shù)據(jù)并能實(shí)現(xiàn)快速平滑擴(kuò)展，分布式存儲(chǔ)和存儲(chǔ)虛擬化技術(shù)被廣泛采用；為更好的對(duì)系統(tǒng)中海量文件進(jìn)行有效管理，將數(shù)據(jù)傳輸和數(shù)據(jù)控制分離開的對(duì)象存儲(chǔ)架構(gòu)應(yīng)用廣泛。為了保障數(shù)據(jù)安全存儲(chǔ)不丟失，大數(shù)據(jù)存儲(chǔ)過程中會(huì)采用加密等安全技術(shù)，同時(shí)會(huì)對(duì)數(shù)據(jù)進(jìn)行數(shù)次備份。為了支持?jǐn)?shù)據(jù)的快速讀取和并發(fā)訪問，分布式存儲(chǔ)和對(duì)象存儲(chǔ)架構(gòu)將會(huì)更有效。目前應(yīng)用廣泛的大數(shù)據(jù)海量文件存儲(chǔ)技術(shù)主要有谷歌文件系統(tǒng)（GFS）和基于GFS發(fā)展的開源Hadoop分布式文件系統(tǒng)HDFS）等。一些大型網(wǎng)站將“數(shù)據(jù)”視為最核心的資產(chǎn)，他們甚至花費(fèi)高昂的費(fèi)用來保管這些數(shù)據(jù)，以便加快用戶的訪問速度。谷歌公司購(gòu)買了單獨(dú)的水力發(fā)電站，為其龐大的數(shù)據(jù)中心提供充足的電力。2.3“大數(shù)據(jù)”分析技術(shù)當(dāng)大數(shù)據(jù)的采集和存儲(chǔ)已經(jīng)完成，如何分析數(shù)據(jù)，將這些碎片化的數(shù)據(jù)系統(tǒng)化，在無序的數(shù)據(jù)和信息世界里尋找有序的連接，挖掘到可應(yīng)用的價(jià)值，是真正駕馭大數(shù)據(jù)的重要環(huán)節(jié)。大數(shù)據(jù)的分析技術(shù)，大致包括 5個(gè)基本方法理論技術(shù)：（1）可視化分析可視化分析能夠直觀的呈現(xiàn)大數(shù)據(jù)特點(diǎn)，簡(jiǎn)單明了易于接受。（2）數(shù)據(jù)挖掘算法大數(shù)據(jù)分析的理論核心就是數(shù)據(jù)挖掘算法， 各種數(shù)據(jù)挖掘的算法基于不同的數(shù)據(jù)類型和格式能更加科學(xué)的呈現(xiàn)出數(shù)據(jù)本身具備的特點(diǎn)，而這些數(shù)據(jù)挖掘的算法能夠快速的處理大數(shù)據(jù)。（3）預(yù)測(cè)性分析能力大數(shù)據(jù)分析最重要的應(yīng)用領(lǐng)域之一就是預(yù)測(cè)性分析，從大數(shù)據(jù)中挖掘出特點(diǎn)，通過科學(xué)的建立模型，之后便可以通過模型帶入新的數(shù)據(jù)，從而預(yù)測(cè)未來的數(shù)據(jù)。（4）語義引擎大數(shù)據(jù)分析廣泛應(yīng)用于網(wǎng)絡(luò)數(shù)據(jù)挖掘，可從用戶的搜索關(guān)鍵詞、標(biāo)簽關(guān)鍵詞、或其他輸入語義，分析，判斷用戶需求，從而實(shí)現(xiàn)更好的用戶體驗(yàn)和廣告匹配。（5）數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理大數(shù)據(jù)分析離不開數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理，高質(zhì)量的數(shù)據(jù)和有效的數(shù)據(jù)管理能夠保證分析結(jié)果的真實(shí)和有價(jià)值。2.4“大數(shù)據(jù)”與云計(jì)算對(duì)于許多組織來說，“大數(shù)據(jù)”對(duì)存儲(chǔ)容量的需求已經(jīng)超出目前的存儲(chǔ)能力。我們正處于PB級(jí)存儲(chǔ)時(shí)代，而EB及存儲(chǔ)時(shí)代也即將到來。大容量的存儲(chǔ)不但要求系統(tǒng)具備在原有數(shù)據(jù)存儲(chǔ)規(guī)格上進(jìn)行擴(kuò)展的能力，還要簡(jiǎn)單快速的進(jìn)行擴(kuò)展。云計(jì)算就為“大數(shù)據(jù)”的誕生提供了集中采集數(shù)據(jù)和存儲(chǔ)數(shù)據(jù)的基礎(chǔ)。云計(jì)算的出現(xiàn)改變了數(shù)據(jù)的存儲(chǔ)和訪問方式，在云計(jì)算出現(xiàn)之前，數(shù)據(jù)大多分散保存在每個(gè)人的個(gè)人計(jì)算機(jī)中、每家企業(yè)的服務(wù)器中。云計(jì)算，尤其是公用云計(jì)算，把所有的數(shù)據(jù)集中存儲(chǔ)到“數(shù)據(jù)中心”，也即所謂的“云端”，用戶通過瀏覽器或者專用應(yīng)用程序來訪問。一些大型的網(wǎng)站，通過提供基于“云”的服務(wù)，積累大量的數(shù)據(jù)，成為事實(shí)上的“數(shù)據(jù)中心”，這為“大數(shù)據(jù)”誕生奠定了基礎(chǔ)。而云計(jì)算及其技術(shù)給了人們廉價(jià)獲取巨量計(jì)算和存儲(chǔ)的能力，云計(jì)算分布式架構(gòu)能夠很好地支持“大數(shù)據(jù)”存儲(chǔ)和處理需求。這樣的低成本硬件+低成本軟件+低成本運(yùn)維，更加經(jīng)濟(jì)和實(shí)用，也使得“大數(shù)據(jù)”處理和利用成為可能。可以說云計(jì)算為“大數(shù)據(jù)”提供了存儲(chǔ)空間和訪問渠道，“大數(shù)據(jù)”則是云計(jì)算的靈魂和必然的發(fā)展方向。而近年來國(guó)內(nèi)各地也興起了建設(shè)云計(jì)算基地的風(fēng)潮，客觀上為“大數(shù)據(jù)”在我國(guó)的推廣和應(yīng)用準(zhǔn)備了必備的儲(chǔ)存空間和訪問渠道。大數(shù)據(jù)產(chǎn)業(yè)的應(yīng)用3.1大數(shù)據(jù)產(chǎn)業(yè)“大數(shù)據(jù)”的應(yīng)用能帶來巨大的經(jīng)濟(jì)價(jià)值和社會(huì)價(jià)值，對(duì)于產(chǎn)業(yè)發(fā)展而言，“大數(shù)據(jù)”可以實(shí)現(xiàn)應(yīng)用創(chuàng)新、降低行業(yè)內(nèi)的生產(chǎn)成本并創(chuàng)造新的產(chǎn)業(yè)價(jià)值。咨詢機(jī)構(gòu)麥肯錫最早提出“大數(shù)據(jù)時(shí)代已經(jīng)到來”，在2012年發(fā)布的《大數(shù)據(jù)：創(chuàng)新、競(jìng)爭(zhēng)和生產(chǎn)力的下一個(gè)領(lǐng)域》文章上表明，在零售業(yè)、制造業(yè)、醫(yī)療衛(wèi)生和公共部門，“大數(shù)據(jù)”可以加快產(chǎn)業(yè)規(guī)模的增長(zhǎng)速度，降低生產(chǎn)運(yùn)營(yíng)成本；對(duì)于企業(yè)而言，采用“大數(shù)據(jù)”可以提升企業(yè)的競(jìng)爭(zhēng)力，改善企業(yè)的營(yíng)銷規(guī)劃，客戶定位，產(chǎn)品創(chuàng)新、工作流程優(yōu)化、人力資源管理、物理管理和風(fēng)險(xiǎn)控制等多方面的能力。目前，數(shù)據(jù)已經(jīng)滲透到當(dāng)今每一個(gè)行業(yè)和業(yè)務(wù)職能領(lǐng)域， 成為重要的生產(chǎn)因素，人們對(duì)于海量數(shù)據(jù)的挖掘和運(yùn)用， 預(yù)示著新一波生產(chǎn)率增長(zhǎng)和消費(fèi)者盈余浪潮的到來。對(duì)于“大數(shù)據(jù)”產(chǎn)業(yè)，政府與公共事業(yè)部門、行業(yè)企業(yè)、個(gè)人消費(fèi)者是其的最終用戶。在政府與公共事業(yè)領(lǐng)域，“大數(shù)據(jù)”可以應(yīng)用到城市規(guī)劃、公共安全、公共交通、輿情管理等社會(huì)管理和民生服務(wù)領(lǐng)域，帶來效率提升、響應(yīng)速度加快、服務(wù)水平提高、管理成本下降等諸多效益。對(duì)于行業(yè)企業(yè)，“大數(shù)據(jù)”可以應(yīng)用到產(chǎn)品研發(fā)設(shè)計(jì)、生產(chǎn)運(yùn)作管理、供應(yīng)鏈管理、客戶關(guān)系管理、企業(yè)品牌營(yíng)銷等各個(gè)環(huán)節(jié)，能夠幫助企業(yè)準(zhǔn)確把握市場(chǎng)需求變動(dòng)、提高產(chǎn)品設(shè)計(jì)與生產(chǎn)效率、提高供應(yīng)鏈的敏捷性和準(zhǔn)確性、實(shí)現(xiàn)個(gè)性化精準(zhǔn)營(yíng)銷，同時(shí)也促進(jìn)IT技術(shù)的創(chuàng)新。對(duì)于個(gè)人消費(fèi)者，通過“大數(shù)據(jù)”的應(yīng)用服務(wù)將使信息變得更加泛在，從家庭生活、出行、消費(fèi)、娛樂、旅游、學(xué)習(xí)等方方面面拓展民眾生活空間、提高民眾的生活品質(zhì)。總結(jié)以往，“大數(shù)據(jù)”的應(yīng)用價(jià)值可以分為感知現(xiàn)在和預(yù)知未來兩部分。（1）感知現(xiàn)在通過對(duì)歷史數(shù)據(jù)和當(dāng)前數(shù)據(jù)的融合，以及潛在模式挖掘，力求達(dá)到對(duì)事物對(duì)群體與社會(huì)發(fā)展當(dāng)前狀態(tài)進(jìn)行更全面、更精確、更理性的認(rèn)知。這種認(rèn)知可以是宏觀的，也可以是微觀的。宏觀方面可以對(duì)PB級(jí)社會(huì)媒體數(shù)據(jù)、百億級(jí)日志數(shù)據(jù)繼續(xù)擰分析挖掘，掌握宏觀現(xiàn)狀，如環(huán)境指數(shù)，健康指數(shù)等。在微觀方面可以利用PB級(jí)的日志數(shù)據(jù)和 EB級(jí)的監(jiān)控?cái)?shù)據(jù)，挖掘潛在線索，如犯罪行為軌跡等。（2）預(yù)測(cè)未來通過對(duì)“大數(shù)據(jù)”彼此之間的關(guān)聯(lián)分析，演化態(tài)勢(shì)和效應(yīng)的判定與調(diào)控，揭示事物發(fā)展的演變規(guī)律，進(jìn)而對(duì)是事物發(fā)展趨勢(shì)進(jìn)行預(yù)測(cè)。如基于twitter等網(wǎng)上公開數(shù)據(jù)的實(shí)時(shí)感知、動(dòng)態(tài)獲取與綜合分析，結(jié)合仿真調(diào)控，預(yù)測(cè)大選結(jié)果；聯(lián)合國(guó)“全球脈動(dòng)”利用網(wǎng)絡(luò)大數(shù)據(jù)預(yù)測(cè)失業(yè)率與疾病暴發(fā)等現(xiàn)象，利用數(shù)字化的早起預(yù)警信號(hào)來提前指導(dǎo)援助項(xiàng)目，以免某個(gè)脫貧地區(qū)重新陷入貧困。這些都說明了正確的大數(shù)據(jù)應(yīng)用對(duì)于準(zhǔn)確預(yù)測(cè)事件發(fā)展趨勢(shì)具有重大的價(jià)值，人們可以給予“大數(shù)據(jù)”更好的進(jìn)行科學(xué)決策和事前準(zhǔn)備，未來“大數(shù)據(jù)”預(yù)測(cè)技術(shù)將會(huì)更廣泛的運(yùn)用到人們的日常生活中，變革人們的生活。3.2“大數(shù)據(jù)”在典型領(lǐng)域中的應(yīng)用當(dāng)前“大數(shù)據(jù)”已經(jīng)在物理學(xué)、生物學(xué)、環(huán)境生態(tài)學(xué)等領(lǐng)域，以及軍事、金融、通訊等行業(yè)有所應(yīng)用并帶來了巨大的產(chǎn)業(yè)價(jià)值。以下本文將舉出實(shí)際案例以介紹“大數(shù)據(jù)”在各個(gè)領(lǐng)域的具體應(yīng)用。在IT領(lǐng)域，一個(gè)典型的案例就是eBay通過數(shù)據(jù)分析技術(shù)可以精確計(jì)算出廣告中的每一個(gè)關(guān)鍵字為公司帶來的回報(bào)，通過對(duì)廣告投放的優(yōu)化，自2007年以來eBay產(chǎn)品銷售的廣告費(fèi)降低了99%，而頂級(jí)賣家占總銷售額的百分比卻上升至32%。在經(jīng)濟(jì)領(lǐng)域，大數(shù)據(jù)在經(jīng)濟(jì)領(lǐng)域的應(yīng)用可以通過這樣一個(gè)有趣的案例進(jìn)行說明，社交媒體檢測(cè)平臺(tái)DataSift檢測(cè)了社交網(wǎng)絡(luò)Facebook首次公開募股當(dāng)天Twitter上的情感傾向與Facebook股價(jià)波動(dòng)的關(guān)聯(lián)。在Fcebook開盤前，Twitter上的情感逐漸轉(zhuǎn)向負(fù)向，25分鐘之后twitter的股價(jià)就開始下跌，當(dāng)twitter上的情感轉(zhuǎn)向正面時(shí)，F(xiàn)acebook的股價(jià)在8分鐘后也開始回彈，最終當(dāng)股市接近收盤，twitter上的情感轉(zhuǎn)向負(fù)面時(shí)，10分鐘口Facebook的股價(jià)又開始下跌，該機(jī)構(gòu)得出結(jié)論，Twitter上每一次情感傾向的轉(zhuǎn)向都會(huì)Facebook股價(jià)的波動(dòng)高度關(guān)聯(lián)。這證實(shí)以大數(shù)據(jù)預(yù)測(cè)未來股價(jià)走向的典型案例。氣象預(yù)測(cè)方面，一家美國(guó)公司把氣象數(shù)據(jù)放在亞馬遜的 “云平臺(tái)”上進(jìn)行處理，以及時(shí)提供氣象預(yù)報(bào)的方式，保證當(dāng)?shù)氐霓r(nóng)牧業(yè)主在特定的地區(qū)以及特定的季節(jié)不會(huì)遭受天氣災(zāi)害，由此獲得了豐厚的利潤(rùn)。智能交通方面，根據(jù)路網(wǎng)監(jiān)控，火車票及飛機(jī)票的預(yù)定，以及網(wǎng)上地圖查詢記錄，能夠提前預(yù)測(cè)某個(gè)城市的出行人數(shù)的大致規(guī)模，再結(jié)合交通部門的其他信息，便可以預(yù)測(cè)出群體出行的態(tài)勢(shì)，對(duì)其可能的出行時(shí)間、出行路線、出行方式等進(jìn)行預(yù)測(cè)，從而為城市交通調(diào)度提供決策幫助。軍事領(lǐng)域，美國(guó)“2049項(xiàng)目研究所”于2008年在華盛頓成立，2010年它利用網(wǎng)絡(luò)上公開的數(shù)據(jù)和資料，分析和預(yù)測(cè)我國(guó)在軍事和經(jīng)濟(jì)領(lǐng)域的安全問題，發(fā)布了一份名為《中國(guó)核彈頭存放和使用系統(tǒng)》的報(bào)告，稱在陜西、江西、四川等地發(fā)現(xiàn)了中國(guó)的核武器基地，甚至還精確到了核基地所在的市縣名稱。2013年3月，他們還發(fā)布了一份關(guān)于中國(guó)無人機(jī)項(xiàng)目的研究報(bào)告，較全面的分析了中國(guó)無人機(jī)的研制、發(fā)展、裝備以及作戰(zhàn)部署情況。以上都是“大數(shù)據(jù)”在一些實(shí)際領(lǐng)域的應(yīng)用，未來“大數(shù)據(jù)”將會(huì)在更多的領(lǐng)域得到應(yīng)用，決策行為將會(huì)基于數(shù)據(jù)分析做出，通過對(duì)數(shù)據(jù)的整理和分析，政府和企業(yè)能夠預(yù)測(cè)個(gè)體下一步的需求，進(jìn)而提供更加智能與高效率的管理和服務(wù)。3.3智慧城市：立體的大數(shù)據(jù)生態(tài)系統(tǒng)智慧城市是城鎮(zhèn)化發(fā)展的高級(jí)階段，是城市信息化的新形式，是現(xiàn)代城市發(fā)展的愿景。智慧城市在產(chǎn)生大數(shù)據(jù)的同時(shí)，“大數(shù)據(jù)”也支撐著智慧城市的建設(shè)和發(fā)展，而智慧城市的衡量指標(biāo)是由“大數(shù)據(jù)”體現(xiàn)的?！按髷?shù)據(jù)”挖掘?qū)χ腔鄢鞘械慕?jīng)濟(jì)發(fā)展和社會(huì)管理是無形的生產(chǎn)資料，“大數(shù)據(jù)”合理利用將創(chuàng)造巨大財(cái)富。在未來，大數(shù)據(jù)將成為維護(hù)城市運(yùn)行的基本要素，智慧城市在“大數(shù)據(jù)”的支撐下，成為立體的大數(shù)據(jù)生態(tài)系統(tǒng)，促進(jìn)城市的發(fā)展。智慧城市的產(chǎn)生隨著城市規(guī)模的增大、城市人口的增多，人們對(duì)住房、教育、交通、醫(yī)療保險(xiǎn)等的需求的也在不斷膨脹。諸如高房?jī)r(jià)、堵車、霧霾等“城市病”也越來越多，傳統(tǒng)的管理手段已變得捉襟見肘，而信息化可以說是抗擊“城市病”的有效手段。伴隨著網(wǎng)絡(luò)帝國(guó)的崛起、移動(dòng)技術(shù)的融合發(fā)展以及創(chuàng)新的民主化進(jìn)程，知識(shí)社會(huì)環(huán)境中的智慧城市是繼智能城市之后信息化城市發(fā)展的高級(jí)形態(tài)。利用城市管理中產(chǎn)生的大量信息與數(shù)據(jù)，積極促進(jìn)城市機(jī)構(gòu)之間的實(shí)時(shí)溝通和協(xié)助，分析原因，制定對(duì)策，有效平衡社會(huì)、商業(yè)和環(huán)境發(fā)展需要，優(yōu)化現(xiàn)有的可用資源，以最優(yōu)化的方式為城市公民提供全面又超前的服務(wù)，積極提高公民的生活幸福感—這種高效、智能且可持續(xù)的城市管理被稱為智慧城市?？梢哉f大數(shù)據(jù)是智慧城市實(shí)現(xiàn)智慧化的關(guān)鍵支撐，成為驅(qū)動(dòng)智慧城市發(fā)展的動(dòng)力。智慧城市采用以物聯(lián)網(wǎng)、云計(jì)算、大數(shù)據(jù)等為核心的新一代信息技術(shù)，集成城市的組織（人）、業(yè)務(wù)（政務(wù)）、交通、通信、能源等城市運(yùn)行中的各個(gè)核心系統(tǒng)，使整個(gè)城市成為以一種更有智慧的方式運(yùn)行的宏大的智慧城市系統(tǒng)，對(duì)保障城市正常運(yùn)行的每個(gè)系統(tǒng)進(jìn)行全面的監(jiān)測(cè)、管理、預(yù)警和處置，快速、智能地響應(yīng)城市管理者和市民的各種需求，提高城市運(yùn)行效率，提高政府決策力。建設(shè)智慧城市是城市發(fā)展的新范式和新戰(zhàn)略，是當(dāng)今世界城市發(fā)展的趨勢(shì)和特征。建設(shè)智慧城市對(duì)抗擊“城市病”具有強(qiáng)烈的現(xiàn)實(shí)意義。首先智慧化運(yùn)營(yíng)通過運(yùn)用來自城市多個(gè)部門的信息，進(jìn)行數(shù)據(jù)聚集和規(guī)范化后，識(shí)別出相關(guān)的重要事件，以提升服務(wù)質(zhì)量。其次，智慧化運(yùn)營(yíng)能夠預(yù)測(cè)城市發(fā)展的問題與危機(jī)，最大限度降低對(duì)城市居民的影響。如通過可視化重要事件和警報(bào)、地理信息等數(shù)據(jù)，識(shí)別出模式和趨勢(shì)，保證行動(dòng)有依據(jù)，主動(dòng)觸發(fā)預(yù)設(shè)的預(yù)案以加快響應(yīng)，減少服務(wù)中斷概率，避免城市內(nèi)大型事故擴(kuò)大升級(jí)，減少災(zāi)害的影響。最后，智慧城市可實(shí)現(xiàn)通過協(xié)調(diào)不同部門的資源，以提高更快、更有效的影響?！按髷?shù)據(jù)”的智慧化幫助管理者跨部門決策、協(xié)調(diào)，提高公共服務(wù)交付效率，減少應(yīng)對(duì)突發(fā)災(zāi)害的響應(yīng)時(shí)間。全球智慧城市的實(shí)踐全球在智慧城市的實(shí)踐中展現(xiàn)了各自不同的設(shè)計(jì)理念：美國(guó)在智慧城市建設(shè)方面選擇智能電網(wǎng)進(jìn)行突破，注重于商業(yè)機(jī)構(gòu)的合作，利用UrbanSim等智能化的城市仿真系統(tǒng)對(duì)城市空間發(fā)展進(jìn)行優(yōu)化。在美國(guó)2009年的經(jīng)濟(jì)復(fù)蘇計(jì)劃中，有項(xiàng)高達(dá)110億美元的投資，用于建設(shè)可安裝各種控制設(shè)備的新一代智能電網(wǎng)。日本在2009年7月推出“智慧日本戰(zhàn)略2015”，旨在將數(shù)字信息技術(shù)融入生活的方方面面，聚焦于電子化政府治理、醫(yī)療健康信息服務(wù)、教育與人才培養(yǎng)大公共事業(yè)。韓國(guó)政府于2004年提出了“U-韓國(guó)”發(fā)展戰(zhàn)略，經(jīng)過多年的實(shí)踐，首爾、釜山等一些城市已進(jìn)入“泛在城市”時(shí)代?！胺涸诔鞘小币浴敖ㄔO(shè)尖端信息城市，提高市民生活質(zhì)量和城市競(jìng)爭(zhēng)力”為目標(biāo)，利用無線傳感器網(wǎng)絡(luò)，實(shí)現(xiàn)對(duì)城市設(shè)施、安全、交通、環(huán)境等方面的智能化管理和控制。根據(jù)國(guó)際數(shù)據(jù)公司預(yù)計(jì)， 2011年，全球新型智慧城市信息技術(shù)的市場(chǎng)規(guī)模達(dá)到340億美元，并將以每年超過 18%的速度增長(zhǎng)，到 2014年將達(dá)到570億美元。中國(guó)智慧城市2012年11月，住房和城鄉(xiāng)建設(shè)部辦公廳發(fā)布《關(guān)于開展國(guó)家智慧城市試點(diǎn)工作的通知》，將建設(shè)智慧城市作為貫徹黨中央、國(guó)務(wù)院關(guān)于創(chuàng)新驅(qū)動(dòng)發(fā)展、推動(dòng)新型城鎮(zhèn)化、全面建成小康社會(huì)的重要舉措，要求各地高度重視，抓住機(jī)遇，通過積極開展智慧城市建設(shè)，提升城市管理能力和服務(wù)水平，促進(jìn)產(chǎn)業(yè)轉(zhuǎn)型發(fā)展。截至2012年7月，中國(guó)共有150多個(gè)城市提出建設(shè)或正在建設(shè)智慧城市，其中，北京、上海、廣州等城市是智慧城市創(chuàng)建進(jìn)程的領(lǐng)跑者?？傮w上說，中國(guó)東部地區(qū)智慧城市建設(shè)重點(diǎn)在于以信息技術(shù)促進(jìn)轉(zhuǎn)變經(jīng)濟(jì)發(fā)展方式， 提高社會(huì)管理水平，提升城市競(jìng)爭(zhēng)力，塑造城市品牌。中西部地區(qū)智慧城市的建設(shè)更加注重對(duì)城市的宣傳推廣作用，力爭(zhēng)通過智慧城市建設(shè)促進(jìn)投資軟硬件環(huán)境的改善， 加強(qiáng)招商引資。中國(guó)智慧城市建設(shè)分為前期基礎(chǔ)設(shè)施建設(shè)、中期數(shù)據(jù)處理設(shè)施建設(shè)和后期的服務(wù)平臺(tái)建設(shè)。就智慧城市的建設(shè)內(nèi)容來看，一方面是加強(qiáng)城市基礎(chǔ)通信網(wǎng)絡(luò)建設(shè)，提高通信網(wǎng)絡(luò)帶寬及覆蓋率；另一方面是在一個(gè)云計(jì)算平臺(tái)之上提供智慧應(yīng)用服務(wù)，如智慧交通、智慧醫(yī)療等。相關(guān)的建設(shè)涉及通信設(shè)備制造企業(yè)、系統(tǒng)集成企業(yè)、數(shù)據(jù)采集分析企業(yè)、通信運(yùn)營(yíng)商和數(shù)據(jù)服務(wù)企業(yè)，對(duì)整個(gè)產(chǎn)業(yè)鏈將起到巨大的拉動(dòng)作用。中國(guó)智慧城市建設(shè)有三種模式：一種是以物聯(lián)網(wǎng)產(chǎn)業(yè)發(fā)展為驅(qū)動(dòng)的建設(shè)模式，如天津、廣州等；一種是以信息基礎(chǔ)設(shè)施建設(shè)為先導(dǎo)的建設(shè)模式，如上海、南京等；一種是以社會(huì)服務(wù)與管理應(yīng)用為突破口的建設(shè)模式，如北京、武漢等。在中國(guó)智慧城市建設(shè)中，應(yīng)當(dāng)注意以下幾點(diǎn)：1）要因城而異，不能照搬西方的模式。智慧城市建設(shè)目標(biāo)的確立要符合城市當(dāng)前的發(fā)展階段，解決居民最迫切需要解決的問題，走出中國(guó)智慧城市建設(shè)的差異化道路。2）注重政府統(tǒng)籌，打破行業(yè)、地域壁壘，建立智慧城市大數(shù)據(jù)的共建共享機(jī)制。3）大力推動(dòng)智慧城市的創(chuàng)新應(yīng)用，實(shí)現(xiàn)創(chuàng)新示范項(xiàng)目應(yīng)用的落地。4）完善智慧城市建設(shè)中大數(shù)據(jù)信息安全的基礎(chǔ)建設(shè)及管理體制，從技術(shù)、管理和法律等多方面保證智慧城市建設(shè)的正常運(yùn)行。問題與挑戰(zhàn)“大數(shù)據(jù)”對(duì)社會(huì)的好處是無窮無盡的，它在一定程度上解決可迫在眉睫的全球問題，如處理氣候變化、根除疾病等，然而“大數(shù)據(jù)”在帶來大知識(shí)、大發(fā)展、大價(jià)值的同時(shí)，也潛藏著巨大的風(fēng)險(xiǎn)。4.1數(shù)據(jù)質(zhì)量真實(shí)準(zhǔn)確是數(shù)據(jù)的生命，組織如果沒有能力獲得真實(shí)數(shù)據(jù)，數(shù)據(jù)規(guī)模再大、數(shù)據(jù)分析技術(shù)再先進(jìn)也是徒勞。另外由于受到城鄉(xiāng)差異、地域差異等的影響，社會(huì)上弱勢(shì)群體的信息占有和表達(dá)處于弱勢(shì)，這就造成了數(shù)據(jù)鴻溝的存在。而數(shù)據(jù)造假、數(shù)據(jù)鴻溝等問題在大數(shù)據(jù)時(shí)代依然存在，偏見和盲區(qū)存在于大數(shù)據(jù)中，大數(shù)據(jù)得出的結(jié)論并不是完全客觀、準(zhǔn)確的，它并不能提供價(jià)值判斷，也不能完全取代人的經(jīng)驗(yàn)和直覺。認(rèn)清這個(gè)事實(shí)，能夠幫助我們?cè)谶\(yùn)用大數(shù)據(jù)的過程中，更科學(xué)的解讀數(shù)據(jù)。4.2數(shù)據(jù)安全數(shù)據(jù)安全在大數(shù)據(jù)時(shí)代也同樣面臨挑戰(zhàn)。大數(shù)據(jù)發(fā)展的趨勢(shì)往往與加大信息開放、設(shè)計(jì)新的信息收集設(shè)備以及為海量數(shù)據(jù)的龐大存續(xù)和分析需求提供支持的云計(jì)算等如影隨形。帶來的副作用是IT基礎(chǔ)架構(gòu)將變得越來越一體化和外向型，對(duì)數(shù)據(jù)安全和知識(shí)產(chǎn)權(quán)構(gòu)成更大風(fēng)險(xiǎn)。4.3用戶隱私與便利性的沖突“大數(shù)據(jù)”對(duì)個(gè)人信息獲取渠道的拓寬的需求引發(fā)了另一個(gè)重要問題：隱私和便利性之間的沖突。研究表明，消費(fèi)者受惠于海量數(shù)據(jù)：更低的價(jià)格、更符合消費(fèi)者需要的商品，以及從改善健康狀況到提高社會(huì)互動(dòng)順暢度等生活質(zhì)量的提高。但同時(shí)，隨著個(gè)人購(gòu)買偏好、健康和財(cái)務(wù)情況的海量數(shù)據(jù)被收集，人們對(duì)隱私的擔(dān)憂也在增大。這需要政府和企業(yè)從政策、技術(shù)和法律等多個(gè)方向進(jìn)行思考和應(yīng)對(duì)。4.4龐大能耗向來被人們認(rèn)為是綠色環(huán)保的信息產(chǎn)業(yè)其實(shí)是污染和耗能大戶，調(diào)查結(jié)果發(fā)現(xiàn)，數(shù)據(jù)中心浪費(fèi)的電力高達(dá)總能耗的90%以上。業(yè)內(nèi)專家估計(jì)，全球范圍內(nèi)所有數(shù)據(jù)中心的總功率高達(dá)3000萬千瓦，幾乎等于30座核電站的發(fā)電量。盡管現(xiàn)在已經(jīng)有許多辦法幫助數(shù)據(jù)中心降低能耗，但出于對(duì)風(fēng)險(xiǎn)的恐懼，多數(shù)公司不愿作出任何改變。目前，中國(guó)多個(gè)地區(qū)已經(jīng)開始或計(jì)劃興建大型數(shù)據(jù)中心，在建設(shè)過程中應(yīng)提前考慮能耗問題，以免重蹈覆轍。4.5數(shù)據(jù)分析與管理人才緊缺人才是大數(shù)據(jù)帶來的挑戰(zhàn)之一。研究表明，單單在美國(guó)，對(duì)擁有深厚的海量數(shù)據(jù)分析（包括機(jī)器學(xué)習(xí)和高級(jí)統(tǒng)計(jì)分析）技能人才的需求，可能超出目前預(yù)測(cè)供應(yīng)量的50-60%。到2018年，需要新增多達(dá)14-19萬名專家。此外，還需要150萬名熟悉如何應(yīng)用海量數(shù)據(jù)的管理者和分析員。企業(yè)和政府必須加大招聘和人才挽留力度，同時(shí)大力投入關(guān)鍵數(shù)據(jù)人員的教育和培訓(xùn)。4.6跟風(fēng)現(xiàn)象較為嚴(yán)重目前大數(shù)據(jù)應(yīng)用市場(chǎng)還沒有很大，要等到數(shù)據(jù)、技術(shù)和系統(tǒng)的準(zhǔn)備有了一定的突破之后才會(huì)出現(xiàn)飛速的發(fā)展，但是從現(xiàn)在工業(yè)界發(fā)展的情境看來，很多企業(yè)出現(xiàn)了跟風(fēng)上項(xiàng)目、跟風(fēng)賣產(chǎn)品的現(xiàn)象。在現(xiàn)今“大數(shù)據(jù)”的發(fā)展情境看來，政府和企業(yè)要做到結(jié)合行業(yè)和產(chǎn)業(yè)的特點(diǎn)進(jìn)行整體的規(guī)劃，之后逐步實(shí)施，做到不慌張、不跟風(fēng)也不要坐失良機(jī)。4.7缺少技術(shù)創(chuàng)新水平較高的互聯(lián)網(wǎng)公司從全球來看，大數(shù)據(jù)技術(shù)創(chuàng)新水平分布極不均衡，如谷歌、 Facebook、IBM公司的技術(shù)遙遙領(lǐng)先于我國(guó)企業(yè)，總體來說，國(guó)際形成了“原創(chuàng)技術(shù)-開源軟件-商用產(chǎn)品”的技術(shù)創(chuàng)新鏈條，并以此為基礎(chǔ)初步衍生了從存儲(chǔ)和計(jì)算平臺(tái)、數(shù)據(jù)分析軟件到大數(shù)據(jù)云服務(wù)的產(chǎn)業(yè)生態(tài)。我國(guó)未來大數(shù)據(jù)的發(fā)展必然會(huì)受到技術(shù)水平的影響，如何加大創(chuàng)新投入力度，提高我國(guó)大數(shù)據(jù)技術(shù)水平成為未來我國(guó)大數(shù)據(jù)產(chǎn)業(yè)發(fā)展的一大問題。對(duì)大數(shù)據(jù)產(chǎn)業(yè)發(fā)展的建議展望未來，大數(shù)據(jù)發(fā)展的序幕剛剛拉起，冷靜的思考是十分必要的，大數(shù)據(jù)在更多領(lǐng)域落地實(shí)施還是要經(jīng)歷一個(gè)較長(zhǎng)期的過程，而在這個(gè)過程中離不開政府、企業(yè)和公民的共同努力。5.1政府方面“大數(shù)據(jù)”是立足全局、面向未來的重大戰(zhàn)略，將為中國(guó)創(chuàng)造社會(huì)經(jīng)濟(jì)創(chuàng)新發(fā)展的重要機(jī)遇，將引領(lǐng)公共管理與服務(wù)的變革。實(shí)施大數(shù)據(jù)戰(zhàn)略，對(duì)于政府部門來說，不僅意味著要上馬多少高新科技項(xiàng)目，更意味著要調(diào)整自身運(yùn)作的機(jī)制，進(jìn)行一次政府理念的創(chuàng)新，政府職能的轉(zhuǎn)變、政府流程的再造。（1）政府要成為“大數(shù)據(jù)”的實(shí)踐者，積極推動(dòng)大數(shù)據(jù)的全面落地，在領(lǐng)導(dǎo)意識(shí)、組織文化、組織結(jié)構(gòu)和工作流程等各方面的整體優(yōu)化，鼓勵(lì)率先在政府部門和公共事務(wù)中推動(dòng)“大數(shù)據(jù)”的應(yīng)用，更好的增強(qiáng)服務(wù)能力，樹立更加開放、透明、負(fù)責(zé)、高效的政府形象。（2）政府部門作為“大數(shù)據(jù)”的實(shí)踐者應(yīng)該建構(gòu)一套數(shù)據(jù)系統(tǒng)，這個(gè)數(shù)據(jù)系統(tǒng)需要包括3個(gè)必備因素：天上有云（云平臺(tái)）、地上有網(wǎng)（物聯(lián)網(wǎng)、泛在網(wǎng)）、中間有數(shù)（數(shù)據(jù)）。所謂天上有云就是建立政府云平臺(tái)，把離散在指揮中心、公安、交通等單位的信息資源，聚合成集預(yù)案庫(kù)、知識(shí)庫(kù)、專家?guī)?、案例?kù)隊(duì)伍庫(kù)、地理信息庫(kù)為一體的應(yīng)急信息資源云，通過統(tǒng)一指揮調(diào)度，在各類突發(fā)事件的處理過程中為各級(jí)指揮人員提供決策支持。應(yīng)用云平臺(tái)不僅能有效協(xié)調(diào)政府資源和行動(dòng)，還能在政府部門之間共享數(shù)據(jù)服務(wù)，避免重復(fù)投資，提高計(jì)算資源利用率。共享和聯(lián)動(dòng)是云平臺(tái)的關(guān)鍵詞，也是讓大數(shù)據(jù)真正落地實(shí)施的突破口。而做到地上有網(wǎng)的關(guān)鍵是消除信息孤