大數(shù)據(jù)行業(yè)分析研究報告

大數(shù)據(jù)行業(yè)分析大數(shù)據(jù)行業(yè)分析研究報告目錄TOC\o"1-2"\h\u一、大數(shù)據(jù)概述 11、大數(shù)據(jù)簡介 12、大數(shù)據(jù)特征 13、大數(shù)據(jù)的技術(shù) 24、大數(shù)據(jù)的應用 25、大數(shù)據(jù)處理方法 2二、大數(shù)據(jù)發(fā)展現(xiàn)狀與趨勢分析 41、國外現(xiàn)狀 42、國內(nèi)現(xiàn)狀 53、發(fā)展趨勢分析 6三、重點應用領(lǐng)域及行業(yè)企業(yè)分析 81、重點應用領(lǐng)域 92、重點企業(yè) 133、國內(nèi)運營商分析 18四、存在問題及對策分析 191、數(shù)據(jù)量的成倍增長挑戰(zhàn)數(shù)據(jù)存儲能力 192、數(shù)據(jù)類型的多樣性挑戰(zhàn)數(shù)據(jù)挖掘能力 203、對大數(shù)據(jù)的處理速度挑戰(zhàn)數(shù)據(jù)處理的時效性 204、數(shù)據(jù)跨越組織邊界傳播挑戰(zhàn)信息安全 205、大數(shù)據(jù)時代的到來挑戰(zhàn)人才資源 20五、大數(shù)據(jù)方面的相關(guān)政策和法規(guī) 211、數(shù)據(jù)生產(chǎn)的相關(guān)政策和法規(guī) 212、數(shù)據(jù)共享的相關(guān)政策與法規(guī) 213、隱私保護的相關(guān)政策和法規(guī) 22一、大數(shù)據(jù)概述1、大數(shù)據(jù)簡介隨著網(wǎng)絡和信息技術(shù)的不斷普及，人類產(chǎn)生的數(shù)據(jù)量正在呈指數(shù)級增長。大量新數(shù)據(jù)源的出現(xiàn)導致了非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)爆發(fā)式的增長。這些數(shù)據(jù)已經(jīng)遠遠超越了目前人力所能處理的范疇，如何管理和使用這些數(shù)據(jù)，逐漸成為一個新的領(lǐng)域，于是大數(shù)據(jù)的概念應運而生。2、大數(shù)據(jù)特征大數(shù)據(jù)指的是所涉及的資料量規(guī)模巨大到無法通過目前主流軟件工具，在合理時間內(nèi)達到收集、管理、處理、并整理成為幫助企業(yè)經(jīng)營決策目的的咨詢。大數(shù)據(jù)不單單是指數(shù)量的量大，而且包括了以下的四個方面：首先，數(shù)據(jù)的體量（volumes）大，大數(shù)據(jù)的起始計量單位至少是P（1000個T）、E（100萬個T）或Z（10億個T），和我們所熟知的G相比，體量不可謂不大。其次，是數(shù)據(jù)類別（variety）大，數(shù)據(jù)來自多種數(shù)據(jù)源，數(shù)據(jù)種類和格式日漸豐富，已沖破了以前所限定的結(jié)構(gòu)化數(shù)據(jù)范疇，囊括了半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。再次，是數(shù)據(jù)處理速度（velocity）快，在數(shù)據(jù)體量龐大的情況下，也能夠做到數(shù)據(jù)的實時處理。最后，是指數(shù)據(jù)的真實性（veracity）高，隨著社交數(shù)據(jù)、企業(yè)內(nèi)容、交易與應用數(shù)據(jù)等新數(shù)據(jù)源的興起，傳統(tǒng)數(shù)據(jù)源的局限被打破，信息的真實性和安全性顯得極其重要。3、大數(shù)據(jù)的技術(shù)大數(shù)據(jù)技術(shù)是指從各種各樣類型的巨量數(shù)據(jù)中，快速獲得有價值信息的技術(shù)。主要可分為：數(shù)據(jù)采集、數(shù)據(jù)存取、基礎架構(gòu)、數(shù)據(jù)處理、統(tǒng)計分析、數(shù)據(jù)挖掘、模型預測和結(jié)果呈現(xiàn)等8種技術(shù)。同時，由這幾種技術(shù)形成了批處理、流處理和交互分析三種計算模式。4、大數(shù)據(jù)的應用大數(shù)據(jù)的應用范圍非常廣。有機構(gòu)預測，“大數(shù)據(jù)”的發(fā)展，將使零售業(yè)凈利潤增長60%以上，制造業(yè)的產(chǎn)品開發(fā)、組裝成本將下降50%以上。在制造行業(yè)，企業(yè)通過對網(wǎng)上數(shù)據(jù)分析了解客戶需求和掌握市場動向，并對大數(shù)據(jù)進行分析后，就可以有效實現(xiàn)對采購和合理庫存量的管理，大大減少因盲目進貨而導致銷售損失。在商業(yè)上，國外一些超市利用對手機的定位和購物推車獲得商場內(nèi)顧客在各處停留時間，利用視頻監(jiān)視圖像軟件分析顧客購物行為，優(yōu)化商場布局和貨架排列。在政府決策上，分析幾十年來的天氣數(shù)據(jù)，將各地降雨、氣溫、土壤狀況和歷年農(nóng)作物產(chǎn)量做成精密圖表，就可以預測農(nóng)產(chǎn)品生產(chǎn)趨勢，政府的激勵措施、作物存儲量和農(nóng)業(yè)服務也可以隨之確定。5、大數(shù)據(jù)處理方法大數(shù)據(jù)的處理方法有很多，普遍適用的大數(shù)據(jù)處理流程，可以概括為四步，分別是采集、導入和預處理、統(tǒng)計和分析，最后是數(shù)據(jù)挖掘。（1）、采集。大數(shù)據(jù)的采集是指利用多個數(shù)據(jù)庫來接收發(fā)自客戶端（Web、App或者傳感器形式等）的數(shù)據(jù)，并且用戶可以通過這些數(shù)據(jù)庫來進行簡單的查詢和處理工作。比如，電商會使用傳統(tǒng)的關(guān)系型數(shù)據(jù)庫MySQL和Oracle等來存儲每一筆事務數(shù)據(jù)，除此之外，Redis和MongoDB這樣的NoSQL數(shù)據(jù)庫也常用于數(shù)據(jù)的采集。在大數(shù)據(jù)的采集過程中，其主要特點和挑戰(zhàn)是并發(fā)數(shù)高，因為同時有可能會有成千上萬的用戶來進行訪問和操作，比如火車票售票網(wǎng)站和淘寶，它們并發(fā)的訪問量在峰值時達到上百萬，所以需要在采集端部署大量數(shù)據(jù)庫才能支撐。并且如何在這些數(shù)據(jù)庫之間進行負載均衡和分片是需要深入的思考和設計。（2）、導入/預處理。雖然采集端本身會有很多數(shù)據(jù)庫，但是如果要對這些海量數(shù)據(jù)進行有效的分析，還是應該將這些來自前端的數(shù)據(jù)導入到一個集中的大型分布式數(shù)據(jù)庫，或者分布式存儲集群，并且可以在導入基礎上做一些簡單的清洗和預處理工作。也有一些用戶會在導入時使用來自Twitter的Storm來對數(shù)據(jù)進行流式計算，來滿足部分業(yè)務的實時計算需求。導入與預處理過程的特點和挑戰(zhàn)主要是導入的數(shù)據(jù)量大，每秒鐘的導入量經(jīng)常會達到百兆，甚至千兆級別。（3）、統(tǒng)計分析。統(tǒng)計與分析主要利用分布式數(shù)據(jù)庫，或者分布式計算集群來對存儲于其內(nèi)的海量數(shù)據(jù)進行普通的分析和分類匯總等，以滿足大多數(shù)常見的分析需求，在這方面，一些實時性需求會用到EMC的GreenPlum、Oracle的Exadata，以及基于MySQL的列式存儲Infobright等，而一些批處理，或者基于半結(jié)構(gòu)化數(shù)據(jù)的需求可以使用Hadoop。統(tǒng)計與分析這部分的主要特點和挑戰(zhàn)是分析涉及的數(shù)據(jù)量大，其對系統(tǒng)資源，特別是I/O會有極大的占用。（4）、挖掘。與前面統(tǒng)計和分析過程不同的是，數(shù)據(jù)挖掘一般沒有什么預先設定好的主題，主要是在現(xiàn)有數(shù)據(jù)上面進行基于各種算法的計算，從而起到預測（Predict）的效果，從而實現(xiàn)一些高級別數(shù)據(jù)分析的需求。比較典型算法有用于聚類的Kmeans、用于統(tǒng)計學習的SVM和用于分類的NaiveBayes，主要使用的工具有Hadoop的Mahout等。該過程的特點和挑戰(zhàn)主要是用于挖掘的算法很復雜，并且計算涉及的數(shù)據(jù)量和計算量都很大，常用數(shù)據(jù)挖掘算法都以單線程為主。二、大數(shù)據(jù)發(fā)展現(xiàn)狀與趨勢分析1、國外現(xiàn)狀大數(shù)據(jù)的快速發(fā)展，使它成為IT領(lǐng)域的又一大新興產(chǎn)業(yè)。據(jù)中央財經(jīng)大學中國經(jīng)濟管理研究員估算，國外大數(shù)據(jù)行業(yè)約有1000億美元的市場，而且每年都以10%的速度在增長，增速是軟件行業(yè)的兩倍。全球數(shù)據(jù)量存儲情況、政府積極介入推動2009年，聯(lián)合國啟動“全球脈動計劃”，借大數(shù)據(jù)推動落后地區(qū)發(fā)展。2012年1月，世界經(jīng)濟論壇年會把“大數(shù)據(jù)、大影響”作為重要議題。美國從開放政府數(shù)據(jù)、開展關(guān)鍵技術(shù)研究和推動大數(shù)據(jù)應用三方面布局大數(shù)據(jù)產(chǎn)業(yè)。美國在開放政府上非常積極，通過D開放37萬個數(shù)據(jù)集，并開放網(wǎng)站的API和源代碼，提供上千個數(shù)據(jù)應用。除了推動本國政府數(shù)據(jù)開放，美國倡導發(fā)起全球開放政府數(shù)據(jù)運動，已有41個國家相應。美國政府還投資兩億美元促進大數(shù)據(jù)核心技術(shù)研究和應用，把大數(shù)據(jù)放在與集成電路、互聯(lián)網(wǎng)同等重要的位置，從國家層面推進。、資本市場對大數(shù)據(jù)鐘愛有加2012年4月，大數(shù)據(jù)分析公司Splunk高調(diào)宣傳大數(shù)據(jù)，引發(fā)投資者關(guān)注。12月初，為企業(yè)市場提供Hadoop解決方案的創(chuàng)業(yè)公司Cloudera獲得6500萬美元融資，估值約為7億美元。近期，高盛聯(lián)席主席斯科特.斯坦福說：“投資大數(shù)據(jù)及其運用回報率最高”。大數(shù)據(jù)領(lǐng)域的企業(yè)并購熱度也在上升，單筆平均并購金額方面，大數(shù)據(jù)超過云計算位居IT領(lǐng)域榜首，在總并購額上也位居第二。、人才需求巨大蓋特納咨詢公司預測大數(shù)據(jù)將為全球帶來440萬個IT新崗位和上千萬個非IT崗位。麥肯錫公司預測美國到2018年需要深度數(shù)據(jù)分析人才44萬-49萬，缺口14萬-19萬人；需要既熟悉本單位需求又了解大數(shù)據(jù)技術(shù)與應用的管理者150萬，這方面的人才缺口更大。2、國內(nèi)現(xiàn)狀目前，大數(shù)據(jù)在國內(nèi)還處于初步階段，盡管起步較晚，但發(fā)展迅速。2011年作為大數(shù)據(jù)在國內(nèi)的元年，規(guī)模還只有2.6億元，而到2013年就已達到11.2億元，預計未來幾年大數(shù)據(jù)市場將迎來高速增長期，有望突破40億元。2011年-2016年國內(nèi)大數(shù)據(jù)市場規(guī)模2011年以來，中國計算機學會、中國通信學會先后成立了大數(shù)據(jù)委員會，研究大數(shù)據(jù)中的科學與工程問題，科技部的《中國云科技發(fā)展“十二五”專項規(guī)劃》和工信部的《物聯(lián)網(wǎng)“十二五”發(fā)展規(guī)劃》等都把大數(shù)據(jù)技術(shù)作為一項重點予以支持。其中工信部發(fā)布的《物聯(lián)網(wǎng)“十二五”發(fā)展規(guī)劃》，把信息處理技術(shù)作為四項關(guān)鍵技術(shù)創(chuàng)新工程之一被提出來，其中包括海量數(shù)據(jù)存儲、數(shù)據(jù)挖掘、圖像視頻智能分析，這都是大數(shù)據(jù)的重要組成部分。而另外三項關(guān)鍵技術(shù)創(chuàng)新工程，包括信息感知技術(shù)、信息傳輸技術(shù)和信息安全技術(shù)，也都與“大數(shù)據(jù)”密切相關(guān)。應用方面，中國三大通信運營商都在結(jié)合自身業(yè)務情況，積極推進大數(shù)據(jù)應用工作，并取得了較好的進展。電子商務企業(yè)阿里巴巴提出要做中國數(shù)據(jù)分析第一平臺，通過掌握的企業(yè)交易數(shù)據(jù)，借助大數(shù)據(jù)技術(shù)自動分析判定是否給予企業(yè)貸款，全程不會出現(xiàn)人工干預。據(jù)透露，截至目前阿里巴巴已經(jīng)放貸300多億元，壞賬率約0.3%左右，大大低于商業(yè)銀行。企業(yè)方面，我國能夠處理大數(shù)據(jù)的企業(yè)并不是很多，這主要是因為國內(nèi)企業(yè)在數(shù)據(jù)庫、數(shù)據(jù)倉庫和商業(yè)智能等領(lǐng)域基礎比較薄弱。但作為國內(nèi)走在大數(shù)據(jù)行業(yè)前列的一些企業(yè)，技術(shù)水平也能達到較高水平，比如永洪科技在大數(shù)據(jù)、分布式計算、數(shù)據(jù)分析等領(lǐng)域具備核心競爭力、自主創(chuàng)新并擁有多項發(fā)明專利。推出的Z系列產(chǎn)品在大數(shù)據(jù)的應用分析中在國際上也是領(lǐng)先的。另外，還有其他的一些“大數(shù)據(jù)”相關(guān)的上市公司：數(shù)據(jù)處理、分析環(huán)節(jié)、綜合處理：拓爾思、美亞柏科；語音識別：科大訊飛；視頻識別：?？低?、大華股份、華平股份、中威電子、國騰電子；商業(yè)智能軟件：久其軟件、用友軟件；數(shù)據(jù)中心建設與維護：天璣科技、銀信科技、榮之聯(lián)；IT咨詢、方案實施：漢得信息；信息安全：衛(wèi)士通、啟明星辰。數(shù)據(jù)處理、分析環(huán)節(jié)、綜合處理：拓爾思、美亞柏科大數(shù)據(jù)的熱潮也觸發(fā)了一場思想啟蒙運動，使得“大數(shù)據(jù)是資產(chǎn)，不是包袱”、“要拿數(shù)據(jù)說話”等觀念逐步深入人心，改變了以往不重視數(shù)據(jù)積累，不相信數(shù)據(jù)分析等認識。有了這種思維模式的改變，大數(shù)據(jù)的應用就有了希望。3、發(fā)展趨勢分析據(jù)統(tǒng)計2011年全球被創(chuàng)建和被復制的數(shù)據(jù)總量達1.8ZB;預計2020年全球電子設備存儲的數(shù)據(jù)將增至35.2ZB。人類社會繼蒸汽時代、電氣時代和網(wǎng)絡時代后，正在加速跨進大數(shù)據(jù)時代。大數(shù)據(jù)的發(fā)展階段及預測、開源軟件和產(chǎn)業(yè)垂直整合大數(shù)據(jù)時代開源技術(shù)的發(fā)展已經(jīng)可以和商用軟件分庭抗禮，傳統(tǒng)的操作系統(tǒng)、中間體、數(shù)據(jù)庫等平臺級軟件的同質(zhì)化趨勢已經(jīng)漸趨明顯。最終用戶的關(guān)注焦點集中如何解決企業(yè)的業(yè)務問題，而不是購買誰的數(shù)據(jù)庫或者操作系統(tǒng)。因此，越靠近最終用戶的企業(yè)，將在產(chǎn)業(yè)鏈中擁有越大的發(fā)言權(quán)。開源軟件加劇了基礎軟件的同質(zhì)化趨勢，而軟、硬件一體化的趨勢，進一步弱化了產(chǎn)業(yè)鏈上游的發(fā)言權(quán)。垂直整合推動大數(shù)據(jù)產(chǎn)業(yè)集約化的發(fā)展道路，從而最大限度的獲得商業(yè)利潤。、非結(jié)構(gòu)化大數(shù)據(jù)處理分析成為難點和重點隨著互聯(lián)網(wǎng)和通信技術(shù)的迅猛發(fā)展，數(shù)據(jù)類型早已不是單一的結(jié)構(gòu)化數(shù)據(jù)，還充斥著廣泛存在于社交網(wǎng)絡、物聯(lián)網(wǎng)、電子商務等之中網(wǎng)絡日志、音頻、視頻、圖片、地理位置信息等等多類型的數(shù)據(jù)。這些數(shù)據(jù)被命名為非結(jié)構(gòu)化數(shù)據(jù)。據(jù)統(tǒng)計，85%的數(shù)據(jù)都屬于非結(jié)構(gòu)化數(shù)據(jù)。這些非結(jié)構(gòu)化數(shù)據(jù)的產(chǎn)生往往伴隨著社交網(wǎng)絡、移動計算和傳感器等新的渠道和技術(shù)的不斷涌現(xiàn)和應用。但是現(xiàn)有的數(shù)據(jù)處理方法僅適用于結(jié)構(gòu)化數(shù)據(jù)，無法將大量的非結(jié)構(gòu)化數(shù)據(jù)與結(jié)構(gòu)化數(shù)據(jù)進行統(tǒng)一、整合，從而就無法發(fā)掘數(shù)據(jù)中的價值。目前國內(nèi)在非結(jié)構(gòu)化大數(shù)據(jù)挖掘分析方面，在社會化計算領(lǐng)域，針對于微博數(shù)據(jù)取得一定的實用性進展，并形成了一定的市場規(guī)模。如社會化媒體云服務平臺，它是建立在TRS大數(shù)據(jù)分析挖掘系統(tǒng)基礎上的大型在線服務平臺，該服務面向政府、企事業(yè)單位和個人，以在線云服務的方式提供信息監(jiān)測、統(tǒng)計分析、關(guān)系挖掘、傳播效果評估等一系列服務。、機器數(shù)據(jù)挖掘成為一個重要的發(fā)展方向大數(shù)據(jù)中，機器數(shù)據(jù)是最大且增長最快的一部分。每個現(xiàn)代企業(yè)機構(gòu)，無論規(guī)模大小，都會產(chǎn)生海量的機器數(shù)據(jù)，利用這些數(shù)據(jù)是目前機構(gòu)或企業(yè)的關(guān)鍵任務。目前國外有代表性機器數(shù)據(jù)挖掘廠商為Splunk，Splunk針對IT運維、信息安全、交易分析等方面提供業(yè)界領(lǐng)先解決方案與產(chǎn)品。通過運用專利數(shù)據(jù)分析技術(shù)，提供多種產(chǎn)品以滿足各行各業(yè)用戶在關(guān)鍵業(yè)務的運營保障、安全確保及業(yè)務分析方面的需求。如今，國內(nèi)一些廠商也在開發(fā)類似的機器挖掘產(chǎn)品，希望填補國內(nèi)空白。、大企業(yè)的定制化解決方案大數(shù)據(jù)軟件技術(shù)起源于以國外Google、Yahoo等巨頭公司的分布式計算平臺，并隨著這些技術(shù)的開源基礎架構(gòu)，在國內(nèi)互聯(lián)網(wǎng)公司中得到廣泛定制化應用。所以目前大數(shù)據(jù)軟件和應用的特點體現(xiàn)出開源和多樣性的特點。一些擁有海量數(shù)據(jù)的大企業(yè)，并沒有互聯(lián)網(wǎng)公司那樣的大數(shù)據(jù)系統(tǒng)部署能力，因此這一需求推動了大數(shù)據(jù)標準化和產(chǎn)品化解決方案市場的發(fā)展。在國外市場，已經(jīng)出現(xiàn)了以提供企業(yè)級大數(shù)據(jù)軟件產(chǎn)品的公司，如Cloudera公司提供基于Hadoop企業(yè)版大數(shù)據(jù)解決方案。在國內(nèi)，一些廠商也把海量非結(jié)構(gòu)化信息處理技術(shù)和Hadoop架構(gòu)進行有效結(jié)合集成，并結(jié)合企業(yè)在大數(shù)據(jù)采集、存儲、分析挖掘、可視化方面的具體需求，開發(fā)企業(yè)級大數(shù)據(jù)分析挖掘系統(tǒng)。推動大數(shù)據(jù)分析系統(tǒng)在企業(yè)的落地。三、重點應用領(lǐng)域及行業(yè)企業(yè)分析大數(shù)據(jù)技術(shù)的創(chuàng)新與應用，不僅能夠應對數(shù)據(jù)爆炸帶來的挑戰(zhàn)，還能夠創(chuàng)造出巨大的價值、提升社會生產(chǎn)率，因此大數(shù)據(jù)必將發(fā)展成為重要的新興產(chǎn)業(yè)。在整個大數(shù)據(jù)的發(fā)展過程中，不但在各個應用領(lǐng)域有大數(shù)據(jù)手段的涉入，在大數(shù)據(jù)產(chǎn)業(yè)鏈中的各段都涌現(xiàn)出大批的大數(shù)據(jù)企業(yè)。大數(shù)據(jù)產(chǎn)業(yè)鏈全景圖1、重點應用領(lǐng)域（1）、公共領(lǐng)域據(jù)《證劵日報》市場研究中心統(tǒng)計分析發(fā)現(xiàn)，目前我國在公共領(lǐng)域?qū)Υ髷?shù)據(jù)的運用主要集中在電力行業(yè)、智能交通、電子政務和司法系統(tǒng)四個方面。電力行業(yè)：大數(shù)據(jù)對該行業(yè)的應用主要體現(xiàn)在智能電網(wǎng)上，通過獲取人們的用電行為信息，智能電網(wǎng)能實現(xiàn)優(yōu)化電的生產(chǎn)、分配以及消耗，有利于電網(wǎng)安全監(jiān)測與控制、客戶用電行為分析與客戶細分。智能交通：交通運輸部將對公共交通信息化應用系統(tǒng)建設、相關(guān)支撐系統(tǒng)建設、數(shù)據(jù)資源與交換系統(tǒng)建設提供資金支持。電子政務：通過政府信息化，大數(shù)據(jù)能夠提高政府決策的科學性和精準性，提高政府預測預警能力以及應急響應能力，節(jié)約決策的成本。司法系統(tǒng)：公安市場大規(guī)模的信息化和裝備投資產(chǎn)生了海量的非結(jié)構(gòu)化數(shù)據(jù)，公安的實戰(zhàn)應用是大數(shù)據(jù)的重要應用領(lǐng)域。公共領(lǐng)域行業(yè)大數(shù)據(jù)案例案例名稱車隊優(yōu)化解決方案項目背景隨著車輛的保有量不斷激增，對海量車輛數(shù)目與相關(guān)數(shù)據(jù)的管理和優(yōu)化提出了更高的要求。需要跟蹤和監(jiān)測車輛，保持與車隊操作人員的交流，利于靈活調(diào)度、提高利用率。項目內(nèi)容依靠優(yōu)秀的WebShpere、Tivoli、Maximo技術(shù)和相關(guān)實施和應用，對車輛本身和周邊的各種儀器所采集的信號信息數(shù)據(jù)進行收集，在通過大數(shù)據(jù)手段分析處理后，為車輛的管理者提供有價值的分析結(jié)果，幫助他們做出決定，改善和提升業(yè)務。項目成果做到了快速實時的需求訪問并獲得準確數(shù)據(jù)，通過對大數(shù)據(jù)的分析可做出車輛保修問題的早期洞察，提高維修效率。減少車輛停滯時間，節(jié)省燃料成本。總結(jié)對車輛進行跟蹤和管理，解決了智慧交通所存在的問題（2）互聯(lián)網(wǎng)互聯(lián)網(wǎng)作為一個數(shù)據(jù)平臺、一個數(shù)據(jù)集散地，聚集了海量的數(shù)據(jù)，完全可以借助新的大數(shù)據(jù)理論和技術(shù)，分析其中蘊含的豐富內(nèi)容、發(fā)現(xiàn)其中存在的統(tǒng)計規(guī)律，以便為互聯(lián)網(wǎng)提供更好的服務和應用、為互聯(lián)網(wǎng)行業(yè)今后實現(xiàn)更好更快的持續(xù)發(fā)展提供定量化的依據(jù)。大數(shù)據(jù)在互聯(lián)網(wǎng)領(lǐng)域的應用現(xiàn)狀及未來發(fā)展：電子商務利用大數(shù)據(jù)理論和技術(shù)，對網(wǎng)絡購物、網(wǎng)絡消費、網(wǎng)絡團購、網(wǎng)上支付等數(shù)據(jù)進行深度挖掘、深入分析，可以發(fā)現(xiàn)大量有價值的信息和統(tǒng)計規(guī)律，對布局和推動今后中國互聯(lián)網(wǎng)經(jīng)濟的健康有序發(fā)展、對進一步規(guī)范經(jīng)營者和消費者的電子商務活動、加強國家對該領(lǐng)域的宏觀調(diào)控和監(jiān)管等，均將產(chǎn)生積極的影響。網(wǎng)絡廣告利用大數(shù)據(jù)理論和技術(shù)，可深入分析網(wǎng)絡廣告的效果及其對商品銷售等的影響、廣告“讀者”對之的反應等。網(wǎng)絡新聞、搜索引擎利用大數(shù)據(jù)理論和技術(shù)，通過對網(wǎng)民搜索內(nèi)容、習慣、愛好、關(guān)鍵詞等深入分析，可為新聞門戶網(wǎng)站的建設、搜索引擎技術(shù)的改進、互聯(lián)網(wǎng)輿情的監(jiān)控與引導等提供依據(jù)。旅行預訂利用大數(shù)據(jù)理論和技術(shù)可以對旅行預訂數(shù)據(jù)進行深入、精細分析，為更好的布局和旅游經(jīng)濟發(fā)展、更好的為游客提供產(chǎn)品和服務等提供參考和依據(jù)。社交網(wǎng)絡利用大數(shù)據(jù)進行深入分析，可更好的發(fā)現(xiàn)民眾新的交往習慣與方式、民眾關(guān)注的社會問題與社會熱點、民情民意，為改善互聯(lián)網(wǎng)時代的通信和社交服務提供參考。網(wǎng)絡視頻、網(wǎng)絡音樂和網(wǎng)絡游戲通過大數(shù)據(jù)平臺收集用戶的行為數(shù)據(jù)，通過分析理解每個用戶的動機和潛在價值，來調(diào)整視頻網(wǎng)站、音樂網(wǎng)站和游戲的設計，并對這些用戶行為進行實時自動營銷，以更好的滿足用戶需求。同時基于行為數(shù)據(jù)對用戶細分后，還可以進行跨領(lǐng)域的用戶營銷，對不同用戶類型推送不同類型的游戲、視頻和音樂?；ヂ?lián)網(wǎng)行業(yè)大數(shù)據(jù)案例案例名稱Facebook廣告精準投放項目背景互聯(lián)網(wǎng)公司收入主要來源依靠廣告，要吸引更多廠商的廣告，互聯(lián)網(wǎng)公司需要增加用戶粘性，提高用戶體驗項目內(nèi)容Facebook通過追蹤用戶在線社交行為，包括用戶的喜怒以及好友信息，積累了海量用戶行為和網(wǎng)絡群組關(guān)系數(shù)據(jù)。Facebook對數(shù)據(jù)進行分類，整理，分析，進而對用戶歸類，實時發(fā)現(xiàn)用戶群。根據(jù)不同的群組，F(xiàn)acebook為用戶推送他們可能潛在感興趣的廣告。項目成果1、2009年到2010年，F(xiàn)acebook在互聯(lián)網(wǎng)廣告市場中的份額翻了一番；2011年又比2010年增長了95%。Facebook的廣告業(yè)務增速是Google的3倍多。2006年和2010年期間，F(xiàn)acebook是互聯(lián)網(wǎng)廣告市場上唯一一家市場份額穩(wěn)步增長的公司?？偨Y(jié)大數(shù)據(jù)技術(shù)使Facebook對于用戶理解越來越深入，廣告投放也就越精準，廣告價值也就越高。（3）、智慧城市智慧城市要體現(xiàn)人類社會對現(xiàn)代城市和運營管理新的科技發(fā)展的水平，它必然來自于對大數(shù)據(jù)的充分分析和利用，大數(shù)據(jù)源于非結(jié)構(gòu)數(shù)據(jù)的猛增包括互聯(lián)網(wǎng)的發(fā)展，使得數(shù)據(jù)級不斷提高。因此如何對數(shù)據(jù)進行分析和利用，促進人類智慧運用管理城市，這是面臨的挑戰(zhàn)。智慧城市建設迫切使用先進的技術(shù)包括數(shù)據(jù)挖掘和功能的強大的運算系統(tǒng)，從而來整合分析跨地域、跨行業(yè)、跨部門的海量數(shù)據(jù)的處理，將特定的知識應用于特定的行業(yè)和特定的解決方案中，來支持智慧城市建設的決策和相關(guān)行動。將大數(shù)據(jù)應用與智慧城市的建設中，將迎來五大轉(zhuǎn)變：化被動為主動：傳統(tǒng)模式下人們往往是被動處理各類緊急事件，而大數(shù)據(jù)模式下將提供預測、預警機制，可主動部署人力，調(diào)動資源。化僵化為靈活：傳統(tǒng)統(tǒng)計報表多為一天一生成或一月一生成，程序僵化、變動不易，而大數(shù)據(jù)模式下用戶可自由生成各種統(tǒng)計報表，而無需系統(tǒng)事先預制報表?；托楦咝В簜鹘y(tǒng)模式下的海量數(shù)據(jù)模糊查詢和統(tǒng)計分析無法達到用戶的實時使用需求，而大數(shù)據(jù)模式則提供秒級響應的用戶體驗?；瘑我粸榛樱簜鹘y(tǒng)的數(shù)據(jù)應用多為單表挖掘分析，一旦涉及跨表就會因效率問題而無能為力，而大數(shù)據(jù)模式則擅長復雜的跨表關(guān)聯(lián)分析，推動數(shù)據(jù)串并關(guān)聯(lián)，產(chǎn)生更大價值?；址艦榫殻涸瓉泶址诺臄?shù)據(jù)訪問每次可查詢的內(nèi)容較少，為達到目的需多次操作，而精細化的數(shù)據(jù)訪問可由系統(tǒng)自動關(guān)聯(lián)并推送信息服務，用戶一次查詢可獲得豐富的信息內(nèi)容。智慧城市行業(yè)大數(shù)據(jù)案例案例名稱寶德大數(shù)據(jù)構(gòu)建智慧城市項目背景智慧城市建設迫切使用先進的技術(shù)包括數(shù)據(jù)挖掘和功能的強大的運算系統(tǒng)，從而來整合分析跨地域、跨行業(yè)、跨部門的海量數(shù)據(jù)的處理項目內(nèi)容通過大數(shù)據(jù)收集智慧城市相關(guān)信息，包括位置、客戶需求、在線數(shù)據(jù)等，從而實現(xiàn)基于位置的服務、社會化推薦、趨勢分析、客戶分析等經(jīng)數(shù)據(jù)挖掘與分析后的內(nèi)容。使用大數(shù)據(jù)的手段，通過對機器生成數(shù)據(jù)進行分析，可是實現(xiàn)24小時不間斷運轉(zhuǎn)達到實時分析，通過大量數(shù)據(jù)的收集實現(xiàn)模式挖掘，通過快速反應實現(xiàn)流式分析。項目成果實施方案后，在智慧城市的建設過程中，手段更加靈活，操作更加便捷，環(huán)境更加安全。更利于實現(xiàn)多方廣泛合作，使城市更加具有吸引力，污染更少，社會服務更加完善?？偨Y(jié)在智慧城市的建設過程中，會產(chǎn)生大量的非結(jié)構(gòu)化數(shù)據(jù)，在大數(shù)據(jù)的模式下，通過海量數(shù)據(jù)的挖掘和分析，可以使智慧城市建設更加具有目的性。（4）、金融行業(yè)互聯(lián)網(wǎng)金融是當下的一個熱詞，言下之意是指利用互聯(lián)網(wǎng)技術(shù)、大數(shù)據(jù)思維進行的金融業(yè)務再造。總體而言體現(xiàn)在兩個方面，一是金融機構(gòu)依靠互聯(lián)網(wǎng)技術(shù)和思維自我變革；二是互聯(lián)網(wǎng)企業(yè)跨界開展金融服務。目前，以大數(shù)據(jù)為代表的新型技術(shù)將在兩個層面改造金融業(yè)。一是金融交易形式的電子化和數(shù)字化，具體表現(xiàn)為支付電子化、渠道網(wǎng)絡化、信用數(shù)字化，是運營效率的提升；二是金融交易結(jié)構(gòu)的變化，其中一個重要表現(xiàn)便是交易中介脫媒化，服務中介功能弱化，是結(jié)構(gòu)效率的提升。伴隨著大數(shù)據(jù)應用、技術(shù)革新及商業(yè)模式創(chuàng)新，金融業(yè)中的銀行和卷商也迎來巨大的轉(zhuǎn)變。此外，騰訊、阿里巴巴等互聯(lián)網(wǎng)企業(yè)也在憑借其強大的數(shù)據(jù)積累和客戶基礎，進軍金融業(yè)，開拓新的盈利點，這也成為金融產(chǎn)品在線銷售的一大推動力。金融行業(yè)大數(shù)據(jù)案例案例名稱中信銀行信用卡中心實現(xiàn)秒級營銷項目背景如何有效管理和利用不斷增長的客戶數(shù)據(jù)，滿足業(yè)務發(fā)展需求，提高業(yè)務競爭力，是當前銀行業(yè)數(shù)據(jù)庫應用的最大挑戰(zhàn)項目內(nèi)容某廠商為中信銀行信用卡中心提供了統(tǒng)一的客戶視圖，借助客戶統(tǒng)一視圖，中信銀行信用卡中心可以更清楚的了解其客戶價值體系，從而開展更有針對性的營銷活動?；跀?shù)據(jù)倉庫，中信銀行信用卡中心現(xiàn)在可以從交易、服務、風險、權(quán)益等多個層面分析數(shù)據(jù)。通過提供全面的客戶數(shù)據(jù)，營銷團隊可以按照低、中、高價值對客戶進行分類，根據(jù)銀行整體經(jīng)營策略，積極的提供相應的個性化服務。項目成果實施方案后，中信銀行信用卡中心實現(xiàn)了近似實時的商業(yè)智能（BI）和秒級營銷，運營效率得到全面提升。中信銀行信用卡中心通過其數(shù)據(jù)庫營銷平臺全年進行了1286次宣傳活動，每次營銷活動配置平均時間從以前的兩周縮短到兩天。總結(jié)通過提取分析信用卡中心的數(shù)據(jù)，中信銀行實現(xiàn)了業(yè)務創(chuàng)新，同時提高了運營效率，節(jié)省了成本。2、重點企業(yè)當前主要大數(shù)據(jù)廠商的收入情況廠商大數(shù)據(jù)收入（百萬美元）總收入（百萬美元）大數(shù)據(jù)收入占比IBM1100106,0001%Intel76554,0001.4%HP550126,0000.4%Oracle42536,0001.2%Teradate2202,20010%Dell15061,0000.2%EMC14019,0000.7%SAP8517,0000.5%華為7321,8000.3%西門子69102,0000.06%Splunk456368%1010data253083%Cloudera1818100%Total5156866,0490.6%從收入規(guī)模上來說，當前大數(shù)據(jù)市場的領(lǐng)導者是IBM、Intel以及HP，現(xiàn)對大數(shù)據(jù)市場中的部分重點企業(yè)進行分析。(1)、IBM2010年11月，斥資17億美元收購數(shù)據(jù)分析公司Netezza，該企業(yè)的數(shù)據(jù)倉庫產(chǎn)品有效的整合數(shù)據(jù)庫內(nèi)分析和并行網(wǎng)絡架構(gòu)。2011年5月，發(fā)布專門針對大數(shù)據(jù)分析的平臺產(chǎn)品。2011年10月，在SPSS統(tǒng)計工具軟件中增加視圖和分析數(shù)據(jù)功能，從而幫助企業(yè)利用地理信息。2012年2月，推出一體機分析工具IBMNetezzaCustomerIntelligenceAppliance，該工具可以進行快速復雜的實時分析。2012年4月，收購VaricentSoftware，Varicent軟件能夠自動收集財務、銷售、人力資源等部門的數(shù)據(jù)，并形成分析報告。2012年4月，宣布收購Vivisimo公司，Vivisimo軟件幫助客戶搜索及深度挖掘大數(shù)據(jù)，且直觀呈現(xiàn)數(shù)據(jù)。2012年5月，收購TealeafTechnology，該公司開發(fā)用于分析消費者網(wǎng)絡數(shù)據(jù)的軟件公司。2013年4月，宣布和搜狗公司（以下簡稱“搜狗”）合作成立聯(lián)合實驗室，共享平臺、技術(shù)資源和人才以研發(fā)基于Systemx的下一代數(shù)據(jù)中心和大數(shù)據(jù)運算平臺。2013年11月，展示了企業(yè)級大數(shù)據(jù)和分析基礎架構(gòu)平臺——IBMPowerSystems。IBM市場定位提供服務器、數(shù)據(jù)庫軟件、專家系統(tǒng)等一體化解決方案，覆蓋整個大數(shù)據(jù)行業(yè)解決方案InfosphereBigInsights和InfoSphereStream信息管理產(chǎn)品業(yè)務分析產(chǎn)品給用戶帶來的價值在云計算架構(gòu)上整合軟、硬件技術(shù)，強大且全面的信息管理、數(shù)據(jù)分析軟件，及專業(yè)的咨詢隊伍，為客戶提供更加簡易、及時的數(shù)據(jù)分析、挖掘和決策服務分析IBM的大數(shù)據(jù)戰(zhàn)略布局全面，注重商業(yè)分析功能的提升，近幾年收購30多家商業(yè)分析領(lǐng)域的公司（2）、Oracle2010年12月，第二版OracleExadata數(shù)據(jù)庫機更名為“OracleExadata數(shù)據(jù)庫云服務器”，該系統(tǒng)集成數(shù)據(jù)庫軟件、硬件服務器及存儲設備。2011年10月，宣布推出OracleExalytics商務智能云服務器。2012年1月，發(fā)布Oracle大數(shù)據(jù)機，包含OracleNoSQL數(shù)據(jù)庫、Cloudera的分布式Hadoop及開源R編程語言。Oracle市場定位高度集成，為用戶提供端對端的大數(shù)據(jù)解決方案。解決方案大數(shù)據(jù)機、OracleExalogic中間件云服務器、OracleExadata數(shù)據(jù)庫云服務器及OracleExalytics商務智能云服務器構(gòu)成一個高度集成化產(chǎn)品組合。為以上系統(tǒng)提供一線支持。給用戶帶來的價值全面集成軟硬件產(chǎn)品，幫助客戶洞察數(shù)據(jù)及挖掘數(shù)據(jù)的商業(yè)價值。分析Oracle大數(shù)據(jù)戰(zhàn)略清晰明了，通過軟硬一體化的集成設備為客戶提供應用最廣泛、高度集成化的系統(tǒng)產(chǎn)品組合，為企業(yè)用戶提供端到端的大數(shù)據(jù)解決方案。、EMC2010年7月，宣布收購數(shù)據(jù)倉儲技術(shù)提供商Greenplum公司。2011年5月，推出世界最大的單一文件系統(tǒng)，發(fā)布IsilonIQ108NL硬件產(chǎn)品和SmartLock數(shù)據(jù)保留軟件應用。2011年12月，推出支持大數(shù)據(jù)分析的平臺EMCGreenplum統(tǒng)一分析平臺（UAP）。2012年3月，收購軟件開發(fā)公司PivotalLabs。2012年4月，發(fā)布數(shù)據(jù)科學的社交平臺GreenplumChorus。2013年2月，推出RSA信息安全智能分析平臺，該平臺以RSANetWitness技術(shù)架構(gòu)為基礎，將SIES、網(wǎng)絡取證和大數(shù)據(jù)分析融合到一個平臺之中。EMC市場定位充分發(fā)揮存儲、管理和保護方面的優(yōu)勢，利用云計算開放式、分布式和集群技術(shù)處理大數(shù)據(jù)解決方案統(tǒng)一的大數(shù)據(jù)分析平臺UAP包括EMCGreenplum關(guān)系數(shù)據(jù)庫、EMCGreenplumHDHadoop發(fā)行版和EMCGreenplumChorus給用戶帶來的價值針對大數(shù)據(jù)提供分析工具、服務，及強大的擴展性和開源的生態(tài)系統(tǒng)分析EMC在數(shù)據(jù)存儲、管理和保護方面優(yōu)勢明顯。此外，數(shù)據(jù)團隊和分析團隊可以在統(tǒng)一的軟件平臺上共享信息、協(xié)作分析，無需在不同平臺間轉(zhuǎn)移數(shù)據(jù)。、SAP2010年12月，發(fā)布高性能分析應用軟件SAPHANA。2012年3月，推出全新升級的SAPBusinessOne8.82產(chǎn)品，該產(chǎn)品可部署在SAPHANA平臺上，滿足成長型企業(yè)數(shù)據(jù)分析需求。2012年4月，公布關(guān)于HANA數(shù)據(jù)庫平臺及數(shù)據(jù)庫提供商Sybase的近期及長期規(guī)劃，重點關(guān)注大數(shù)據(jù)的處理。2012年4月，推出預測性分析軟件SAPBusinessObjectsPredictiveAnalysis幫助客戶實現(xiàn)預測性建模和高級可視化。SAP市場定位具有內(nèi)存計算技術(shù)的HANA能夠快速高效處理海量數(shù)據(jù)，滿足不同行業(yè)大型和成長型企業(yè)的需求解決方案HANA能夠快速處理大企業(yè)的海量數(shù)據(jù)SAPBusinessOne8.82可部署在SAPHANA平臺上滿足成長型企業(yè)數(shù)據(jù)分析需求給用戶帶來的價值幫助用戶以簡捷的方式快速獲取實時信息，提高預測和規(guī)劃的能力分析HANA是一個開放性的開發(fā)合作平臺，容易獲得硬件系統(tǒng)廠商的支持（5）、惠普2010年9月，收購存儲企業(yè)3PAR，成為增長最快的高端存儲平臺。2011年2月，收購分析及數(shù)據(jù)管理軟件公司Vertica，該公司主要開發(fā)用于存儲和查詢數(shù)據(jù)庫的數(shù)據(jù)管理解決方案。2011年8月，收購英國第二大軟件廠商Autonomy，該公司擅長基于語義計算的數(shù)據(jù)處理和數(shù)據(jù)挖掘。惠普市場定位通過將原有的技術(shù)能力和3Par、Autonomy、Vertica的技術(shù)能力技能融合創(chuàng)新，實現(xiàn)大數(shù)據(jù)價值鏈的全覆蓋解決方案HPStoreonce全新重復數(shù)據(jù)刪除，實現(xiàn)高速備份和數(shù)據(jù)恢復能力。采用AutonomyIntelligentDataOperatingLayer10的HPDataProtector7，讓企業(yè)使用網(wǎng)絡點擊流量、瀏覽及交易數(shù)據(jù)。Vertica分析平臺，讓企業(yè)能在任何地點、使用任何接口分析和管理各種信息給用戶帶來的價值幫助用戶更短時間保護更多數(shù)據(jù)，從而在數(shù)據(jù)爆發(fā)式增長時更好的應對風險分析大數(shù)據(jù)布局全面，實現(xiàn)大數(shù)據(jù)價值鏈的全覆蓋（6）、淘寶2008年9月，宣布開放平臺計劃（“淘園”），第三方開發(fā)者可以通過開放接口訪問淘寶數(shù)據(jù)。2010年3月，宣布向全球分層次開放數(shù)據(jù)，向普通消費者免費提供涉及電子商務行業(yè)的宏觀數(shù)據(jù)。2011年8月，支持海量數(shù)據(jù)的數(shù)據(jù)庫系統(tǒng)OceanBase遵照GPL2開源。2011年9月，完全開放所有零售形態(tài)，連接外部B2C電商平臺，該策略包括品牌商、供應商、零售商等。淘寶市場定位掌握了大量的交易數(shù)據(jù)，為商家提供各類數(shù)據(jù)服務解決方案數(shù)據(jù)魔方平臺。商家可以利用該平臺了解行業(yè)宏觀情況、品牌的市場狀況、消費者行為等消息。與第三方研究機構(gòu)合作，研究機構(gòu)直接向商家提供服務。給用戶帶來的價值商家能夠以較低的成本及時獲取可靠數(shù)據(jù)，并且利用這些數(shù)據(jù)服務了解市場、顧客需求，從而改善自己的產(chǎn)品與運營策略分析相比商家實地調(diào)研，數(shù)據(jù)產(chǎn)品成本較低、來源可靠、實時性強。擁有大量數(shù)據(jù)資源，是天生優(yōu)勢國內(nèi)運營商分析、中國聯(lián)通2012年中國聯(lián)通成功將大數(shù)據(jù)和Hadoop技術(shù)引入到“用戶上網(wǎng)記錄集中查詢與分析支撐系統(tǒng)”，并已經(jīng)部署了4.5PB的存儲空間。系統(tǒng)已經(jīng)具備了每天處理700億條上網(wǎng)記錄的能力，每天新增數(shù)據(jù)量達20多個TB，每年以70%的速度在遞增。通過該大數(shù)據(jù)項目，聯(lián)通在全球運營商中率先提供了用戶上網(wǎng)記錄的清單查詢服務，為移動互聯(lián)網(wǎng)時代移動上網(wǎng)流量的明明白白消費提供了技術(shù)上的保證。同時，也為中國聯(lián)通的移動互聯(lián)網(wǎng)業(yè)務精細化運營、流量提升、移動網(wǎng)絡規(guī)劃和優(yōu)化提供了有效支撐。、中國移動中國移動在大云1.5平臺上部署了分析型PaaS產(chǎn)品，利用BC-Hadoop構(gòu)建大數(shù)據(jù)處理平臺，并在英特爾至強+Hadoop平臺上運行，同時建設了并行數(shù)據(jù)挖掘系統(tǒng)以及商務智能平臺等大數(shù)據(jù)應用平臺，為將來在大數(shù)據(jù)應用和服務市場做了充分準備。、中國電信從2009年開始中國電信成立的八大基地，在運營過程中都用到了大數(shù)據(jù)的概念。目前為止中國電信在全國擁有300座以上的機樓，計算能力已經(jīng)超過了100萬處理器核心，存儲能力已經(jīng)達到EB的級別。中國電信提出了大數(shù)據(jù)發(fā)展思路，并以綜合平臺、智能管道為依托，以豐富大數(shù)據(jù)為基礎，聚焦重點大數(shù)據(jù)應用，特別是聚合更有價值的四大大數(shù)據(jù)商業(yè)應用模式，依托自身核心業(yè)務，以實現(xiàn)利潤最大化。中國電信最有價值的大數(shù)據(jù)應用表現(xiàn)在四方面：語音數(shù)據(jù)分析、視頻數(shù)據(jù)分析、流量分析和位置數(shù)據(jù)分析。四、存在問題及對策分析大數(shù)據(jù)帶來戰(zhàn)略機遇的同時，也帶來了不可忽視的一系列挑戰(zhàn)。1、數(shù)據(jù)量的成倍增長挑戰(zhàn)數(shù)據(jù)存儲能力大數(shù)據(jù)及其潛在的商業(yè)價值要求使用專門的數(shù)據(jù)庫技術(shù)和專用的數(shù)據(jù)存儲設備，傳統(tǒng)的數(shù)據(jù)庫追求高度的數(shù)據(jù)一致性和容錯性，缺乏較強的擴展性和較好的系統(tǒng)可用性，不能有效存儲視頻、音頻等非結(jié)構(gòu)化和半結(jié)構(gòu)化的數(shù)據(jù)。目前，數(shù)據(jù)存儲能力的增長遠遠趕不上數(shù)據(jù)的增長，設計最合理的分層存儲架構(gòu)成為信息系統(tǒng)的關(guān)鍵。2、數(shù)據(jù)類型的多樣性挑戰(zhàn)數(shù)據(jù)挖掘能力從數(shù)據(jù)庫的觀點看，挖掘算法的有效性和可伸縮性是實現(xiàn)數(shù)據(jù)挖掘的關(guān)鍵，而現(xiàn)有的算法往往適合常駐內(nèi)存的小數(shù)據(jù)集，大型數(shù)據(jù)庫中的數(shù)據(jù)可能無法同時導入內(nèi)存，隨著數(shù)據(jù)規(guī)模的不斷增大，算法的效率逐漸成為數(shù)據(jù)分析流程的瓶頸。要想徹底改變被動局面，需要對現(xiàn)有架構(gòu)、組織體系、資源配置和權(quán)力結(jié)構(gòu)進行重組。3、對大數(shù)據(jù)的處理速度挑戰(zhàn)數(shù)據(jù)處理的時效性隨著數(shù)據(jù)規(guī)模的不斷增大，分析處理的時間相應地越來越長，而大數(shù)據(jù)條件下對信息處理的時效性要求越來越高。傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)在數(shù)據(jù)維度和規(guī)模增大時，需要的資源呈指數(shù)增長，面對PB級以上的海量數(shù)據(jù)，處理大數(shù)據(jù)需要簡單有效的人工智能算法和新問題求解方法。4、數(shù)據(jù)跨越組織邊界傳播挑戰(zhàn)信息安全隨著技術(shù)的發(fā)展，大量信息跨越組織邊界傳播，信息