大數(shù)據(jù)行業(yè)分析研究報(bào)告

大數(shù)據(jù)行業(yè)分析大數(shù)據(jù)行業(yè)分析研究報(bào)告目錄TOC\o"1-2"\h\u一、大數(shù)據(jù)概述 11、大數(shù)據(jù)簡(jiǎn)介 12、大數(shù)據(jù)特征 13、大數(shù)據(jù)的技術(shù) 24、大數(shù)據(jù)的應(yīng)用 25、大數(shù)據(jù)處理方法 2二、大數(shù)據(jù)發(fā)展現(xiàn)狀與趨勢(shì)分析 41、國外現(xiàn)狀 42、國內(nèi)現(xiàn)狀 53、發(fā)展趨勢(shì)分析 6三、重點(diǎn)應(yīng)用領(lǐng)域及行業(yè)企業(yè)分析 81、重點(diǎn)應(yīng)用領(lǐng)域 92、重點(diǎn)企業(yè) 133、國內(nèi)運(yùn)營商分析 18四、存在問題及對(duì)策分析 191、數(shù)據(jù)量的成倍增長挑戰(zhàn)數(shù)據(jù)存儲(chǔ)能力 192、數(shù)據(jù)類型的多樣性挑戰(zhàn)數(shù)據(jù)挖掘能力 203、對(duì)大數(shù)據(jù)的處理速度挑戰(zhàn)數(shù)據(jù)處理的時(shí)效性 204、數(shù)據(jù)跨越組織邊界傳播挑戰(zhàn)信息安全 205、大數(shù)據(jù)時(shí)代的到來挑戰(zhàn)人才資源 20五、大數(shù)據(jù)方面的相關(guān)政策和法規(guī) 211、數(shù)據(jù)生產(chǎn)的相關(guān)政策和法規(guī) 212、數(shù)據(jù)共享的相關(guān)政策與法規(guī) 213、隱私保護(hù)的相關(guān)政策和法規(guī) 22一、大數(shù)據(jù)概述1、大數(shù)據(jù)簡(jiǎn)介隨著網(wǎng)絡(luò)和信息技術(shù)的不斷普及，人類產(chǎn)生的數(shù)據(jù)量正在呈指數(shù)級(jí)增長。大量新數(shù)據(jù)源的出現(xiàn)導(dǎo)致了非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)爆發(fā)式的增長。這些數(shù)據(jù)已經(jīng)遠(yuǎn)遠(yuǎn)超越了目前人力所能處理的范疇，如何管理和使用這些數(shù)據(jù)，逐漸成為一個(gè)新的領(lǐng)域，于是大數(shù)據(jù)的概念應(yīng)運(yùn)而生。2、大數(shù)據(jù)特征大數(shù)據(jù)指的是所涉及的資料量規(guī)模巨大到無法通過目前主流軟件工具，在合理時(shí)間內(nèi)達(dá)到收集、管理、處理、并整理成為幫助企業(yè)經(jīng)營決策目的的咨詢。大數(shù)據(jù)不單單是指數(shù)量的量大，而且包括了以下的四個(gè)方面：首先，數(shù)據(jù)的體量（volumes）大，大數(shù)據(jù)的起始計(jì)量單位至少是P（1000個(gè)T）、E（100萬個(gè)T）或Z（10億個(gè)T），和我們所熟知的G相比，體量不可謂不大。其次，是數(shù)據(jù)類別（variety）大，數(shù)據(jù)來自多種數(shù)據(jù)源，數(shù)據(jù)種類和格式日漸豐富，已沖破了以前所限定的結(jié)構(gòu)化數(shù)據(jù)范疇，囊括了半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。再次，是數(shù)據(jù)處理速度（velocity）快，在數(shù)據(jù)體量龐大的情況下，也能夠做到數(shù)據(jù)的實(shí)時(shí)處理。最后，是指數(shù)據(jù)的真實(shí)性（veracity）高，隨著社交數(shù)據(jù)、企業(yè)內(nèi)容、交易與應(yīng)用數(shù)據(jù)等新數(shù)據(jù)源的興起，傳統(tǒng)數(shù)據(jù)源的局限被打破，信息的真實(shí)性和安全性顯得極其重要。3、大數(shù)據(jù)的技術(shù)大數(shù)據(jù)技術(shù)是指從各種各樣類型的巨量數(shù)據(jù)中，快速獲得有價(jià)值信息的技術(shù)。主要可分為：數(shù)據(jù)采集、數(shù)據(jù)存取、基礎(chǔ)架構(gòu)、數(shù)據(jù)處理、統(tǒng)計(jì)分析、數(shù)據(jù)挖掘、模型預(yù)測(cè)和結(jié)果呈現(xiàn)等8種技術(shù)。同時(shí)，由這幾種技術(shù)形成了批處理、流處理和交互分析三種計(jì)算模式。4、大數(shù)據(jù)的應(yīng)用大數(shù)據(jù)的應(yīng)用范圍非常廣。有機(jī)構(gòu)預(yù)測(cè)，“大數(shù)據(jù)”的發(fā)展，將使零售業(yè)凈利潤增長60%以上，制造業(yè)的產(chǎn)品開發(fā)、組裝成本將下降50%以上。在制造行業(yè)，企業(yè)通過對(duì)網(wǎng)上數(shù)據(jù)分析了解客戶需求和掌握市場(chǎng)動(dòng)向，并對(duì)大數(shù)據(jù)進(jìn)行分析后，就可以有效實(shí)現(xiàn)對(duì)采購和合理庫存量的管理，大大減少因盲目進(jìn)貨而導(dǎo)致銷售損失。在商業(yè)上，國外一些超市利用對(duì)手機(jī)的定位和購物推車獲得商場(chǎng)內(nèi)顧客在各處停留時(shí)間，利用視頻監(jiān)視圖像軟件分析顧客購物行為，優(yōu)化商場(chǎng)布局和貨架排列。在政府決策上，分析幾十年來的天氣數(shù)據(jù)，將各地降雨、氣溫、土壤狀況和歷年農(nóng)作物產(chǎn)量做成精密圖表，就可以預(yù)測(cè)農(nóng)產(chǎn)品生產(chǎn)趨勢(shì)，政府的激勵(lì)措施、作物存儲(chǔ)量和農(nóng)業(yè)服務(wù)也可以隨之確定。5、大數(shù)據(jù)處理方法大數(shù)據(jù)的處理方法有很多，普遍適用的大數(shù)據(jù)處理流程，可以概括為四步，分別是采集、導(dǎo)入和預(yù)處理、統(tǒng)計(jì)和分析，最后是數(shù)據(jù)挖掘。（1）、采集。大數(shù)據(jù)的采集是指利用多個(gè)數(shù)據(jù)庫來接收發(fā)自客戶端（Web、App或者傳感器形式等）的數(shù)據(jù)，并且用戶可以通過這些數(shù)據(jù)庫來進(jìn)行簡(jiǎn)單的查詢和處理工作。比如，電商會(huì)使用傳統(tǒng)的關(guān)系型數(shù)據(jù)庫MySQL和Oracle等來存儲(chǔ)每一筆事務(wù)數(shù)據(jù)，除此之外，Redis和MongoDB這樣的NoSQL數(shù)據(jù)庫也常用于數(shù)據(jù)的采集。在大數(shù)據(jù)的采集過程中，其主要特點(diǎn)和挑戰(zhàn)是并發(fā)數(shù)高，因?yàn)橥瑫r(shí)有可能會(huì)有成千上萬的用戶來進(jìn)行訪問和操作，比如火車票售票網(wǎng)站和淘寶，它們并發(fā)的訪問量在峰值時(shí)達(dá)到上百萬，所以需要在采集端部署大量數(shù)據(jù)庫才能支撐。并且如何在這些數(shù)據(jù)庫之間進(jìn)行負(fù)載均衡和分片是需要深入的思考和設(shè)計(jì)。（2）、導(dǎo)入/預(yù)處理。雖然采集端本身會(huì)有很多數(shù)據(jù)庫，但是如果要對(duì)這些海量數(shù)據(jù)進(jìn)行有效的分析，還是應(yīng)該將這些來自前端的數(shù)據(jù)導(dǎo)入到一個(gè)集中的大型分布式數(shù)據(jù)庫，或者分布式存儲(chǔ)集群，并且可以在導(dǎo)入基礎(chǔ)上做一些簡(jiǎn)單的清洗和預(yù)處理工作。也有一些用戶會(huì)在導(dǎo)入時(shí)使用來自Twitter的Storm來對(duì)數(shù)據(jù)進(jìn)行流式計(jì)算，來滿足部分業(yè)務(wù)的實(shí)時(shí)計(jì)算需求。導(dǎo)入與預(yù)處理過程的特點(diǎn)和挑戰(zhàn)主要是導(dǎo)入的數(shù)據(jù)量大，每秒鐘的導(dǎo)入量經(jīng)常會(huì)達(dá)到百兆，甚至千兆級(jí)別。（3）、統(tǒng)計(jì)分析。統(tǒng)計(jì)與分析主要利用分布式數(shù)據(jù)庫，或者分布式計(jì)算集群來對(duì)存儲(chǔ)于其內(nèi)的海量數(shù)據(jù)進(jìn)行普通的分析和分類匯總等，以滿足大多數(shù)常見的分析需求，在這方面，一些實(shí)時(shí)性需求會(huì)用到EMC的GreenPlum、Oracle的Exadata，以及基于MySQL的列式存儲(chǔ)Infobright等，而一些批處理，或者基于半結(jié)構(gòu)化數(shù)據(jù)的需求可以使用Hadoop。統(tǒng)計(jì)與分析這部分的主要特點(diǎn)和挑戰(zhàn)是分析涉及的數(shù)據(jù)量大，其對(duì)系統(tǒng)資源，特別是I/O會(huì)有極大的占用。（4）、挖掘。與前面統(tǒng)計(jì)和分析過程不同的是，數(shù)據(jù)挖掘一般沒有什么預(yù)先設(shè)定好的主題，主要是在現(xiàn)有數(shù)據(jù)上面進(jìn)行基于各種算法的計(jì)算，從而起到預(yù)測(cè)（Predict）的效果，從而實(shí)現(xiàn)一些高級(jí)別數(shù)據(jù)分析的需求。比較典型算法有用于聚類的Kmeans、用于統(tǒng)計(jì)學(xué)習(xí)的SVM和用于分類的NaiveBayes，主要使用的工具有Hadoop的Mahout等。該過程的特點(diǎn)和挑戰(zhàn)主要是用于挖掘的算法很復(fù)雜，并且計(jì)算涉及的數(shù)據(jù)量和計(jì)算量都很大，常用數(shù)據(jù)挖掘算法都以單線程為主。二、大數(shù)據(jù)發(fā)展現(xiàn)狀與趨勢(shì)分析1、國外現(xiàn)狀大數(shù)據(jù)的快速發(fā)展，使它成為IT領(lǐng)域的又一大新興產(chǎn)業(yè)。據(jù)中央財(cái)經(jīng)大學(xué)中國經(jīng)濟(jì)管理研究員估算，國外大數(shù)據(jù)行業(yè)約有1000億美元的市場(chǎng)，而且每年都以10%的速度在增長，增速是軟件行業(yè)的兩倍。全球數(shù)據(jù)量存儲(chǔ)情況、政府積極介入推動(dòng)2009年，聯(lián)合國啟動(dòng)“全球脈動(dòng)計(jì)劃”，借大數(shù)據(jù)推動(dòng)落后地區(qū)發(fā)展。2012年1月，世界經(jīng)濟(jì)論壇年會(huì)把“大數(shù)據(jù)、大影響”作為重要議題。美國從開放政府?dāng)?shù)據(jù)、開展關(guān)鍵技術(shù)研究和推動(dòng)大數(shù)據(jù)應(yīng)用三方面布局大數(shù)據(jù)產(chǎn)業(yè)。美國在開放政府上非常積極，通過D開放37萬個(gè)數(shù)據(jù)集，并開放網(wǎng)站的API和源代碼，提供上千個(gè)數(shù)據(jù)應(yīng)用。除了推動(dòng)本國政府?dāng)?shù)據(jù)開放，美國倡導(dǎo)發(fā)起全球開放政府?dāng)?shù)據(jù)運(yùn)動(dòng)，已有41個(gè)國家相應(yīng)。美國政府還投資兩億美元促進(jìn)大數(shù)據(jù)核心技術(shù)研究和應(yīng)用，把大數(shù)據(jù)放在與集成電路、互聯(lián)網(wǎng)同等重要的位置，從國家層面推進(jìn)。、資本市場(chǎng)對(duì)大數(shù)據(jù)鐘愛有加2012年4月，大數(shù)據(jù)分析公司Splunk高調(diào)宣傳大數(shù)據(jù)，引發(fā)投資者關(guān)注。12月初，為企業(yè)市場(chǎng)提供Hadoop解決方案的創(chuàng)業(yè)公司Cloudera獲得6500萬美元融資，估值約為7億美元。近期，高盛聯(lián)席主席斯科特.斯坦福說：“投資大數(shù)據(jù)及其運(yùn)用回報(bào)率最高”。大數(shù)據(jù)領(lǐng)域的企業(yè)并購熱度也在上升，單筆平均并購金額方面，大數(shù)據(jù)超過云計(jì)算位居IT領(lǐng)域榜首，在總并購額上也位居第二。、人才需求巨大蓋特納咨詢公司預(yù)測(cè)大數(shù)據(jù)將為全球帶來440萬個(gè)IT新崗位和上千萬個(gè)非IT崗位。麥肯錫公司預(yù)測(cè)美國到2018年需要深度數(shù)據(jù)分析人才44萬-49萬，缺口14萬-19萬人；需要既熟悉本單位需求又了解大數(shù)據(jù)技術(shù)與應(yīng)用的管理者150萬，這方面的人才缺口更大。2、國內(nèi)現(xiàn)狀目前，大數(shù)據(jù)在國內(nèi)還處于初步階段，盡管起步較晚，但發(fā)展迅速。2011年作為大數(shù)據(jù)在國內(nèi)的元年，規(guī)模還只有2.6億元，而到2013年就已達(dá)到11.2億元，預(yù)計(jì)未來幾年大數(shù)據(jù)市場(chǎng)將迎來高速增長期，有望突破40億元。2011年-2016年國內(nèi)大數(shù)據(jù)市場(chǎng)規(guī)模2011年以來，中國計(jì)算機(jī)學(xué)會(huì)、中國通信學(xué)會(huì)先后成立了大數(shù)據(jù)委員會(huì)，研究大數(shù)據(jù)中的科學(xué)與工程問題，科技部的《中國云科技發(fā)展“十二五”專項(xiàng)規(guī)劃》和工信部的《物聯(lián)網(wǎng)“十二五”發(fā)展規(guī)劃》等都把大數(shù)據(jù)技術(shù)作為一項(xiàng)重點(diǎn)予以支持。其中工信部發(fā)布的《物聯(lián)網(wǎng)“十二五”發(fā)展規(guī)劃》，把信息處理技術(shù)作為四項(xiàng)關(guān)鍵技術(shù)創(chuàng)新工程之一被提出來，其中包括海量數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)挖掘、圖像視頻智能分析，這都是大數(shù)據(jù)的重要組成部分。而另外三項(xiàng)關(guān)鍵技術(shù)創(chuàng)新工程，包括信息感知技術(shù)、信息傳輸技術(shù)和信息安全技術(shù)，也都與“大數(shù)據(jù)”密切相關(guān)。應(yīng)用方面，中國三大通信運(yùn)營商都在結(jié)合自身業(yè)務(wù)情況，積極推進(jìn)大數(shù)據(jù)應(yīng)用工作，并取得了較好的進(jìn)展。電子商務(wù)企業(yè)阿里巴巴提出要做中國數(shù)據(jù)分析第一平臺(tái)，通過掌握的企業(yè)交易數(shù)據(jù)，借助大數(shù)據(jù)技術(shù)自動(dòng)分析判定是否給予企業(yè)貸款，全程不會(huì)出現(xiàn)人工干預(yù)。據(jù)透露，截至目前阿里巴巴已經(jīng)放貸300多億元，壞賬率約0.3%左右，大大低于商業(yè)銀行。企業(yè)方面，我國能夠處理大數(shù)據(jù)的企業(yè)并不是很多，這主要是因?yàn)閲鴥?nèi)企業(yè)在數(shù)據(jù)庫、數(shù)據(jù)倉庫和商業(yè)智能等領(lǐng)域基礎(chǔ)比較薄弱。但作為國內(nèi)走在大數(shù)據(jù)行業(yè)前列的一些企業(yè)，技術(shù)水平也能達(dá)到較高水平，比如永洪科技在大數(shù)據(jù)、分布式計(jì)算、數(shù)據(jù)分析等領(lǐng)域具備核心競(jìng)爭(zhēng)力、自主創(chuàng)新并擁有多項(xiàng)發(fā)明專利。推出的Z系列產(chǎn)品在大數(shù)據(jù)的應(yīng)用分析中在國際上也是領(lǐng)先的。另外，還有其他的一些“大數(shù)據(jù)”相關(guān)的上市公司：數(shù)據(jù)處理、分析環(huán)節(jié)、綜合處理：拓爾思、美亞柏科；語音識(shí)別：科大訊飛；視頻識(shí)別：?？低?、大華股份、華平股份、中威電子、國騰電子；商業(yè)智能軟件：久其軟件、用友軟件；數(shù)據(jù)中心建設(shè)與維護(hù)：天璣科技、銀信科技、榮之聯(lián)；IT咨詢、方案實(shí)施：漢得信息；信息安全：衛(wèi)士通、啟明星辰。數(shù)據(jù)處理、分析環(huán)節(jié)、綜合處理：拓爾思、美亞柏科大數(shù)據(jù)的熱潮也觸發(fā)了一場(chǎng)思想啟蒙運(yùn)動(dòng)，使得“大數(shù)據(jù)是資產(chǎn)，不是包袱”、“要拿數(shù)據(jù)說話”等觀念逐步深入人心，改變了以往不重視數(shù)據(jù)積累，不相信數(shù)據(jù)分析等認(rèn)識(shí)。有了這種思維模式的改變，大數(shù)據(jù)的應(yīng)用就有了希望。3、發(fā)展趨勢(shì)分析據(jù)統(tǒng)計(jì)2011年全球被創(chuàng)建和被復(fù)制的數(shù)據(jù)總量達(dá)1.8ZB;預(yù)計(jì)2020年全球電子設(shè)備存儲(chǔ)的數(shù)據(jù)將增至35.2ZB。人類社會(huì)繼蒸汽時(shí)代、電氣時(shí)代和網(wǎng)絡(luò)時(shí)代后，正在加速跨進(jìn)大數(shù)據(jù)時(shí)代。大數(shù)據(jù)的發(fā)展階段及預(yù)測(cè)、開源軟件和產(chǎn)業(yè)垂直整合大數(shù)據(jù)時(shí)代開源技術(shù)的發(fā)展已經(jīng)可以和商用軟件分庭抗禮，傳統(tǒng)的操作系統(tǒng)、中間體、數(shù)據(jù)庫等平臺(tái)級(jí)軟件的同質(zhì)化趨勢(shì)已經(jīng)漸趨明顯。最終用戶的關(guān)注焦點(diǎn)集中如何解決企業(yè)的業(yè)務(wù)問題，而不是購買誰的數(shù)據(jù)庫或者操作系統(tǒng)。因此，越靠近最終用戶的企業(yè)，將在產(chǎn)業(yè)鏈中擁有越大的發(fā)言權(quán)。開源軟件加劇了基礎(chǔ)軟件的同質(zhì)化趨勢(shì)，而軟、硬件一體化的趨勢(shì)，進(jìn)一步弱化了產(chǎn)業(yè)鏈上游的發(fā)言權(quán)。垂直整合推動(dòng)大數(shù)據(jù)產(chǎn)業(yè)集約化的發(fā)展道路，從而最大限度的獲得商業(yè)利潤。、非結(jié)構(gòu)化大數(shù)據(jù)處理分析成為難點(diǎn)和重點(diǎn)隨著互聯(lián)網(wǎng)和通信技術(shù)的迅猛發(fā)展，數(shù)據(jù)類型早已不是單一的結(jié)構(gòu)化數(shù)據(jù)，還充斥著廣泛存在于社交網(wǎng)絡(luò)、物聯(lián)網(wǎng)、電子商務(wù)等之中網(wǎng)絡(luò)日志、音頻、視頻、圖片、地理位置信息等等多類型的數(shù)據(jù)。這些數(shù)據(jù)被命名為非結(jié)構(gòu)化數(shù)據(jù)。據(jù)統(tǒng)計(jì)，85%的數(shù)據(jù)都屬于非結(jié)構(gòu)化數(shù)據(jù)。這些非結(jié)構(gòu)化數(shù)據(jù)的產(chǎn)生往往伴隨著社交網(wǎng)絡(luò)、移動(dòng)計(jì)算和傳感器等新的渠道和技術(shù)的不斷涌現(xiàn)和應(yīng)用。但是現(xiàn)有的數(shù)據(jù)處理方法僅適用于結(jié)構(gòu)化數(shù)據(jù)，無法將大量的非結(jié)構(gòu)化數(shù)據(jù)與結(jié)構(gòu)化數(shù)據(jù)進(jìn)行統(tǒng)一、整合，從而就無法發(fā)掘數(shù)據(jù)中的價(jià)值。目前國內(nèi)在非結(jié)構(gòu)化大數(shù)據(jù)挖掘分析方面，在社會(huì)化計(jì)算領(lǐng)域，針對(duì)于微博數(shù)據(jù)取得一定的實(shí)用性進(jìn)展，并形成了一定的市場(chǎng)規(guī)模。如社會(huì)化媒體云服務(wù)平臺(tái)，它是建立在TRS大數(shù)據(jù)分析挖掘系統(tǒng)基礎(chǔ)上的大型在線服務(wù)平臺(tái)，該服務(wù)面向政府、企事業(yè)單位和個(gè)人，以在線云服務(wù)的方式提供信息監(jiān)測(cè)、統(tǒng)計(jì)分析、關(guān)系挖掘、傳播效果評(píng)估等一系列服務(wù)。、機(jī)器數(shù)據(jù)挖掘成為一個(gè)重要的發(fā)展方向大數(shù)據(jù)中，機(jī)器數(shù)據(jù)是最大且增長最快的一部分。每個(gè)現(xiàn)代企業(yè)機(jī)構(gòu)，無論規(guī)模大小，都會(huì)產(chǎn)生海量的機(jī)器數(shù)據(jù)，利用這些數(shù)據(jù)是目前機(jī)構(gòu)或企業(yè)的關(guān)鍵任務(wù)。目前國外有代表性機(jī)器數(shù)據(jù)挖掘廠商為Splunk，Splunk針對(duì)IT運(yùn)維、信息安全、交易分析等方面提供業(yè)界領(lǐng)先解決方案與產(chǎn)品。通過運(yùn)用專利數(shù)據(jù)分析技術(shù)，提供多種產(chǎn)品以滿足各行各業(yè)用戶在關(guān)鍵業(yè)務(wù)的運(yùn)營保障、安全確保及業(yè)務(wù)分析方面的需求。如今，國內(nèi)一些廠商也在開發(fā)類似的機(jī)器挖掘產(chǎn)品，希望填補(bǔ)國內(nèi)空白。、大企業(yè)的定制化解決方案大數(shù)據(jù)軟件技術(shù)起源于以國外Google、Yahoo等巨頭公司的分布式計(jì)算平臺(tái)，并隨著這些技術(shù)的開源基礎(chǔ)架構(gòu)，在國內(nèi)互聯(lián)網(wǎng)公司中得到廣泛定制化應(yīng)用。所以目前大數(shù)據(jù)軟件和應(yīng)用的特點(diǎn)體現(xiàn)出開源和多樣性的特點(diǎn)。一些擁有海量數(shù)據(jù)的大企業(yè)，并沒有互聯(lián)網(wǎng)公司那樣的大數(shù)據(jù)系統(tǒng)部署能力，因此這一需求推動(dòng)了大數(shù)據(jù)標(biāo)準(zhǔn)化和產(chǎn)品化解決方案市場(chǎng)的發(fā)展。在國外市場(chǎng)，已經(jīng)出現(xiàn)了以提供企業(yè)級(jí)大數(shù)據(jù)軟件產(chǎn)品的公司，如Cloudera公司提供基于Hadoop企業(yè)版大數(shù)據(jù)解決方案。在國內(nèi)，一些廠商也把海量非結(jié)構(gòu)化信息處理技術(shù)和Hadoop架構(gòu)進(jìn)行有效結(jié)合集成，并結(jié)合企業(yè)在大數(shù)據(jù)采集、存儲(chǔ)、分析挖掘、可視化方面的具體需求，開發(fā)企業(yè)級(jí)大數(shù)據(jù)分析挖掘系統(tǒng)。推動(dòng)大數(shù)據(jù)分析系統(tǒng)在企業(yè)的落地。三、重點(diǎn)應(yīng)用領(lǐng)域及行業(yè)企業(yè)分析大數(shù)據(jù)技術(shù)的創(chuàng)新與應(yīng)用，不僅能夠應(yīng)對(duì)數(shù)據(jù)爆炸帶來的挑戰(zhàn)，還能夠創(chuàng)造出巨大的價(jià)值、提升社會(huì)生產(chǎn)率，因此大數(shù)據(jù)必將發(fā)展成為重要的新興產(chǎn)業(yè)。在整個(gè)大數(shù)據(jù)的發(fā)展過程中，不但在各個(gè)應(yīng)用領(lǐng)域有大數(shù)據(jù)手段的涉入，在大數(shù)據(jù)產(chǎn)業(yè)鏈中的各段都涌現(xiàn)出大批的大數(shù)據(jù)企業(yè)。大數(shù)據(jù)產(chǎn)業(yè)鏈全景圖1、重點(diǎn)應(yīng)用領(lǐng)域（1）、公共領(lǐng)域據(jù)《證劵日?qǐng)?bào)》市場(chǎng)研究中心統(tǒng)計(jì)分析發(fā)現(xiàn)，目前我國在公共領(lǐng)域?qū)Υ髷?shù)據(jù)的運(yùn)用主要集中在電力行業(yè)、智能交通、電子政務(wù)和司法系統(tǒng)四個(gè)方面。電力行業(yè)：大數(shù)據(jù)對(duì)該行業(yè)的應(yīng)用主要體現(xiàn)在智能電網(wǎng)上，通過獲取人們的用電行為信息，智能電網(wǎng)能實(shí)現(xiàn)優(yōu)化電的生產(chǎn)、分配以及消耗，有利于電網(wǎng)安全監(jiān)測(cè)與控制、客戶用電行為分析與客戶細(xì)分。智能交通：交通運(yùn)輸部將對(duì)公共交通信息化應(yīng)用系統(tǒng)建設(shè)、相關(guān)支撐系統(tǒng)建設(shè)、數(shù)據(jù)資源與交換系統(tǒng)建設(shè)提供資金支持。電子政務(wù)：通過政府信息化，大數(shù)據(jù)能夠提高政府決策的科學(xué)性和精準(zhǔn)性，提高政府預(yù)測(cè)預(yù)警能力以及應(yīng)急響應(yīng)能力，節(jié)約決策的成本。司法系統(tǒng)：公安市場(chǎng)大規(guī)模的信息化和裝備投資產(chǎn)生了海量的非結(jié)構(gòu)化數(shù)據(jù)，公安的實(shí)戰(zhàn)應(yīng)用是大數(shù)據(jù)的重要應(yīng)用領(lǐng)域。公共領(lǐng)域行業(yè)大數(shù)據(jù)案例案例名稱車隊(duì)優(yōu)化解決方案項(xiàng)目背景隨著車輛的保有量不斷激增，對(duì)海量車輛數(shù)目與相關(guān)數(shù)據(jù)的管理和優(yōu)化提出了更高的要求。需要跟蹤和監(jiān)測(cè)車輛，保持與車隊(duì)操作人員的交流，利于靈活調(diào)度、提高利用率。項(xiàng)目內(nèi)容依靠優(yōu)秀的WebShpere、Tivoli、Maximo技術(shù)和相關(guān)實(shí)施和應(yīng)用，對(duì)車輛本身和周邊的各種儀器所采集的信號(hào)信息數(shù)據(jù)進(jìn)行收集，在通過大數(shù)據(jù)手段分析處理后，為車輛的管理者提供有價(jià)值的分析結(jié)果，幫助他們做出決定，改善和提升業(yè)務(wù)。項(xiàng)目成果做到了快速實(shí)時(shí)的需求訪問并獲得準(zhǔn)確數(shù)據(jù)，通過對(duì)大數(shù)據(jù)的分析可做出車輛保修問題的早期洞察，提高維修效率。減少車輛停滯時(shí)間，節(jié)省燃料成本?？偨Y(jié)對(duì)車輛進(jìn)行跟蹤和管理，解決了智慧交通所存在的問題（2）互聯(lián)網(wǎng)互聯(lián)網(wǎng)作為一個(gè)數(shù)據(jù)平臺(tái)、一個(gè)數(shù)據(jù)集散地，聚集了海量的數(shù)據(jù)，完全可以借助新的大數(shù)據(jù)理論和技術(shù)，分析其中蘊(yùn)含的豐富內(nèi)容、發(fā)現(xiàn)其中存在的統(tǒng)計(jì)規(guī)律，以便為互聯(lián)網(wǎng)提供更好的服務(wù)和應(yīng)用、為互聯(lián)網(wǎng)行業(yè)今后實(shí)現(xiàn)更好更快的持續(xù)發(fā)展提供定量化的依據(jù)。大數(shù)據(jù)在互聯(lián)網(wǎng)領(lǐng)域的應(yīng)用現(xiàn)狀及未來發(fā)展：電子商務(wù)利用大數(shù)據(jù)理論和技術(shù)，對(duì)網(wǎng)絡(luò)購物、網(wǎng)絡(luò)消費(fèi)、網(wǎng)絡(luò)團(tuán)購、網(wǎng)上支付等數(shù)據(jù)進(jìn)行深度挖掘、深入分析，可以發(fā)現(xiàn)大量有價(jià)值的信息和統(tǒng)計(jì)規(guī)律，對(duì)布局和推動(dòng)今后中國互聯(lián)網(wǎng)經(jīng)濟(jì)的健康有序發(fā)展、對(duì)進(jìn)一步規(guī)范經(jīng)營者和消費(fèi)者的電子商務(wù)活動(dòng)、加強(qiáng)國家對(duì)該領(lǐng)域的宏觀調(diào)控和監(jiān)管等，均將產(chǎn)生積極的影響。網(wǎng)絡(luò)廣告利用大數(shù)據(jù)理論和技術(shù)，可深入分析網(wǎng)絡(luò)廣告的效果及其對(duì)商品銷售等的影響、廣告“讀者”對(duì)之的反應(yīng)等。網(wǎng)絡(luò)新聞、搜索引擎利用大數(shù)據(jù)理論和技術(shù)，通過對(duì)網(wǎng)民搜索內(nèi)容、習(xí)慣、愛好、關(guān)鍵詞等深入分析，可為新聞門戶網(wǎng)站的建設(shè)、搜索引擎技術(shù)的改進(jìn)、互聯(lián)網(wǎng)輿情的監(jiān)控與引導(dǎo)等提供依據(jù)。旅行預(yù)訂利用大數(shù)據(jù)理論和技術(shù)可以對(duì)旅行預(yù)訂數(shù)據(jù)進(jìn)行深入、精細(xì)分析，為更好的布局和旅游經(jīng)濟(jì)發(fā)展、更好的為游客提供產(chǎn)品和服務(wù)等提供參考和依據(jù)。社交網(wǎng)絡(luò)利用大數(shù)據(jù)進(jìn)行深入分析，可更好的發(fā)現(xiàn)民眾新的交往習(xí)慣與方式、民眾關(guān)注的社會(huì)問題與社會(huì)熱點(diǎn)、民情民意，為改善互聯(lián)網(wǎng)時(shí)代的通信和社交服務(wù)提供參考。網(wǎng)絡(luò)視頻、網(wǎng)絡(luò)音樂和網(wǎng)絡(luò)游戲通過大數(shù)據(jù)平臺(tái)收集用戶的行為數(shù)據(jù)，通過分析理解每個(gè)用戶的動(dòng)機(jī)和潛在價(jià)值，來調(diào)整視頻網(wǎng)站、音樂網(wǎng)站和游戲的設(shè)計(jì)，并對(duì)這些用戶行為進(jìn)行實(shí)時(shí)自動(dòng)營銷，以更好的滿足用戶需求。同時(shí)基于行為數(shù)據(jù)對(duì)用戶細(xì)分后，還可以進(jìn)行跨領(lǐng)域的用戶營銷，對(duì)不同用戶類型推送不同類型的游戲、視頻和音樂?；ヂ?lián)網(wǎng)行業(yè)大數(shù)據(jù)案例案例名稱Facebook廣告精準(zhǔn)投放項(xiàng)目背景互聯(lián)網(wǎng)公司收入主要來源依靠廣告，要吸引更多廠商的廣告，互聯(lián)網(wǎng)公司需要增加用戶粘性，提高用戶體驗(yàn)項(xiàng)目內(nèi)容Facebook通過追蹤用戶在線社交行為，包括用戶的喜怒以及好友信息，積累了海量用戶行為和網(wǎng)絡(luò)群組關(guān)系數(shù)據(jù)。Facebook對(duì)數(shù)據(jù)進(jìn)行分類，整理，分析，進(jìn)而對(duì)用戶歸類，實(shí)時(shí)發(fā)現(xiàn)用戶群。根據(jù)不同的群組，F(xiàn)acebook為用戶推送他們可能潛在感興趣的廣告。項(xiàng)目成果1、2009年到2010年，F(xiàn)acebook在互聯(lián)網(wǎng)廣告市場(chǎng)中的份額翻了一番；2011年又比2010年增長了95%。Facebook的廣告業(yè)務(wù)增速是Google的3倍多。2006年和2010年期間，F(xiàn)acebook是互聯(lián)網(wǎng)廣告市場(chǎng)上唯一一家市場(chǎng)份額穩(wěn)步增長的公司?？偨Y(jié)大數(shù)據(jù)技術(shù)使Facebook對(duì)于用戶理解越來越深入，廣告投放也就越精準(zhǔn)，廣告價(jià)值也就越高。（3）、智慧城市智慧城市要體現(xiàn)人類社會(huì)對(duì)現(xiàn)代城市和運(yùn)營管理新的科技發(fā)展的水平，它必然來自于對(duì)大數(shù)據(jù)的充分分析和利用，大數(shù)據(jù)源于非結(jié)構(gòu)數(shù)據(jù)的猛增包括互聯(lián)網(wǎng)的發(fā)展，使得數(shù)據(jù)級(jí)不斷提高。因此如何對(duì)數(shù)據(jù)進(jìn)行分析和利用，促進(jìn)人類智慧運(yùn)用管理城市，這是面臨的挑戰(zhàn)。智慧城市建設(shè)迫切使用先進(jìn)的技術(shù)包括數(shù)據(jù)挖掘和功能的強(qiáng)大的運(yùn)算系統(tǒng)，從而來整合分析跨地域、跨行業(yè)、跨部門的海量數(shù)據(jù)的處理，將特定的知識(shí)應(yīng)用于特定的行業(yè)和特定的解決方案中，來支持智慧城市建設(shè)的決策和相關(guān)行動(dòng)。將大數(shù)據(jù)應(yīng)用與智慧城市的建設(shè)中，將迎來五大轉(zhuǎn)變：化被動(dòng)為主動(dòng)：傳統(tǒng)模式下人們往往是被動(dòng)處理各類緊急事件，而大數(shù)據(jù)模式下將提供預(yù)測(cè)、預(yù)警機(jī)制，可主動(dòng)部署人力，調(diào)動(dòng)資源?；┗癁殪`活：傳統(tǒng)統(tǒng)計(jì)報(bào)表多為一天一生成或一月一生成，程序僵化、變動(dòng)不易，而大數(shù)據(jù)模式下用戶可自由生成各種統(tǒng)計(jì)報(bào)表，而無需系統(tǒng)事先預(yù)制報(bào)表?；托楦咝В簜鹘y(tǒng)模式下的海量數(shù)據(jù)模糊查詢和統(tǒng)計(jì)分析無法達(dá)到用戶的實(shí)時(shí)使用需求，而大數(shù)據(jù)模式則提供秒級(jí)響應(yīng)的用戶體驗(yàn)。化單一為互動(dòng)：傳統(tǒng)的數(shù)據(jù)應(yīng)用多為單表挖掘分析，一旦涉及跨表就會(huì)因效率問題而無能為力，而大數(shù)據(jù)模式則擅長復(fù)雜的跨表關(guān)聯(lián)分析，推動(dòng)數(shù)據(jù)串并關(guān)聯(lián)，產(chǎn)生更大價(jià)值。化粗放為精細(xì)：原來粗放的數(shù)據(jù)訪問每次可查詢的內(nèi)容較少，為達(dá)到目的需多次操作，而精細(xì)化的數(shù)據(jù)訪問可由系統(tǒng)自動(dòng)關(guān)聯(lián)并推送信息服務(wù)，用戶一次查詢可獲得豐富的信息內(nèi)容。智慧城市行業(yè)大數(shù)據(jù)案例案例名稱寶德大數(shù)據(jù)構(gòu)建智慧城市項(xiàng)目背景智慧城市建設(shè)迫切使用先進(jìn)的技術(shù)包括數(shù)據(jù)挖掘和功能的強(qiáng)大的運(yùn)算系統(tǒng)，從而來整合分析跨地域、跨行業(yè)、跨部門的海量數(shù)據(jù)的處理項(xiàng)目內(nèi)容通過大數(shù)據(jù)收集智慧城市相關(guān)信息，包括位置、客戶需求、在線數(shù)據(jù)等，從而實(shí)現(xiàn)基于位置的服務(wù)、社會(huì)化推薦、趨勢(shì)分析、客戶分析等經(jīng)數(shù)據(jù)挖掘與分析后的內(nèi)容。使用大數(shù)據(jù)的手段，通過對(duì)機(jī)器生成數(shù)據(jù)進(jìn)行分析，可是實(shí)現(xiàn)24小時(shí)不間斷運(yùn)轉(zhuǎn)達(dá)到實(shí)時(shí)分析，通過大量數(shù)據(jù)的收集實(shí)現(xiàn)模式挖掘，通過快速反應(yīng)實(shí)現(xiàn)流式分析。項(xiàng)目成果實(shí)施方案后，在智慧城市的建設(shè)過程中，手段更加靈活，操作更加便捷，環(huán)境更加安全。更利于實(shí)現(xiàn)多方廣泛合作，使城市更加具有吸引力，污染更少，社會(huì)服務(wù)更加完善?？偨Y(jié)在智慧城市的建設(shè)過程中，會(huì)產(chǎn)生大量的非結(jié)構(gòu)化數(shù)據(jù)，在大數(shù)據(jù)的模式下，通過海量數(shù)據(jù)的挖掘和分析，可以使智慧城市建設(shè)更加具有目的性。（4）、金融行業(yè)互聯(lián)網(wǎng)金融是當(dāng)下的一個(gè)熱詞，言下之意是指利用互聯(lián)網(wǎng)技術(shù)、大數(shù)據(jù)思維進(jìn)行的金融業(yè)務(wù)再造?？傮w而言體現(xiàn)在兩個(gè)方面，一是金融機(jī)構(gòu)依靠互聯(lián)網(wǎng)技術(shù)和思維自我變革；二是互聯(lián)網(wǎng)企業(yè)跨界開展金融服務(wù)。目前，以大數(shù)據(jù)為代表的新型技術(shù)將在兩個(gè)層面改造金融業(yè)。一是金融交易形式的電子化和數(shù)字化，具體表現(xiàn)為支付電子化、渠道網(wǎng)絡(luò)化、信用數(shù)字化，是運(yùn)營效率的提升；二是金融交易結(jié)構(gòu)的變化，其中一個(gè)重要表現(xiàn)便是交易中介脫媒化，服務(wù)中介功能弱化，是結(jié)構(gòu)效率的提升。伴隨著大數(shù)據(jù)應(yīng)用、技術(shù)革新及商業(yè)模式創(chuàng)新，金融業(yè)中的銀行和卷商也迎來巨大的轉(zhuǎn)變。此外，騰訊、阿里巴巴等互聯(lián)網(wǎng)企業(yè)也在憑借其強(qiáng)大的數(shù)據(jù)積累和客戶基礎(chǔ)，進(jìn)軍金融業(yè)，開拓新的盈利點(diǎn)，這也成為金融產(chǎn)品在線銷售的一大推動(dòng)力。金融行業(yè)大數(shù)據(jù)案例案例名稱中信銀行信用卡中心實(shí)現(xiàn)秒級(jí)營銷項(xiàng)目背景如何有效管理和利用不斷增長的客戶數(shù)據(jù)，滿足業(yè)務(wù)發(fā)展需求，提高業(yè)務(wù)競(jìng)爭(zhēng)力，是當(dāng)前銀行業(yè)數(shù)據(jù)庫應(yīng)用的最大挑戰(zhàn)項(xiàng)目內(nèi)容某廠商為中信銀行信用卡中心提供了統(tǒng)一的客戶視圖，借助客戶統(tǒng)一視圖，中信銀行信用卡中心可以更清楚的了解其客戶價(jià)值體系，從而開展更有針對(duì)性的營銷活動(dòng)?；跀?shù)據(jù)倉庫，中信銀行信用卡中心現(xiàn)在可以從交易、服務(wù)、風(fēng)險(xiǎn)、權(quán)益等多個(gè)層面分析數(shù)據(jù)。通過提供全面的客戶數(shù)據(jù)，營銷團(tuán)隊(duì)可以按照低、中、高價(jià)值對(duì)客戶進(jìn)行分類，根據(jù)銀行整體經(jīng)營策略，積極的提供相應(yīng)的個(gè)性化服務(wù)。項(xiàng)目成果實(shí)施方案后，中信銀行信用卡中心實(shí)現(xiàn)了近似實(shí)時(shí)的商業(yè)智能（BI）和秒級(jí)營銷，運(yùn)營效率得到全面提升。中信銀行信用卡中心通過其數(shù)據(jù)庫營銷平臺(tái)全年進(jìn)行了1286次宣傳活動(dòng)，每次營銷活動(dòng)配置平均時(shí)間從以前的兩周縮短到兩天?？偨Y(jié)通過提取分析信用卡中心的數(shù)據(jù)，中信銀行實(shí)現(xiàn)了業(yè)務(wù)創(chuàng)新，同時(shí)提高了運(yùn)營效率，節(jié)省了成本。2、重點(diǎn)企業(yè)當(dāng)前主要大數(shù)據(jù)廠商的收入情況廠商大數(shù)據(jù)收入（百萬美元）總收入（百萬美元）大數(shù)據(jù)收入占比IBM1100106,0001%Intel76554,0001.4%HP550126,0000.4%Oracle42536,0001.2%Teradate2202,20010%Dell15061,0000.2%EMC14019,0000.7%SAP8517,0000.5%華為7321,8000.3%西門子69102,0000.06%Splunk456368%1010data253083%Cloudera1818100%Total5156866,0490.6%從收入規(guī)模上來說，當(dāng)前大數(shù)據(jù)市場(chǎng)的領(lǐng)導(dǎo)者是IBM、Intel以及HP，現(xiàn)對(duì)大數(shù)據(jù)市場(chǎng)中的部分重點(diǎn)企業(yè)進(jìn)行分析。(1)、IBM2010年11月，斥資17億美元收購數(shù)據(jù)分析公司Netezza，該企業(yè)的數(shù)據(jù)倉庫產(chǎn)品有效的整合數(shù)據(jù)庫內(nèi)分析和并行網(wǎng)絡(luò)架構(gòu)。2011年5月，發(fā)布專門針對(duì)大數(shù)據(jù)分析的平臺(tái)產(chǎn)品。2011年10月，在SPSS統(tǒng)計(jì)工具軟件中增加視圖和分析數(shù)據(jù)功能，從而幫助企業(yè)利用地理信息。2012年2月，推出一體機(jī)分析工具IBMNetezzaCustomerIntelligenceAppliance，該工具可以進(jìn)行快速復(fù)雜的實(shí)時(shí)分析。2012年4月，收購VaricentSoftware，Varicent軟件能夠自動(dòng)收集財(cái)務(wù)、銷售、人力資源等部門的數(shù)據(jù)，并形成分析報(bào)告。2012年4月，宣布收購Vivisimo公司，Vivisimo軟件幫助客戶搜索及深度挖掘大數(shù)據(jù)，且直觀呈現(xiàn)數(shù)據(jù)。2012年5月，收購TealeafTechnology，該公司開發(fā)用于分析消費(fèi)者網(wǎng)絡(luò)數(shù)據(jù)的軟件公司。2013年4月，宣布和搜狗公司（以下簡(jiǎn)稱“搜狗”）合作成立聯(lián)合實(shí)驗(yàn)室，共享平臺(tái)、技術(shù)資源和人才以研發(fā)基于Systemx的下一代數(shù)據(jù)中心和大數(shù)據(jù)運(yùn)算平臺(tái)。2013年11月，展示了企業(yè)級(jí)大數(shù)據(jù)和分析基礎(chǔ)架構(gòu)平臺(tái)——IBMPowerSystems。IBM市場(chǎng)定位提供服務(wù)器、數(shù)據(jù)庫軟件、專家系統(tǒng)等一體化解決方案，覆蓋整個(gè)大數(shù)據(jù)行業(yè)解決方案InfosphereBigInsights和InfoSphereStream信息管理產(chǎn)品業(yè)務(wù)分析產(chǎn)品給用戶帶來的價(jià)值在云計(jì)算架構(gòu)上整合軟、硬件技術(shù)，強(qiáng)大且全面的信息管理、數(shù)據(jù)分析軟件，及專業(yè)的咨詢隊(duì)伍，為客戶提供更加簡(jiǎn)易、及時(shí)的數(shù)據(jù)分析、挖掘和決策服務(wù)分析IBM的大數(shù)據(jù)戰(zhàn)略布局全面，注重商業(yè)分析功能的提升，近幾年收購30多家商業(yè)分析領(lǐng)域的公司（2）、Oracle2010年12月，第二版OracleExadata數(shù)據(jù)庫機(jī)更名為“OracleExadata數(shù)據(jù)庫云服務(wù)器”，該系統(tǒng)集成數(shù)據(jù)庫軟件、硬件服務(wù)器及存儲(chǔ)設(shè)備。2011年10月，宣布推出OracleExalytics商務(wù)智能云服務(wù)器。2012年1月，發(fā)布Oracle大數(shù)據(jù)機(jī)，包含OracleNoSQL數(shù)據(jù)庫、Cloudera的分布式Hadoop及開源R編程語言。Oracle市場(chǎng)定位高度集成，為用戶提供端對(duì)端的大數(shù)據(jù)解決方案。解決方案大數(shù)據(jù)機(jī)、OracleExalogic中間件云服務(wù)器、OracleExadata數(shù)據(jù)庫云服務(wù)器及OracleExalytics商務(wù)智能云服務(wù)器構(gòu)成一個(gè)高度集成化產(chǎn)品組合。為以上系統(tǒng)提供一線支持。給用戶帶來的價(jià)值全面集成軟硬件產(chǎn)品，幫助客戶洞察數(shù)據(jù)及挖掘數(shù)據(jù)的商業(yè)價(jià)值。分析Oracle大數(shù)據(jù)戰(zhàn)略清晰明了，通過軟硬一體化的集成設(shè)備為客戶提供應(yīng)用最廣泛、高度集成化的系統(tǒng)產(chǎn)品組合，為企業(yè)用戶提供端到端的大數(shù)據(jù)解決方案。、EMC2010年7月，宣布收購數(shù)據(jù)倉儲(chǔ)技術(shù)提供商Greenplum公司。2011年5月，推出世界最大的單一文件系統(tǒng)，發(fā)布IsilonIQ108NL硬件產(chǎn)品和SmartLock數(shù)據(jù)保留軟件應(yīng)用。2011年12月，推出支持大數(shù)據(jù)分析的平臺(tái)EMCGreenplum統(tǒng)一分析平臺(tái)（UAP）。2012年3月，收購軟件開發(fā)公司PivotalLabs。2012年4月，發(fā)布數(shù)據(jù)科學(xué)的社交平臺(tái)GreenplumChorus。2013年2月，推出RSA信息安全智能分析平臺(tái)，該平臺(tái)以RSANetWitness技術(shù)架構(gòu)為基礎(chǔ)，將SIES、網(wǎng)絡(luò)取證和大數(shù)據(jù)分析融合到一個(gè)平臺(tái)之中。EMC市場(chǎng)定位充分發(fā)揮存儲(chǔ)、管理和保護(hù)方面的優(yōu)勢(shì)，利用云計(jì)算開放式、分布式和集群技術(shù)處理大數(shù)據(jù)解決方案統(tǒng)一的大數(shù)據(jù)分析平臺(tái)UAP包括EMCGreenplum關(guān)系數(shù)據(jù)庫、EMCGreenplumHDHadoop發(fā)行版和EMCGreenplumChorus給用戶帶來的價(jià)值針對(duì)大數(shù)據(jù)提供分析工具、服務(wù)，及強(qiáng)大的擴(kuò)展性和開源的生態(tài)系統(tǒng)分析EMC在數(shù)據(jù)存儲(chǔ)、管理和保護(hù)方面優(yōu)勢(shì)明顯。此外，數(shù)據(jù)團(tuán)隊(duì)和分析團(tuán)隊(duì)可以在統(tǒng)一的軟件平臺(tái)上共享信息、協(xié)作分析，無需在不同平臺(tái)間轉(zhuǎn)移數(shù)據(jù)。、SAP2010年12月，發(fā)布高性能分析應(yīng)用軟件SAPHANA。2012年3月，推出全新升級(jí)的SAPBusinessOne8.82產(chǎn)品，該產(chǎn)品可部署在SAPHANA平臺(tái)上，滿足成長型企業(yè)數(shù)據(jù)分析需求。2012年4月，公布關(guān)于HANA數(shù)據(jù)庫平臺(tái)及數(shù)據(jù)庫提供商Sybase的近期及長期規(guī)劃，重點(diǎn)關(guān)注大數(shù)據(jù)的處理。2012年4月，推出預(yù)測(cè)性分析軟件SAPBusinessObjectsPredictiveAnalysis幫助客戶實(shí)現(xiàn)預(yù)測(cè)性建模和高級(jí)可視化。SAP市場(chǎng)定位具有內(nèi)存計(jì)算技術(shù)的HANA能夠快速高效處理海量數(shù)據(jù)，滿足不同行業(yè)大型和成長型企業(yè)的需求解決方案HANA能夠快速處理大企業(yè)的海量數(shù)據(jù)SAPBusinessOne8.82可部署在SAPHANA平臺(tái)上滿足成長型企業(yè)數(shù)據(jù)分析需求給用戶帶來的價(jià)值幫助用戶以簡(jiǎn)捷的方式快速獲取實(shí)時(shí)信息，提高預(yù)測(cè)和規(guī)劃的能力分析HANA是一個(gè)開放性的開發(fā)合作平臺(tái)，容易獲得硬件系統(tǒng)廠商的支持（5）、惠普2010年9月，收購存儲(chǔ)企業(yè)3PAR，成為增長最快的高端存儲(chǔ)平臺(tái)。2011年2月，收購分析及數(shù)據(jù)管理軟件公司Vertica，該公司主要開發(fā)用于存儲(chǔ)和查詢數(shù)據(jù)庫的數(shù)據(jù)管理解決方案。2011年8月，收購英國第二大軟件廠商Autonomy，該公司擅長基于語義計(jì)算的數(shù)據(jù)處理和數(shù)據(jù)挖掘。惠普市場(chǎng)定位通過將原有的技術(shù)能力和3Par、Autonomy、Vertica的技術(shù)能力技能融合創(chuàng)新，實(shí)現(xiàn)大數(shù)據(jù)價(jià)值鏈的全覆蓋解決方案HPStoreonce全新重復(fù)數(shù)據(jù)刪除，實(shí)現(xiàn)高速備份和數(shù)據(jù)恢復(fù)能力。采用AutonomyIntelligentDataOperatingLayer10的HPDataProtector7，讓企業(yè)使用網(wǎng)絡(luò)點(diǎn)擊流量、瀏覽及交易數(shù)據(jù)。Vertica分析平臺(tái)，讓企業(yè)能在任何地點(diǎn)、使用任何接口分析和管理各種信息給用戶帶來的價(jià)值幫助用戶更短時(shí)間保護(hù)更多數(shù)據(jù)，從而在數(shù)據(jù)爆發(fā)式增長時(shí)更好的應(yīng)對(duì)風(fēng)險(xiǎn)分析大數(shù)據(jù)布局全面，實(shí)現(xiàn)大數(shù)據(jù)價(jià)值鏈的全覆蓋（6）、淘寶2008年9月，宣布開放平臺(tái)計(jì)劃（“淘園”），第三方開發(fā)者可以通過開放接口訪問淘寶數(shù)據(jù)。2010年3月，宣布向全球分層次開放數(shù)據(jù)，向普通消費(fèi)者免費(fèi)提供涉及電子商務(wù)行業(yè)的宏觀數(shù)據(jù)。2011年8月，支持海量數(shù)據(jù)的數(shù)據(jù)庫系統(tǒng)OceanBase遵照GPL2開源。2011年9月，完全開放所有零售形態(tài)，連接外部B2C電商平臺(tái)，該策略包括品牌商、供應(yīng)商、零售商等。淘寶市場(chǎng)定位掌握了大量的交易數(shù)據(jù)，為商家提供各類數(shù)據(jù)服務(wù)解決方案數(shù)據(jù)魔方平臺(tái)。商家可以利用該平臺(tái)了解行業(yè)宏觀情況、品牌的市場(chǎng)狀況、消費(fèi)者行為等消息。與第三方研究機(jī)構(gòu)合作，研究機(jī)構(gòu)直接向商家提供服務(wù)。給用戶帶來的價(jià)值商家能夠以較低的成本及時(shí)獲取可靠數(shù)據(jù)，并且利用這些數(shù)據(jù)服務(wù)了解市場(chǎng)、顧客需求，從而改善自己的產(chǎn)品與運(yùn)營策略分析相比商家實(shí)地調(diào)研，數(shù)據(jù)產(chǎn)品成本較低、來源可靠、實(shí)時(shí)性強(qiáng)。擁有大量數(shù)據(jù)資源，是天生優(yōu)勢(shì)國內(nèi)運(yùn)營商分析、中國聯(lián)通2012年中國聯(lián)通成功將大數(shù)據(jù)和Hadoop技術(shù)引入到“用戶上網(wǎng)記錄集中查詢與分析支撐系統(tǒng)”，并已經(jīng)部署了4.5PB的存儲(chǔ)空間。系統(tǒng)已經(jīng)具備了每天處理700億條上網(wǎng)記錄的能力，每天新增數(shù)據(jù)量達(dá)20多個(gè)TB，每年以70%的速度在遞增。通過該大數(shù)據(jù)項(xiàng)目，聯(lián)通在全球運(yùn)營商中率先提供了用戶上網(wǎng)記錄的清單查詢服務(wù)，為移動(dòng)互聯(lián)網(wǎng)時(shí)代移動(dòng)上網(wǎng)流量的明明白白消費(fèi)提供了技術(shù)上的保證。同時(shí)，也為中國聯(lián)通的移動(dòng)互聯(lián)網(wǎng)業(yè)務(wù)精細(xì)化運(yùn)營、流量提升、移動(dòng)網(wǎng)絡(luò)規(guī)劃和優(yōu)化提供了有效支撐。、中國移動(dòng)中國移動(dòng)在大云1.5平臺(tái)上部署了分析型PaaS產(chǎn)品，利用BC-Hadoop構(gòu)建大數(shù)據(jù)處理平臺(tái)，并在英特爾至強(qiáng)+Hadoop平臺(tái)上運(yùn)行，同時(shí)建設(shè)了并行數(shù)據(jù)挖掘系統(tǒng)以及商務(wù)智能平臺(tái)等大數(shù)據(jù)應(yīng)用平臺(tái)，為將來在大數(shù)據(jù)應(yīng)用和服務(wù)市場(chǎng)做了充分準(zhǔn)備。、中國電信從2009年開始中國電信成立的八大基地，在運(yùn)營過程中都用到了大數(shù)據(jù)的概念。目前為止中國電信在全國擁有300座以上的機(jī)樓，計(jì)算能力已經(jīng)超過了100萬處理器核心，存儲(chǔ)能力已經(jīng)達(dá)到EB的級(jí)別。中國電信提出了大數(shù)據(jù)發(fā)展思路，并以綜合平臺(tái)、智能管道為依托，以豐富大數(shù)據(jù)為基礎(chǔ)，聚焦重點(diǎn)大數(shù)據(jù)應(yīng)用，特別是聚合更有價(jià)值的四大大數(shù)據(jù)商業(yè)應(yīng)用模式，依托自身核心業(yè)務(wù)，以實(shí)現(xiàn)利潤最大化。中國電信最有價(jià)值的大數(shù)據(jù)應(yīng)用表現(xiàn)在四方面：語音數(shù)據(jù)分析、視頻數(shù)據(jù)分析、流量分析和位置數(shù)據(jù)分析。四、存在問題及對(duì)策分析大數(shù)據(jù)帶來戰(zhàn)略機(jī)遇的同時(shí)，也帶來了不可忽視的一系列挑戰(zhàn)。1、數(shù)據(jù)量的成倍增長挑戰(zhàn)數(shù)據(jù)存儲(chǔ)能力大數(shù)據(jù)及其潛在的商業(yè)價(jià)值要求使用專門的數(shù)據(jù)庫技術(shù)和專用的數(shù)據(jù)存儲(chǔ)設(shè)備，傳統(tǒng)的數(shù)據(jù)庫追求高度的數(shù)據(jù)一致性和容錯(cuò)性，缺乏較強(qiáng)的擴(kuò)展性和較好的系統(tǒng)可用性，不能有效存儲(chǔ)視頻、音頻等非結(jié)構(gòu)化和半結(jié)構(gòu)化的數(shù)據(jù)。目前，數(shù)據(jù)存儲(chǔ)能力的增長遠(yuǎn)遠(yuǎn)趕不上數(shù)據(jù)的增長，設(shè)計(jì)最合理的分層存儲(chǔ)架構(gòu)成為信息系統(tǒng)的關(guān)鍵。2、數(shù)據(jù)類型的多樣性挑戰(zhàn)數(shù)據(jù)挖掘能力從數(shù)據(jù)庫的觀點(diǎn)看，挖掘算法的有效性和可伸縮性是實(shí)現(xiàn)數(shù)據(jù)挖掘的關(guān)鍵，而現(xiàn)有的算法往往適合常駐內(nèi)存的小數(shù)據(jù)集，大型數(shù)據(jù)庫中的數(shù)據(jù)可能無法同時(shí)導(dǎo)入內(nèi)存，隨著數(shù)據(jù)規(guī)模的不斷增大，算法的效率逐漸成為數(shù)據(jù)分析流程的瓶頸。要想徹底改變被動(dòng)局面，需要對(duì)現(xiàn)有架構(gòu)、組織體系、資源配置和權(quán)力結(jié)構(gòu)進(jìn)行重組。3、對(duì)大數(shù)據(jù)的處理速度挑戰(zhàn)數(shù)據(jù)處理的時(shí)效性隨著數(shù)據(jù)規(guī)模的不斷增大，分析處理的時(shí)間相應(yīng)地越來越長，而大數(shù)據(jù)條件下對(duì)信息處理的時(shí)效性要求越來越高。傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)在數(shù)據(jù)維度和規(guī)模增大時(shí)，需要的資源呈指數(shù)增長，面對(duì)PB級(jí)以上的海量數(shù)據(jù)，處理大數(shù)據(jù)需要簡(jiǎn)單有效的人工智能算法和新問題求解方法。4、數(shù)據(jù)跨越組織邊界傳播挑戰(zhàn)信息安全隨著技術(shù)的發(fā)展，大量信息跨越組織邊界傳播，信息