大數(shù)據(jù)時代背景

大數(shù)據(jù)時代不知道BIGDATA?你out了!反對派認為，我們現(xiàn)在處在一個盲目的大數(shù)據(jù)崇拜時代大數(shù)據(jù)的定義理解大數(shù)據(jù)相關(guān)技術(shù)與應(yīng)用目錄facebook社交網(wǎng)絡(luò)淘寶、ebuy電子商務(wù)微博、Apps移動互聯(lián)21世紀是數(shù)據(jù)信息大發(fā)展的時代，移動互聯(lián)、社交網(wǎng)絡(luò)、電子商務(wù)等極大拓展了互聯(lián)網(wǎng)的邊界和應(yīng)用范圍，各種數(shù)據(jù)正在迅速膨脹并變大?；ヂ?lián)網(wǎng)（社交、搜索、電商）、移動互聯(lián)網(wǎng)（微博）、物聯(lián)網(wǎng)（傳感器，智慧地球）、車聯(lián)網(wǎng)、GPS、醫(yī)學影像、安全監(jiān)控、金融（銀行、股市、保險）、電信（通話、短信）都在瘋狂產(chǎn)生著數(shù)據(jù)?！按髷?shù)據(jù)”的誕生：半個世紀以來，隨著計算機技術(shù)全面融入社會生活，信息爆炸已經(jīng)積累到了一個開始引發(fā)變革的程度。它不僅使世界充斥著比以往更多的信息，而且其增長速度也在加快。信息爆炸的學科如天文學和基因?qū)W，創(chuàng)造出了“大數(shù)據(jù)”這個概念*。如今，這個概念幾乎應(yīng)用到了所有人類智力與發(fā)展的領(lǐng)域中。大數(shù)據(jù)時代的背景GBTBPBEBZB想駕馭這龐大的數(shù)據(jù)，我們必須了解大數(shù)據(jù)的特征。地球上至今總共的數(shù)據(jù)量：在2006年，個人用戶才剛剛邁進TB時代，全球一共新產(chǎn)生了約180EB的數(shù)據(jù)；在2011年，這個數(shù)字達到了1.8ZB。而有市場研究機構(gòu)預測：到2020年，整個世界的數(shù)據(jù)總量將會增長44倍，達到35.2ZB（1ZB=10億TB）！1PB

=2^50字節(jié)1EB

=2^60字節(jié)1ZB=2^70字節(jié)大數(shù)據(jù)時代的爆炸增長“大量化(Volume)、多樣化(Variety)、快速化(Velocity)、價值密度低（Value）”就是“大數(shù)據(jù)”的顯著特征，或者說，只有具備這些特點的數(shù)據(jù)，才是大數(shù)據(jù)。VolumeVelocityValueVariety大數(shù)據(jù)的4V特征大數(shù)據(jù)=海量數(shù)據(jù)+復雜類型的數(shù)據(jù)海量交易數(shù)據(jù)：企業(yè)內(nèi)部的經(jīng)營交易信息主要包括聯(lián)機交易數(shù)據(jù)和聯(lián)機分析數(shù)據(jù)，是結(jié)構(gòu)化的、通過關(guān)系數(shù)據(jù)庫進行管理和訪問的靜態(tài)、歷史數(shù)據(jù)。通過這些數(shù)據(jù)，我們能了解過去發(fā)生了什么。大數(shù)據(jù)包括：交易數(shù)據(jù)和交互數(shù)據(jù)集在內(nèi)的所有數(shù)據(jù)集海量交互數(shù)據(jù)：源于Facebook、Twitter、LinkedIn及其他來源的社交媒體數(shù)據(jù)構(gòu)成。它包括了呼叫詳細記錄CDR、設(shè)備和傳感器信息、GPS和地理定位映射數(shù)據(jù)、通過管理文件傳輸ManageFileTransfer協(xié)議傳送的海量圖像文件、Web文本和點擊流數(shù)據(jù)、科學信息、電子郵件等等?？梢愿嬖V我們未來會發(fā)生什么。海量數(shù)據(jù)處理：大數(shù)據(jù)的涌現(xiàn)已經(jīng)催生出了設(shè)計用于數(shù)據(jù)密集型處理的架構(gòu)。例如具有開放源碼、在商品硬件群中運行的ApacheHadoop。大數(shù)據(jù)的構(gòu)成大數(shù)據(jù)的定義理解大數(shù)據(jù)相關(guān)技術(shù)與應(yīng)用目錄1、密不可分的大數(shù)據(jù)與云計算商業(yè)模式驅(qū)動應(yīng)用需求驅(qū)動云計算本身也是大數(shù)據(jù)的一種業(yè)務(wù)模式大數(shù)據(jù)是落地的云云計算的模式是業(yè)務(wù)模式，本質(zhì)是數(shù)據(jù)處理技術(shù)。數(shù)據(jù)是資產(chǎn)，云為數(shù)據(jù)資產(chǎn)提供存儲、訪問和計算。當前云計算更偏重海量存儲和計算，以及提供的云服務(wù)，運行云應(yīng)用，但是缺乏盤活數(shù)據(jù)資產(chǎn)的能力，挖掘價值性信息和預測性分析，為國家、企業(yè)、個人提供決策和服務(wù)，是大數(shù)據(jù)核心議題，也是云計算的最終方向。2、大數(shù)據(jù)不僅僅是“大”多大？至少PB級比大更重要的是數(shù)據(jù)的復雜性，有時甚至大數(shù)據(jù)中的小數(shù)據(jù)如一條微博就具有顛覆性的價值3、軟件是大數(shù)數(shù)據(jù)的引擎和數(shù)據(jù)中心（（DataCenter）一樣，軟件是是大數(shù)據(jù)的驅(qū)驅(qū)動力，軟件件改變世界大數(shù)據(jù)生態(tài)：軟軟件是引擎4、大數(shù)據(jù)的應(yīng)應(yīng)用不僅僅是是精準營銷通過用戶行為為分析實現(xiàn)精精準營銷是大大數(shù)據(jù)的典型型應(yīng)用，但是是大數(shù)據(jù)在各各行各業(yè)特別別是公共服務(wù)務(wù)領(lǐng)域具有廣廣闊的應(yīng)用前前景消費行業(yè)金融服務(wù)食品安全醫(yī)療衛(wèi)生軍事交通環(huán)保電子商務(wù)氣象5、管理大數(shù)據(jù)據(jù)“易”理解解大數(shù)據(jù)“難難”雖然大數(shù)據(jù)是是一個重大問問題，真正的的問題是讓大大數(shù)據(jù)更有意意義目前大數(shù)據(jù)管管理多從架構(gòu)構(gòu)和并行等方方面考慮，解解決高并發(fā)數(shù)數(shù)據(jù)存取的性性能要求及數(shù)數(shù)據(jù)存儲的橫橫向擴展，但但對非結(jié)構(gòu)化化數(shù)據(jù)的內(nèi)容容理解仍缺乏乏實質(zhì)性的突突破和進展，，這是實現(xiàn)大大數(shù)據(jù)資源化化、知識化、、普適化的核核心非結(jié)構(gòu)化海量量信息的智能能化處理：自自然語言理解解、多媒體內(nèi)內(nèi)容理解、機機器學習等大數(shù)據(jù)的定義理解大數(shù)據(jù)相關(guān)技術(shù)與應(yīng)用目錄分析技術(shù)：數(shù)據(jù)處理：自然語言處處理技術(shù)統(tǒng)計和分析：A/Btest;topN排行榜；地域域占比；文本本情感分析數(shù)據(jù)挖掘：關(guān)關(guān)聯(lián)規(guī)則分析析；分類；聚聚類模型預測：預預測模型；機機器學習；建建模仿真大數(shù)據(jù)技術(shù)：數(shù)據(jù)采集：ETL工具數(shù)據(jù)存?。宏P(guān)系數(shù)數(shù)據(jù)庫；NoSQL；SQL等基礎(chǔ)架構(gòu)支持：云云存儲；分布布式文件系統(tǒng)統(tǒng)等計算結(jié)果展現(xiàn)：云云計算；標簽簽云；關(guān)系圖圖等存儲結(jié)構(gòu)化數(shù)據(jù)：海量數(shù)據(jù)的查詢、、統(tǒng)計、更新新等操作效率率低非結(jié)構(gòu)化數(shù)據(jù)圖片、視頻、word、pdf、ppt等文件存儲不利于檢索、查詢和和存儲半結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)換為結(jié)構(gòu)化存儲儲按照非結(jié)構(gòu)化存儲儲解決方案：Hadoop（MapReduce技術(shù)）流計算（twitter的storm和yahoo！的S4）數(shù)據(jù)采集數(shù)據(jù)儲存數(shù)據(jù)管理數(shù)據(jù)分析與挖掘一些相關(guān)技術(shù)行業(yè)拓展者，，打造大數(shù)據(jù)據(jù)行業(yè)基石：：IBM：IBM大數(shù)據(jù)提供的的服務(wù)包括數(shù)數(shù)據(jù)分析，文文本分析，藍藍色云杉（混搭供電合合作的網(wǎng)絡(luò)平平臺）;業(yè)務(wù)事件處理；IBMMashupCenter的計量，監(jiān)測測，和商業(yè)化化服務(wù)（MMMS）IBM的大數(shù)據(jù)產(chǎn)品品組合中的最最新系列產(chǎn)品品的InfoSpherebigInsights，基于ApacheHadoop。該產(chǎn)品組合包括：打包的ApacheHadoop的軟件和服務(wù)，代號是bigInsights核心，用于開始大數(shù)據(jù)分分析軟件被稱為bigsheet，軟件目的是是幫助從大量量數(shù)據(jù)中輕松、簡單、直觀觀的提取、批批注相關(guān)信息息為金融，風險管管理，媒體和和娛樂等行業(yè)業(yè)量身定做的的行業(yè)解決方案微軟：2011年1月與惠普（具具體而言是HP數(shù)據(jù)庫綜合應(yīng)應(yīng)用部門）合合作目標是是開發(fā)了一系系列能夠提升升生產(chǎn)力和提提高決策速度度的設(shè)備。EMC：EMC斬獲了了紐交交所和和Nasdaq；大數(shù)據(jù)解解決方案已已包括括40多個產(chǎn)品。。Oracle：Oracle大數(shù)據(jù)機機與OracleExalogic中間件件云服服務(wù)器器、OracleExadata數(shù)據(jù)庫庫云服服務(wù)器器以及及OracleExalytics商務(wù)智智能云云服務(wù)務(wù)器一一起組組成了了甲骨骨文最最廣泛泛、高高度集集成化化系統(tǒng)統(tǒng)產(chǎn)品品組合。。大數(shù)據(jù)據(jù)的應(yīng)應(yīng)用——企業(yè)在在投入入政府職職能變變革重視應(yīng)用大大數(shù)據(jù)據(jù)技術(shù)術(shù)，盤盤活各各地云云計算算中心心資產(chǎn)產(chǎn)：把把原來來大規(guī)規(guī)模投投資產(chǎn)業(yè)園園、物聯(lián)聯(lián)網(wǎng)產(chǎn)產(chǎn)業(yè)園園從政政績工工程，，改造造成智智慧工程；；在安防領(lǐng)領(lǐng)域，，應(yīng)用用大數(shù)數(shù)據(jù)技技術(shù)，，提高高應(yīng)急急處置置能力力和安安全防防范能力；；在民生領(lǐng)領(lǐng)域，，應(yīng)用用大數(shù)數(shù)據(jù)技技術(shù)，，提升升服務(wù)務(wù)能力力和運運作效效率，，以及及個性性化的服務(wù)務(wù)，比如如醫(yī)療療、衛(wèi)衛(wèi)生、、教育育等部門；；解決在金融融，電電信領(lǐng)領(lǐng)域等等中數(shù)數(shù)據(jù)分分析的的問題題：一一直得得到得得極大大的重重視，，但受困困于存儲儲能力力和計計算能能力的的限制制，只只局限限在交交易數(shù)數(shù)型數(shù)數(shù)據(jù)的的統(tǒng)計分分析；；政府投入將將形成成示范范效應(yīng)應(yīng)，大大大推推動大大數(shù)據(jù)據(jù)的發(fā)展。。大數(shù)據(jù)據(jù)的應(yīng)應(yīng)用——政府“智慧大腦”智能感知互聯(lián)互通智能運營協(xié)同共享美國奧巴馬馬政府府在白白宮網(wǎng)網(wǎng)站發(fā)發(fā)布《大數(shù)據(jù)據(jù)研究究和發(fā)發(fā)展倡倡議》，提出出“通通過收收集、、處理理龐大大而復復雜的的數(shù)據(jù)據(jù)信息息，從從中獲獲得知知識和和洞見見，提提升能能力，，加快快科學學、工工程領(lǐng)領(lǐng)域的的創(chuàng)新新步伐伐，強強化美美國國國土安安全，，轉(zhuǎn)變變教育育和學學習模模式”；；中國工工程院院院士鄔賀銓銓說道道，““智慧慧城市是是使用用智能能計算算技術(shù)術(shù)使得得城市市的關(guān)關(guān)鍵基基礎(chǔ)設(shè)設(shè)施的的組成成和服服務(wù)更更智能能、互互聯(lián)和和有效效，隨隨著智智慧城城市的的建設(shè)設(shè)，社社會將將步入入“大大數(shù)據(jù)據(jù)”時時代?！彪y點：1、在最最初就就合理理規(guī)劃劃智慧慧城市市（深深度思思考哪哪些領(lǐng)領(lǐng)域能能夠運運用））；2、在城城市發(fā)發(fā)展基基礎(chǔ)設(shè)設(shè)施和和“云云產(chǎn)業(yè)業(yè)”的的同時時，更更多重重視““數(shù)據(jù)據(jù)”的的價值值；3、在大大數(shù)據(jù)處處理領(lǐng)領(lǐng)域的的核心心技術(shù)不不足，，需要要政府府更大大的投投入。。大數(shù)據(jù)據(jù)的應(yīng)應(yīng)用——熱點：：智慧慧城市政府、、金融融、電電信等等行業(yè)業(yè)投資資建立立大數(shù)數(shù)據(jù)的的處理理分析析手段段，實實現(xiàn)綜綜合治治理、、業(yè)務(wù)務(wù)開拓拓等目目標；；應(yīng)用用到制制造等等更多多行業(yè)業(yè)。更多行行業(yè)的的應(yīng)用用數(shù)據(jù)的的再利利用：：由于在在信息息價值值鏈中中的特特殊位位置，，有些些公司司可能能會收收集到到大量量的數(shù)數(shù)據(jù)，，但他他們并并不急急需使使用也也不擅擅長再再次利利用這這些數(shù)數(shù)據(jù)。。例如如，移移動電電話運運營商商手機機用戶戶的位位置信信息來來傳輸輸電話話信號號，這這對以以他們們來說說，數(shù)數(shù)據(jù)只只有狹狹窄的的技術(shù)術(shù)用途途。但但當它它被一一些發(fā)發(fā)布個個性化化位置置廣告告服務(wù)務(wù)和促促銷活活動的的公司司再次次利用用時，，則變變得更更有價價值。。大數(shù)據(jù)價值值鏈的3大構(gòu)成：數(shù)數(shù)據(jù)本身、、技能與思思維其中三者兼兼具的又谷谷歌公司，，谷歌在剛剛開始收集集數(shù)據(jù)的時時候就已經(jīng)經(jīng)有多次使使用數(shù)據(jù)的的想法。比比方說，它它的街景采采集車手機機全球定位位系統(tǒng)數(shù)據(jù)據(jù)不光是為為了創(chuàng)建谷谷歌地圖，，也是為了了制成全自自動汽車以以及谷歌眼眼鏡等與實實景交匯的的產(chǎn)品。未來，企業(yè)業(yè)會依靠洞洞悉數(shù)據(jù)中中的信息更更加了解自自己，也更更加了解客客戶?！洞髷?shù)據(jù)時代代》傳統(tǒng)行業(yè)最最終都會轉(zhuǎn)轉(zhuǎn)變?yōu)榇髷?shù)數(shù)據(jù)行業(yè)，，無論是金金融服務(wù)也也、醫(yī)藥還還是制造業(yè)業(yè)。大數(shù)據(jù)的應(yīng)應(yīng)用——未來，改變變一切大數(shù)據(jù)賦予予我們洞察察未來的能