大數(shù)據(jù)研究 課件

大數(shù)據(jù)研究1.2.1大數(shù)據(jù)研究1.2.11目錄大數(shù)據(jù)的定義理解相關(guān)技術(shù)與應(yīng)用機遇與挑戰(zhàn)目錄大數(shù)據(jù)的定義理解相關(guān)技術(shù)與應(yīng)用機遇與挑戰(zhàn)2大數(shù)據(jù)的定義理解一大數(shù)據(jù)的定義理解一3什么是大數(shù)據(jù)Dada大大數(shù)據(jù)的構(gòu)成123大數(shù)據(jù)的定義理解大數(shù)據(jù)的“4V”特征大數(shù)據(jù)時代的背景什么是大數(shù)據(jù)Dada大大數(shù)據(jù)的構(gòu)成123大數(shù)據(jù)的定義理解大數(shù)4大數(shù)據(jù)時代的背景facebook社交網(wǎng)絡(luò)淘寶、ebuy電子商務(wù)微博、Apps移動互聯(lián)21世紀是數(shù)據(jù)信息大發(fā)展的時代，移動互聯(lián)、社交網(wǎng)絡(luò)、電子商務(wù)等極大拓展了互聯(lián)網(wǎng)的邊界和應(yīng)用范圍，各種數(shù)據(jù)正在迅速膨脹并變大?；ヂ?lián)網(wǎng)（社交、搜索、電商）、移動互聯(lián)網(wǎng)（微博）、物聯(lián)網(wǎng)（傳感器，智慧地球）、車聯(lián)網(wǎng)、GPS、醫(yī)學(xué)影像、安全監(jiān)控、金融（銀行、股市、保險）、電信（通話、短信）都在瘋狂產(chǎn)生著數(shù)據(jù)?！按髷?shù)據(jù)”的誕生：半個世紀以來，隨著計算機技術(shù)全面融入社會生活，信息爆炸已經(jīng)積累到了一個開始引發(fā)變革的程度。它不僅使世界充斥著比以往更多的信息，而且其增長速度也在加快。信息爆炸的學(xué)科如天文學(xué)和基因?qū)W，創(chuàng)造出了“大數(shù)據(jù)”這個概念*。如今，這個概念幾乎應(yīng)用到了所有人類智力與發(fā)展的領(lǐng)域中。大數(shù)據(jù)時代的背景facebook社交網(wǎng)絡(luò)淘寶、ebuy電子商5GBTBPBEBZB大數(shù)據(jù)時代的爆炸增長想駕馭這龐大的數(shù)據(jù)，我們必須了解大數(shù)據(jù)的特征。地球上至今總共的數(shù)據(jù)量：在2006年，個人用戶才剛剛邁進TB時代，全球一共新產(chǎn)生了約180EB的數(shù)據(jù)；在2011年，這個數(shù)字達到了1.8ZB。而有市場研究機構(gòu)預(yù)測：到2020年，整個世界的數(shù)據(jù)總量將會增長44倍，達到35.2ZB（1ZB=10億TB）！1PB

（拍字節(jié)）

=2^50字節(jié)1EB

（艾字節(jié)）

=2^60字節(jié)1ZB（澤字節(jié)）=2^70字節(jié)GBTBPBEBZB大數(shù)據(jù)時代的爆炸增長想駕馭這龐大的數(shù)據(jù)，6大數(shù)據(jù)的4V特征“大量化(Volume)、多樣化(Variety)、快速化(Velocity)、價值密度低（Value）”就是“大數(shù)據(jù)”的顯著特征，或者說，只有具備這些特點的數(shù)據(jù)，才是大數(shù)據(jù)。VolumeVelocityValueVariety大數(shù)據(jù)的4V特征“大量化(Volume)、多樣化(Varie7大數(shù)據(jù)的構(gòu)成大數(shù)據(jù)=海量數(shù)據(jù)+復(fù)雜類型的數(shù)據(jù)海量交易數(shù)據(jù)：企業(yè)內(nèi)部的經(jīng)營交易信息主要包括聯(lián)機交易數(shù)據(jù)和聯(lián)機分析數(shù)據(jù)，是結(jié)構(gòu)化的、通過關(guān)系數(shù)據(jù)庫進行管理和訪問的靜態(tài)、歷史數(shù)據(jù)。通過這些數(shù)據(jù)，我們能了解過去發(fā)生了什么。大數(shù)據(jù)包括：交易數(shù)據(jù)和交互數(shù)據(jù)集在內(nèi)的所有數(shù)據(jù)集海量交互數(shù)據(jù)：源于Facebook、Twitter、LinkedIn及其他來源的社交媒體數(shù)據(jù)構(gòu)成。它包括了呼叫詳細記錄CDR、設(shè)備和傳感器信息、GPS和地理定位映射數(shù)據(jù)、通過管理文件傳輸ManageFileTransfer協(xié)議傳送的海量圖像文件、Web文本和點擊流數(shù)據(jù)、科學(xué)信息、電子郵件等等?？梢愿嬖V我們未來會發(fā)生什么。海量數(shù)據(jù)處理：大數(shù)據(jù)的涌現(xiàn)已經(jīng)催生出了設(shè)計用于數(shù)據(jù)密集型處理的架構(gòu)。例如具有開放源碼、在商品硬件群中運行的ApacheHadoop。大數(shù)據(jù)的構(gòu)成大數(shù)據(jù)=海量數(shù)據(jù)+復(fù)雜類型的數(shù)據(jù)海量交易8相關(guān)技術(shù)與應(yīng)用二相關(guān)技術(shù)與應(yīng)用二9大數(shù)據(jù)怎么用大數(shù)據(jù)的“4V”特征大數(shù)據(jù)時代的背景Dada大大數(shù)據(jù)領(lǐng)的應(yīng)用123大數(shù)據(jù)與云計算相關(guān)技術(shù)相關(guān)技術(shù)大數(shù)據(jù)怎么用大數(shù)據(jù)的“4V”特征大數(shù)據(jù)時代的背景Dada大大10分析技術(shù)：數(shù)據(jù)處理：自然語言處理技術(shù)統(tǒng)計和分析：A/Btest;topN排行榜；地域占比；文本情感分析數(shù)據(jù)挖掘：關(guān)聯(lián)規(guī)則分析；分類；聚類模型預(yù)測：預(yù)測模型；機器學(xué)習(xí)；建模仿真大數(shù)據(jù)技術(shù)：數(shù)據(jù)采集：ETL工具數(shù)據(jù)存?。宏P(guān)系數(shù)據(jù)庫；NoSQL；SQL等基礎(chǔ)架構(gòu)支持：云存儲；分布式文件系統(tǒng)等計算結(jié)果展現(xiàn)：云計算；標簽云；關(guān)系圖等一些相關(guān)技術(shù)存儲結(jié)構(gòu)化數(shù)據(jù)：海量數(shù)據(jù)的查詢、統(tǒng)計、更新等操作效率低非結(jié)構(gòu)化數(shù)據(jù)圖片、視頻、word、pdf、ppt等文件存儲不利于檢索、查詢和存儲半結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)換為結(jié)構(gòu)化存儲按照非結(jié)構(gòu)化存儲解決方案：Hadoop（MapReduce技術(shù)）流計算（twitter的storm和yahoo！的S4）數(shù)據(jù)采集數(shù)據(jù)儲存數(shù)據(jù)管理數(shù)據(jù)分析與挖掘分析技術(shù)：一些相關(guān)技術(shù)存儲解決方案：數(shù)據(jù)采集數(shù)據(jù)儲存數(shù)據(jù)管理11技術(shù)領(lǐng)域的挑戰(zhàn)1、對現(xiàn)有數(shù)據(jù)庫管理技術(shù)的挑戰(zhàn)傳統(tǒng)的數(shù)據(jù)庫部署不能處理數(shù)TB級別的數(shù)據(jù)，也不能很好的支持高級別的數(shù)據(jù)分析。急速膨脹的數(shù)據(jù)體量即將超越傳統(tǒng)數(shù)據(jù)庫的管理能力。如何構(gòu)建全球級的分布式數(shù)據(jù)庫(Globally-DistributedDatabase)，可以擴展到數(shù)百萬的機器，數(shù)已百計的數(shù)據(jù)中心，上萬億的行數(shù)據(jù)。2、經(jīng)典數(shù)據(jù)庫技術(shù)并沒有考慮數(shù)據(jù)的多類別（variety）SQL（結(jié)構(gòu)化數(shù)據(jù)查詢語言），在設(shè)計的一開始是沒有考慮非結(jié)構(gòu)化數(shù)據(jù)的。3、實時性的技術(shù)挑戰(zhàn)：一般而言，像數(shù)據(jù)倉庫系統(tǒng)、BI應(yīng)用，對處理時間的要求并不高。因此這類應(yīng)用往往運行1、2天獲得結(jié)果依然可行的。但實時處理的要求，是區(qū)別大數(shù)據(jù)應(yīng)用和傳統(tǒng)數(shù)據(jù)倉庫技術(shù)、BI技術(shù)的關(guān)鍵差別之一。網(wǎng)絡(luò)架構(gòu)、數(shù)據(jù)中心、運維的挑戰(zhàn)：技術(shù)架構(gòu)的挑戰(zhàn)：人們每天創(chuàng)建的數(shù)據(jù)量正呈爆炸式增長，但就數(shù)據(jù)保存來說，我們的技術(shù)改進不大，而數(shù)據(jù)丟失的可能性卻不斷增加。如此龐大的數(shù)據(jù)量首先在存儲上就會是一個非常嚴重的問題，硬件的更新速度將是大數(shù)據(jù)發(fā)展的基石。技術(shù)領(lǐng)域的挑戰(zhàn)1、對現(xiàn)有數(shù)據(jù)庫管理技術(shù)的挑戰(zhàn)網(wǎng)絡(luò)架構(gòu)、數(shù)據(jù)中12大數(shù)據(jù)與云計算云計算的模式是業(yè)務(wù)模式，本質(zhì)是數(shù)據(jù)處理技術(shù)。數(shù)據(jù)是資產(chǎn)，云為數(shù)據(jù)資產(chǎn)提供存儲、訪問和計算。當(dāng)前云計算更偏重海量存儲和計算，以及提供的云服務(wù)，運行云應(yīng)用，但是缺乏盤活數(shù)據(jù)資產(chǎn)的能力，挖掘價值性信息和預(yù)測性分析，為國家、企業(yè)、個人提供決策和服務(wù)，是大數(shù)據(jù)核心議題，也是云計算的最終方向。大數(shù)據(jù)與云計算云計算的模式是業(yè)務(wù)模式，本質(zhì)是數(shù)據(jù)處理技術(shù)。132012云計算，2013大數(shù)據(jù)？美國：美國政府在2012年3月29日宣布投資兩億美元拉動大數(shù)據(jù)相關(guān)產(chǎn)業(yè)發(fā)展，將“大數(shù)據(jù)戰(zhàn)略”上升為國家意志。中國：中國商業(yè)聯(lián)合會：副會長劉建滬介紹說，隨著互聯(lián)網(wǎng)的快速發(fā)展，中國的電子商務(wù)企業(yè)紛紛組建了數(shù)據(jù)分析部門。2011年10月，工信部確認京滬深杭等5城市為“云計算中心”試點城市。而真正的問題或許不在于怎樣建設(shè)“云計算中心”。國家信息中心常務(wù)副主任杜平直言不諱：“應(yīng)對大數(shù)據(jù)的到來，需要不斷建基礎(chǔ)設(shè)施，但是建了干什么，有些數(shù)據(jù)需要存儲，也有很多數(shù)據(jù)可能不需要儲存?！贝髷?shù)據(jù)的市場有多大？中央財經(jīng)大學(xué)中國經(jīng)濟管理研究院博士張永力說，國外大數(shù)據(jù)行業(yè)約有1000億美元的市場，而且每年都以10%的速度在增長，增速是軟件行業(yè)的兩倍。2012云計算，2013大數(shù)據(jù)？美國：14行業(yè)拓展者，打造大數(shù)據(jù)行業(yè)基石：大數(shù)據(jù)的應(yīng)用——企業(yè)在投入IBM：IBM大數(shù)據(jù)提供的服務(wù)包括數(shù)據(jù)分析，文本分析，藍色云杉（混搭供電合作的網(wǎng)絡(luò)平臺）;業(yè)務(wù)事件處理；IBMMashupCenter的計量，監(jiān)測，和商業(yè)化服務(wù)（MMMS）IBM的大數(shù)據(jù)產(chǎn)品組合中的最新系列產(chǎn)品的InfoSpherebigInsights，基于ApacheHadoop。該產(chǎn)品組合包括：打包的ApacheHadoop的軟件和服務(wù)，代號是bigInsights核心，用于開始大數(shù)據(jù)分析軟件被稱為bigsheet，軟件目的是幫助從大量數(shù)據(jù)中輕松、簡單、直觀的提取、批注相關(guān)信息為金融，風(fēng)險管理，媒體和娛樂等行業(yè)量身定做的行業(yè)解決方案微軟：2011年1月與惠普（具體而言是HP數(shù)據(jù)庫綜合應(yīng)用部門）合作目標是開發(fā)了一系列能夠提升生產(chǎn)力和提高決策速度的設(shè)備。

EMC：EMC斬獲了紐交所和Nasdaq；大數(shù)據(jù)解決方案已包括40多個產(chǎn)品。Oracle：Oracle大數(shù)據(jù)機與OracleExalogic中間件云服務(wù)器、OracleExadata數(shù)據(jù)庫云服務(wù)器以及OracleExalytics商務(wù)智能云服務(wù)器一起組成了甲骨文最廣泛、高度集成化系統(tǒng)產(chǎn)品組合。行業(yè)拓展者，打造大數(shù)據(jù)行業(yè)基石：大數(shù)據(jù)的應(yīng)用IBM：15政府職能變革重視應(yīng)用大數(shù)據(jù)技術(shù)，盤活各地云計算中心資產(chǎn)：把原來大規(guī)模投資產(chǎn)業(yè)園、物聯(lián)網(wǎng)產(chǎn)業(yè)園從政績工程，改造成智慧工程；在安防領(lǐng)域，應(yīng)用大數(shù)據(jù)技術(shù)，提高應(yīng)急處置能力和安全防范能力；在民生領(lǐng)域，應(yīng)用大數(shù)據(jù)技術(shù)，提升服務(wù)能力和運作效率，以及個性化的服務(wù)，比如醫(yī)療、衛(wèi)生、教育等部門；解決在金融，電信領(lǐng)域等中數(shù)據(jù)分析的問題：一直得到得極大的重視，但受困于存儲能力和計算能力的限制，只局限在交易數(shù)型數(shù)據(jù)的統(tǒng)計分析；政府投入將形成示范效應(yīng)，大大推動大數(shù)據(jù)的發(fā)展。大數(shù)據(jù)的應(yīng)用

——政府政府職能變革大數(shù)據(jù)的應(yīng)用16“智慧大腦”智能感知互聯(lián)互通智能運營協(xié)同共享大數(shù)據(jù)的應(yīng)用——熱點：智慧城市美國奧巴馬政府在白宮網(wǎng)站發(fā)布《大數(shù)據(jù)研究和發(fā)展倡議》，提出“通過收集、處理龐大而復(fù)雜的數(shù)據(jù)信息，從中獲得知識和洞見，提升能力，加快科學(xué)、工程領(lǐng)域的創(chuàng)新步伐，強化美國國土安全，轉(zhuǎn)變教育和學(xué)習(xí)模式”；中國工程院院士鄔賀銓說道，“智慧城市是使用智能計算技術(shù)使得城市的關(guān)鍵基礎(chǔ)設(shè)施的組成和服務(wù)更智能、互聯(lián)和有效，隨著智慧城市的建設(shè)，社會將步入“大數(shù)據(jù)”時代。”難點：1、在最初就合理規(guī)劃智慧城市（深度思考哪些領(lǐng)域能夠運用）；2、在城市發(fā)展基礎(chǔ)設(shè)施和“云產(chǎn)業(yè)”的同時，更多重視“數(shù)據(jù)”的價值；3、在大數(shù)據(jù)處理領(lǐng)域的核心技術(shù)不足，需要政府更大的投入?！爸腔鄞竽X”智能感知互聯(lián)互通智能運營協(xié)同共享大數(shù)據(jù)的應(yīng)用美國17大數(shù)據(jù)的應(yīng)用——未來，改變一切數(shù)據(jù)的再利用：由于在信息價值鏈中的特殊位置，有些公司可能會收集到大量的數(shù)據(jù)，但他們并不急需使用也不擅長再次利用這些數(shù)據(jù)。例如，移動電話運營商手機用戶的位置信息來傳輸電話信號，這對以他們來說，數(shù)據(jù)只有狹窄的技術(shù)用途。但當(dāng)它被一些發(fā)布個性化位置廣告服務(wù)和促銷活動的公司再次利用時，則變得更有價值。大數(shù)據(jù)價值鏈的3大構(gòu)成：數(shù)據(jù)本身、技能與思維其中三者兼具的又谷歌公司，谷歌在剛開始收集數(shù)據(jù)的時候就已經(jīng)有多次使用數(shù)據(jù)的想法。比方說，它的街景采集車手機全球定位系統(tǒng)數(shù)據(jù)不光是為了創(chuàng)建谷歌地圖，也是為了制成全自動汽車以及谷歌眼鏡等與實景交匯的產(chǎn)品。未來，企業(yè)會依靠洞悉數(shù)據(jù)中的信息更加了解自己，也更加了解客戶?！洞髷?shù)據(jù)時代》傳統(tǒng)行業(yè)最終都會轉(zhuǎn)變?yōu)榇髷?shù)據(jù)行業(yè)，無論是金融服務(wù)也、醫(yī)藥還是制造業(yè)。大數(shù)據(jù)的應(yīng)用數(shù)據(jù)的再利用：大數(shù)據(jù)價值鏈的3大構(gòu)成：數(shù)據(jù)本身、18機遇與挑戰(zhàn)三機遇與挑戰(zhàn)三19大數(shù)據(jù)賦予我們洞察未來的能力機遇馬云成功預(yù)測2008年經(jīng)濟危機“2008年初,阿里巴巴平臺上整個買家詢盤數(shù)急劇下滑，歐美對中國采購在下滑。海關(guān)是賣了貨，出去以后再獲得數(shù)據(jù)；我們提前半年時間從詢盤上推斷出世界貿(mào)易發(fā)生變化了?！蓖ǔ６裕I家在采購商品前，會比較多家供應(yīng)商的產(chǎn)品，反映到阿里巴巴網(wǎng)站統(tǒng)計數(shù)據(jù)中，就是查詢點擊的數(shù)量和購買點擊的數(shù)量會保持一個相對的數(shù)值，綜合各個維度的數(shù)據(jù)可建立用戶行為模型。因為數(shù)據(jù)樣本巨大,保證用戶行為模型的準確性。因此在這個案例中，詢盤數(shù)據(jù)的下降，自然導(dǎo)致買盤的下降。人類從依靠自身判斷做決定到依靠數(shù)據(jù)做決定的轉(zhuǎn)變，也是大數(shù)據(jù)作出的最大貢獻之一?！洞髷?shù)據(jù)時代》大數(shù)據(jù)賦予我們洞察未來的能力機遇馬云成功預(yù)測2008年經(jīng)濟20挑戰(zhàn)諸多領(lǐng)域的問題亟待解決，最重要的是每個人的信息都被互聯(lián)網(wǎng)所記錄和保留了下來，并且進行加工和利用，為人所用，而這正是我們所擔(dān)憂的信息安全隱患！更多的隱私、安全性問題：我們的隱私被二次利用了多少密碼和賬號是因為“社交網(wǎng)絡(luò)”流出去的？2011年4月索尼的系統(tǒng)漏洞導(dǎo)致7700萬用戶資料失竊2011年4月，iOS被發(fā)現(xiàn)會按照時間順序記錄用戶的位置坐標信息2011年CSDN密碼泄露事件…眼下中國互聯(lián)網(wǎng)熱門的話題之一就是互聯(lián)網(wǎng)實名制問題，我愿意相信這是個好事。畢竟我們?nèi)绻髦脸鲎约旱纳矸?，互?lián)網(wǎng)才能對我們的隱私給予更好保護。挑戰(zhàn)諸多領(lǐng)域的問題亟待解決，最重要的是每個人的信息都被互聯(lián)網(wǎng)21Thanks.Thanks.22大數(shù)據(jù)研究1.2.1大數(shù)據(jù)研究1.2.123目錄大數(shù)據(jù)的定義理解相關(guān)技術(shù)與應(yīng)用機遇與挑戰(zhàn)目錄大數(shù)據(jù)的定義理解相關(guān)技術(shù)與應(yīng)用機遇與挑戰(zhàn)24大數(shù)據(jù)的定義理解一大數(shù)據(jù)的定義理解一25什么是大數(shù)據(jù)Dada大大數(shù)據(jù)的構(gòu)成123大數(shù)據(jù)的定義理解大數(shù)據(jù)的“4V”特征大數(shù)據(jù)時代的背景什么是大數(shù)據(jù)Dada大大數(shù)據(jù)的構(gòu)成123大數(shù)據(jù)的定義理解大數(shù)26大數(shù)據(jù)時代的背景facebook社交網(wǎng)絡(luò)淘寶、ebuy電子商務(wù)微博、Apps移動互聯(lián)21世紀是數(shù)據(jù)信息大發(fā)展的時代，移動互聯(lián)、社交網(wǎng)絡(luò)、電子商務(wù)等極大拓展了互聯(lián)網(wǎng)的邊界和應(yīng)用范圍，各種數(shù)據(jù)正在迅速膨脹并變大?；ヂ?lián)網(wǎng)（社交、搜索、電商）、移動互聯(lián)網(wǎng)（微博）、物聯(lián)網(wǎng)（傳感器，智慧地球）、車聯(lián)網(wǎng)、GPS、醫(yī)學(xué)影像、安全監(jiān)控、金融（銀行、股市、保險）、電信（通話、短信）都在瘋狂產(chǎn)生著數(shù)據(jù)?！按髷?shù)據(jù)”的誕生：半個世紀以來，隨著計算機技術(shù)全面融入社會生活，信息爆炸已經(jīng)積累到了一個開始引發(fā)變革的程度。它不僅使世界充斥著比以往更多的信息，而且其增長速度也在加快。信息爆炸的學(xué)科如天文學(xué)和基因?qū)W，創(chuàng)造出了“大數(shù)據(jù)”這個概念*。如今，這個概念幾乎應(yīng)用到了所有人類智力與發(fā)展的領(lǐng)域中。大數(shù)據(jù)時代的背景facebook社交網(wǎng)絡(luò)淘寶、ebuy電子商27GBTBPBEBZB大數(shù)據(jù)時代的爆炸增長想駕馭這龐大的數(shù)據(jù)，我們必須了解大數(shù)據(jù)的特征。地球上至今總共的數(shù)據(jù)量：在2006年，個人用戶才剛剛邁進TB時代，全球一共新產(chǎn)生了約180EB的數(shù)據(jù)；在2011年，這個數(shù)字達到了1.8ZB。而有市場研究機構(gòu)預(yù)測：到2020年，整個世界的數(shù)據(jù)總量將會增長44倍，達到35.2ZB（1ZB=10億TB）！1PB

（拍字節(jié)）

=2^50字節(jié)1EB

（艾字節(jié)）

=2^60字節(jié)1ZB（澤字節(jié)）=2^70字節(jié)GBTBPBEBZB大數(shù)據(jù)時代的爆炸增長想駕馭這龐大的數(shù)據(jù)，28大數(shù)據(jù)的4V特征“大量化(Volume)、多樣化(Variety)、快速化(Velocity)、價值密度低（Value）”就是“大數(shù)據(jù)”的顯著特征，或者說，只有具備這些特點的數(shù)據(jù)，才是大數(shù)據(jù)。VolumeVelocityValueVariety大數(shù)據(jù)的4V特征“大量化(Volume)、多樣化(Varie29大數(shù)據(jù)的構(gòu)成大數(shù)據(jù)=海量數(shù)據(jù)+復(fù)雜類型的數(shù)據(jù)海量交易數(shù)據(jù)：企業(yè)內(nèi)部的經(jīng)營交易信息主要包括聯(lián)機交易數(shù)據(jù)和聯(lián)機分析數(shù)據(jù)，是結(jié)構(gòu)化的、通過關(guān)系數(shù)據(jù)庫進行管理和訪問的靜態(tài)、歷史數(shù)據(jù)。通過這些數(shù)據(jù)，我們能了解過去發(fā)生了什么。大數(shù)據(jù)包括：交易數(shù)據(jù)和交互數(shù)據(jù)集在內(nèi)的所有數(shù)據(jù)集海量交互數(shù)據(jù)：源于Facebook、Twitter、LinkedIn及其他來源的社交媒體數(shù)據(jù)構(gòu)成。它包括了呼叫詳細記錄CDR、設(shè)備和傳感器信息、GPS和地理定位映射數(shù)據(jù)、通過管理文件傳輸ManageFileTransfer協(xié)議傳送的海量圖像文件、Web文本和點擊流數(shù)據(jù)、科學(xué)信息、電子郵件等等?？梢愿嬖V我們未來會發(fā)生什么。海量數(shù)據(jù)處理：大數(shù)據(jù)的涌現(xiàn)已經(jīng)催生出了設(shè)計用于數(shù)據(jù)密集型處理的架構(gòu)。例如具有開放源碼、在商品硬件群中運行的ApacheHadoop。大數(shù)據(jù)的構(gòu)成大數(shù)據(jù)=海量數(shù)據(jù)+復(fù)雜類型的數(shù)據(jù)海量交易30相關(guān)技術(shù)與應(yīng)用二相關(guān)技術(shù)與應(yīng)用二31大數(shù)據(jù)怎么用大數(shù)據(jù)的“4V”特征大數(shù)據(jù)時代的背景Dada大大數(shù)據(jù)領(lǐng)的應(yīng)用123大數(shù)據(jù)與云計算相關(guān)技術(shù)相關(guān)技術(shù)大數(shù)據(jù)怎么用大數(shù)據(jù)的“4V”特征大數(shù)據(jù)時代的背景Dada大大32分析技術(shù)：數(shù)據(jù)處理：自然語言處理技術(shù)統(tǒng)計和分析：A/Btest;topN排行榜；地域占比；文本情感分析數(shù)據(jù)挖掘：關(guān)聯(lián)規(guī)則分析；分類；聚類模型預(yù)測：預(yù)測模型；機器學(xué)習(xí)；建模仿真大數(shù)據(jù)技術(shù)：數(shù)據(jù)采集：ETL工具數(shù)據(jù)存?。宏P(guān)系數(shù)據(jù)庫；NoSQL；SQL等基礎(chǔ)架構(gòu)支持：云存儲；分布式文件系統(tǒng)等計算結(jié)果展現(xiàn)：云計算；標簽云；關(guān)系圖等一些相關(guān)技術(shù)存儲結(jié)構(gòu)化數(shù)據(jù)：海量數(shù)據(jù)的查詢、統(tǒng)計、更新等操作效率低非結(jié)構(gòu)化數(shù)據(jù)圖片、視頻、word、pdf、ppt等文件存儲不利于檢索、查詢和存儲半結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)換為結(jié)構(gòu)化存儲按照非結(jié)構(gòu)化存儲解決方案：Hadoop（MapReduce技術(shù)）流計算（twitter的storm和yahoo！的S4）數(shù)據(jù)采集數(shù)據(jù)儲存數(shù)據(jù)管理數(shù)據(jù)分析與挖掘分析技術(shù)：一些相關(guān)技術(shù)存儲解決方案：數(shù)據(jù)采集數(shù)據(jù)儲存數(shù)據(jù)管理33技術(shù)領(lǐng)域的挑戰(zhàn)1、對現(xiàn)有數(shù)據(jù)庫管理技術(shù)的挑戰(zhàn)傳統(tǒng)的數(shù)據(jù)庫部署不能處理數(shù)TB級別的數(shù)據(jù)，也不能很好的支持高級別的數(shù)據(jù)分析。急速膨脹的數(shù)據(jù)體量即將超越傳統(tǒng)數(shù)據(jù)庫的管理能力。如何構(gòu)建全球級的分布式數(shù)據(jù)庫(Globally-DistributedDatabase)，可以擴展到數(shù)百萬的機器，數(shù)已百計的數(shù)據(jù)中心，上萬億的行數(shù)據(jù)。2、經(jīng)典數(shù)據(jù)庫技術(shù)并沒有考慮數(shù)據(jù)的多類別（variety）SQL（結(jié)構(gòu)化數(shù)據(jù)查詢語言），在設(shè)計的一開始是沒有考慮非結(jié)構(gòu)化數(shù)據(jù)的。3、實時性的技術(shù)挑戰(zhàn)：一般而言，像數(shù)據(jù)倉庫系統(tǒng)、BI應(yīng)用，對處理時間的要求并不高。因此這類應(yīng)用往往運行1、2天獲得結(jié)果依然可行的。但實時處理的要求，是區(qū)別大數(shù)據(jù)應(yīng)用和傳統(tǒng)數(shù)據(jù)倉庫技術(shù)、BI技術(shù)的關(guān)鍵差別之一。網(wǎng)絡(luò)架構(gòu)、數(shù)據(jù)中心、運維的挑戰(zhàn)：技術(shù)架構(gòu)的挑戰(zhàn)：人們每天創(chuàng)建的數(shù)據(jù)量正呈爆炸式增長，但就數(shù)據(jù)保存來說，我們的技術(shù)改進不大，而數(shù)據(jù)丟失的可能性卻不斷增加。如此龐大的數(shù)據(jù)量首先在存儲上就會是一個非常嚴重的問題，硬件的更新速度將是大數(shù)據(jù)發(fā)展的基石。技術(shù)領(lǐng)域的挑戰(zhàn)1、對現(xiàn)有數(shù)據(jù)庫管理技術(shù)的挑戰(zhàn)網(wǎng)絡(luò)架構(gòu)、數(shù)據(jù)中34大數(shù)據(jù)與云計算云計算的模式是業(yè)務(wù)模式，本質(zhì)是數(shù)據(jù)處理技術(shù)。數(shù)據(jù)是資產(chǎn)，云為數(shù)據(jù)資產(chǎn)提供存儲、訪問和計算。當(dāng)前云計算更偏重海量存儲和計算，以及提供的云服務(wù)，運行云應(yīng)用，但是缺乏盤活數(shù)據(jù)資產(chǎn)的能力，挖掘價值性信息和預(yù)測性分析，為國家、企業(yè)、個人提供決策和服務(wù)，是大數(shù)據(jù)核心議題，也是云計算的最終方向。大數(shù)據(jù)與云計算云計算的模式是業(yè)務(wù)模式，本質(zhì)是數(shù)據(jù)處理技術(shù)。352012云計算，2013大數(shù)據(jù)？美國：美國政府在2012年3月29日宣布投資兩億美元拉動大數(shù)據(jù)相關(guān)產(chǎn)業(yè)發(fā)展，將“大數(shù)據(jù)戰(zhàn)略”上升為國家意志。中國：中國商業(yè)聯(lián)合會：副會長劉建滬介紹說，隨著互聯(lián)網(wǎng)的快速發(fā)展，中國的電子商務(wù)企業(yè)紛紛組建了數(shù)據(jù)分析部門。2011年10月，工信部確認京滬深杭等5城市為“云計算中心”試點城市。而真正的問題或許不在于怎樣建設(shè)“云計算中心”。國家信息中心常務(wù)副主任杜平直言不諱：“應(yīng)對大數(shù)據(jù)的到來，需要不斷建基礎(chǔ)設(shè)施，但是建了干什么，有些數(shù)據(jù)需要存儲，也有很多數(shù)據(jù)可能不需要儲存?！贝髷?shù)據(jù)的市場有多大？中央財經(jīng)大學(xué)中國經(jīng)濟管理研究院博士張永力說，國外大數(shù)據(jù)行業(yè)約有1000億美元的市場，而且每年都以10%的速度在增長，增速是軟件行業(yè)的兩倍。2012云計算，2013大數(shù)據(jù)？美國：36行業(yè)拓展者，打造大數(shù)據(jù)行業(yè)基石：大數(shù)據(jù)的應(yīng)用——企業(yè)在投入IBM：IBM大數(shù)據(jù)提供的服務(wù)包括數(shù)據(jù)分析，文本分析，藍色云杉（混搭供電合作的網(wǎng)絡(luò)平臺）;業(yè)務(wù)事件處理；IBMMashupCenter的計量，監(jiān)測，和商業(yè)化服務(wù)（MMMS）IBM的大數(shù)據(jù)產(chǎn)品組合中的最新系列產(chǎn)品的InfoSpherebigInsights，基于ApacheHadoop。該產(chǎn)品組合包括：打包的ApacheHadoop的軟件和服務(wù)，代號是bigInsights核心，用于開始大數(shù)據(jù)分析軟件被稱為bigsheet，軟件目的是幫助從大量數(shù)據(jù)中輕松、簡單、直觀的提取、批注相關(guān)信息為金融，風(fēng)險管理，媒體和娛樂等行業(yè)量身定做的行業(yè)解決方案微軟：2011年1月與惠普（具體而言是HP數(shù)據(jù)庫綜合應(yīng)用部門）合作目標是開發(fā)了一系列能夠提升生產(chǎn)力和提高決策速度的設(shè)備。

EMC：EMC斬獲了紐交所和Nasdaq；大數(shù)據(jù)解決方案已包括40多個產(chǎn)品。Oracle：Oracle大數(shù)據(jù)機與OracleExalogic中間件云服務(wù)器、OracleExadata數(shù)據(jù)庫云服務(wù)器以及OracleExalytics商務(wù)智能云服務(wù)器一起組成了甲骨文最廣泛、高度集成化系統(tǒng)產(chǎn)品組合。行業(yè)拓展者，打造大數(shù)據(jù)行業(yè)基石：大數(shù)據(jù)的應(yīng)用IBM：37政府職能變革重視應(yīng)用大數(shù)據(jù)技術(shù)，盤活各地云計算中心資產(chǎn)：把原來大規(guī)模投資產(chǎn)業(yè)園、物聯(lián)網(wǎng)產(chǎn)業(yè)園從政績工程，改造成智慧工程；在安防領(lǐng)域，應(yīng)用大數(shù)據(jù)技術(shù)，提高應(yīng)急處置能力和安全防范能力；在民生領(lǐng)域，應(yīng)用大數(shù)據(jù)技術(shù)，提升服務(wù)能力和運作效率，以及個性化的服務(wù)，比如醫(yī)療、衛(wèi)生、教育等部門；解決在金融，電信領(lǐng)域等中數(shù)據(jù)分析的問題：一直得到得極大的重視，但受困于存儲能力和計算能力的限制，只局限在交易數(shù)型數(shù)據(jù)的統(tǒng)計分析；政府投入將形成示范效應(yīng)，大大推動大數(shù)據(jù)的發(fā)展。大數(shù)據(jù)的應(yīng)用

——政府政府職能變革大數(shù)據(jù)的應(yīng)用38“智慧大腦”智能感知互聯(lián)互通智能運營協(xié)同共享大數(shù)據(jù)的應(yīng)用——熱點：智慧城市美國奧巴馬政府在白宮網(wǎng)站發(fā)布《大數(shù)據(jù)研究和發(fā)展倡議》，提出“通過收集、處理龐大而復(fù)雜的數(shù)據(jù)信息，從中獲得知識和洞見，提升能力，加快科學(xué)、工程領(lǐng)域的創(chuàng)新步伐，強化美國國土安全，轉(zhuǎn)變教育和學(xué)習(xí)模式”；中國工程院院士鄔賀銓說道，“智慧城市是使用智能計算技術(shù)使得城市的關(guān)鍵基礎(chǔ)設(shè)施的組成和服務(wù)更智能、互聯(lián)和有效，隨著智慧城市的建設(shè)，社會將步入“大數(shù)據(jù)”時代?！彪y點：1、在最初就合理規(guī)劃智慧城市（深度思考哪些領(lǐng)域能夠運用）；2、在城市發(fā)展基礎(chǔ)設(shè)施和“云產(chǎn)業(yè)”的同時，更多重視“數(shù)據(jù)”的價值；3、在大數(shù)據(jù)處理領(lǐng)域的核心技術(shù)不足，需要政府更大的投入?！爸腔鄞竽X”智能感知互聯(lián)互通智能運營協(xié)同共享大數(shù)據(jù)的應(yīng)用美國39大數(shù)據(jù)的應(yīng)用