大數(shù)據(jù)的產(chǎn)業(yè)價值 課件

大數(shù)據(jù)的產(chǎn)業(yè)價值（下）大數(shù)據(jù)的產(chǎn)業(yè)價值（下）點擊添加文本點擊添加文本點擊添加文本點擊添加文本目錄123大數(shù)據(jù)及其相關(guān)概念理解大數(shù)據(jù)的產(chǎn)業(yè)價值技術(shù)發(fā)展趨勢、問題與建議點擊添加文本點擊添加文本點擊添加文本點擊添加文本目錄12二、大數(shù)據(jù)的產(chǎn)業(yè)價值二、大數(shù)據(jù)的產(chǎn)業(yè)價值ONETWO20世紀，瑞士心理學家榮格發(fā)現(xiàn)了《易經(jīng)》筮法中蘊涵的一種不同于因果原理的普遍聯(lián)系法則，這同大數(shù)據(jù)技術(shù)的復雜相關(guān)性有著相似的地方。2012年3月，奧巴馬政府宣布投資2億美元啟動“大數(shù)據(jù)研究和發(fā)展計劃”，并且定義為“未來的新石油”，希望增強政府收集、分析和萃取海量數(shù)據(jù)的能力。ONETWO20世紀，瑞士心理學家榮格發(fā)現(xiàn)了《易經(jīng)》筮法中蘊2012年瑞士達沃斯論壇上發(fā)布《大數(shù)據(jù)大影響》報告，稱數(shù)據(jù)已成為一種新的經(jīng)濟資產(chǎn)類別，就像貨幣或黃金一樣，許多國家政府更是把大數(shù)據(jù)上升到戰(zhàn)略層面。2015年，國務院辦公廳發(fā)布《關(guān)于運用大數(shù)據(jù)加強對市場主體服務和監(jiān)管的若干意見》（國辦發(fā)〔2015〕51號）。2012年瑞士達沃斯論壇上發(fā)布《大數(shù)據(jù)大影響》報告，稱數(shù)據(jù)已IDC公司發(fā)布的數(shù)字宇宙研究報告稱:全球信息總量每兩年就會增長一倍,2011年全球被創(chuàng)建和被復制的數(shù)據(jù)總量為1.8ZB。IDC認為,到下一個十年(2020年),全球所有IT部門擁有服務器的總量將會比現(xiàn)在多出10倍,所管理的數(shù)據(jù)將會比現(xiàn)在多出50倍。預計到2020年,全球?qū)⒖偣矒碛?5ZB的數(shù)據(jù)量。IDC公司發(fā)布的數(shù)字宇宙研究報告稱:全球信息總量每兩年就會增2011年企業(yè)創(chuàng)造、采集、管理和儲存信息的成本下降到2005年的1/6,而同期企業(yè)關(guān)于數(shù)據(jù)的總投資自2005年以來卻反而上升了50%。數(shù)據(jù)成本的下降助推了數(shù)據(jù)量的增長,而新的數(shù)據(jù)源和數(shù)據(jù)采集技術(shù)的出現(xiàn)則大大增加了未來數(shù)據(jù)的類型,數(shù)據(jù)類型的增加導致現(xiàn)有數(shù)據(jù)空間維度增加,增加了未來大數(shù)據(jù)的復雜度。2011年企業(yè)創(chuàng)造、采集、管理和儲存信息的成本下降到2005VolumePB+數(shù)據(jù)處理實時數(shù)據(jù)流數(shù)據(jù)非再現(xiàn)數(shù)據(jù)TBPBEB結(jié)構(gòu)化非結(jié)構(gòu)化半結(jié)構(gòu)化價值Velocity實時處理Value海量數(shù)據(jù)挖掘Variety多數(shù)據(jù)類型交叉分析Volume實時數(shù)據(jù)TB結(jié)構(gòu)化價值VelocityValue大數(shù)據(jù)分析技術(shù)是對大數(shù)據(jù)的產(chǎn)生、存儲、挖掘和展現(xiàn)的全生命周期進行綜合分析處理的過程?？茖W家通過大數(shù)據(jù)分析,可以發(fā)現(xiàn)隱藏于其中的有價值的信息和知識。大數(shù)據(jù)分析技術(shù)是對大數(shù)據(jù)的產(chǎn)生、存儲、挖掘和展現(xiàn)的全生命周期FBI和警察局依賴于龐大的數(shù)據(jù)基礎(chǔ)，包括媒體對馬拉松賽報道的大量圖片、視頻，以及來自互聯(lián)網(wǎng)用戶上傳的大量現(xiàn)場圖像和視頻，快速定位嫌疑人。2013年4月15日下午2時50分，科普里廣場有兩枚炸彈分別于終點線附近觀眾區(qū)及一家體育用品店先后被引爆。美國波士頓于4月15日舉行第117屆波士頓馬拉松大賽，現(xiàn)場大量觀眾、記者等通過手機、相機等設(shè)備拍照，產(chǎn)生了大量的視頻、圖片數(shù)據(jù)。FBI和警察局依賴于龐大的數(shù)據(jù)基礎(chǔ)，包括媒體對馬拉松賽報道的Google基于搜索數(shù)據(jù)和歷史信息，預測流行性感冒的爆發(fā)與強烈等級。2009成功預測美國甲型H1N1爆發(fā)；2013年1月準確判定美國的流感活動等級為“強烈”。2003年美國華盛頓大學人工智能負責人開發(fā)了Farecast系統(tǒng)并成立公司，通過2000億條數(shù)據(jù)記錄幫助預測美國國內(nèi)航班的票價。系統(tǒng)預測準確度達到75%以上，平均每張機票節(jié)省50美元。Google基于搜索數(shù)據(jù)和歷史信息，預測流行性感冒的爆發(fā)與強2012年1月23日英國兩名游客飛往美國，出發(fā)前在社交網(wǎng)站推特上發(fā)布：“提前八卦一下，這周過后，我要前往美國摧毀它。”美國國土安全部通過情報分析技術(shù)發(fā)現(xiàn)其言論，將其列為潛在威脅，懷疑他策劃到美國實施犯罪。這兩人帶著手提箱到達洛杉磯國際機場，持槍警衛(wèi)立即將他們逮捕并沒收了他們的護照。2012年1月23日英國兩名游客飛往美國，出發(fā)前在社交網(wǎng)站推微軟專家DavidRothschild通過大數(shù)據(jù)分析，對第85屆奧斯卡各獎項的歸屬進行成功預測。除最佳導演外，其它各項獎預測全部命中。微軟專家DavidRothschild通過大數(shù)據(jù)分析，對第尿布&啤酒—沃爾瑪智能交通---交通蝴蝶效應谷歌提前預測電影票房收入麥肯錫強調(diào)大數(shù)據(jù)對零售商的影響美國總統(tǒng)預測尿布&啤酒—沃爾瑪智能交通---交通蝴蝶效應谷歌提前預測電幾千年前：基于觀察和經(jīng)驗，描述自然現(xiàn)象。幾百年前：基于理論和模型，解釋自然現(xiàn)象。幾十年前：基于計算技術(shù)，模擬復雜現(xiàn)象。當今：基于大數(shù)據(jù)分析，統(tǒng)一理論、實驗和模擬。大數(shù)據(jù)分析—科學研究的第四范式幾千年前：基于觀察和經(jīng)驗，描述自然現(xiàn)象。幾百年前：基于理論和信息社會全面進入大數(shù)據(jù)時代發(fā)布數(shù)據(jù)用戶產(chǎn)生數(shù)據(jù)Web1.0250,000網(wǎng)站W(wǎng)eb2.0發(fā)布數(shù)據(jù)用戶產(chǎn)生數(shù)據(jù)CyberspaceAnyPersonAnyWhereAnyTime5年的信息量增加10倍!全球每天通過Internet網(wǎng)絡傳輸?shù)碾娮余]件多達2100億封。Facebook每月新增10億照片和1000萬個視頻。騰訊公司注冊用戶超過7億，同時在線人數(shù)超過1億。某微博網(wǎng)站4億多節(jié)點,12億次用戶訪問，2TB每天用戶訪問日志。信息社會全面進入大數(shù)據(jù)時代發(fā)布數(shù)據(jù)用戶產(chǎn)生數(shù)據(jù)Web1.0大數(shù)據(jù)的全方位興起基于SQL語言:

面對OLAP的傳統(tǒng)行和列。不基于SQL或map-reduce的:

由谷歌率先發(fā)起。數(shù)據(jù)流:

基于運行商數(shù)據(jù)直接生成任意圖形。新平臺技術(shù)數(shù)據(jù)入口/匯聚數(shù)據(jù)平臺分析不同范圍的服務傳統(tǒng)交付模式

-

單片或基于設(shè)備的解決方案。云:

能夠充分利用物理設(shè)施的彈性，以實現(xiàn)處理快速增長數(shù)據(jù)的能力?！皵?shù)據(jù)庫將演變成一個虛擬的，基于云計算，超級可擴展的分布式平臺?！?ForresteranalystJimKobielus新的傳輸方案大數(shù)據(jù)的全方位興起基于SQL語言:面對OLAP的傳統(tǒng)行和列18*18*美國17個經(jīng)濟部門中的15個部門，員工超過1000人的企業(yè)存儲了平均235太字節(jié)的數(shù)據(jù)，超出了美國國會圖書館的藏書。當下正是中國大數(shù)據(jù)市場元年，2013年大數(shù)據(jù)市場增速為138.3%，到2016年整個市場規(guī)模逼近百億。美國17個經(jīng)濟部門中的15個部門，員工超過1000人的企大數(shù)據(jù)時代來臨美國政府已經(jīng)把“大數(shù)據(jù)”上升到了國家戰(zhàn)略的層面。2012年3月29日，奧巴馬政府宣布投資2億美元啟動大數(shù)據(jù)研究和發(fā)展計劃。華爾街日報將大數(shù)據(jù)、智能制造和無線網(wǎng)絡稱作是當代三大技術(shù)變革?！渡虡I(yè)價值》雜志將大數(shù)據(jù)比作未來世界的新石油。大數(shù)據(jù)時代來臨美國政府已經(jīng)把“大數(shù)據(jù)”上升到了國家戰(zhàn)略的層面大數(shù)據(jù)的產(chǎn)業(yè)價值課件大數(shù)據(jù)的商業(yè)價值挖掘方法大數(shù)據(jù)的商業(yè)價值挖掘方法大數(shù)據(jù)在7個行業(yè)的價值預估大數(shù)據(jù)在7個行業(yè)的價值預估大數(shù)據(jù)價值發(fā)掘大數(shù)據(jù)價值發(fā)掘分析技術(shù)處理技術(shù)存儲技術(shù)解決方案數(shù)據(jù)處理：自然語言處理技術(shù)統(tǒng)計和分析：top排行榜；地域占比；文本情感分析數(shù)據(jù)挖掘：關(guān)聯(lián)規(guī)則分析；分類；聚類模型預測：預測模型；機器學習；建模仿真數(shù)據(jù)采集：ETL工具數(shù)據(jù)存取：關(guān)系數(shù)據(jù)庫；NoSQL；SQL等基礎(chǔ)架構(gòu)支持：云存儲；分布式文件系統(tǒng)計算結(jié)果展現(xiàn)：云計算；標簽云；關(guān)系圖結(jié)構(gòu)化數(shù)據(jù)：海量數(shù)據(jù)的查詢、統(tǒng)計、更新等操作效率低非結(jié)構(gòu)化數(shù)據(jù)：圖片、視頻、word、pdf、ppt等文件存儲，不利于檢索、查詢和存儲半結(jié)構(gòu)化數(shù)據(jù)：轉(zhuǎn)換為結(jié)構(gòu)化存儲或按照非結(jié)構(gòu)化存儲Hadoop、MapReduce流計算內(nèi)存計算分布式與高性能計算分析技術(shù)處理技術(shù)存儲技術(shù)解決方案數(shù)據(jù)處理：自然語言處理技術(shù)數(shù)大數(shù)據(jù)的產(chǎn)業(yè)價值課件三、技術(shù)發(fā)展趨勢、問題及建議三、技術(shù)發(fā)展趨勢、問題及建議（一）大數(shù)據(jù)的發(fā)展趨勢（一）大數(shù)據(jù)的發(fā)展趨勢Gartner2012年技術(shù)成熟度曲線Cloud

ComputingBigdataIoTGartner2012年技術(shù)成熟度曲線CloudCompuGartner2013年技術(shù)成熟度曲線Cloud

ComputingBigdataIoTGartner2013年技術(shù)成熟度曲線CloudCompuGartner2014年技術(shù)成熟度曲線BigdataIoTCloud

ComputingGartner2014年技術(shù)成熟度曲線BigdataIoTCIoT機器學習自動駕駛汽車Gartner2015年技術(shù)成熟度曲線IoT機器學習自動駕駛汽車Gartner2015年技術(shù)成熟度2-5年內(nèi)成為主流：市民數(shù)據(jù)科學（CitizenDataScience）；混合云計算（HybridCloudComputing）；機器學習(MachineLearning)。5-10內(nèi)成為主流：自動駕駛汽車、物聯(lián)網(wǎng)、物聯(lián)網(wǎng)平臺；信息安全、3D打印器官移植、智能咨詢；虛擬個人助手、軟件定義安全以及小的數(shù)據(jù)中心等。2-5年內(nèi)成為主流：市民數(shù)據(jù)科學（CitizenDataONETWO大數(shù)據(jù)打破了企業(yè)傳統(tǒng)數(shù)據(jù)的邊界，改變了過去商業(yè)智能僅僅依靠企業(yè)內(nèi)部業(yè)務數(shù)據(jù)的局面，而大數(shù)據(jù)則使數(shù)據(jù)來源更加多樣化，不僅包括企業(yè)內(nèi)部數(shù)據(jù)，也包括企業(yè)外部數(shù)據(jù)，尤其是和消費者相關(guān)的數(shù)據(jù)。大數(shù)據(jù)應用已經(jīng)凸顯出了巨大的商業(yè)價值，觸角已延伸到各行各業(yè)。未來大數(shù)據(jù)還將徹底改變?nèi)祟惖乃伎寄Ｊ?、生活習慣和商業(yè)法則，將引發(fā)社會發(fā)展的深刻變革，同時也是未來最重要的國家戰(zhàn)略之一。ONETWO大數(shù)據(jù)打破了企業(yè)傳統(tǒng)數(shù)據(jù)的邊界，改變了過去商業(yè)智（二）大數(shù)據(jù)存在的問題我國缺乏核心技術(shù)，能否實現(xiàn)彎道超車有待努力；人才缺口非常大，缺乏統(tǒng)計學人才和數(shù)據(jù)挖掘人才；信息資源保護意識的缺失造成極大的安全隱患；大數(shù)據(jù)利用的不開放性會帶來新的壟斷和社會資源浪費；大數(shù)據(jù)時代的個人隱私難以得到保護。（二）大數(shù)據(jù)存在的問題我國缺乏核心技術(shù)，能否實現(xiàn)彎道超車有待大數(shù)據(jù)的產(chǎn)業(yè)價值課件Volume容量大要求數(shù)據(jù)的高效管理、存儲和壓縮；VelocityVariety組合運用結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)尋找問題的答案；Varacity基本數(shù)據(jù)是準確、可靠、值得信賴的，并且具有一致性。1s界限；數(shù)據(jù)的高效組織管理；Volume容量大要求數(shù)據(jù)的高效管理、存儲和壓縮；Veloc大數(shù)據(jù)不再強調(diào)“大”；大數(shù)據(jù)是機會，但不是終極解決方案，要結(jié)合云計算；非結(jié)構(gòu)化數(shù)據(jù)占比不斷增大，但對結(jié)構(gòu)化大數(shù)據(jù)的分析處理更重要；組合運用結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)尋找問題答案，是成功進行預測的基礎(chǔ)；大數(shù)據(jù)強調(diào)關(guān)聯(lián)的同時，永遠不會忽略因果；相比數(shù)據(jù)抓取和存儲，數(shù)據(jù)的管理更重要；架構(gòu)上，存儲和IO依然是主要問題。大數(shù)據(jù)不再強調(diào)“大”；大數(shù)據(jù)是機會，但不是終極解決方案，要結(jié)（三）大數(shù)據(jù)發(fā)展的建議統(tǒng)籌物聯(lián)網(wǎng)、云計算以及智慧城市以及大數(shù)據(jù)建設(shè)，避免各立山頭；自然科學研究、環(huán)境保護、生物醫(yī)藥研究、教育以及國家安全等領(lǐng)域才是大數(shù)據(jù)技術(shù)突破的重點；在扶持大數(shù)據(jù)在電商企業(yè)應用的同時，更要大力支持大數(shù)據(jù)在基礎(chǔ)科學研究、國防以及若干關(guān)鍵領(lǐng)域的應用研究；大數(shù)據(jù)的應用和推廣，技術(shù)是關(guān)鍵，人才是保障。（三）大數(shù)據(jù)發(fā)展的建議統(tǒng)籌物聯(lián)網(wǎng)、云計算以及智慧城市以及大數(shù)你以為我懂，我以為你懂，可能誰也不懂，卻都在不懂裝懂；你說我忽悠，我說你忽悠，不知誰在忽悠，不忽悠白不忽悠；能搞的人拿不到錢，拿到錢的人不再真心搞，沒錢沒權(quán)確實難搞；企業(yè)在談，政府在談，專家教授也在談，談笑間風起云涌，但愿不再空談。你以為我懂，我以為你懂，可能誰也不懂，卻都在不懂裝懂；演講完畢，謝謝觀看！演講完畢，謝謝觀看！大數(shù)據(jù)的產(chǎn)業(yè)價值（下）大數(shù)據(jù)的產(chǎn)業(yè)價值（下）點擊添加文本點擊添加文本點擊添加文本點擊添加文本目錄123大數(shù)據(jù)及其相關(guān)概念理解大數(shù)據(jù)的產(chǎn)業(yè)價值技術(shù)發(fā)展趨勢、問題與建議點擊添加文本點擊添加文本點擊添加文本點擊添加文本目錄12二、大數(shù)據(jù)的產(chǎn)業(yè)價值二、大數(shù)據(jù)的產(chǎn)業(yè)價值ONETWO20世紀，瑞士心理學家榮格發(fā)現(xiàn)了《易經(jīng)》筮法中蘊涵的一種不同于因果原理的普遍聯(lián)系法則，這同大數(shù)據(jù)技術(shù)的復雜相關(guān)性有著相似的地方。2012年3月，奧巴馬政府宣布投資2億美元啟動“大數(shù)據(jù)研究和發(fā)展計劃”，并且定義為“未來的新石油”，希望增強政府收集、分析和萃取海量數(shù)據(jù)的能力。ONETWO20世紀，瑞士心理學家榮格發(fā)現(xiàn)了《易經(jīng)》筮法中蘊2012年瑞士達沃斯論壇上發(fā)布《大數(shù)據(jù)大影響》報告，稱數(shù)據(jù)已成為一種新的經(jīng)濟資產(chǎn)類別，就像貨幣或黃金一樣，許多國家政府更是把大數(shù)據(jù)上升到戰(zhàn)略層面。2015年，國務院辦公廳發(fā)布《關(guān)于運用大數(shù)據(jù)加強對市場主體服務和監(jiān)管的若干意見》（國辦發(fā)〔2015〕51號）。2012年瑞士達沃斯論壇上發(fā)布《大數(shù)據(jù)大影響》報告，稱數(shù)據(jù)已IDC公司發(fā)布的數(shù)字宇宙研究報告稱:全球信息總量每兩年就會增長一倍,2011年全球被創(chuàng)建和被復制的數(shù)據(jù)總量為1.8ZB。IDC認為,到下一個十年(2020年),全球所有IT部門擁有服務器的總量將會比現(xiàn)在多出10倍,所管理的數(shù)據(jù)將會比現(xiàn)在多出50倍。預計到2020年,全球?qū)⒖偣矒碛?5ZB的數(shù)據(jù)量。IDC公司發(fā)布的數(shù)字宇宙研究報告稱:全球信息總量每兩年就會增2011年企業(yè)創(chuàng)造、采集、管理和儲存信息的成本下降到2005年的1/6,而同期企業(yè)關(guān)于數(shù)據(jù)的總投資自2005年以來卻反而上升了50%。數(shù)據(jù)成本的下降助推了數(shù)據(jù)量的增長,而新的數(shù)據(jù)源和數(shù)據(jù)采集技術(shù)的出現(xiàn)則大大增加了未來數(shù)據(jù)的類型,數(shù)據(jù)類型的增加導致現(xiàn)有數(shù)據(jù)空間維度增加,增加了未來大數(shù)據(jù)的復雜度。2011年企業(yè)創(chuàng)造、采集、管理和儲存信息的成本下降到2005VolumePB+數(shù)據(jù)處理實時數(shù)據(jù)流數(shù)據(jù)非再現(xiàn)數(shù)據(jù)TBPBEB結(jié)構(gòu)化非結(jié)構(gòu)化半結(jié)構(gòu)化價值Velocity實時處理Value海量數(shù)據(jù)挖掘Variety多數(shù)據(jù)類型交叉分析Volume實時數(shù)據(jù)TB結(jié)構(gòu)化價值VelocityValue大數(shù)據(jù)分析技術(shù)是對大數(shù)據(jù)的產(chǎn)生、存儲、挖掘和展現(xiàn)的全生命周期進行綜合分析處理的過程?？茖W家通過大數(shù)據(jù)分析,可以發(fā)現(xiàn)隱藏于其中的有價值的信息和知識。大數(shù)據(jù)分析技術(shù)是對大數(shù)據(jù)的產(chǎn)生、存儲、挖掘和展現(xiàn)的全生命周期FBI和警察局依賴于龐大的數(shù)據(jù)基礎(chǔ)，包括媒體對馬拉松賽報道的大量圖片、視頻，以及來自互聯(lián)網(wǎng)用戶上傳的大量現(xiàn)場圖像和視頻，快速定位嫌疑人。2013年4月15日下午2時50分，科普里廣場有兩枚炸彈分別于終點線附近觀眾區(qū)及一家體育用品店先后被引爆。美國波士頓于4月15日舉行第117屆波士頓馬拉松大賽，現(xiàn)場大量觀眾、記者等通過手機、相機等設(shè)備拍照，產(chǎn)生了大量的視頻、圖片數(shù)據(jù)。FBI和警察局依賴于龐大的數(shù)據(jù)基礎(chǔ)，包括媒體對馬拉松賽報道的Google基于搜索數(shù)據(jù)和歷史信息，預測流行性感冒的爆發(fā)與強烈等級。2009成功預測美國甲型H1N1爆發(fā)；2013年1月準確判定美國的流感活動等級為“強烈”。2003年美國華盛頓大學人工智能負責人開發(fā)了Farecast系統(tǒng)并成立公司，通過2000億條數(shù)據(jù)記錄幫助預測美國國內(nèi)航班的票價。系統(tǒng)預測準確度達到75%以上，平均每張機票節(jié)省50美元。Google基于搜索數(shù)據(jù)和歷史信息，預測流行性感冒的爆發(fā)與強2012年1月23日英國兩名游客飛往美國，出發(fā)前在社交網(wǎng)站推特上發(fā)布：“提前八卦一下，這周過后，我要前往美國摧毀它?！泵绹鴩涟踩客ㄟ^情報分析技術(shù)發(fā)現(xiàn)其言論，將其列為潛在威脅，懷疑他策劃到美國實施犯罪。這兩人帶著手提箱到達洛杉磯國際機場，持槍警衛(wèi)立即將他們逮捕并沒收了他們的護照。2012年1月23日英國兩名游客飛往美國，出發(fā)前在社交網(wǎng)站推微軟專家DavidRothschild通過大數(shù)據(jù)分析，對第85屆奧斯卡各獎項的歸屬進行成功預測。除最佳導演外，其它各項獎預測全部命中。微軟專家DavidRothschild通過大數(shù)據(jù)分析，對第尿布&啤酒—沃爾瑪智能交通---交通蝴蝶效應谷歌提前預測電影票房收入麥肯錫強調(diào)大數(shù)據(jù)對零售商的影響美國總統(tǒng)預測尿布&啤酒—沃爾瑪智能交通---交通蝴蝶效應谷歌提前預測電幾千年前：基于觀察和經(jīng)驗，描述自然現(xiàn)象。幾百年前：基于理論和模型，解釋自然現(xiàn)象。幾十年前：基于計算技術(shù)，模擬復雜現(xiàn)象。當今：基于大數(shù)據(jù)分析，統(tǒng)一理論、實驗和模擬。大數(shù)據(jù)分析—科學研究的第四范式幾千年前：基于觀察和經(jīng)驗，描述自然現(xiàn)象。幾百年前：基于理論和信息社會全面進入大數(shù)據(jù)時代發(fā)布數(shù)據(jù)用戶產(chǎn)生數(shù)據(jù)Web1.0250,000網(wǎng)站W(wǎng)eb2.0發(fā)布數(shù)據(jù)用戶產(chǎn)生數(shù)據(jù)CyberspaceAnyPersonAnyWhereAnyTime5年的信息量增加10倍!全球每天通過Internet網(wǎng)絡傳輸?shù)碾娮余]件多達2100億封。Facebook每月新增10億照片和1000萬個視頻。騰訊公司注冊用戶超過7億，同時在線人數(shù)超過1億。某微博網(wǎng)站4億多節(jié)點,12億次用戶訪問，2TB每天用戶訪問日志。信息社會全面進入大數(shù)據(jù)時代發(fā)布數(shù)據(jù)用戶產(chǎn)生數(shù)據(jù)Web1.0大數(shù)據(jù)的全方位興起基于SQL語言:

面對OLAP的傳統(tǒng)行和列。不基于SQL或map-reduce的:

由谷歌率先發(fā)起。數(shù)據(jù)流:

基于運行商數(shù)據(jù)直接生成任意圖形。新平臺技術(shù)數(shù)據(jù)入口/匯聚數(shù)據(jù)平臺分析不同范圍的服務傳統(tǒng)交付模式

-

單片或基于設(shè)備的解決方案。云:

能夠充分利用物理設(shè)施的彈性，以實現(xiàn)處理快速增長數(shù)據(jù)的能力?！皵?shù)據(jù)庫將演變成一個虛擬的，基于云計算，超級可擴展的分布式平臺?！?ForresteranalystJimKobielus新的傳輸方案大數(shù)據(jù)的全方位興起基于SQL語言:面對OLAP的傳統(tǒng)行和列59*18*美國17個經(jīng)濟部門中的15個部門，員工超過1000人的企業(yè)存儲了平均235太字節(jié)的數(shù)據(jù)，超出了美國國會圖書館的藏書。當下正是中國大數(shù)據(jù)市場元年，2013年大數(shù)據(jù)市場增速為138.3%，到2016年整個市場規(guī)模逼近百億。美國17個經(jīng)濟部門中的15個部門，員工超過1000人的企大數(shù)據(jù)時代來臨美國政府已經(jīng)把“大數(shù)據(jù)”上升到了國家戰(zhàn)略的層面。2012年3月29日，奧巴馬政府宣布投資2億美元啟動大數(shù)據(jù)研究和發(fā)展計劃。華爾街日報將大數(shù)據(jù)、智能制造和無線網(wǎng)絡稱作是當代三大技術(shù)變革?！渡虡I(yè)價值》雜志將大數(shù)據(jù)比作未來世界的新石油。大數(shù)據(jù)時代來臨美國政府已經(jīng)把“大數(shù)據(jù)”上升到了國家戰(zhàn)略的層面大數(shù)據(jù)的產(chǎn)業(yè)價值課件大數(shù)據(jù)的商業(yè)價值挖掘方法大數(shù)據(jù)的商業(yè)價值挖掘方法大數(shù)據(jù)在7個行業(yè)的價值預估大數(shù)據(jù)在7個行業(yè)的價值預估大數(shù)據(jù)價值發(fā)掘大數(shù)據(jù)價值發(fā)掘分析技術(shù)處理技術(shù)存儲技術(shù)解決方案數(shù)據(jù)處理：自然語言處理技術(shù)統(tǒng)計和分析：top排行榜；地域占比；文本情感分析數(shù)據(jù)挖掘：關(guān)聯(lián)規(guī)則分析；分類；聚類模型預測：預測模型；機器學習；建模仿真數(shù)據(jù)采集：ETL工具數(shù)據(jù)存?。宏P(guān)系數(shù)據(jù)庫；NoSQL；SQL等基礎(chǔ)架構(gòu)支持：云存儲；分布式文件系統(tǒng)計算結(jié)果展現(xiàn)：云計算；標簽云；關(guān)系圖結(jié)構(gòu)化數(shù)據(jù)：海量數(shù)據(jù)的查詢、統(tǒng)計、更新等操作效率低非結(jié)構(gòu)化數(shù)據(jù)：圖片、視頻、word、pdf、ppt等文件存儲，不利于檢索、查詢和存儲半結(jié)構(gòu)化數(shù)據(jù)：轉(zhuǎn)換為結(jié)構(gòu)化存儲或按照非結(jié)構(gòu)化存儲Hadoop、MapReduce流計算內(nèi)存計算分布式與高性能計算分析技術(shù)處理技術(shù)存儲技術(shù)解決方案數(shù)據(jù)處理：自然語言處理技術(shù)數(shù)大數(shù)據(jù)的產(chǎn)業(yè)價值課件三、技術(shù)發(fā)展趨勢、問題及建議三、技術(shù)發(fā)展趨勢、問題及建議（一）大數(shù)據(jù)的發(fā)展趨勢（一）大數(shù)據(jù)的發(fā)展趨勢Gartner2012年技術(shù)成熟度曲線Cloud

ComputingBigdataIoTGartner2012年技術(shù)成熟度曲線CloudCompuGartner2013年技術(shù)成熟度曲線Cloud

ComputingBigdataIoTGartner2013年技術(shù)成熟度曲線CloudCompuGartner2014年技術(shù)成熟度曲線BigdataIoTCloud

ComputingGartner2014年技術(shù)成熟度曲線BigdataIoTCIoT機器學習自動駕駛汽車Gartner2015年技術(shù)成熟度曲線IoT機器學習自動駕駛汽車Gartner2015年技術(shù)成熟度2-5年內(nèi)成為主流：市民數(shù)據(jù)科學（CitizenDataScience）；混合云計算（HybridCloudComputing）；機器學習(MachineLearning)。5-10內(nèi)成為主流：自動駕駛汽車、物聯(lián)網(wǎng)、物聯(lián)網(wǎng)平臺；信息安全、3D打印器官移植、智能咨詢；虛擬個人助手、軟件定義安全以及小的數(shù)據(jù)中心等。2-5年內(nèi)成為主流：市民數(shù)據(jù)科學（CitizenDataONETWO大數(shù)據(jù)打破了企業(yè)傳統(tǒng)數(shù)據(jù)的邊界，改變了過去商業(yè)智能僅僅依靠企業(yè)內(nèi)部業(yè)務數(shù)據(jù)的局面，而大數(shù)據(jù)則使數(shù)據(jù)來