大數(shù)據(jù)發(fā)展概況及行業(yè)解決方案-課件

大數(shù)據(jù)發(fā)展概況及行業(yè)解決方案

分享大數(shù)據(jù)發(fā)展概況及行業(yè)解決方案

分享1目錄1理解大數(shù)據(jù)2大數(shù)據(jù)業(yè)界解決方案及典型應(yīng)用概覽目錄1理解大數(shù)據(jù)2大數(shù)據(jù)業(yè)界解決方案及典型應(yīng)用概覽2精品資料精品資料3你怎么稱呼老師？如果老師最后沒有總結(jié)一節(jié)課的重點的難點，你是否會認為老師的教學方法需要改進？你所經(jīng)歷的課堂，是講座式還是討論式？教師的教鞭“不怕太陽曬，也不怕那風雨狂，只怕先生罵我笨，沒有學問無顏見爹娘……”“太陽當空照，花兒對我笑，小鳥說早早早……”大數(shù)據(jù)發(fā)展概況及行業(yè)解決方案-ppt課件4移動互聯(lián)時代，數(shù)據(jù)爆發(fā)性增長在60秒內(nèi)，YouTube會上傳48小時的視頻；Google會收到2000000次搜索請求；Facebook的用戶會分享684478條信息；目前世界上90%以上的數(shù)據(jù)是最近3年才產(chǎn)生的；2009年0.8Z，每年將增長50%，每兩年便將翻一番，而預測全球的數(shù)據(jù)使用量到2020年會增長44倍，達到35.2ZB(1ZB=10億TB)；數(shù)字宇宙移動互聯(lián)時代，數(shù)據(jù)爆發(fā)性增長在60秒內(nèi)，YouTube會上傳5大數(shù)據(jù)的主要來源較少：傳統(tǒng)IT，企業(yè)業(yè)務(wù)系統(tǒng)，門戶網(wǎng)站；15%；較多：社交網(wǎng)絡(luò)興起，大量的UGC(用戶自生成內(nèi)容)內(nèi)容、音頻、文本信息、視頻、圖片，非結(jié)構(gòu)化數(shù)據(jù)出現(xiàn)了；最多：物聯(lián)網(wǎng)的數(shù)據(jù)量更大，加上移動互聯(lián)網(wǎng)能更準確、更快地收集用戶信息，比如環(huán)境、位置、生活信息等數(shù)據(jù)；并處于急劇加速的趨勢；231大數(shù)據(jù)的主要來源較少：傳統(tǒng)IT，企業(yè)業(yè)務(wù)系統(tǒng)，門戶網(wǎng)站；156什么是大數(shù)據(jù)Wiki百科：大數(shù)據(jù)（BigData）是指那些超過傳統(tǒng)技術(shù)處理能力的數(shù)據(jù)。它的數(shù)據(jù)規(guī)模和轉(zhuǎn)輸速度要求很高，或者其結(jié)構(gòu)不適合原本技術(shù)存取、處理。IDC：大數(shù)據(jù)，通常是指解決問題的一種方法，即通過收集、整理生活中方方面面的數(shù)據(jù)，并對其進行分析挖掘，進而從中獲得有價值信息，最終衍化出一種新的商業(yè)模式。實體角度廣泛意義什么是大數(shù)據(jù)Wiki百科：大數(shù)據(jù)（BigData）是指那些7大數(shù)據(jù)的主要特征：4V多樣化高速化精確化海量化大數(shù)據(jù)的主要特征：4V多樣化高速化精確化海量化8Volume：大數(shù)據(jù)體量巨大每天25TB日志數(shù)據(jù)每天上傳168TB視頻每天9500萬條8201120122015全球數(shù)據(jù)存儲量（ZB）2.71.81086420數(shù)量也許是與大數(shù)據(jù)最相關(guān)的特征；從TB級別，躍升到PB、ZB級別；前所未有的規(guī)模和加速趨勢；Volume：大數(shù)據(jù)體量巨大每天25TB每天上傳每天95009Variety：大數(shù)據(jù)的多樣性數(shù)據(jù)形式的多樣結(jié)構(gòu)化數(shù)據(jù)，數(shù)據(jù)間有很強的因果關(guān)系；半結(jié)構(gòu)化數(shù)據(jù)，數(shù)據(jù)間因果關(guān)系較弱；非結(jié)構(gòu)化數(shù)據(jù)，數(shù)據(jù)間無因果關(guān)系；數(shù)據(jù)來源的多樣性不同的應(yīng)用系統(tǒng)各種設(shè)備互聯(lián)網(wǎng)其它Variety：大數(shù)據(jù)的多樣性數(shù)據(jù)形式的多樣數(shù)據(jù)來源的多10Velocity：大數(shù)據(jù)處理速度要求越來越高大數(shù)據(jù)與海量數(shù)據(jù)的一個重要區(qū)別，在于不僅數(shù)據(jù)尺寸大，而且對數(shù)據(jù)處理的響應(yīng)速度有著更高的要求；處理速度快，1秒定律；傳統(tǒng)的以周，天，小時為單位的運算處理周期，下降到以分鐘，秒為單位；大數(shù)據(jù)高價值的重要體現(xiàn)-處理速度；信用卡欺詐檢測：通過分析每個客戶的歷史用卡行為，使用欺詐檢測模型實時來檢測每一筆交易是否異常。案例Velocity：大數(shù)據(jù)處理速度要求越來越高大數(shù)據(jù)與海量數(shù)據(jù)11Veracity：精確化，大數(shù)據(jù)低價值密度的高精確要求數(shù)據(jù)不確定性。例如人的感情，天氣形勢，經(jīng)濟因素，環(huán)境信息等。價值密度低。以視頻為例，連續(xù)不間斷監(jiān)控過程中，可能有用的數(shù)據(jù)僅僅有一兩秒。精確性是大數(shù)據(jù)最重要的特性，體現(xiàn)價值；客觀的數(shù)據(jù)體毫無意義；精確是對大數(shù)據(jù)方法的要求和挑戰(zhàn)，Veracity：精確化，大數(shù)據(jù)低價值密度的高精確要求數(shù)據(jù)不12第5V，大數(shù)據(jù)的價值大數(shù)據(jù)的核心，第5V：Value；eBay精準在線營銷Ebay有1.8億個活躍用戶，有3.5億左右的商品被銷售，每天會產(chǎn)生2.5億次搜索，擁有的原始數(shù)據(jù)是10PB；用戶行為模式+用戶基本信息，更精準的定位客戶，感知客戶購物需求，促成在線交易率；新浪微博+淘寶；QQ；美國海嘯預警日本大地震發(fā)生后僅9分鐘，美國國家海洋和大氣管理局（NOAA）就發(fā)布了詳細的海嘯預警，制作的海嘯影響模型出現(xiàn)在YouTube等網(wǎng)站；NOAA的快速反應(yīng)基于其全球范圍內(nèi)龐大的海洋傳感器網(wǎng)絡(luò)，獲取全球范圍的海洋信息，并對獲得的實時數(shù)據(jù)進行計算機模擬。NOAA的數(shù)據(jù)中心存儲著超過20Pb的數(shù)據(jù)，是美國政府最大的數(shù)據(jù)庫之一。數(shù)據(jù)進行專業(yè)化處理，并與已知的現(xiàn)實相融合，洞察運營，促進和創(chuàng)新；數(shù)字石油；數(shù)據(jù)回報率=數(shù)據(jù)價值/數(shù)據(jù)成本；全球大數(shù)據(jù)市場規(guī)模從今年的148.7億美元增長到2018年的463.4億美元。我們在信息的海洋里淹死了，卻在知識的海洋里渴死了。第5V，大數(shù)據(jù)的價值大數(shù)據(jù)的核心，第5V：Value；eBa13大數(shù)據(jù)帶來的主要挑戰(zhàn)和機遇數(shù)據(jù)存儲；處理能力；實時響應(yīng)；業(yè)務(wù)價值；傳統(tǒng)的IT架構(gòu)和技術(shù)已經(jīng)不能適應(yīng)大數(shù)據(jù)的處理需求；大數(shù)據(jù)帶來的主要挑戰(zhàn)和機遇數(shù)據(jù)存儲；傳統(tǒng)的IT架構(gòu)和技術(shù)已經(jīng)14大數(shù)據(jù)的發(fā)展歷程EMC、惠普、IBM、微軟在內(nèi)的全球IT巨頭紛紛布局大數(shù)據(jù)；今年最大的收購案都與大數(shù)據(jù)相關(guān)：Oracle對Sun、惠普對Autonomy;狀態(tài)：大數(shù)據(jù)相當于2010年左右的云計算：概念火熱，摸索實踐，落地較少；大數(shù)據(jù)的發(fā)展歷程EMC、惠普、IBM、微軟在內(nèi)的全球IT巨頭15大數(shù)據(jù)的市場前景12011年-2016年中國大數(shù)據(jù)市場規(guī)模22014年各行業(yè)大數(shù)據(jù)市場規(guī)模計世資訊預測，2014年政府、互聯(lián)網(wǎng)、電信、金融的大數(shù)據(jù)市場規(guī)模較大，四個行業(yè)將占據(jù)一半市場份額。公共服務(wù)（環(huán)保、交通）；移動互聯(lián)電子商務(wù)；由于各個行業(yè)都存在大數(shù)據(jù)應(yīng)用需求，潛在市場空間非?？捎^。計世資訊認為，2011年是中國大數(shù)據(jù)市場元年，一些大數(shù)據(jù)產(chǎn)品已經(jīng)推出，部分行業(yè)也有大數(shù)據(jù)應(yīng)用案例的產(chǎn)生。2012年-2016年，將迎來大數(shù)據(jù)市場的飛速發(fā)展。計世資訊預測，2012年中國大數(shù)據(jù)市場規(guī)模將達到4.7億元，2013年大數(shù)據(jù)市場將迎來增速為138.3%的飛躍，到2016年，整個市場規(guī)模逼近百億。十二五規(guī)劃落地，4G；大數(shù)據(jù)的市場前景12011年-2016年中國大數(shù)據(jù)市場規(guī)模216大數(shù)據(jù)與傳統(tǒng)經(jīng)分（BI）結(jié)構(gòu)化數(shù)據(jù)數(shù)據(jù)規(guī)模一般為TB規(guī)模集中式為了分析進行大量數(shù)據(jù)移動，數(shù)據(jù)向計算靠近樣例抽樣，批處理為主結(jié)構(gòu)化/非結(jié)構(gòu)化混合分析的能力數(shù)據(jù)規(guī)模從數(shù)十TB到PB級別分布式，計算向數(shù)據(jù)靠近全量，支持流式分析實時性要求高，1秒定律；具有最深的血緣關(guān)系大數(shù)據(jù)與傳統(tǒng)經(jīng)分（BI）結(jié)構(gòu)化數(shù)據(jù)結(jié)構(gòu)化/非結(jié)構(gòu)化混合分析的17大數(shù)據(jù)與云計算當今最火的兩個概念，互相融合；云計算使大數(shù)據(jù)成為可能，大數(shù)據(jù)靠云計算技術(shù)實施和落地；大數(shù)據(jù)在于對海量數(shù)據(jù)的挖掘和處理，傳統(tǒng)技術(shù)無法支撐，它必須依托云計算的分布式處理、分布式數(shù)據(jù)庫、云存儲和/或虛擬化技術(shù)；大數(shù)據(jù)比云計算更宜落地；商業(yè)模式驅(qū)動vs應(yīng)用需求驅(qū)動大數(shù)據(jù)與云計算是天作之合大數(shù)據(jù)與云計算當今最火的兩個概念，互相融合；大數(shù)據(jù)與云計算是18目錄1理解大數(shù)據(jù)2大數(shù)據(jù)業(yè)界解決方案及典型應(yīng)用概覽大數(shù)據(jù)的企業(yè)實踐方法大數(shù)據(jù)的行業(yè)趨勢熱點大數(shù)據(jù)的業(yè)界解決方案大數(shù)據(jù)的典型應(yīng)用案例目錄1理解大數(shù)據(jù)2大數(shù)據(jù)業(yè)界解決方案及典型應(yīng)用概覽大數(shù)據(jù)19企業(yè)大數(shù)據(jù)應(yīng)用的四重奏企業(yè)大數(shù)據(jù)應(yīng)用的四重奏20企業(yè)大數(shù)據(jù)實踐的演進路線認識和學習探索和規(guī)劃落地和實踐執(zhí)行和推廣內(nèi)容建立知識庫；意識和知識培養(yǎng)和積累；從技術(shù)和業(yè)務(wù)價值等角度；個人、單元進行知識收集，而非正式的組織注重知識積累與市場觀察；相關(guān)技術(shù)的實驗性應(yīng)用；企業(yè)大數(shù)據(jù)戰(zhàn)略藍圖：數(shù)據(jù)角色，技術(shù)方向，投資回報；企業(yè)大數(shù)據(jù)演進路線：基于業(yè)務(wù)需求，分步驟優(yōu)先級處理數(shù)據(jù)，部門，業(yè)務(wù)域；在有限范圍內(nèi)，落地大數(shù)據(jù)項目；驗證技術(shù)、戰(zhàn)略和業(yè)務(wù)方向；人力、技能、經(jīng)驗積累；形成企業(yè)級標準規(guī)范；擴大范圍，大規(guī)模使用大數(shù)據(jù)應(yīng)用；大數(shù)據(jù)常態(tài)化，重點聚焦業(yè)務(wù)運營和創(chuàng)新；提升、優(yōu)化數(shù)據(jù)分析能力；企業(yè)大數(shù)據(jù)實踐的演進路線認識和學習探索和規(guī)劃落地和實踐執(zhí)行和21企業(yè)大數(shù)據(jù)實踐的演進路線認識和學習探索和規(guī)劃落地和實踐執(zhí)行和推廣高管對大數(shù)據(jù)的支持無高管首席信息官業(yè)務(wù)高管（相關(guān)）首席執(zhí)行官負責業(yè)務(wù)線的高管初期技術(shù)推動，隨著范圍擴大和效果顯現(xiàn)，業(yè)務(wù)高管逐步重視，并最終發(fā)揮更關(guān)鍵的業(yè)務(wù)核心作用，實現(xiàn)業(yè)務(wù)主導的價值最大化。企業(yè)大數(shù)據(jù)實踐的演進路線認識和學習探索和規(guī)劃落地和實踐執(zhí)行和22企業(yè)大數(shù)據(jù)實踐的演進路線認識和學習探索和規(guī)劃落地和實踐執(zhí)行和推廣所需的數(shù)據(jù)時效性一星期內(nèi)24小時內(nèi)同一個工作日內(nèi)實時傳送隨著大數(shù)據(jù)應(yīng)用的深入，縮短數(shù)據(jù)時延，提高數(shù)據(jù)時效性。數(shù)據(jù)不再僅僅是輔助支持決策的東西；而是在制訂該決策時的一個業(yè)務(wù)關(guān)鍵要素。企業(yè)大數(shù)據(jù)實踐的演進路線認識和學習探索和規(guī)劃落地和實踐執(zhí)行和23企業(yè)大數(shù)據(jù)實踐的演進路線認識和學習探索和規(guī)劃落地和實踐執(zhí)行和推廣主要障礙制定有吸引力的業(yè)務(wù)投資回報分析報告了解如何使用大數(shù)據(jù)管理與資源支持技術(shù)能力資源支持到能力提升；制訂有吸引力的業(yè)務(wù)投資回報分析報告的能力，貫穿始終；數(shù)據(jù)質(zhì)量分析能力企業(yè)大數(shù)據(jù)實踐的演進路線認識和學習探索和規(guī)劃落地和實踐執(zhí)行和24企業(yè)大數(shù)據(jù)分析的能力構(gòu)成傳統(tǒng)經(jīng)分+數(shù)據(jù)擁有+處理分析能力+業(yè)務(wù)融合企業(yè)大數(shù)據(jù)分析的能力構(gòu)成傳統(tǒng)經(jīng)分+數(shù)據(jù)擁有+25目錄1理解大數(shù)據(jù)2大數(shù)據(jù)業(yè)界解決方案及典型應(yīng)用概覽大數(shù)據(jù)的企業(yè)實踐方法大數(shù)據(jù)的行業(yè)趨勢熱點大數(shù)據(jù)的業(yè)界解決方案大數(shù)據(jù)的典型應(yīng)用案例目錄1理解大數(shù)據(jù)2大數(shù)據(jù)業(yè)界解決方案及典型應(yīng)用概覽大數(shù)據(jù)26大數(shù)據(jù)的關(guān)鍵技術(shù)大數(shù)據(jù)的關(guān)鍵技術(shù)27大數(shù)據(jù)的重點行業(yè)及應(yīng)用21互聯(lián)網(wǎng)行業(yè)大數(shù)據(jù)主要應(yīng)用在社交和網(wǎng)購方面結(jié)合位置數(shù)據(jù)、消費數(shù)據(jù)進行實時營銷信息推送是電信行業(yè)大數(shù)據(jù)應(yīng)用主要場景3金融行業(yè)大數(shù)據(jù)應(yīng)用場景主要集中在投資方面4制造行業(yè)具有多環(huán)節(jié)、多地域特色，各個環(huán)節(jié)的優(yōu)化是制造行業(yè)最關(guān)注的大數(shù)據(jù)應(yīng)用場景永無止境大數(shù)據(jù)的重點行業(yè)及應(yīng)用21互聯(lián)網(wǎng)行業(yè)大數(shù)據(jù)主要應(yīng)用在社交和網(wǎng)28大數(shù)據(jù)的價值熱點趨勢根據(jù)IDC和麥肯錫的大數(shù)據(jù)研究結(jié)果的總結(jié)，大數(shù)據(jù)主要能在以下4個方面挖掘出巨大的商業(yè)價值：對整個顧客群體細分，然后對每個群體量體裁衣般的采取獨特的行動；運用大數(shù)據(jù)模擬實境，發(fā)掘新的需求和提高投入的回報率；提高大數(shù)據(jù)成果在各相關(guān)部門的分享程度，提高整個管理鏈條和產(chǎn)業(yè)鏈條的投入回報率；進行商業(yè)模式、產(chǎn)品和服務(wù)的創(chuàng)新。綜合來看，未來幾年大數(shù)據(jù)在商業(yè)智能、公共服務(wù)和市場營銷三個領(lǐng)域的應(yīng)用非常值得看好，大多數(shù)大數(shù)據(jù)案例和預算將發(fā)生在這三個領(lǐng)域。從單純關(guān)注技術(shù)“T”轉(zhuǎn)為更加關(guān)注信息“I”，讓數(shù)據(jù)產(chǎn)生價值大數(shù)據(jù)的價值熱點趨勢根據(jù)IDC和麥肯錫的大數(shù)據(jù)研究結(jié)果的總結(jié)29目錄1理解大數(shù)據(jù)2大數(shù)據(jù)業(yè)界解決方案及典型應(yīng)用概覽大數(shù)據(jù)的企業(yè)實踐方法大數(shù)據(jù)的行業(yè)趨勢熱點大數(shù)據(jù)的業(yè)界解決方案大數(shù)據(jù)的典型應(yīng)用案例目錄1理解大數(shù)據(jù)2大數(shù)據(jù)業(yè)界解決方案及典型應(yīng)用概覽大數(shù)據(jù)30四類大數(shù)據(jù)處理平臺；數(shù)據(jù)分析平臺：提供高效存儲和快速列存儲式數(shù)據(jù)庫，能為客戶分析處理PB級的數(shù)據(jù)，例如HPVertica。數(shù)據(jù)操作平臺:企業(yè)級的NOSQL數(shù)據(jù)庫,Couchbase和MarkLogic等。IaaS：分布式云計算平臺，主要產(chǎn)品有Amazon,Infochimps等；結(jié)構(gòu)化數(shù)據(jù)庫：結(jié)構(gòu)化數(shù)據(jù)庫產(chǎn)品，Oracle,MicrosoftSQLServer,MySQL,PostgreSQL,memsql,Sybase,IBMDB2等；圍繞大數(shù)據(jù)的生態(tài)產(chǎn)業(yè)鏈數(shù)據(jù)應(yīng)用層數(shù)據(jù)處理層基礎(chǔ)支撐層基礎(chǔ)支撐技術(shù)，包括Hadoop,MapReduce,Hbase,Cassandra,Mahout等分布式大數(shù)據(jù)支撐平臺；分析和可視化應(yīng)用；商業(yè)智能；DaaS；國內(nèi)、國外的分布；廣告/媒體應(yīng)用；日志數(shù)據(jù)應(yīng)用；垂直應(yīng)用；四類大數(shù)據(jù)處理平臺；圍繞大數(shù)據(jù)的生態(tài)產(chǎn)業(yè)鏈數(shù)據(jù)應(yīng)用層數(shù)據(jù)處理31大數(shù)據(jù)的方案供應(yīng)商角色綜合方案供應(yīng)商專業(yè)廠商互聯(lián)網(wǎng)廠商電信運營商綜合解決方案供應(yīng)商：IBM、HP、EMC、Microsoft等IT巨頭，提供端到端產(chǎn)品和解決方案；面向應(yīng)用分析的專業(yè)廠商：vertica、splunk、cloudera，引跑科技，華夏威科，以提供軟件和服務(wù)為主；國內(nèi)廠商大多據(jù)此；互聯(lián)網(wǎng)廠商：大數(shù)據(jù)的擁有者，服務(wù)者，收益者，領(lǐng)跑者；阿里、騰訊、百度等；電信運營商：互聯(lián)網(wǎng)化轉(zhuǎn)型；大數(shù)據(jù)的方案供應(yīng)商角色綜合方案供應(yīng)商專業(yè)廠商互聯(lián)網(wǎng)廠商電信運32阿里大數(shù)據(jù)戰(zhàn)略架構(gòu)馬云對阿里集團未來“平臺、金融、數(shù)據(jù)”的三大構(gòu)想戰(zhàn)略；阿里集團目前擁有的大數(shù)據(jù)達到30P，其中1P等于100萬GB；阿里是大數(shù)據(jù)的擁有者，數(shù)據(jù)服務(wù)的提供者、收益者；自用+他用；現(xiàn)在的數(shù)據(jù)開放應(yīng)該是以TOP平臺為主面向電商平臺客戶開放，比如數(shù)據(jù)魔方的開放。打造開放的生態(tài)系統(tǒng)：近期謹慎開放；互聯(lián)網(wǎng)廠商是大數(shù)據(jù)戰(zhàn)略實踐的領(lǐng)跑者阿里大數(shù)據(jù)戰(zhàn)略架構(gòu)馬云對阿里集團未來“平臺、金融、數(shù)據(jù)”的三33引跑科技EngineOne大數(shù)據(jù)處理平臺云數(shù)據(jù)庫云搜索引擎云內(nèi)容管理結(jié)構(gòu)化數(shù)據(jù)海量數(shù)據(jù)搜索非結(jié)構(gòu)化數(shù)據(jù)...云操作系統(tǒng)EngineOne：

一站式、彈性的、高性價比的大數(shù)據(jù)處理平臺引跑科技EngineOne大數(shù)據(jù)處理平臺云數(shù)據(jù)庫云搜索引擎34引跑科技EngineOne大數(shù)據(jù)處理平臺云計算的核心：云數(shù)據(jù)庫、云內(nèi)容管理、云搜索引擎引跑科技EngineOne大數(shù)據(jù)處理平臺云計算的核心：云數(shù)35目錄1理解大數(shù)據(jù)2大數(shù)據(jù)業(yè)界解決方案及典型應(yīng)用概覽大數(shù)據(jù)的企業(yè)實踐方法大數(shù)據(jù)的行業(yè)趨勢熱點大數(shù)據(jù)的業(yè)界解決方案大數(shù)據(jù)的典型應(yīng)用案例目錄1理解大數(shù)據(jù)2大數(shù)據(jù)業(yè)界解決方案及典型應(yīng)用概覽大數(shù)據(jù)36案例：阿里數(shù)據(jù)魔方案例：阿里數(shù)據(jù)魔方37阿里數(shù)據(jù)魔方數(shù)據(jù)魔方淘寶官方數(shù)據(jù)產(chǎn)品分享海量行業(yè)數(shù)據(jù)致力幫助商家實現(xiàn)數(shù)據(jù)化運營用數(shù)