大數(shù)據(jù)的產(chǎn)業(yè)價值

大數(shù)據(jù)的產(chǎn)業(yè)價值（上）汪東升清華大學(xué)教授當(dāng)前第1頁\共有39頁\編于星期四\22點點擊添加文本點擊添加文本點擊添加文本點擊添加文本目錄123大數(shù)據(jù)及其相關(guān)概念理解大數(shù)據(jù)的產(chǎn)業(yè)價值技術(shù)發(fā)展趨勢、問題與建議大數(shù)據(jù)概念及其特點相關(guān)概念與關(guān)系分析當(dāng)前第2頁\共有39頁\編于星期四\22點一、大數(shù)據(jù)及其相關(guān)概念理解當(dāng)前第3頁\共有39頁\編于星期四\22點（一）大數(shù)據(jù)概念及其特點當(dāng)前第4頁\共有39頁\編于星期四\22點

數(shù)據(jù)爆炸，知識貧乏，難以決策？

數(shù)據(jù)知識決策關(guān)聯(lián)模式趨勢相關(guān)分類市場定位資金分配產(chǎn)品選擇廣告營銷時機選擇位置選擇行業(yè)細(xì)化數(shù)字化多媒體多維度大規(guī)模細(xì)粒度當(dāng)前第5頁\共有39頁\編于星期四\22點1、大數(shù)據(jù)概念的發(fā)展脈絡(luò)200820102011《Nature》推出了BigData專刊；2008首次列入“維基百科”條目；2010.4Science推出?？?，說明大數(shù)據(jù)對于科學(xué)研究的重要性；2011.2“大數(shù)據(jù)是指無法在一定時間內(nèi)用常規(guī)軟件工具對其內(nèi)容進(jìn)行抓取、管理和處理的數(shù)據(jù)集合。”當(dāng)前第6頁\共有39頁\編于星期四\22點20112012麥肯錫全球研究院發(fā)布一份報告——《大數(shù)據(jù)：創(chuàng)新、競爭和生產(chǎn)力的下一個新領(lǐng)域》；2011.5IBM在產(chǎn)品發(fā)布會上主推大數(shù)據(jù)概念；2011.11美國國家科學(xué)基金發(fā)布大數(shù)據(jù)指南，指出大數(shù)據(jù)是海量、多樣、分布的、異構(gòu)的數(shù)據(jù)。2012“大數(shù)據(jù)是指具有以下三個特征的數(shù)據(jù)：大數(shù)據(jù)量、快速增長及多數(shù)據(jù)來源及類型的數(shù)據(jù)。4V特性：大規(guī)模、多樣化、快速增長、潛藏價值。當(dāng)前第7頁\共有39頁\編于星期四\22點2、大數(shù)據(jù)的構(gòu)成當(dāng)前第8頁\共有39頁\編于星期四\22點大數(shù)據(jù)包括交易數(shù)據(jù)和交互數(shù)據(jù)集在內(nèi)的所有數(shù)據(jù)集。大數(shù)據(jù)=海量數(shù)據(jù)+復(fù)雜類型的數(shù)據(jù)海量交易數(shù)據(jù)海量交互數(shù)據(jù)海量數(shù)據(jù)處理當(dāng)前第9頁\共有39頁\編于星期四\22點海量交易數(shù)據(jù)企業(yè)內(nèi)部的經(jīng)營交易信息，主要包括聯(lián)機交易數(shù)據(jù)和聯(lián)機分析數(shù)據(jù)，是結(jié)構(gòu)化的、通過關(guān)系數(shù)據(jù)庫進(jìn)行管理和訪問的靜態(tài)、歷史數(shù)據(jù)。通過這些數(shù)據(jù)，我們能了解過去發(fā)生了什么。當(dāng)前第10頁\共有39頁\編于星期四\22點海量交互數(shù)據(jù)源于Facebook、Twitter及其他來源的社交媒體數(shù)據(jù)構(gòu)成。包括呼叫詳細(xì)記錄CDR、設(shè)備和傳感器信息、GPS和地理定位映射數(shù)據(jù)、通過管理文件傳輸ManageFileTransfer協(xié)議傳送的海量圖像文件、Web文本和點擊流數(shù)據(jù)、科學(xué)信息、電子郵件等等，可以預(yù)測未來。當(dāng)前第11頁\共有39頁\編于星期四\22點海量數(shù)據(jù)處理大數(shù)據(jù)的涌現(xiàn)已經(jīng)催生出了設(shè)計用于數(shù)據(jù)密集型處理的架構(gòu)，例如具有開放源碼、在商品硬件群中運行的ApacheHadoop。當(dāng)前第12頁\共有39頁\編于星期四\22點3、大數(shù)據(jù)的基本概念大數(shù)據(jù)是一種數(shù)據(jù)，具有可擴展性、多樣性、復(fù)雜性的特點，需要一種新的架構(gòu)、新的技術(shù)、新的算法以及新的分析工具去管理這些數(shù)據(jù)，同時從中抽取隱含在內(nèi)的重要信息。（“BigData”isdatawhosescale,diversity,andcomplexityrequirenewarchitecture,techniques,algorithms,andanalyticstomanageitandextractvalueandhiddenknowledgefromit.）當(dāng)前第13頁\共有39頁\編于星期四\22點“大數(shù)據(jù)”是指數(shù)據(jù)海量、計算復(fù)雜的數(shù)據(jù)集合，其在一定時間內(nèi)難以依靠已有數(shù)據(jù)處理技術(shù)來進(jìn)行有效的采集、管理和分析。大數(shù)據(jù)通常滿足以下“4V”特點：規(guī)模巨大產(chǎn)生高速形式多樣信息價值當(dāng)前第14頁\共有39頁\編于星期四\22點4、大數(shù)據(jù)的特點形式多樣（Variety）信息價值（Value）產(chǎn)生高速（Velocity）規(guī)模巨大（Volume）非結(jié)構(gòu)化數(shù)據(jù)的超大規(guī)模，比結(jié)構(gòu)化數(shù)據(jù)增長快10倍到50倍。實時分析而非批量式分析，數(shù)據(jù)輸入、處理與丟棄，立竿見影而非事后見效。異構(gòu)性（文本、圖像、視頻、機器數(shù)據(jù)），模式不明顯，語法語義不連貫。大量的不相關(guān)信息，對未來趨勢與模式的深度復(fù)雜分析。當(dāng)前第15頁\共有39頁\編于星期四\22點規(guī)模巨大互聯(lián)網(wǎng)數(shù)據(jù)2011年全球數(shù)據(jù)產(chǎn)生量達(dá)到1.8ZB，以每本書10MB計算，相當(dāng)于七百萬個中國國家圖書館的容量。醫(yī)療保健數(shù)據(jù)海洋氣象數(shù)據(jù)基因工程美國國立基因組研究所宣布，“千人基因計劃”所產(chǎn)生的數(shù)據(jù)總量已達(dá)到200TB，成為世界上最大的人類基因變異數(shù)據(jù)集。數(shù)據(jù)的度量尺度:1KB=103B1MB=106B1GB=109B1TB=1012B1PB=1015B1EB=1018B1ZB=1021B1YB=1024B當(dāng)前第16頁\共有39頁\編于星期四\22點產(chǎn)生高速電信運營數(shù)據(jù)中國聯(lián)通上網(wǎng)記錄每秒83萬條，每月1萬億條（300TB）。天文數(shù)據(jù)美國大口徑望遠(yuǎn)鏡每兩周對太空觀測一遍，每天產(chǎn)生16TB數(shù)據(jù)，5年總數(shù)據(jù)量將達(dá)到15PB。企業(yè)運行數(shù)據(jù)2000年全球新產(chǎn)生的數(shù)據(jù)量為1000PB到2000PB，到2010年僅僅全球企業(yè)一年新存儲的數(shù)據(jù)量就超過了7000PB。當(dāng)前第17頁\共有39頁\編于星期四\22點形式多樣各種數(shù)據(jù)類型現(xiàn)在的數(shù)據(jù)類型不僅是文本形式，90%是文字、圖片、音頻、視頻、地理位置信息等非結(jié)構(gòu)化數(shù)據(jù)，個性化數(shù)據(jù)占絕對多數(shù)。文字音頻視頻地理信息圖片當(dāng)前第18頁\共有39頁\編于星期四\22點Internet上1分鐘內(nèi)發(fā)生了：639TBIP流量；2億封郵件；70萬Facebook更新；30小時YouTube新增視頻；70萬Google搜索。當(dāng)前第19頁\共有39頁\編于星期四\22點信息價值信息價值以視頻為例，7X24小時的全城監(jiān)控視頻中，可能有用的數(shù)據(jù)僅僅只有一兩秒。可用信息在數(shù)據(jù)總量中的比例低，但其潛在價值巨大。從視頻中發(fā)現(xiàn)犯罪嫌疑人周克華當(dāng)前第20頁\共有39頁\編于星期四\22點2011年-2016年中國大數(shù)據(jù)市場規(guī)模全球未來5年58%的增速，2017年達(dá)到500億美元。中國2013年增速為138%，2016年市場將達(dá)到100億。當(dāng)前第21頁\共有39頁\編于星期四\22點當(dāng)前第22頁\共有39頁\編于星期四\22點（二）相關(guān)概念與關(guān)系分析當(dāng)前第23頁\共有39頁\編于星期四\22點出租車——云廣告MH370當(dāng)前第24頁\共有39頁\編于星期四\22點維基百科定義：云計算是一種基于互聯(lián)網(wǎng)的計算方式，通過這種方式，共享的軟硬件資源和信息可以按需提供給計算機和其他設(shè)備。我們認(rèn)為：云計算是指服務(wù)的交付和使用模式，用戶通過網(wǎng)絡(luò)以按需、易擴展的方式獲得所需的服務(wù)。當(dāng)前第25頁\共有39頁\編于星期四\22點云計算海計算框計算風(fēng)計算。。。神計算？不是概念不是操作不是口號不是超級計算不是網(wǎng)格計算是新的創(chuàng)新模式是新的商業(yè)模式是新的運營模式是成本、效用、應(yīng)用至上是大眾參與的舞臺是不是當(dāng)前第26頁\共有39頁\編于星期四\22點網(wǎng)絡(luò)虛擬化27數(shù)據(jù)中心虛擬化（vDC)云計算虛擬化資源數(shù)據(jù)中心物理資源存儲虛擬化計算虛擬化當(dāng)前第27頁\共有39頁\編于星期四\22點《中國家庭金融調(diào)查報告》中國的住房自有率是89.68%；世界平均住房自有率是60%；瑞士是31%,緊隨其后的是瑞典和德國；住房自有率最高是亞美尼亞,在1998年時高達(dá)96.3%。當(dāng)前第28頁\共有39頁\編于星期四\22點住房自有率水平高的國家,幾乎都是經(jīng)濟水平發(fā)展比較低的轉(zhuǎn)軌國家,而住房自有率低的國家則大多為經(jīng)濟發(fā)達(dá)的國家。發(fā)達(dá)國家人口流動性強,為了減少住房買賣的麻煩,很多人寧愿租房住而不是買房。相反,落后國家人口流動性較差,擁有自有住房的家庭,反而更可能居住在自己擁有的住房中。當(dāng)前第29頁\共有39頁\編于星期四\22點北京北五環(huán)買房：120平方米——600萬投資理財：5%-10%利率（30-60萬）租房：租金1萬/月房子質(zhì)量好無須物業(yè)費、維修維護、折舊、可能的房產(chǎn)稅…當(dāng)前第30頁\共有39頁\編于星期四\22點住賓館（30-60萬）：未必每天都??；彈性，按需；客房服務(wù)、衛(wèi)生、餐飲；拎包入住。云計算之PaaS、SaaS。當(dāng)前第31頁\共有39頁\編于星期四\22點點擊添加文本點擊添加文本點擊添加文本點擊添加文本云計算的基礎(chǔ)設(shè)施、安全設(shè)施非常完備。安全是把雙刃劍放在云里面的數(shù)據(jù)，對云的管理而言又是不安全的。當(dāng)前第32頁\共有39頁\編于星期四\22點虛擬化安全去重-壓縮可靠保密綠色節(jié)能數(shù)據(jù)保護云計算的關(guān)鍵技術(shù)當(dāng)前第33頁\共有39頁\編于星期四\22點云計算面臨的安全問題關(guān)鍵技術(shù)視角使用者視角虛擬化技術(shù)帶來全新安全威脅數(shù)據(jù)集中存儲引發(fā)的安全問題云服務(wù)的管理和調(diào)度產(chǎn)生的安全問題傳統(tǒng)安全威脅的新特點隱私保護和數(shù)據(jù)安全運行環(huán)境的安全內(nèi)容安全云計算的安全問題當(dāng)前第34頁\共有39頁\編于星期四\22點當(dāng)前第35頁\共有39頁\編于星期四\22點重設(shè)施，輕應(yīng)用；行業(yè)、地域特色要求云計算發(fā)展模式的差異化；花錢買服務(wù)和服務(wù)意識有待加強；安全隱私是大問題，安全意識、技術(shù)和立法方面有所欠缺；云計算個性化和標(biāo)準(zhǔn)化矛盾。當(dāng)前第36頁\共有39頁\編于星期四\22點智慧城市帶動行業(yè)云發(fā)展智慧城市需要數(shù)據(jù)融合

智慧城市要求物聯(lián)網(wǎng)和云計算的結(jié)合：云計算是物聯(lián)網(wǎng)的基礎(chǔ)，物聯(lián)網(wǎng)是