大數(shù)據(jù)的產(chǎn)業(yè)價(jià)值

大數(shù)據(jù)的產(chǎn)業(yè)價(jià)值（上）汪東升清華大學(xué)教授當(dāng)前1頁(yè)，總共39頁(yè)。點(diǎn)擊添加文本點(diǎn)擊添加文本點(diǎn)擊添加文本點(diǎn)擊添加文本目錄123大數(shù)據(jù)及其相關(guān)概念理解大數(shù)據(jù)的產(chǎn)業(yè)價(jià)值技術(shù)發(fā)展趨勢(shì)、問(wèn)題與建議大數(shù)據(jù)概念及其特點(diǎn)相關(guān)概念與關(guān)系分析當(dāng)前2頁(yè)，總共39頁(yè)。一、大數(shù)據(jù)及其相關(guān)概念理解當(dāng)前3頁(yè)，總共39頁(yè)。（一）大數(shù)據(jù)概念及其特點(diǎn)當(dāng)前4頁(yè)，總共39頁(yè)。

數(shù)據(jù)爆炸，知識(shí)貧乏，難以決策？

數(shù)據(jù)知識(shí)決策關(guān)聯(lián)模式趨勢(shì)相關(guān)分類(lèi)市場(chǎng)定位資金分配產(chǎn)品選擇廣告營(yíng)銷(xiāo)時(shí)機(jī)選擇位置選擇行業(yè)細(xì)化數(shù)字化多媒體多維度大規(guī)模細(xì)粒度當(dāng)前5頁(yè)，總共39頁(yè)。1、大數(shù)據(jù)概念的發(fā)展脈絡(luò)200820102011《Nature》推出了BigData專(zhuān)刊；2008首次列入“維基百科”條目；2010.4Science推出專(zhuān)刊，說(shuō)明大數(shù)據(jù)對(duì)于科學(xué)研究的重要性；2011.2“大數(shù)據(jù)是指無(wú)法在一定時(shí)間內(nèi)用常規(guī)軟件工具對(duì)其內(nèi)容進(jìn)行抓取、管理和處理的數(shù)據(jù)集合。”當(dāng)前6頁(yè)，總共39頁(yè)。20112012麥肯錫全球研究院發(fā)布一份報(bào)告——《大數(shù)據(jù)：創(chuàng)新、競(jìng)爭(zhēng)和生產(chǎn)力的下一個(gè)新領(lǐng)域》；2011.5IBM在產(chǎn)品發(fā)布會(huì)上主推大數(shù)據(jù)概念；2011.11美國(guó)國(guó)家科學(xué)基金發(fā)布大數(shù)據(jù)指南，指出大數(shù)據(jù)是海量、多樣、分布的、異構(gòu)的數(shù)據(jù)。2012“大數(shù)據(jù)是指具有以下三個(gè)特征的數(shù)據(jù)：大數(shù)據(jù)量、快速增長(zhǎng)及多數(shù)據(jù)來(lái)源及類(lèi)型的數(shù)據(jù)。4V特性：大規(guī)模、多樣化、快速增長(zhǎng)、潛藏價(jià)值。當(dāng)前7頁(yè)，總共39頁(yè)。2、大數(shù)據(jù)的構(gòu)成當(dāng)前8頁(yè)，總共39頁(yè)。大數(shù)據(jù)包括交易數(shù)據(jù)和交互數(shù)據(jù)集在內(nèi)的所有數(shù)據(jù)集。大數(shù)據(jù)=海量數(shù)據(jù)+復(fù)雜類(lèi)型的數(shù)據(jù)海量交易數(shù)據(jù)海量交互數(shù)據(jù)海量數(shù)據(jù)處理當(dāng)前9頁(yè)，總共39頁(yè)。海量交易數(shù)據(jù)企業(yè)內(nèi)部的經(jīng)營(yíng)交易信息，主要包括聯(lián)機(jī)交易數(shù)據(jù)和聯(lián)機(jī)分析數(shù)據(jù)，是結(jié)構(gòu)化的、通過(guò)關(guān)系數(shù)據(jù)庫(kù)進(jìn)行管理和訪問(wèn)的靜態(tài)、歷史數(shù)據(jù)。通過(guò)這些數(shù)據(jù)，我們能了解過(guò)去發(fā)生了什么。當(dāng)前10頁(yè)，總共39頁(yè)。海量交互數(shù)據(jù)源于Facebook、Twitter及其他來(lái)源的社交媒體數(shù)據(jù)構(gòu)成。包括呼叫詳細(xì)記錄CDR、設(shè)備和傳感器信息、GPS和地理定位映射數(shù)據(jù)、通過(guò)管理文件傳輸ManageFileTransfer協(xié)議傳送的海量圖像文件、Web文本和點(diǎn)擊流數(shù)據(jù)、科學(xué)信息、電子郵件等等，可以預(yù)測(cè)未來(lái)。當(dāng)前11頁(yè)，總共39頁(yè)。海量數(shù)據(jù)處理大數(shù)據(jù)的涌現(xiàn)已經(jīng)催生出了設(shè)計(jì)用于數(shù)據(jù)密集型處理的架構(gòu)，例如具有開(kāi)放源碼、在商品硬件群中運(yùn)行的ApacheHadoop。當(dāng)前12頁(yè)，總共39頁(yè)。3、大數(shù)據(jù)的基本概念大數(shù)據(jù)是一種數(shù)據(jù)，具有可擴(kuò)展性、多樣性、復(fù)雜性的特點(diǎn)，需要一種新的架構(gòu)、新的技術(shù)、新的算法以及新的分析工具去管理這些數(shù)據(jù)，同時(shí)從中抽取隱含在內(nèi)的重要信息。（“BigData”isdatawhosescale,diversity,andcomplexityrequirenewarchitecture,techniques,algorithms,andanalyticstomanageitandextractvalueandhiddenknowledgefromit.）當(dāng)前13頁(yè)，總共39頁(yè)?！按髷?shù)據(jù)”是指數(shù)據(jù)海量、計(jì)算復(fù)雜的數(shù)據(jù)集合，其在一定時(shí)間內(nèi)難以依靠已有數(shù)據(jù)處理技術(shù)來(lái)進(jìn)行有效的采集、管理和分析。大數(shù)據(jù)通常滿(mǎn)足以下“4V”特點(diǎn)：規(guī)模巨大產(chǎn)生高速形式多樣信息價(jià)值當(dāng)前14頁(yè)，總共39頁(yè)。4、大數(shù)據(jù)的特點(diǎn)形式多樣（Variety）信息價(jià)值（Value）產(chǎn)生高速（Velocity）規(guī)模巨大（Volume）非結(jié)構(gòu)化數(shù)據(jù)的超大規(guī)模，比結(jié)構(gòu)化數(shù)據(jù)增長(zhǎng)快10倍到50倍。實(shí)時(shí)分析而非批量式分析，數(shù)據(jù)輸入、處理與丟棄，立竿見(jiàn)影而非事后見(jiàn)效。異構(gòu)性（文本、圖像、視頻、機(jī)器數(shù)據(jù)），模式不明顯，語(yǔ)法語(yǔ)義不連貫。大量的不相關(guān)信息，對(duì)未來(lái)趨勢(shì)與模式的深度復(fù)雜分析。當(dāng)前15頁(yè)，總共39頁(yè)。規(guī)模巨大互聯(lián)網(wǎng)數(shù)據(jù)2011年全球數(shù)據(jù)產(chǎn)生量達(dá)到1.8ZB，以每本書(shū)10MB計(jì)算，相當(dāng)于七百萬(wàn)個(gè)中國(guó)國(guó)家圖書(shū)館的容量。醫(yī)療保健數(shù)據(jù)海洋氣象數(shù)據(jù)基因工程美國(guó)國(guó)立基因組研究所宣布，“千人基因計(jì)劃”所產(chǎn)生的數(shù)據(jù)總量已達(dá)到200TB，成為世界上最大的人類(lèi)基因變異數(shù)據(jù)集。數(shù)據(jù)的度量尺度:1KB=103B1MB=106B1GB=109B1TB=1012B1PB=1015B1EB=1018B1ZB=1021B1YB=1024B當(dāng)前16頁(yè)，總共39頁(yè)。產(chǎn)生高速電信運(yùn)營(yíng)數(shù)據(jù)中國(guó)聯(lián)通上網(wǎng)記錄每秒83萬(wàn)條，每月1萬(wàn)億條（300TB）。天文數(shù)據(jù)美國(guó)大口徑望遠(yuǎn)鏡每?jī)芍軐?duì)太空觀測(cè)一遍，每天產(chǎn)生16TB數(shù)據(jù)，5年總數(shù)據(jù)量將達(dá)到15PB。企業(yè)運(yùn)行數(shù)據(jù)2000年全球新產(chǎn)生的數(shù)據(jù)量為1000PB到2000PB，到2010年僅僅全球企業(yè)一年新存儲(chǔ)的數(shù)據(jù)量就超過(guò)了7000PB。當(dāng)前17頁(yè)，總共39頁(yè)。形式多樣各種數(shù)據(jù)類(lèi)型現(xiàn)在的數(shù)據(jù)類(lèi)型不僅是文本形式，90%是文字、圖片、音頻、視頻、地理位置信息等非結(jié)構(gòu)化數(shù)據(jù)，個(gè)性化數(shù)據(jù)占絕對(duì)多數(shù)。文字音頻視頻地理信息圖片當(dāng)前18頁(yè)，總共39頁(yè)。Internet上1分鐘內(nèi)發(fā)生了：639TBIP流量；2億封郵件；70萬(wàn)Facebook更新；30小時(shí)YouTube新增視頻；70萬(wàn)Google搜索。當(dāng)前19頁(yè)，總共39頁(yè)。信息價(jià)值信息價(jià)值以視頻為例，7X24小時(shí)的全城監(jiān)控視頻中，可能有用的數(shù)據(jù)僅僅只有一兩秒?？捎眯畔⒃跀?shù)據(jù)總量中的比例低，但其潛在價(jià)值巨大。從視頻中發(fā)現(xiàn)犯罪嫌疑人周克華當(dāng)前20頁(yè)，總共39頁(yè)。2011年-2016年中國(guó)大數(shù)據(jù)市場(chǎng)規(guī)模全球未來(lái)5年58%的增速，2017年達(dá)到500億美元。中國(guó)2013年增速為138%，2016年市場(chǎng)將達(dá)到100億。當(dāng)前21頁(yè)，總共39頁(yè)。當(dāng)前22頁(yè)，總共39頁(yè)。（二）相關(guān)概念與關(guān)系分析當(dāng)前23頁(yè)，總共39頁(yè)。出租車(chē)——云廣告MH370當(dāng)前24頁(yè)，總共39頁(yè)。維基百科定義：云計(jì)算是一種基于互聯(lián)網(wǎng)的計(jì)算方式，通過(guò)這種方式，共享的軟硬件資源和信息可以按需提供給計(jì)算機(jī)和其他設(shè)備。我們認(rèn)為：云計(jì)算是指服務(wù)的交付和使用模式，用戶(hù)通過(guò)網(wǎng)絡(luò)以按需、易擴(kuò)展的方式獲得所需的服務(wù)。當(dāng)前25頁(yè)，總共39頁(yè)。云計(jì)算海計(jì)算框計(jì)算風(fēng)計(jì)算。。。神計(jì)算？不是概念不是操作不是口號(hào)不是超級(jí)計(jì)算不是網(wǎng)格計(jì)算是新的創(chuàng)新模式是新的商業(yè)模式是新的運(yùn)營(yíng)模式是成本、效用、應(yīng)用至上是大眾參與的舞臺(tái)是不是當(dāng)前26頁(yè)，總共39頁(yè)。網(wǎng)絡(luò)虛擬化27數(shù)據(jù)中心虛擬化（vDC)云計(jì)算虛擬化資源數(shù)據(jù)中心物理資源存儲(chǔ)虛擬化計(jì)算虛擬化當(dāng)前27頁(yè)，總共39頁(yè)?！吨袊?guó)家庭金融調(diào)查報(bào)告》中國(guó)的住房自有率是89.68%；世界平均住房自有率是60%；瑞士是31%,緊隨其后的是瑞典和德國(guó)；住房自有率最高是亞美尼亞,在1998年時(shí)高達(dá)96.3%。當(dāng)前28頁(yè)，總共39頁(yè)。住房自有率水平高的國(guó)家,幾乎都是經(jīng)濟(jì)水平發(fā)展比較低的轉(zhuǎn)軌國(guó)家,而住房自有率低的國(guó)家則大多為經(jīng)濟(jì)發(fā)達(dá)的國(guó)家。發(fā)達(dá)國(guó)家人口流動(dòng)性強(qiáng),為了減少住房買(mǎi)賣(mài)的麻煩,很多人寧愿租房住而不是買(mǎi)房。相反,落后國(guó)家人口流動(dòng)性較差,擁有自有住房的家庭,反而更可能居住在自己擁有的住房中。當(dāng)前29頁(yè)，總共39頁(yè)。北京北五環(huán)買(mǎi)房：120平方米——600萬(wàn)投資理財(cái)：5%-10%利率（30-60萬(wàn)）租房：租金1萬(wàn)/月房子質(zhì)量好無(wú)須物業(yè)費(fèi)、維修維護(hù)、折舊、可能的房產(chǎn)稅…當(dāng)前30頁(yè)，總共39頁(yè)。住賓館（30-60萬(wàn)）：未必每天都??；彈性，按需；客房服務(wù)、衛(wèi)生、餐飲；拎包入住。云計(jì)算之PaaS、SaaS。當(dāng)前31頁(yè)，總共39頁(yè)。點(diǎn)擊添加文本點(diǎn)擊添加文本點(diǎn)擊添加文本點(diǎn)擊添加文本云計(jì)算的基礎(chǔ)設(shè)施、安全設(shè)施非常完備。安全是把雙刃劍放在云里面的數(shù)據(jù)，對(duì)云的管理而言又是不安全的。當(dāng)前32頁(yè)，總共39頁(yè)。虛擬化安全去重-壓縮可靠保密綠色節(jié)能數(shù)據(jù)保護(hù)云計(jì)算的關(guān)鍵技術(shù)當(dāng)前33頁(yè)，總共39頁(yè)。云計(jì)算面臨的安全問(wèn)題關(guān)鍵技術(shù)視角使用者視角虛擬化技術(shù)帶來(lái)全新安全威脅數(shù)據(jù)集中存儲(chǔ)引發(fā)的安全問(wèn)題云服務(wù)的管理和調(diào)度產(chǎn)生的安全問(wèn)題傳統(tǒng)安全威脅的新特點(diǎn)隱私保護(hù)和數(shù)據(jù)安全運(yùn)行環(huán)境的安全內(nèi)容安全云計(jì)算的安全問(wèn)題當(dāng)前34頁(yè)，總共39頁(yè)。當(dāng)前35頁(yè)，總共39頁(yè)。重設(shè)施，輕應(yīng)用；行業(yè)、地域特色要求云計(jì)算發(fā)展模式的差異化；花錢(qián)買(mǎi)服務(wù)和服務(wù)意識(shí)有待加強(qiáng)；安全隱私是大問(wèn)題，安全意識(shí)、技術(shù)和立法方面有所欠缺；云計(jì)算個(gè)性化和標(biāo)準(zhǔn)化矛盾。當(dāng)前36頁(yè)，總共39頁(yè)。智慧城市帶動(dòng)行業(yè)云發(fā)展智慧城市需要數(shù)據(jù)融合

智慧城市要求物聯(lián)網(wǎng)和云計(jì)算的結(jié)合：云計(jì)算是