云計(jì)算和大數(shù)據(jù)概覽課件

云計(jì)算和大數(shù)據(jù)概覽2017年11月14日

云計(jì)算和大數(shù)據(jù)概覽2017年11月141大數(shù)據(jù)智能時(shí)代已經(jīng)到來(lái)大數(shù)據(jù)智能時(shí)代已經(jīng)到來(lái)2我們來(lái)到大數(shù)據(jù)時(shí)代數(shù)據(jù)極簡(jiǎn)主義大數(shù)據(jù)：一切數(shù)據(jù)皆有用數(shù)據(jù)觀、技術(shù)、成本的變化（硬件、軟件和除理技術(shù)、來(lái)源）我們來(lái)到大數(shù)據(jù)時(shí)代數(shù)據(jù)極簡(jiǎn)主義大數(shù)據(jù)：一切數(shù)據(jù)皆有用數(shù)據(jù)觀、3全球每秒鐘發(fā)送2.9百萬(wàn)封電子郵件，一分鐘讀一篇的話，足夠一個(gè)人晝夜不息的讀5.5年…每天會(huì)有

2.88萬(wàn)個(gè)小時(shí)的視頻上傳到Y(jié)outube，足夠一個(gè)人晝夜不息的觀看3.3年…推特上每天發(fā)布5千萬(wàn)條消息，假設(shè)10秒鐘瀏覽一條信息，這些消息足夠一個(gè)人晝夜不息的瀏覽16年…每天亞馬遜上將產(chǎn)生6.3百萬(wàn)筆訂單…每個(gè)月網(wǎng)民在Facebook上要花費(fèi)7千億分鐘，被移動(dòng)互聯(lián)網(wǎng)使用者發(fā)送和接收的數(shù)據(jù)高達(dá)1.3EB…Google上每天需要處理24PB的數(shù)據(jù)…人們從信息的被動(dòng)接受者變成了主動(dòng)創(chuàng)造者我們來(lái)到大數(shù)據(jù)時(shí)代全球每秒鐘發(fā)送2.9百萬(wàn)封電子郵件，一分鐘讀一篇的話，足4GBTBPBEBZB大數(shù)據(jù)時(shí)代的爆炸增長(zhǎng)想駕馭這龐大的數(shù)據(jù)，我們必須了解大數(shù)據(jù)的特征。地球上至今總共的數(shù)據(jù)量：在2006年，個(gè)人用戶才剛剛邁進(jìn)TB時(shí)代，全球一共新產(chǎn)生了約180EB的數(shù)據(jù)；在2011年，這個(gè)數(shù)字達(dá)到了1.8ZB。而有市場(chǎng)研究機(jī)構(gòu)預(yù)測(cè)：到2020年，整個(gè)世界的數(shù)據(jù)總量將會(huì)增長(zhǎng)44倍，達(dá)到35.2ZB（1ZB=10億TB）！1PB（拍字節(jié)）=2^50字節(jié)1EB（艾字節(jié)）=2^60字節(jié)1ZB（澤字節(jié)）=2^70字節(jié)GBTBPBEBZB大數(shù)據(jù)時(shí)代的爆炸增長(zhǎng)想駕馭這龐大的數(shù)據(jù)，520世紀(jì)90年代，數(shù)據(jù)倉(cāng)庫(kù)之父的BillInmon就經(jīng)常提及BigData2011年5月，在“云計(jì)算相遇大數(shù)據(jù)”為主題的EMCWorld2011會(huì)議中，EMC拋出了BigData概念什么是大數(shù)據(jù)：BigData名詞由來(lái)20世紀(jì)90年代，數(shù)據(jù)倉(cāng)庫(kù)之父的BillInmon就經(jīng)常提6什么是大數(shù)據(jù)（NO-SQL,NotOnlySQL)

不同“看”數(shù)據(jù)的方式7可視：結(jié)構(gòu)化資料15%未視：半/非結(jié)構(gòu)化數(shù)據(jù)85%DB/DW主管們看的戰(zhàn)情數(shù)位儀表板，其實(shí)是殘缺的…什么是大數(shù)據(jù)（NO-SQL,NotOnlySQL)

不785%半/非結(jié)構(gòu)化的Log/Webpage/Email/PDF/Image/Full-text/MS-Officefile

什么是大數(shù)據(jù)：不同的數(shù)據(jù)管理對(duì)象當(dāng)我們想要擴(kuò)充時(shí)，才發(fā)覺(jué)：架構(gòu)只能scale-up，scale-out不易處理時(shí)間過(guò)長(zhǎng)，

time-to-value受限成本過(guò)高，

cost-efficiency受限15%結(jié)構(gòu)化的DB/DW遺憾殘缺85%什么是大數(shù)據(jù)：當(dāng)我們想要擴(kuò)充時(shí)，遺憾殘缺8

大數(shù)據(jù)=海量數(shù)據(jù)+復(fù)雜類(lèi)型數(shù)據(jù)

增長(zhǎng)如此之塊，以至于難以使用現(xiàn)有的數(shù)據(jù)庫(kù)管理工具來(lái)駕馭，困難在于數(shù)據(jù)的獲取、存貯、搜索、共享、分析和可視化等方面大數(shù)據(jù)的定義數(shù)據(jù)量復(fù)雜性：種類(lèi)和速度銷(xiāo)量庫(kù)存薪酬表客戶信息合約ERP/CRMWEB2.0廣告博客搜索營(yíng)銷(xiāo)文本/圖像網(wǎng)絡(luò)日志大數(shù)據(jù)社會(huì)情緒音頻/視頻傳感器RFID維基/博客微博金融信息個(gè)人數(shù)據(jù)位置信息政府信息氣象數(shù)據(jù)保險(xiǎn)信息EBPBTBGB維基的大數(shù)據(jù)定義

任何超過(guò)一臺(tái)計(jì)算機(jī)處理能力的龐大數(shù)據(jù)量亞馬遜的大數(shù)據(jù)定義

大數(shù)據(jù)是由局部數(shù)據(jù)匯聚而成能反映出整體的數(shù)據(jù)，整體的數(shù)據(jù)又隨時(shí)空在不斷膨脹。Informatica的大數(shù)據(jù)定義

大數(shù)據(jù)=交易數(shù)據(jù)+互動(dòng)數(shù)據(jù)+觀測(cè)數(shù)據(jù)中國(guó)電信的大數(shù)據(jù)定義中心的大數(shù)據(jù)定義大數(shù)據(jù)的定義數(shù)據(jù)量復(fù)雜性：種類(lèi)和速度銷(xiāo)量庫(kù)

如果自然界中的事件完全不可預(yù)測(cè)地隨機(jī)發(fā)生，人們的生活將無(wú)法忍受；與此相反，如果每一件事情都是確定的、完全可以預(yù)測(cè)的，則生活將是無(wú)趣的。利用因果關(guān)系解釋觀測(cè)的現(xiàn)象或預(yù)測(cè)未來(lái)存在邏輯和實(shí)際上的困難。大數(shù)據(jù)的理性認(rèn)知[美]C.R勞

與傳統(tǒng)比較，大數(shù)據(jù)的分析處理的核心是預(yù)測(cè)和推斷，根本的變革在于不刻意追求因果關(guān)系，而更多關(guān)注相關(guān)關(guān)系。也就是說(shuō)，只要知道和什么有關(guān)，而不必強(qiáng)求為什么有關(guān)。[英]舍恩伯格

大數(shù)據(jù)時(shí)代來(lái)臨，使人類(lèi)第一次有機(jī)會(huì)和條件在非常多和非常深入的層次獲得和使用全面數(shù)據(jù)、完整數(shù)據(jù)和系統(tǒng)數(shù)據(jù)，簡(jiǎn)而言之就是樣本=總體。[英]舍恩伯格

大數(shù)據(jù)為政府統(tǒng)計(jì)提供了總體性、非結(jié)構(gòu)化、豐富真實(shí)的原始資料，可以極大地縮短數(shù)據(jù)采集時(shí)間，減少報(bào)表填報(bào)任務(wù)，減輕調(diào)查對(duì)象負(fù)擔(dān)，提高統(tǒng)計(jì)數(shù)據(jù)質(zhì)量。國(guó)家統(tǒng)計(jì)局馬建堂大數(shù)據(jù)，也叫全局?jǐn)?shù)據(jù)、總體數(shù)據(jù)，數(shù)據(jù)量越大其預(yù)測(cè)和推斷的準(zhǔn)確性越高大數(shù)據(jù)的理性認(rèn)知[美]C.R勞[英]舍1.Volume2.

Variety3.value4.Velocity結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)如今的數(shù)據(jù)類(lèi)型早已不是單一的文本形式，訂單、日志、音頻，能力提出了更高的要求沙里淘金，價(jià)值密度低以視頻為例，一部一小時(shí)的視頻，在連續(xù)不間斷監(jiān)控過(guò)程中，可能有用的數(shù)據(jù)僅僅只有一兩秒。如何通過(guò)強(qiáng)大的機(jī)器算法更迅速地完成數(shù)據(jù)的價(jià)值“提純”是目前大數(shù)據(jù)洶涌背景下亟待解決的難題實(shí)時(shí)獲取需要的信息大數(shù)據(jù)區(qū)分于傳統(tǒng)數(shù)據(jù)最顯著的特征。如今已是ZB時(shí)代，在如此海量的數(shù)據(jù)面前，處理數(shù)據(jù)的效率就是企業(yè)的生命大數(shù)據(jù)是指無(wú)法在一定時(shí)間內(nèi)用傳統(tǒng)數(shù)據(jù)庫(kù)軟件工具對(duì)其內(nèi)容進(jìn)行抓取、管理和處理的數(shù)據(jù)集合大數(shù)據(jù)：4V特性數(shù)據(jù)量巨大全球在2010年正式進(jìn)入ZB時(shí)代，IDC預(yù)計(jì)到2020年，全球?qū)⒖偣矒碛?5ZB的數(shù)據(jù)量1.Volume2.Variety3.value4.11

大數(shù)據(jù)要上升為國(guó)家戰(zhàn)略國(guó)家時(shí)間政策備注美國(guó)2012-3-29《大數(shù)據(jù)研究與發(fā)展計(jì)劃》推動(dòng)政府開(kāi)放、提升政策預(yù)見(jiàn)性（糧食、天氣、流感等）、提高政府服務(wù)水平、降底運(yùn)營(yíng)開(kāi)支英國(guó)2010-5數(shù)據(jù)權(quán)、我的數(shù)據(jù)日本2012-5ICT戰(zhàn)略中國(guó)2012-5互聯(lián)網(wǎng)大數(shù)據(jù)技術(shù)創(chuàng)新研究大數(shù)據(jù)要上升為國(guó)家戰(zhàn)略國(guó)家時(shí)間政策備注美國(guó)2012-3大數(shù)據(jù)不僅僅是數(shù)據(jù)“大”多大？PB級(jí)比大更重要的是數(shù)據(jù)的復(fù)雜性、全面性，有時(shí)甚至大數(shù)據(jù)中的小數(shù)據(jù)如一條微博就具有顛覆性的價(jià)值軟件是大數(shù)據(jù)的引擎大數(shù)據(jù)不僅僅是數(shù)據(jù)“大”多大？比大更重要的是數(shù)據(jù)的復(fù)雜性、全13大數(shù)據(jù)與傳統(tǒng)數(shù)據(jù)庫(kù)的區(qū)別大數(shù)據(jù)是在傳統(tǒng)數(shù)據(jù)庫(kù)學(xué)科的分支——數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)挖掘的基礎(chǔ)上進(jìn)一步發(fā)展起來(lái)的。但有兩點(diǎn)比較主要的不同：結(jié)構(gòu)化程度：傳統(tǒng)數(shù)據(jù)庫(kù)保存的是結(jié)構(gòu)化或者半結(jié)構(gòu)化的數(shù)據(jù)，以二維表或者標(biāo)準(zhǔn)XML文件的方式存儲(chǔ)數(shù)據(jù)，由于結(jié)構(gòu)清晰，處理相對(duì)容易；大數(shù)據(jù)面向的是一切計(jì)算機(jī)可以存儲(chǔ)的數(shù)據(jù)格式，包括互聯(lián)網(wǎng)上的各種網(wǎng)頁(yè)、圖片、音頻、視頻，包括辦公文檔、報(bào)表，包括人們?cè)谒阉饕嬷休斎氲年P(guān)鍵詞、在社交網(wǎng)絡(luò)中的留言、喜好，也包括各種傳感器自動(dòng)收集的監(jiān)控結(jié)果等等，顯然不同的格式處理起來(lái)更加困難。噪聲（異常）數(shù)據(jù)的處理：傳統(tǒng)數(shù)據(jù)庫(kù)通常把異常數(shù)據(jù)先剔除，應(yīng)用在需要高精確度的領(lǐng)域，如銀行對(duì)每個(gè)賬戶的管理；大數(shù)據(jù)則允許異常數(shù)據(jù)存在，更多應(yīng)用在預(yù)測(cè)方面，找出大量數(shù)據(jù)中隱藏的關(guān)聯(lián)關(guān)系，少量異常數(shù)據(jù)不會(huì)對(duì)總體結(jié)果產(chǎn)生影響。大數(shù)據(jù)與傳統(tǒng)數(shù)據(jù)庫(kù)的區(qū)別大數(shù)據(jù)是在傳統(tǒng)數(shù)據(jù)庫(kù)學(xué)科的分支——數(shù)14云計(jì)算與大數(shù)據(jù)大數(shù)據(jù)應(yīng)用運(yùn)行在云平臺(tái)之上如果數(shù)據(jù)是財(cái)富，那么大數(shù)據(jù)就是寶藏；云計(jì)算就是挖掘和利用寶藏的利器！沒(méi)有強(qiáng)大的計(jì)算能力，數(shù)據(jù)寶藏終究是鏡中花；沒(méi)有大數(shù)據(jù)的存儲(chǔ)和積淀，云計(jì)算也只能是殺雞用的宰牛刀！云計(jì)算與大數(shù)據(jù)大數(shù)據(jù)應(yīng)用運(yùn)行在如果數(shù)據(jù)是財(cái)富，那么大數(shù)據(jù)就是15大數(shù)據(jù)市場(chǎng)分析12011年-2016年中國(guó)大數(shù)據(jù)市場(chǎng)規(guī)模2各行業(yè)大數(shù)據(jù)市場(chǎng)規(guī)模政府、互聯(lián)網(wǎng)、電信、金融的大數(shù)據(jù)市場(chǎng)規(guī)模較大，四個(gè)行業(yè)將占據(jù)一半市場(chǎng)份額。由于各個(gè)行業(yè)都存在大數(shù)據(jù)應(yīng)用需求，潛在市場(chǎng)空間非?？捎^。2011年是中國(guó)大數(shù)據(jù)市場(chǎng)元年，一些大數(shù)據(jù)產(chǎn)品已經(jīng)推出，部分行業(yè)也有大數(shù)據(jù)應(yīng)用案例的產(chǎn)生。2012年-2016年，將迎來(lái)大數(shù)據(jù)市場(chǎng)的飛速發(fā)展。2012年中國(guó)大數(shù)據(jù)市場(chǎng)規(guī)模達(dá)到4.7億元，2013年大數(shù)據(jù)市場(chǎng)將迎來(lái)增速為138.3%的飛躍，到2016年，整個(gè)市場(chǎng)規(guī)模逼近百億。大數(shù)據(jù)市場(chǎng)分析12011年-2016年中國(guó)大數(shù)據(jù)市場(chǎng)規(guī)模2各16國(guó)際企業(yè)角力大數(shù)據(jù)

EMCEMC的大數(shù)據(jù)解決方案專(zhuān)注于使組織更有效地使用他們從不同來(lái)源產(chǎn)生的數(shù)據(jù)，包括網(wǎng)絡(luò)上，網(wǎng)頁(yè)上，消費(fèi)者，監(jiān)控系統(tǒng)和傳感器。EMC的數(shù)據(jù)計(jì)算產(chǎn)品事業(yè)部正在開(kāi)發(fā)分析工具以解決大數(shù)據(jù)現(xiàn)象。EMC的大數(shù)據(jù)解決方案包括40多個(gè)產(chǎn)品。2010年7月收購(gòu)數(shù)據(jù)庫(kù)軟件供應(yīng)商Greenplum，花費(fèi)3億美元2009年七月收購(gòu)數(shù)據(jù)復(fù)制解決方案提供商DataDomain，花費(fèi)24億美元不一定和大數(shù)據(jù)完全相關(guān)，EMC從2009年起收購(gòu)了ArcherTechnologies,SourceLabs,FastScaleTechnology,Configuresoft,andVaronisSystems。IBMIBM的策略是提供一個(gè)全面的方法來(lái)解決前所未有的信息爆炸提出的挑戰(zhàn)，因?yàn)樾畔⒘繜o(wú)論在流量、種類(lèi)、速度還是活力上都是爆炸式增長(zhǎng)IBM一直致力于擴(kuò)大對(duì)包括數(shù)據(jù)倉(cāng)庫(kù)中的大數(shù)據(jù)、信息流和結(jié)構(gòu)化數(shù)據(jù)的分析在過(guò)去四年中，IBM已經(jīng)投入超過(guò)120億美元進(jìn)行了23項(xiàng)相關(guān)并購(gòu)，其中包括：2010年9月收購(gòu)數(shù)據(jù)庫(kù)分析供應(yīng)商N(yùn)etezza公司，花費(fèi)17億美元2010年10月收購(gòu)網(wǎng)絡(luò)分析軟件供應(yīng)商Coremetrics2009年10月收購(gòu)數(shù)據(jù)分析和統(tǒng)計(jì)軟件提供商SPSS,花費(fèi)12億美元2009年1月收購(gòu)業(yè)務(wù)規(guī)則管理軟件供應(yīng)商ILOG,花費(fèi)3億4千萬(wàn)美元2007年花費(fèi)20億美元收購(gòu)商務(wù)智能軟件供應(yīng)商Cognos微軟微軟提供了高性能計(jì)算能力，并在2005年靠WindowsComputeCluster服務(wù)器進(jìn)入相關(guān)市場(chǎng)最近，微軟的HPC部門(mén)開(kāi)發(fā)了該公司的Dryad

并行處理技術(shù)社區(qū)技術(shù)預(yù)覽(CTP),第一步是向WindowsHPCServer的用戶提供處理大數(shù)據(jù)工具甲骨文甲骨文大數(shù)據(jù)提供的數(shù)據(jù)庫(kù)和數(shù)據(jù)庫(kù)軟件主要用于配合Sun的硬件，特別是它的最高端服務(wù)2009年7月收購(gòu)專(zhuān)注于數(shù)據(jù)復(fù)制和實(shí)時(shí)數(shù)據(jù)集成解決方案的私人企業(yè)GoldenGateSoftware國(guó)際企業(yè)角力大數(shù)據(jù)EMCEMC的大數(shù)據(jù)解決方案專(zhuān)注于使組織17大數(shù)據(jù)的產(chǎn)業(yè)價(jià)值鏈數(shù)據(jù)數(shù)據(jù)的掌控者，擁有或者可以收集大量數(shù)據(jù)的公司。海量的數(shù)據(jù)就是財(cái)富，可以考慮自己分析或者賣(mài)數(shù)據(jù)給其他公司。技術(shù)技術(shù)供應(yīng)商或者分析公司。掌握了從海量數(shù)據(jù)中分析出有用信息的技能或者工具，但本身不一定擁有數(shù)據(jù)。思維有創(chuàng)新思維的人或者公司。他們對(duì)大數(shù)據(jù)敏感，有怎樣挖掘數(shù)據(jù)的新價(jià)值的獨(dú)特想法。大數(shù)據(jù)的產(chǎn)業(yè)價(jià)值鏈數(shù)據(jù)數(shù)據(jù)的掌控者，擁有或者可以收集大量數(shù)據(jù)18分析技術(shù)：數(shù)據(jù)處理：自然語(yǔ)言處理技術(shù)統(tǒng)計(jì)和分析：A/Btest;topN排行榜；地域占比；文本情感分析數(shù)據(jù)挖掘：關(guān)聯(lián)規(guī)則分析；分類(lèi)；聚類(lèi)模型預(yù)測(cè)：預(yù)測(cè)模型；機(jī)器學(xué)習(xí)；建模仿真大數(shù)據(jù)技術(shù)：數(shù)據(jù)采集：ETL工具數(shù)據(jù)存?。宏P(guān)系數(shù)據(jù)庫(kù)；NoSQL；SQL等基礎(chǔ)架構(gòu)支持：云存儲(chǔ)；分布式文件系統(tǒng)等計(jì)算結(jié)果展現(xiàn)：云計(jì)算；標(biāo)簽云；關(guān)系圖等大數(shù)據(jù)技術(shù)體系：取、存、管、用存儲(chǔ)結(jié)構(gòu)化數(shù)據(jù)：海量數(shù)據(jù)的查詢(xún)、統(tǒng)計(jì)、更新等操作效率低非結(jié)構(gòu)化數(shù)據(jù)圖片、視頻、word、pdf、ppt等文件存儲(chǔ)不利于檢索、查詢(xún)和存儲(chǔ)半結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)換為結(jié)構(gòu)化存儲(chǔ)按照非結(jié)構(gòu)化存儲(chǔ)解決方案：Hadoop（MapReduce技術(shù)）流計(jì)算（twitter的storm和yahoo！的S4）數(shù)據(jù)采集數(shù)據(jù)儲(chǔ)存數(shù)據(jù)管理數(shù)據(jù)分析與挖掘分析技術(shù)：大數(shù)據(jù)技術(shù)體系：取、存、管、用存儲(chǔ)解決方案：數(shù)據(jù)采19大數(shù)據(jù)核心技術(shù)需求高并發(fā)讀寫(xiě)大數(shù)據(jù)核心技術(shù)需求高效率存儲(chǔ)和訪問(wèn)高可擴(kuò)展性和高可用性低成本建設(shè)運(yùn)維保證一致性的開(kāi)銷(xiāo)過(guò)大，難以實(shí)現(xiàn)高并發(fā)存儲(chǔ)性能受限于控制器，性能難以保證關(guān)系型表單存儲(chǔ)難以適應(yīng)不同數(shù)據(jù)類(lèi)型上億行數(shù)據(jù)的超級(jí)達(dá)標(biāo)效率極低傳統(tǒng)基于盤(pán)陣的存儲(chǔ)設(shè)備，造價(jià)昂貴，且市場(chǎng)壟斷嚴(yán)重，建設(shè)成本居高不下，擴(kuò)容成本尤其高許可和維護(hù)花費(fèi)高昂無(wú)法簡(jiǎn)單的通過(guò)添加服務(wù)節(jié)點(diǎn)來(lái)擴(kuò)展數(shù)據(jù)容量和負(fù)載能力，難以進(jìn)行橫向擴(kuò)展數(shù)據(jù)庫(kù)升級(jí)需要停機(jī)維護(hù)和數(shù)據(jù)遷移，導(dǎo)致服務(wù)中斷不保證遵循ACID原則，提高并發(fā)讀寫(xiě)性能

Schema-Free存儲(chǔ)適應(yīng)不同數(shù)據(jù)類(lèi)型舍棄SQL標(biāo)準(zhǔn)功能，盡量簡(jiǎn)化數(shù)據(jù)操作，提升效率MapReduce實(shí)現(xiàn)高效訪問(wèn)基于X86設(shè)備，價(jià)格低廉開(kāi)源系統(tǒng)，節(jié)省許可費(fèi)用支持水平擴(kuò)展，可簡(jiǎn)單的通過(guò)添加服務(wù)節(jié)點(diǎn)來(lái)擴(kuò)展數(shù)據(jù)容量和負(fù)載能力數(shù)據(jù)庫(kù)升級(jí)不影響服務(wù)持續(xù)大數(shù)據(jù)核心技術(shù)需求高并發(fā)讀寫(xiě)大數(shù)據(jù)核心技術(shù)需求高效率存儲(chǔ)20大數(shù)據(jù)的分析模型研究對(duì)象由組織、用戶、大數(shù)據(jù)和工具構(gòu)成的運(yùn)行系統(tǒng)研究?jī)?nèi)容大數(shù)據(jù)的構(gòu)成

大數(shù)據(jù)的行為大數(shù)據(jù)的行為和數(shù)據(jù)的組織研究方法知識(shí)工程解構(gòu)大數(shù)據(jù)系統(tǒng)研發(fā)工程支撐大數(shù)據(jù)系統(tǒng)價(jià)值工程牽引大數(shù)據(jù)系統(tǒng)研究目標(biāo)大數(shù)據(jù)生產(chǎn)平臺(tái)大數(shù)據(jù)開(kāi)發(fā)平臺(tái)大數(shù)據(jù)采集平臺(tái)大數(shù)據(jù)應(yīng)用平臺(tái)研究重點(diǎn)數(shù)據(jù)分而治之資源組織調(diào)度邏輯復(fù)制遷移組織大數(shù)據(jù)用戶工具知識(shí)工程研發(fā)工程價(jià)值工程社會(huì)價(jià)值結(jié)構(gòu)功能信源信宿信道控制狀態(tài)協(xié)同生產(chǎn)采集存儲(chǔ)應(yīng)用傳遞展現(xiàn)概念定議劃分經(jīng)濟(jì)價(jià)值科技價(jià)值商業(yè)價(jià)值為什么是什么怎么做大數(shù)據(jù)的分析模型研究對(duì)象組織大數(shù)據(jù)用戶工具知識(shí)工程研發(fā)工程價(jià)大數(shù)據(jù)變革既有數(shù)據(jù)觀：以變革始大數(shù)據(jù)將變革人們認(rèn)世界的模式，最重要的是建模分析的方式；由選擇抽樣到全樣本（all-sample)，“樣本=總體”；大數(shù)據(jù)更重視相關(guān)關(guān)系，而不去過(guò)于追求因果關(guān)系；即使從前的建模也一樣是模擬，無(wú)法解決因果；大數(shù)據(jù)將徹底改變IT公司的構(gòu)成,擁有數(shù)據(jù)、技術(shù)與思維的公司將三足鼎立，但最終擁有數(shù)據(jù)的公司將最有價(jià)值。大數(shù)據(jù)改變政府和企業(yè)對(duì)待數(shù)據(jù)的觀念，真正認(rèn)識(shí)到數(shù)據(jù)的重要性政務(wù)的大數(shù)據(jù)需求：原有異構(gòu)數(shù)據(jù)的整理收集以及未來(lái)的應(yīng)用創(chuàng)新大數(shù)據(jù)變革既有數(shù)據(jù)觀：以變革始大數(shù)據(jù)將變革人們認(rèn)世界的模式，22大數(shù)據(jù)是組織的一種資產(chǎn)

數(shù)據(jù)資源已經(jīng)是上升為國(guó)家的戰(zhàn)略資源。人類(lèi)已進(jìn)入“后信息經(jīng)濟(jì)時(shí)代”，即智慧經(jīng)濟(jì)。

智慧經(jīng)濟(jì)是一種創(chuàng)新形態(tài)的萌生經(jīng)濟(jì)，能實(shí)現(xiàn)經(jīng)濟(jì)與環(huán)境、能源、社會(huì)最大限度的可持續(xù)發(fā)展。

大數(shù)據(jù)是智慧經(jīng)濟(jì)的基礎(chǔ)。從哪里來(lái)、當(dāng)前在哪里、要到哪里去大數(shù)據(jù)是一種資產(chǎn)大數(shù)據(jù)是組織的一種資產(chǎn)從哪里來(lái)、當(dāng)前在哪里、

三個(gè)小故事：智者善用數(shù)據(jù)和工具

孟德?tīng)柾攵闺s交實(shí)驗(yàn)，基于數(shù)十年實(shí)驗(yàn)數(shù)據(jù)，經(jīng)過(guò)采集、分析、歸納、推導(dǎo)、預(yù)測(cè)找到其規(guī)律。（一）使用數(shù)據(jù)

曹沖稱(chēng)象，大而劃之、分而治之。秤是分析，算盤(pán)是匯總。（二）處理數(shù)據(jù)

平民傳奇，分布式文件系統(tǒng)、分布式數(shù)據(jù)庫(kù)系統(tǒng)，解決對(duì)象的切分與存貯；MR編程模式解決分析與歸納。（三）構(gòu)建系統(tǒng)三個(gè)小故事：智者善用數(shù)據(jù)和工具（一）使用數(shù)據(jù)（二）處理數(shù)據(jù)大數(shù)據(jù)處理行為技術(shù)特征數(shù)據(jù)無(wú)限分而治之功能有限復(fù)制分發(fā)大數(shù)據(jù)處理行為技術(shù)特征數(shù)功能有限復(fù)制分發(fā)

大數(shù)據(jù)系統(tǒng)的定義

是一個(gè)以人為主導(dǎo)，利用計(jì)算機(jī)硬件、軟件、網(wǎng)絡(luò)通信設(shè)備以及其他辦公設(shè)備，進(jìn)行信息的收集、傳輸、加工、儲(chǔ)存、更新、拓展和維護(hù)的系統(tǒng)

是一個(gè)將各類(lèi)信息系統(tǒng)產(chǎn)生的數(shù)據(jù)作為存貯、分析和利用的信息系統(tǒng)，通過(guò)借助計(jì)算機(jī)硬件、軟件、網(wǎng)絡(luò)通信設(shè)備以及其他設(shè)備，實(shí)現(xiàn)對(duì)數(shù)據(jù)的收集、存貯、處理、傳遞、備份的系統(tǒng)。管理信息系統(tǒng)大數(shù)據(jù)系統(tǒng)大數(shù)據(jù)系統(tǒng)的定義管理信息系統(tǒng)大數(shù)據(jù)系統(tǒng)

大數(shù)據(jù)系統(tǒng)的設(shè)計(jì)目標(biāo)設(shè)計(jì)目標(biāo)1可以存貯海量數(shù)2可以進(jìn)行高速處理3可以快速開(kāi)發(fā)出并行服務(wù)4可以搭建在廉價(jià)的機(jī)群上大數(shù)據(jù)系統(tǒng)的設(shè)計(jì)目標(biāo)設(shè)計(jì)目標(biāo)1234大數(shù)據(jù)系統(tǒng)的邏輯架構(gòu)數(shù)據(jù)應(yīng)用層外部系統(tǒng)層數(shù)據(jù)計(jì)算層[數(shù)據(jù)節(jié)點(diǎn)子系統(tǒng)][任務(wù)節(jié)點(diǎn)子系統(tǒng)]綜合管控層信息安全保障體系標(biāo)準(zhǔn)規(guī)范體系數(shù)據(jù)分析層

[定制計(jì)算子系統(tǒng)][數(shù)據(jù)分析子系統(tǒng)][數(shù)據(jù)倉(cāng)庫(kù)子系統(tǒng)][數(shù)據(jù)域節(jié)點(diǎn)子系統(tǒng)][任務(wù)節(jié)點(diǎn)子系統(tǒng)]名稱(chēng)節(jié)點(diǎn)子系統(tǒng)作業(yè)節(jié)點(diǎn)子系統(tǒng)數(shù)據(jù)庫(kù)主節(jié)點(diǎn)子系統(tǒng)統(tǒng)一協(xié)同節(jié)點(diǎn)子系統(tǒng)備份節(jié)點(diǎn)子系統(tǒng)

[數(shù)據(jù)調(diào)用子系統(tǒng)][數(shù)據(jù)呈現(xiàn)子系統(tǒng)][數(shù)據(jù)采集子系統(tǒng)][ERP系統(tǒng)][電子商務(wù)網(wǎng)站][……]大數(shù)據(jù)系統(tǒng)的邏輯架構(gòu)數(shù)據(jù)應(yīng)用外部系統(tǒng)層數(shù)據(jù)計(jì)算層[數(shù)據(jù)節(jié)大數(shù)據(jù)庫(kù)系統(tǒng)界面產(chǎn)品研發(fā)成果：云數(shù)據(jù)庫(kù)虛擬化平臺(tái)截圖：大數(shù)據(jù)庫(kù)系統(tǒng)界面產(chǎn)品研發(fā)成果：云數(shù)據(jù)庫(kù)虛擬化平臺(tái)截圖：29

與現(xiàn)有系統(tǒng)的關(guān)系現(xiàn)有系統(tǒng)大數(shù)據(jù)系統(tǒng)數(shù)據(jù)輸入分布節(jié)點(diǎn)1分布節(jié)點(diǎn)2分布節(jié)點(diǎn)3輸出現(xiàn)有系統(tǒng)調(diào)用大數(shù)據(jù)系統(tǒng)分布節(jié)點(diǎn)1分布節(jié)點(diǎn)2分布節(jié)點(diǎn)3輸出與現(xiàn)有系統(tǒng)的關(guān)系現(xiàn)有系統(tǒng)大數(shù)據(jù)系統(tǒng)數(shù)據(jù)輸入分布節(jié)點(diǎn)1分布HADOOPHADOOP31MaHoutMaHout32主流大數(shù)據(jù)庫(kù)使用現(xiàn)狀主流大數(shù)據(jù)庫(kù)使用現(xiàn)狀33大數(shù)據(jù)系統(tǒng)體系建設(shè)規(guī)劃搭平臺(tái)采數(shù)據(jù)建模型編代碼圖呈現(xiàn)第一階段一次建逐步擴(kuò)可查詢(xún)簡(jiǎn)應(yīng)用巧婦有米可炊第二階段重復(fù)迭代持續(xù)可分析深入用巧婦百變花樣大數(shù)據(jù)系統(tǒng)體系建設(shè)規(guī)劃搭平臺(tái)采數(shù)據(jù)建模型編代碼圖呈現(xiàn)第一

搭平臺(tái)-系統(tǒng)布署規(guī)劃類(lèi)型名稱(chēng)配置IP安裝內(nèi)容備注分布式應(yīng)用MR-PIG主頻為2.4Ghz以上內(nèi)存：16G硬盤(pán)：500G192.168.4.1MR系統(tǒng)和Pig系統(tǒng)兩個(gè)系統(tǒng)裝在一臺(tái)機(jī)上Hive-Chukwa192.168.4.2Hive系統(tǒng)和Chukwa系統(tǒng)兩個(gè)系統(tǒng)裝在一臺(tái)機(jī)上mysql192.168.4.3mysql數(shù)據(jù)庫(kù)系統(tǒng)存放hive和chukwa的元數(shù)據(jù)信息HDFS集群主節(jié)點(diǎn)NameNode192.168.1.1Hdfs系統(tǒng)JobTracker-Second192.168.1.2同時(shí)作為secondNmaenodeHDFS集群從節(jié)點(diǎn)DataNode1192.168.1.3DataNode2192.168.1.4DataNode3192.168.1.5Hbase集群主節(jié)點(diǎn)Hmaster192.168.2.1Hbase系統(tǒng)Hbase集群從節(jié)點(diǎn)HregionServer192.168.2.2ZooKeeper集群ZooKeeper192.168.3.1ZooKeeper系統(tǒng)搭平臺(tái)-系統(tǒng)布署規(guī)劃類(lèi)型名稱(chēng)配置IP安裝內(nèi)容備注分布式應(yīng)

采數(shù)據(jù)-數(shù)據(jù)采集模型采數(shù)據(jù)-數(shù)據(jù)采集模型

建模型-建立四大模型建模型-建立四大模型

建模型-建模所需基礎(chǔ)知識(shí)概率論隨機(jī)變量數(shù)字特征參數(shù)估計(jì)假設(shè)檢驗(yàn)建模型-建模所需基礎(chǔ)知識(shí)概率論

建模型-十大精典算法建模型-十大精典算法

建模型-算法的典型應(yīng)用關(guān)聯(lián)規(guī)則建模型-算法的典型應(yīng)用關(guān)聯(lián)規(guī)則

建模型-算法的典型應(yīng)用決策樹(shù)建模型-算法的典型應(yīng)用決策樹(shù)

編代碼-開(kāi)發(fā)環(huán)境的安裝編代碼-開(kāi)發(fā)環(huán)境的安裝圖呈現(xiàn)：

圖形設(shè)計(jì)技術(shù)數(shù)據(jù)描述視覺(jué)編碼：大小、顏色、紋理、形狀；線段、圖表、樹(shù)；聽(tīng)覺(jué)編碼：聲音、語(yǔ)言數(shù)據(jù)表示

在時(shí)空局限下采用滾動(dòng)、變形、抑制、縮放、快速序列來(lái)展現(xiàn)數(shù)據(jù)。交互

連續(xù)、漸進(jìn)、被動(dòng)、混合多種交互方式，大數(shù)據(jù)展現(xiàn)技術(shù)總結(jié)：數(shù)據(jù)呈現(xiàn)技術(shù)是大數(shù)據(jù)能否讓智慧經(jīng)濟(jì)走進(jìn)尋常百姓家的最后一公里，利用信息可視可聽(tīng)使大數(shù)據(jù)的有價(jià)信息以可感性認(rèn)知的方式呈現(xiàn)出來(lái)至關(guān)重要。圖呈現(xiàn)：圖形設(shè)計(jì)技術(shù)數(shù)據(jù)描述大數(shù)據(jù)展現(xiàn)技術(shù)總結(jié)：

圖呈現(xiàn)：

一圖勝千言圖呈現(xiàn)：一圖勝千言

圖呈現(xiàn)-圖形開(kāi)發(fā)工具DataWrangler斯坦福大學(xué)可視化組（SUVG）設(shè)計(jì)的基于web的服務(wù)的圖形化工具計(jì)算量大GoogleRefine用戶在電腦上運(yùn)行這個(gè)應(yīng)用程序后就可以通過(guò)瀏覽器訪問(wèn)之GoogleFusionTablesarietyGoogleFusionTables的處理大數(shù)據(jù)量的強(qiáng)大能力，以及能夠自由添加不同的空間視圖的功能JavaScriptInfoVisToolkitQuantumGISOpenHeatMapTimeFlow圖呈現(xiàn)-圖形開(kāi)發(fā)工具DataWrangler輿情系統(tǒng)：大數(shù)據(jù)應(yīng)用全文檢索軟件文本挖掘軟件輿情分析軟件突發(fā)事件專(zhuān)題追蹤與分析軟件輿情簡(jiǎn)報(bào)自動(dòng)生成軟件六大主要技術(shù)組件輿情系統(tǒng)：大數(shù)據(jù)應(yīng)用六大主要技術(shù)組件4647輿情監(jiān)控社會(huì)傳感網(wǎng)絡(luò)

輿情系統(tǒng)：數(shù)據(jù)采集模式一級(jí)社會(huì)傳感網(wǎng)絡(luò)：活躍的敏感網(wǎng)站，實(shí)時(shí)監(jiān)控二級(jí)社會(huì)傳感網(wǎng)絡(luò)：包含有害信息站點(diǎn)，定時(shí)掃描三級(jí)社會(huì)傳感網(wǎng)絡(luò)：一般性網(wǎng)站，關(guān)鍵詞定期巡查47輿情監(jiān)控社會(huì)傳感網(wǎng)絡(luò)輿情系統(tǒng)：數(shù)據(jù)采集模式一級(jí)社會(huì)傳48輿情系統(tǒng)：突發(fā)事件分析48輿情系統(tǒng)：突發(fā)事件分析關(guān)鍵詞配置文本篇章配置站點(diǎn)頻道配置數(shù)據(jù)實(shí)時(shí)處理與匯總在線分析與計(jì)算事件趨勢(shì)分析輿情分析社會(huì)網(wǎng)絡(luò)分析蒙牛事件涉及組織社會(huì)網(wǎng)絡(luò)分析蒙牛事件人物關(guān)系網(wǎng)絡(luò)演化傳播影響分析蒙牛事件

輿情系統(tǒng)：結(jié)果展示關(guān)鍵詞配置文本篇章配置站點(diǎn)頻道配置數(shù)據(jù)實(shí)時(shí)處理與匯總在線分析49時(shí)空大數(shù)據(jù)聚合應(yīng)用案例廣西科技投入分析（聚類(lèi)分析）-項(xiàng)目投入、民族投入、企業(yè)投入-數(shù)據(jù)地圖、柱狀圖、趨勢(shì)圖-多維度統(tǒng)計(jì)、多方式展示時(shí)空大數(shù)據(jù)聚合應(yīng)用案例廣西科技投入分析（聚類(lèi)分析）50大數(shù)據(jù)支撐行為分析案例教育云平臺(tái)分析（行為分析）-學(xué)校分布圖-登錄用戶統(tǒng)計(jì)-活躍用戶統(tǒng)計(jì)-操作統(tǒng)計(jì)大數(shù)據(jù)支撐行為分析案例教育云平臺(tái)分析（行為分析）51

實(shí)時(shí)大數(shù)據(jù)案例清華公共安全研究院實(shí)時(shí)交通應(yīng)用-交通路況查詢(xún)-車(chē)輛行駛模擬實(shí)時(shí)大數(shù)據(jù)案例清華公共安全研究院實(shí)時(shí)交通應(yīng)用52大數(shù)據(jù)異構(gòu)政府信息系統(tǒng)集成應(yīng)用案例企業(yè)征信平臺(tái)應(yīng)用-企業(yè)源數(shù)據(jù)-企業(yè)數(shù)據(jù)集成視圖-企業(yè)數(shù)據(jù)量化大數(shù)據(jù)異構(gòu)政府信息系統(tǒng)集成應(yīng)用案例企業(yè)征信平臺(tái)應(yīng)用53跨系統(tǒng)數(shù)據(jù)異常比對(duì)港區(qū)公眾服務(wù)應(yīng)用截圖，數(shù)據(jù)聯(lián)合檢查大數(shù)據(jù)庫(kù)產(chǎn)品應(yīng)用跨系統(tǒng)數(shù)據(jù)異常比對(duì)港區(qū)公眾服務(wù)應(yīng)用截圖，數(shù)據(jù)聯(lián)合檢查大數(shù)據(jù)庫(kù)54大數(shù)據(jù)精典案例2009年，甲型H1N1流感在全球爆發(fā)傳播，為了發(fā)現(xiàn)和控制疫情，各國(guó)政府和衛(wèi)生相關(guān)部門(mén)付出了巨大努力，但得到的數(shù)據(jù)仍然滯后一兩周，而Google對(duì)人們的搜索的歷史記錄進(jìn)行處理，建立合理的數(shù)學(xué)模型后，得到的預(yù)測(cè)結(jié)果與官方的數(shù)據(jù)相關(guān)性高達(dá)97%，能夠立刻判斷出流感是從哪里傳播出來(lái)的，沒(méi)有一兩周的滯后。Google處理了5000萬(wàn)條歷史記錄、4.5億個(gè)不同的數(shù)學(xué)模型。大數(shù)據(jù)精典案例2009年，甲型H1N1流感在全球爆發(fā)傳播，為55大數(shù)據(jù)精典案例

大數(shù)據(jù)精典案例

56大數(shù)據(jù)精典案例大數(shù)據(jù)精典案例57Cloudera正在與西奈山醫(yī)學(xué)院合作開(kāi)發(fā)新的生物數(shù)據(jù)分析方法和系統(tǒng)。Cloudera還與FDA合作偵測(cè)多種藥物組合的副作用，與埃默里大學(xué)合作幫助病歷學(xué)家更準(zhǔn)確地分析醫(yī)療影像。Cloudera的客戶之一——Explorys的業(yè)務(wù)主要是聚合并分析醫(yī)療記錄，而英特爾和NextBio則合作使用Hadoop處理基因數(shù)據(jù)。Apixio利用Hadoop平臺(tái)開(kāi)發(fā)了語(yǔ)義分析服務(wù)，可以對(duì)病人的健康提供醫(yī)生、護(hù)士、及其他相關(guān)人士的回答。Apixio試圖通過(guò)對(duì)醫(yī)療記錄進(jìn)行先進(jìn)的技術(shù)分析，與一個(gè)簡(jiǎn)單的基于云計(jì)算的搜索引擎來(lái)幫助醫(yī)生迅速了解病人相關(guān)病史，挽救生命。大數(shù)據(jù)精典案例Cloudera正在與西奈山醫(yī)58大數(shù)據(jù)精典案例馬云成功預(yù)測(cè)2008年經(jīng)濟(jì)危機(jī)“2008年初,阿里巴巴平臺(tái)上整個(gè)買(mǎi)家詢(xún)盤(pán)數(shù)急劇下滑，歐美對(duì)中國(guó)采購(gòu)在下滑。海關(guān)是賣(mài)了貨，出去以后再獲得數(shù)據(jù)；我們提前半年時(shí)間從詢(xún)盤(pán)上推斷出世界貿(mào)易發(fā)生變化了?！蓖ǔ６?，買(mǎi)家在采購(gòu)商品前，會(huì)比較多家供應(yīng)商的產(chǎn)品，反映到阿里巴巴網(wǎng)站統(tǒng)計(jì)數(shù)據(jù)中，就是查詢(xún)點(diǎn)擊的數(shù)量和購(gòu)買(mǎi)點(diǎn)擊的數(shù)量會(huì)保持一個(gè)相對(duì)的數(shù)值，綜合各個(gè)維度的數(shù)據(jù)可建立用戶行為模型。因?yàn)閿?shù)據(jù)樣本巨大,保證用戶行為模型的準(zhǔn)確性。因此在這個(gè)案例中，詢(xún)盤(pán)數(shù)據(jù)的下降，自然導(dǎo)致買(mǎi)盤(pán)的下降。人類(lèi)從依靠自身判斷做決定到依靠數(shù)據(jù)做決定的轉(zhuǎn)變，也是大數(shù)據(jù)作出的最大貢獻(xiàn)之一。——《大數(shù)據(jù)時(shí)代》大數(shù)據(jù)精典案例馬云成功預(yù)測(cè)2008年經(jīng)濟(jì)危機(jī)人類(lèi)從依靠自身59大數(shù)據(jù)應(yīng)用行業(yè)分析應(yīng)用可能性電信政府（公共事業(yè)）交通金融醫(yī)療教育能源（電力/石油）縱軸契合度：

表示該用戶的IT應(yīng)用特點(diǎn)與大數(shù)據(jù)特性的契合程度；橫軸應(yīng)用可能性：表示該用戶出于主客觀因素在短期內(nèi)投資大數(shù)據(jù)的可能性；注：

該位置為分析師訪談的綜合印象，為定性分析，圖中位置不代表具體數(shù)值HighMidLowLowMidHigh優(yōu)先關(guān)注行業(yè)用戶應(yīng)用特點(diǎn)與大數(shù)據(jù)技術(shù)有較高的契合度，在主客觀條件上也有較高的應(yīng)用可能性。值得關(guān)注行業(yè)用戶應(yīng)有特點(diǎn)與大數(shù)據(jù)的契合度及應(yīng)用可能性綜合較高適當(dāng)關(guān)注行業(yè)用戶兩個(gè)維度暫時(shí)都不具備優(yōu)勢(shì)，可適當(dāng)給予關(guān)注互聯(lián)網(wǎng)（電子商務(wù)）契合度流通零售制造大數(shù)據(jù)應(yīng)用行業(yè)分析應(yīng)用可能性電信政府（公共事業(yè)）交通金融醫(yī)療60大數(shù)據(jù)挑戰(zhàn)安全道德底限諸多領(lǐng)域的問(wèn)題亟待解決，最重要的是每個(gè)人的信息都被互聯(lián)網(wǎng)所記錄和保留了下來(lái)，并且進(jìn)行加工和利用，為人所用，而這正是我們所擔(dān)憂的信息安全隱患！更多的隱私、安全性問(wèn)題：我們的隱私被二次利用了多少密碼和賬號(hào)是因?yàn)椤吧缃痪W(wǎng)絡(luò)”流出去的？3Q大戰(zhàn)：沒(méi)有最黑，只有更黑2011年4月索尼的系統(tǒng)漏洞導(dǎo)致7700萬(wàn)用戶資料失竊2011年4月，iOS被發(fā)現(xiàn)會(huì)按照時(shí)間順序記錄用戶的位置坐標(biāo)信息2011年CSDN密碼泄露事件移動(dòng)大數(shù)據(jù)：隱私的黑…眼下中國(guó)互聯(lián)網(wǎng)熱門(mén)的話題之一就是互聯(lián)網(wǎng)實(shí)名制問(wèn)題，我愿意相信這是個(gè)好事。畢竟我們?nèi)绻髦脸鲎约旱纳矸?，互?lián)網(wǎng)才能對(duì)我們的隱私給予更好保護(hù)。大數(shù)據(jù)挑戰(zhàn)安全道德底限諸多領(lǐng)域的問(wèn)題亟待解決，最重要的是每個(gè)61大數(shù)據(jù)與國(guó)家安全大數(shù)據(jù)與國(guó)家安全62云計(jì)算和大數(shù)據(jù)發(fā)展趨勢(shì)云計(jì)算技術(shù)發(fā)展趨勢(shì)云將推動(dòng)認(rèn)知計(jì)算的崛起區(qū)塊鏈BlockChain讓數(shù)字時(shí)代變得真實(shí)可信無(wú)服務(wù)器云計(jì)算清除應(yīng)用開(kāi)發(fā)的復(fù)雜性并降低成本云將為安全賦能向云端遷移的進(jìn)程加速大數(shù)據(jù)技術(shù)發(fā)展趨勢(shì)Hadoop開(kāi)放源碼占據(jù)主導(dǎo)內(nèi)存技術(shù)機(jī)器學(xué)習(xí)預(yù)測(cè)分析智能App物聯(lián)網(wǎng)大數(shù)據(jù)解決方案邊緣計(jì)算自助大數(shù)據(jù)分析工具云計(jì)算和大數(shù)據(jù)發(fā)展趨勢(shì)云計(jì)算技術(shù)發(fā)展趨勢(shì)云將推動(dòng)認(rèn)知計(jì)算的崛6301020304路漫漫其修遠(yuǎn)兮吾將上下而求索

theroadaheadwillbelongandourclimbwillbesteep01020304路漫漫其修遠(yuǎn)兮謝謝觀看謝謝觀看65

云計(jì)算和大數(shù)據(jù)概覽2017年11月14日

云計(jì)算和大數(shù)據(jù)概覽2017年11月1466大數(shù)據(jù)智能時(shí)代已經(jīng)到來(lái)大數(shù)據(jù)智能時(shí)代已經(jīng)到來(lái)67我們來(lái)到大數(shù)據(jù)時(shí)代數(shù)據(jù)極簡(jiǎn)主義大數(shù)據(jù)：一切數(shù)據(jù)皆有用數(shù)據(jù)觀、技術(shù)、成本的變化（硬件、軟件和除理技術(shù)、來(lái)源）我們來(lái)到大數(shù)據(jù)時(shí)代數(shù)據(jù)極簡(jiǎn)主義大數(shù)據(jù)：一切數(shù)據(jù)皆有用數(shù)據(jù)觀、68全球每秒鐘發(fā)送2.9百萬(wàn)封電子郵件，一分鐘讀一篇的話，足夠一個(gè)人晝夜不息的讀5.5年…每天會(huì)有

2.88萬(wàn)個(gè)小時(shí)的視頻上傳到Y(jié)outube，足夠一個(gè)人晝夜不息的觀看3.3年…推特上每天發(fā)布5千萬(wàn)條消息，假設(shè)10秒鐘瀏覽一條信息，這些消息足夠一個(gè)人晝夜不息的瀏覽16年…每天亞馬遜上將產(chǎn)生6.3百萬(wàn)筆訂單…每個(gè)月網(wǎng)民在Facebook上要花費(fèi)7千億分鐘，被移動(dòng)互聯(lián)網(wǎng)使用者發(fā)送和接收的數(shù)據(jù)高達(dá)1.3EB…Google上每天需要處理24PB的數(shù)據(jù)…人們從信息的被動(dòng)接受者變成了主動(dòng)創(chuàng)造者我們來(lái)到大數(shù)據(jù)時(shí)代全球每秒鐘發(fā)送2.9百萬(wàn)封電子郵件，一分鐘讀一篇的話，足69GBTBPBEBZB大數(shù)據(jù)時(shí)代的爆炸增長(zhǎng)想駕馭這龐大的數(shù)據(jù)，我們必須了解大數(shù)據(jù)的特征。地球上至今總共的數(shù)據(jù)量：在2006年，個(gè)人用戶才剛剛邁進(jìn)TB時(shí)代，全球一共新產(chǎn)生了約180EB的數(shù)據(jù)；在2011年，這個(gè)數(shù)字達(dá)到了1.8ZB。而有市場(chǎng)研究機(jī)構(gòu)預(yù)測(cè)：到2020年，整個(gè)世界的數(shù)據(jù)總量將會(huì)增長(zhǎng)44倍，達(dá)到35.2ZB（1ZB=10億TB）！1PB（拍字節(jié)）=2^50字節(jié)1EB（艾字節(jié)）=2^60字節(jié)1ZB（澤字節(jié)）=2^70字節(jié)GBTBPBEBZB大數(shù)據(jù)時(shí)代的爆炸增長(zhǎng)想駕馭這龐大的數(shù)據(jù)，7020世紀(jì)90年代，數(shù)據(jù)倉(cāng)庫(kù)之父的BillInmon就經(jīng)常提及BigData2011年5月，在“云計(jì)算相遇大數(shù)據(jù)”為主題的EMCWorld2011會(huì)議中，EMC拋出了BigData概念什么是大數(shù)據(jù)：BigData名詞由來(lái)20世紀(jì)90年代，數(shù)據(jù)倉(cāng)庫(kù)之父的BillInmon就經(jīng)常提71什么是大數(shù)據(jù)（NO-SQL,NotOnlySQL)

不同“看”數(shù)據(jù)的方式72可視：結(jié)構(gòu)化資料15%未視：半/非結(jié)構(gòu)化數(shù)據(jù)85%DB/DW主管們看的戰(zhàn)情數(shù)位儀表板，其實(shí)是殘缺的…什么是大數(shù)據(jù)（NO-SQL,NotOnlySQL)

不7285%半/非結(jié)構(gòu)化的Log/Webpage/Email/PDF/Image/Full-text/MS-Officefile

什么是大數(shù)據(jù)：不同的數(shù)據(jù)管理對(duì)象當(dāng)我們想要擴(kuò)充時(shí)，才發(fā)覺(jué)：架構(gòu)只能scale-up，scale-out不易處理時(shí)間過(guò)長(zhǎng)，

time-to-value受限成本過(guò)高，

cost-efficiency受限15%結(jié)構(gòu)化的DB/DW遺憾殘缺85%什么是大數(shù)據(jù)：當(dāng)我們想要擴(kuò)充時(shí)，遺憾殘缺73

大數(shù)據(jù)=海量數(shù)據(jù)+復(fù)雜類(lèi)型數(shù)據(jù)

增長(zhǎng)如此之塊，以至于難以使用現(xiàn)有的數(shù)據(jù)庫(kù)管理工具來(lái)駕馭，困難在于數(shù)據(jù)的獲取、存貯、搜索、共享、分析和可視化等方面大數(shù)據(jù)的定義數(shù)據(jù)量復(fù)雜性：種類(lèi)和速度銷(xiāo)量庫(kù)存薪酬表客戶信息合約ERP/CRMWEB2.0廣告博客搜索營(yíng)銷(xiāo)文本/圖像網(wǎng)絡(luò)日志大數(shù)據(jù)社會(huì)情緒音頻/視頻傳感器RFID維基/博客微博金融信息個(gè)人數(shù)據(jù)位置信息政府信息氣象數(shù)據(jù)保險(xiǎn)信息EBPBTBGB維基的大數(shù)據(jù)定義

任何超過(guò)一臺(tái)計(jì)算機(jī)處理能力的龐大數(shù)據(jù)量亞馬遜的大數(shù)據(jù)定義

大數(shù)據(jù)是由局部數(shù)據(jù)匯聚而成能反映出整體的數(shù)據(jù)，整體的數(shù)據(jù)又隨時(shí)空在不斷膨脹。Informatica的大數(shù)據(jù)定義

大數(shù)據(jù)=交易數(shù)據(jù)+互動(dòng)數(shù)據(jù)+觀測(cè)數(shù)據(jù)中國(guó)電信的大數(shù)據(jù)定義中心的大數(shù)據(jù)定義大數(shù)據(jù)的定義數(shù)據(jù)量復(fù)雜性：種類(lèi)和速度銷(xiāo)量庫(kù)

如果自然界中的事件完全不可預(yù)測(cè)地隨機(jī)發(fā)生，人們的生活將無(wú)法忍受；與此相反，如果每一件事情都是確定的、完全可以預(yù)測(cè)的，則生活將是無(wú)趣的。利用因果關(guān)系解釋觀測(cè)的現(xiàn)象或預(yù)測(cè)未來(lái)存在邏輯和實(shí)際上的困難。大數(shù)據(jù)的理性認(rèn)知[美]C.R勞

與傳統(tǒng)比較，大數(shù)據(jù)的分析處理的核心是預(yù)測(cè)和推斷，根本的變革在于不刻意追求因果關(guān)系，而更多關(guān)注相關(guān)關(guān)系。也就是說(shuō)，只要知道和什么有關(guān)，而不必強(qiáng)求為什么有關(guān)。[英]舍恩伯格

大數(shù)據(jù)時(shí)代來(lái)臨，使人類(lèi)第一次有機(jī)會(huì)和條件在非常多和非常深入的層次獲得和使用全面數(shù)據(jù)、完整數(shù)據(jù)和系統(tǒng)數(shù)據(jù)，簡(jiǎn)而言之就是樣本=總體。[英]舍恩伯格

大數(shù)據(jù)為政府統(tǒng)計(jì)提供了總體性、非結(jié)構(gòu)化、豐富真實(shí)的原始資料，可以極大地縮短數(shù)據(jù)采集時(shí)間，減少報(bào)表填報(bào)任務(wù)，減輕調(diào)查對(duì)象負(fù)擔(dān)，提高統(tǒng)計(jì)數(shù)據(jù)質(zhì)量。國(guó)家統(tǒng)計(jì)局馬建堂大數(shù)據(jù)，也叫全局?jǐn)?shù)據(jù)、總體數(shù)據(jù)，數(shù)據(jù)量越大其預(yù)測(cè)和推斷的準(zhǔn)確性越高大數(shù)據(jù)的理性認(rèn)知[美]C.R勞[英]舍1.Volume2.

Variety3.value4.Velocity結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)如今的數(shù)據(jù)類(lèi)型早已不是單一的文本形式，訂單、日志、音頻，能力提出了更高的要求沙里淘金，價(jià)值密度低以視頻為例，一部一小時(shí)的視頻，在連續(xù)不間斷監(jiān)控過(guò)程中，可能有用的數(shù)據(jù)僅僅只有一兩秒。如何通過(guò)強(qiáng)大的機(jī)器算法更迅速地完成數(shù)據(jù)的價(jià)值“提純”是目前大數(shù)據(jù)洶涌背景下亟待解決的難題實(shí)時(shí)獲取需要的信息大數(shù)據(jù)區(qū)分于傳統(tǒng)數(shù)據(jù)最顯著的特征。如今已是ZB時(shí)代，在如此海量的數(shù)據(jù)面前，處理數(shù)據(jù)的效率就是企業(yè)的生命大數(shù)據(jù)是指無(wú)法在一定時(shí)間內(nèi)用傳統(tǒng)數(shù)據(jù)庫(kù)軟件工具對(duì)其內(nèi)容進(jìn)行抓取、管理和處理的數(shù)據(jù)集合大數(shù)據(jù)：4V特性數(shù)據(jù)量巨大全球在2010年正式進(jìn)入ZB時(shí)代，IDC預(yù)計(jì)到2020年，全球?qū)⒖偣矒碛?5ZB的數(shù)據(jù)量1.Volume2.Variety3.value4.76

大數(shù)據(jù)要上升為國(guó)家戰(zhàn)略國(guó)家時(shí)間政策備注美國(guó)2012-3-29《大數(shù)據(jù)研究與發(fā)展計(jì)劃》推動(dòng)政府開(kāi)放、提升政策預(yù)見(jiàn)性（糧食、天氣、流感等）、提高政府服務(wù)水平、降底運(yùn)營(yíng)開(kāi)支英國(guó)2010-5數(shù)據(jù)權(quán)、我的數(shù)據(jù)日本2012-5ICT戰(zhàn)略中國(guó)2012-5互聯(lián)網(wǎng)大數(shù)據(jù)技術(shù)創(chuàng)新研究大數(shù)據(jù)要上升為國(guó)家戰(zhàn)略國(guó)家時(shí)間政策備注美國(guó)2012-3大數(shù)據(jù)不僅僅是數(shù)據(jù)“大”多大？PB級(jí)比大更重要的是數(shù)據(jù)的復(fù)雜性、全面性，有時(shí)甚至大數(shù)據(jù)中的小數(shù)據(jù)如一條微博就具有顛覆性的價(jià)值軟件是大數(shù)據(jù)的引擎大數(shù)據(jù)不僅僅是數(shù)據(jù)“大”多大？比大更重要的是數(shù)據(jù)的復(fù)雜性、全78大數(shù)據(jù)與傳統(tǒng)數(shù)據(jù)庫(kù)的區(qū)別大數(shù)據(jù)是在傳統(tǒng)數(shù)據(jù)庫(kù)學(xué)科的分支——數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)挖掘的基礎(chǔ)上進(jìn)一步發(fā)展起來(lái)的。但有兩點(diǎn)比較主要的不同：結(jié)構(gòu)化程度：傳統(tǒng)數(shù)據(jù)庫(kù)保存的是結(jié)構(gòu)化或者半結(jié)構(gòu)化的數(shù)據(jù)，以二維表或者標(biāo)準(zhǔn)XML文件的方式存儲(chǔ)數(shù)據(jù)，由于結(jié)構(gòu)清晰，處理相對(duì)容易；大數(shù)據(jù)面向的是一切計(jì)算機(jī)可以存儲(chǔ)的數(shù)據(jù)格式，包括互聯(lián)網(wǎng)上的各種網(wǎng)頁(yè)、圖片、音頻、視頻，包括辦公文檔、報(bào)表，包括人們?cè)谒阉饕嬷休斎氲年P(guān)鍵詞、在社交網(wǎng)絡(luò)中的留言、喜好，也包括各種傳感器自動(dòng)收集的監(jiān)控結(jié)果等等，顯然不同的格式處理起來(lái)更加困難。噪聲（異常）數(shù)據(jù)的處理：傳統(tǒng)數(shù)據(jù)庫(kù)通常把異常數(shù)據(jù)先剔除，應(yīng)用在需要高精確度的領(lǐng)域，如銀行對(duì)每個(gè)賬戶的管理；大數(shù)據(jù)則允許異常數(shù)據(jù)存在，更多應(yīng)用在預(yù)測(cè)方面，找出大量數(shù)據(jù)中隱藏的關(guān)聯(lián)關(guān)系，少量異常數(shù)據(jù)不會(huì)對(duì)總體結(jié)果產(chǎn)生影響。大數(shù)據(jù)與傳統(tǒng)數(shù)據(jù)庫(kù)的區(qū)別大數(shù)據(jù)是在傳統(tǒng)數(shù)據(jù)庫(kù)學(xué)科的分支——數(shù)79云計(jì)算與大數(shù)據(jù)大數(shù)據(jù)應(yīng)用運(yùn)行在云平臺(tái)之上如果數(shù)據(jù)是財(cái)富，那么大數(shù)據(jù)就是寶藏；云計(jì)算就是挖掘和利用寶藏的利器！沒(méi)有強(qiáng)大的計(jì)算能力，數(shù)據(jù)寶藏終究是鏡中花；沒(méi)有大數(shù)據(jù)的存儲(chǔ)和積淀，云計(jì)算也只能是殺雞用的宰牛刀！云計(jì)算與大數(shù)據(jù)大數(shù)據(jù)應(yīng)用運(yùn)行在如果數(shù)據(jù)是財(cái)富，那么大數(shù)據(jù)就是80大數(shù)據(jù)市場(chǎng)分析12011年-2016年中國(guó)大數(shù)據(jù)市場(chǎng)規(guī)模2各行業(yè)大數(shù)據(jù)市場(chǎng)規(guī)模政府、互聯(lián)網(wǎng)、電信、金融的大數(shù)據(jù)市場(chǎng)規(guī)模較大，四個(gè)行業(yè)將占據(jù)一半市場(chǎng)份額。由于各個(gè)行業(yè)都存在大數(shù)據(jù)應(yīng)用需求，潛在市場(chǎng)空間非?？捎^。2011年是中國(guó)大數(shù)據(jù)市場(chǎng)元年，一些大數(shù)據(jù)產(chǎn)品已經(jīng)推出，部分行業(yè)也有大數(shù)據(jù)應(yīng)用案例的產(chǎn)生。2012年-2016年，將迎來(lái)大數(shù)據(jù)市場(chǎng)的飛速發(fā)展。2012年中國(guó)大數(shù)據(jù)市場(chǎng)規(guī)模達(dá)到4.7億元，2013年大數(shù)據(jù)市場(chǎng)將迎來(lái)增速為138.3%的飛躍，到2016年，整個(gè)市場(chǎng)規(guī)模逼近百億。大數(shù)據(jù)市場(chǎng)分析12011年-2016年中國(guó)大數(shù)據(jù)市場(chǎng)規(guī)模2各81國(guó)際企業(yè)角力大數(shù)據(jù)

EMCEMC的大數(shù)據(jù)解決方案專(zhuān)注于使組織更有效地使用他們從不同來(lái)源產(chǎn)生的數(shù)據(jù)，包括網(wǎng)絡(luò)上，網(wǎng)頁(yè)上，消費(fèi)者，監(jiān)控系統(tǒng)和傳感器。EMC的數(shù)據(jù)計(jì)算產(chǎn)品事業(yè)部正在開(kāi)發(fā)分析工具以解決大數(shù)據(jù)現(xiàn)象。EMC的大數(shù)據(jù)解決方案包括40多個(gè)產(chǎn)品。2010年7月收購(gòu)數(shù)據(jù)庫(kù)軟件供應(yīng)商Greenplum，花費(fèi)3億美元2009年七月收購(gòu)數(shù)據(jù)復(fù)制解決方案提供商DataDomain，花費(fèi)24億美元不一定和大數(shù)據(jù)完全相關(guān)，EMC從2009年起收購(gòu)了ArcherTechnologies,SourceLabs,FastScaleTechnology,Configuresoft,andVaronisSystems。IBMIBM的策略是提供一個(gè)全面的方法來(lái)解決前所未有的信息爆炸提出的挑戰(zhàn)，因?yàn)樾畔⒘繜o(wú)論在流量、種類(lèi)、速度還是活力上都是爆炸式增長(zhǎng)IBM一直致力于擴(kuò)大對(duì)包括數(shù)據(jù)倉(cāng)庫(kù)中的大數(shù)據(jù)、信息流和結(jié)構(gòu)化數(shù)據(jù)的分析在過(guò)去四年中，IBM已經(jīng)投入超過(guò)120億美元進(jìn)行了23項(xiàng)相關(guān)并購(gòu)，其中包括：2010年9月收購(gòu)數(shù)據(jù)庫(kù)分析供應(yīng)商N(yùn)etezza公司，花費(fèi)17億美元2010年10月收購(gòu)網(wǎng)絡(luò)分析軟件供應(yīng)商Coremetrics2009年10月收購(gòu)數(shù)據(jù)分析和統(tǒng)計(jì)軟件提供商SPSS,花費(fèi)12億美元2009年1月收購(gòu)業(yè)務(wù)規(guī)則管理軟件供應(yīng)商ILOG,花費(fèi)3億4千萬(wàn)美元2007年花費(fèi)20億美元收購(gòu)商務(wù)智能軟件供應(yīng)商Cognos微軟微軟提供了高性能計(jì)算能力，并在2005年靠WindowsComputeCluster服務(wù)器進(jìn)入相關(guān)市場(chǎng)最近，微軟的HPC部門(mén)開(kāi)發(fā)了該公司的Dryad

并行處理技術(shù)社區(qū)技術(shù)預(yù)覽(CTP),第一步是向WindowsHPCServer的用戶提供處理大數(shù)據(jù)工具甲骨文甲骨文大數(shù)據(jù)提供的數(shù)據(jù)庫(kù)和數(shù)據(jù)庫(kù)軟件主要用于配合Sun的硬件，特別是它的最高端服務(wù)2009年7月收購(gòu)專(zhuān)注于數(shù)據(jù)復(fù)制和實(shí)時(shí)數(shù)據(jù)集成解決方案的私人企業(yè)GoldenGateSoftware國(guó)際企業(yè)角力大數(shù)據(jù)EMCEMC的大數(shù)據(jù)解決方案專(zhuān)注于使組織82大數(shù)據(jù)的產(chǎn)業(yè)價(jià)值鏈數(shù)據(jù)數(shù)據(jù)的掌控者，擁有或者可以收集大量數(shù)據(jù)的公司。海量的數(shù)據(jù)就是財(cái)富，可以考慮自己分析或者賣(mài)數(shù)據(jù)給其他公司。技術(shù)技術(shù)供應(yīng)商或者分析公司。掌握了從海量數(shù)據(jù)中分析出有用信息的技能或者工具，但本身不一定擁有數(shù)據(jù)。思維有創(chuàng)新思維的人或者公司。他們對(duì)大數(shù)據(jù)敏感，有怎樣挖掘數(shù)據(jù)的新價(jià)值的獨(dú)特想法。大數(shù)據(jù)的產(chǎn)業(yè)價(jià)值鏈數(shù)據(jù)數(shù)據(jù)的掌控者，擁有或者可以收集大量數(shù)據(jù)83分析技術(shù)：數(shù)據(jù)處理：自然語(yǔ)言處理技術(shù)統(tǒng)計(jì)和分析：A/Btest;topN排行榜；地域占比；文本情感分析數(shù)據(jù)挖掘：關(guān)聯(lián)規(guī)則分析；分類(lèi)；聚類(lèi)模型預(yù)測(cè)：預(yù)測(cè)模型；機(jī)器學(xué)習(xí)；建模仿真大數(shù)據(jù)技術(shù)：數(shù)據(jù)采集：ETL工具數(shù)據(jù)存?。宏P(guān)系數(shù)據(jù)庫(kù)；NoSQL；SQL等基礎(chǔ)架構(gòu)支持：云存儲(chǔ)；分布式文件系統(tǒng)等計(jì)算結(jié)果展現(xiàn)：云計(jì)算；標(biāo)簽云；關(guān)系圖等大數(shù)據(jù)技術(shù)體系：取、存、管、用存儲(chǔ)結(jié)構(gòu)化數(shù)據(jù)：海量數(shù)據(jù)的查詢(xún)、統(tǒng)計(jì)、更新等操作效率低非結(jié)構(gòu)化數(shù)據(jù)圖片、視頻、word、pdf、ppt等文件存儲(chǔ)不利于檢索、查詢(xún)和存儲(chǔ)半結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)換為結(jié)構(gòu)化存儲(chǔ)按照非結(jié)構(gòu)化存儲(chǔ)解決方案：Hadoop（MapReduce技術(shù)）流計(jì)算（twitter的storm和yahoo！的S4）數(shù)據(jù)采集數(shù)據(jù)儲(chǔ)存數(shù)據(jù)管理數(shù)據(jù)分析與挖掘分析技術(shù)：大數(shù)據(jù)技術(shù)體系：取、存、管、用存儲(chǔ)解決方案：數(shù)據(jù)采84大數(shù)據(jù)核心技術(shù)需求高并發(fā)讀寫(xiě)大數(shù)據(jù)核心技術(shù)需求高效率存儲(chǔ)和訪問(wèn)高可擴(kuò)展性和高可用性低成本建設(shè)運(yùn)維保證一致性的開(kāi)銷(xiāo)過(guò)大，難以實(shí)現(xiàn)高并發(fā)存儲(chǔ)性能受限于控制器，性能難以保證關(guān)系型表單存儲(chǔ)難以適應(yīng)不同數(shù)據(jù)類(lèi)型上億行數(shù)據(jù)的超級(jí)達(dá)標(biāo)效率極低傳統(tǒng)基于盤(pán)陣的存儲(chǔ)設(shè)備，造價(jià)昂貴，且市場(chǎng)壟斷嚴(yán)重，建設(shè)成本居高不下，擴(kuò)容成本尤其高許可和維護(hù)花費(fèi)高昂無(wú)法簡(jiǎn)單的通過(guò)添加服務(wù)節(jié)點(diǎn)來(lái)擴(kuò)展數(shù)據(jù)容量和負(fù)載能力，難以進(jìn)行橫向擴(kuò)展數(shù)據(jù)庫(kù)升級(jí)需要停機(jī)維護(hù)和數(shù)據(jù)遷移，導(dǎo)致服務(wù)中斷不保證遵循ACID原則，提高并發(fā)讀寫(xiě)性能

Schema-Free存儲(chǔ)適應(yīng)不同數(shù)據(jù)類(lèi)型舍棄SQL標(biāo)準(zhǔn)功能，盡量簡(jiǎn)化數(shù)據(jù)操作，提升效率MapReduce實(shí)現(xiàn)高效訪問(wèn)基于X86設(shè)備，價(jià)格低廉開(kāi)源系統(tǒng)，節(jié)省許可費(fèi)用支持水平擴(kuò)展，可簡(jiǎn)單的通過(guò)添加服務(wù)節(jié)點(diǎn)來(lái)擴(kuò)展數(shù)據(jù)容量和負(fù)載能力數(shù)據(jù)庫(kù)升級(jí)不影響服務(wù)持續(xù)大數(shù)據(jù)核心技術(shù)需求高并發(fā)讀寫(xiě)大數(shù)據(jù)核心技術(shù)需求高效率存儲(chǔ)85大數(shù)據(jù)的分析模型研究對(duì)象由組織、用戶、大數(shù)據(jù)和工具構(gòu)成的運(yùn)行系統(tǒng)研究?jī)?nèi)容大數(shù)據(jù)的構(gòu)成

大數(shù)據(jù)的行為大數(shù)據(jù)的行為和數(shù)據(jù)的組織研究方法知識(shí)工程解構(gòu)大數(shù)據(jù)系統(tǒng)研發(fā)工程支撐大數(shù)據(jù)系統(tǒng)價(jià)值工程牽引大數(shù)據(jù)系統(tǒng)研究目標(biāo)大數(shù)據(jù)生產(chǎn)平臺(tái)大數(shù)據(jù)開(kāi)發(fā)平臺(tái)大數(shù)據(jù)采集平臺(tái)大數(shù)據(jù)應(yīng)用平臺(tái)研究重點(diǎn)數(shù)據(jù)分而治之資源組織調(diào)度邏輯復(fù)制遷移組織大數(shù)據(jù)用戶工具知識(shí)工程研發(fā)工程價(jià)值工程社會(huì)價(jià)值結(jié)構(gòu)功能信源信宿信道控制狀態(tài)協(xié)同生產(chǎn)采集存儲(chǔ)應(yīng)用傳遞展現(xiàn)概念定議劃分經(jīng)濟(jì)價(jià)值科技價(jià)值商業(yè)價(jià)值為什么是什么怎么做大數(shù)據(jù)的分析模型研究對(duì)象組織大數(shù)據(jù)用戶工具知識(shí)工程研發(fā)工程價(jià)大數(shù)據(jù)變革既有數(shù)據(jù)觀：以變革始大數(shù)據(jù)將變革人們認(rèn)世界的模式，最重要的是建模分析的方式；由選擇抽樣到全樣本（all-sample)，“樣本=總體”；大數(shù)據(jù)更重視相關(guān)關(guān)系，而不去過(guò)于追求因果關(guān)系；即使從前的建模也一樣是模擬，無(wú)法解決因果；大數(shù)據(jù)將徹底改變IT公司的構(gòu)成,擁有數(shù)據(jù)、技術(shù)與思維的公司將三足鼎立，但最終擁有數(shù)據(jù)的公司將最有價(jià)值。大數(shù)據(jù)改變政府和企業(yè)對(duì)待數(shù)據(jù)的觀念，真正認(rèn)識(shí)到數(shù)據(jù)的重要性政務(wù)的大數(shù)據(jù)需求：原有異構(gòu)數(shù)據(jù)的整理收集以及未來(lái)的應(yīng)用創(chuàng)新大數(shù)據(jù)變革既有數(shù)據(jù)觀：以變革始大數(shù)據(jù)將變革人們認(rèn)世界的模式，87大數(shù)據(jù)是組織的一種資產(chǎn)

數(shù)據(jù)資源已經(jīng)是上升為國(guó)家的戰(zhàn)略資源。人類(lèi)已進(jìn)入“后信息經(jīng)濟(jì)時(shí)代”，即智慧經(jīng)濟(jì)。

智慧經(jīng)濟(jì)是一種創(chuàng)新形態(tài)的萌生經(jīng)濟(jì)，能實(shí)現(xiàn)經(jīng)濟(jì)與環(huán)境、能源、社會(huì)最大限度的可持續(xù)發(fā)展。

大數(shù)據(jù)是智慧經(jīng)濟(jì)的基礎(chǔ)。從哪里來(lái)、當(dāng)前在哪里、要到哪里去大數(shù)據(jù)是一種資產(chǎn)大數(shù)據(jù)是組織的一種資產(chǎn)從哪里來(lái)、當(dāng)前在哪里、

三個(gè)小故事：智者善用數(shù)據(jù)和工具

孟德?tīng)柾攵闺s交實(shí)驗(yàn)，基于數(shù)十年實(shí)驗(yàn)數(shù)據(jù)，經(jīng)過(guò)采集、分析、歸納、推導(dǎo)、預(yù)測(cè)找到其規(guī)律。（一）使用數(shù)據(jù)

曹沖稱(chēng)象，大而劃之、分而治之。秤是分析，算盤(pán)是匯總。（二）處理數(shù)據(jù)

平民傳奇，分布式文件系統(tǒng)、分布式數(shù)據(jù)庫(kù)系統(tǒng)，解決對(duì)象的切分與存貯；MR編程模式解決分析與歸納。（三）構(gòu)建系統(tǒng)三個(gè)小故事：智者善用數(shù)據(jù)和工具（一）使用數(shù)據(jù)（二）處理數(shù)據(jù)大數(shù)據(jù)處理行為技術(shù)特征數(shù)據(jù)無(wú)限分而治之功能有限復(fù)制分發(fā)大數(shù)據(jù)處理行為技術(shù)特征數(shù)功能有限復(fù)制分發(fā)

大數(shù)據(jù)系統(tǒng)的定義

是一個(gè)以人為主導(dǎo)，利用計(jì)算機(jī)硬件、軟件、網(wǎng)絡(luò)通信設(shè)備以及其他辦公設(shè)備，進(jìn)行信息的收集、傳輸、加工、儲(chǔ)存、更新、拓展和維護(hù)的系統(tǒng)

是一個(gè)將各類(lèi)信息系統(tǒng)產(chǎn)生的數(shù)據(jù)作為存貯、分析和利用的信息系統(tǒng)，通過(guò)借助計(jì)算機(jī)硬件、軟件、網(wǎng)絡(luò)通信設(shè)備以及其他設(shè)備，實(shí)現(xiàn)對(duì)數(shù)據(jù)的收集、存貯、處理、傳遞、備份的系統(tǒng)。管理信息系統(tǒng)大數(shù)據(jù)系統(tǒng)大數(shù)據(jù)系統(tǒng)的定義管理信息系統(tǒng)大數(shù)據(jù)系統(tǒng)

大數(shù)據(jù)系統(tǒng)的設(shè)計(jì)目標(biāo)設(shè)計(jì)目標(biāo)1可以存貯海量數(shù)2可以進(jìn)行高速處理3可以快速開(kāi)發(fā)出并行服務(wù)4可以搭建在廉價(jià)的機(jī)群上大數(shù)據(jù)系統(tǒng)的設(shè)計(jì)目標(biāo)設(shè)計(jì)目標(biāo)1234大數(shù)據(jù)系統(tǒng)的邏輯架構(gòu)數(shù)據(jù)應(yīng)用層外部系統(tǒng)層數(shù)據(jù)計(jì)算層[數(shù)據(jù)節(jié)點(diǎn)子系統(tǒng)][任務(wù)節(jié)點(diǎn)子系統(tǒng)]綜合管控層信息安全保障體系標(biāo)準(zhǔn)規(guī)范體系數(shù)據(jù)分析層

[定制計(jì)算子系統(tǒng)][數(shù)據(jù)分析子系統(tǒng)][數(shù)據(jù)倉(cāng)庫(kù)子系統(tǒng)][數(shù)據(jù)域節(jié)點(diǎn)子系統(tǒng)][任務(wù)節(jié)點(diǎn)子系統(tǒng)]名稱(chēng)節(jié)點(diǎn)子系統(tǒng)作業(yè)節(jié)點(diǎn)子系統(tǒng)數(shù)據(jù)庫(kù)主節(jié)點(diǎn)子系統(tǒng)統(tǒng)一協(xié)同節(jié)點(diǎn)子系統(tǒng)備份節(jié)點(diǎn)子系統(tǒng)

[數(shù)據(jù)調(diào)用子系統(tǒng)][數(shù)據(jù)呈現(xiàn)子系統(tǒng)][數(shù)據(jù)采集子系統(tǒng)][ERP系統(tǒng)][電子商務(wù)網(wǎng)站][……]大數(shù)據(jù)系統(tǒng)的邏輯架構(gòu)數(shù)據(jù)應(yīng)用外部系統(tǒng)層數(shù)據(jù)計(jì)算層[數(shù)據(jù)節(jié)大數(shù)據(jù)庫(kù)系統(tǒng)界面產(chǎn)品研發(fā)成果：云數(shù)據(jù)庫(kù)虛擬化平臺(tái)截圖：大數(shù)據(jù)庫(kù)系統(tǒng)界面產(chǎn)品研發(fā)成果：云數(shù)據(jù)庫(kù)虛擬化平臺(tái)截圖：94

與現(xiàn)有系統(tǒng)的關(guān)系現(xiàn)有系統(tǒng)大數(shù)據(jù)系統(tǒng)數(shù)據(jù)輸入分布節(jié)點(diǎn)1分布節(jié)點(diǎn)2分布節(jié)點(diǎn)3輸出現(xiàn)有系統(tǒng)調(diào)用大數(shù)據(jù)系統(tǒng)分布節(jié)點(diǎn)1分布節(jié)點(diǎn)2分布節(jié)點(diǎn)3輸出與現(xiàn)有系統(tǒng)的關(guān)系現(xiàn)有系統(tǒng)大數(shù)據(jù)系統(tǒng)數(shù)據(jù)輸入分布節(jié)點(diǎn)1分布HADOOPHADOOP96MaHoutMaHout97主流大數(shù)據(jù)庫(kù)使用現(xiàn)狀主流大數(shù)據(jù)庫(kù)使用現(xiàn)狀98大數(shù)據(jù)系統(tǒng)體系建設(shè)規(guī)劃搭平臺(tái)采數(shù)據(jù)建模型編代碼圖呈現(xiàn)第一階段一次建逐步擴(kuò)可查詢(xún)簡(jiǎn)應(yīng)用巧婦有米可炊第二階段重復(fù)迭代持續(xù)可分析深入用巧婦百變花樣大數(shù)據(jù)系統(tǒng)體系建設(shè)規(guī)劃搭平臺(tái)采數(shù)據(jù)建模型編代碼圖呈現(xiàn)第一

搭平臺(tái)-系統(tǒng)布署規(guī)劃類(lèi)型名稱(chēng)配置IP安裝內(nèi)容備注分布式應(yīng)用MR-PIG主頻為2.4Ghz以上內(nèi)存：16G硬盤(pán)：500G192.168.4.1MR系統(tǒng)和Pig系統(tǒng)兩個(gè)系統(tǒng)裝在一臺(tái)機(jī)上Hive-Chukwa192.168.4.2Hive系統(tǒng)和Chukwa系統(tǒng)兩個(gè)系統(tǒng)裝在一臺(tái)機(jī)上mysql192.168.4.3mysql數(shù)據(jù)庫(kù)系統(tǒng)存放hive和chukwa的元數(shù)據(jù)信息HDFS集群主節(jié)點(diǎn)NameNode192.168.1.1Hdfs系統(tǒng)JobTracker-Second192.168.1.2同時(shí)作為secondNmaenodeHDFS集群從節(jié)點(diǎn)DataNode1192.168.1.3DataNode2192.168.1.4DataNode3192.168.1.5Hbase集群主節(jié)點(diǎn)Hmaster192.168.2.1Hbase系統(tǒng)Hbase集群從節(jié)點(diǎn)HregionServer192.168.2.2ZooKeeper集群ZooKeeper192.168.3.1ZooKeeper系統(tǒng)搭平臺(tái)-系統(tǒng)布署規(guī)劃類(lèi)型名稱(chēng)配置IP安裝內(nèi)容備注分布式應(yīng)

采數(shù)據(jù)-數(shù)據(jù)采集模型采數(shù)據(jù)-數(shù)據(jù)采集模型

建模型-建立四大模型建模型-建立四大模型

建模型-建模所需基礎(chǔ)知識(shí)概率論隨機(jī)變量數(shù)字特征參數(shù)估計(jì)假設(shè)檢驗(yàn)建模型-建模所需基礎(chǔ)知識(shí)概率論

建模型-十大精典算法建模型-十大精典算法

建模型-算法的典型應(yīng)用關(guān)聯(lián)規(guī)則建模型-算法的典型應(yīng)用關(guān)聯(lián)規(guī)則

建模型-算法的典型應(yīng)用決策樹(shù)建模型-算法的典型應(yīng)用決策樹(shù)

編代碼-開(kāi)發(fā)環(huán)境的安裝編代碼-開(kāi)發(fā)環(huán)境的安裝圖呈現(xiàn)：

圖形設(shè)計(jì)技術(shù)數(shù)據(jù)描述視覺(jué)編碼：大小、顏色、紋理、形狀；線段、圖表、樹(shù)；聽(tīng)覺(jué)編碼：聲音、語(yǔ)言數(shù)據(jù)表示

在時(shí)空局限下采用滾動(dòng)、變形、抑制、縮放、快速序列來(lái)展現(xiàn)數(shù)據(jù)。交互

連續(xù)、漸進(jìn)、被動(dòng)、混合多種交互方式，大數(shù)據(jù)展現(xiàn)技術(shù)總結(jié)：數(shù)據(jù)呈現(xiàn)技術(shù)是大數(shù)據(jù)能否讓智慧經(jīng)濟(jì)走進(jìn)尋常百姓家的最后一公里，利用信息可視可聽(tīng)使大數(shù)據(jù)的有價(jià)信息以可感性認(rèn)知的方式呈現(xiàn)出來(lái)至關(guān)重要。圖呈現(xiàn)：圖形設(shè)計(jì)技術(shù)數(shù)據(jù)描述大數(shù)據(jù)展現(xiàn)技術(shù)總結(jié)：

圖呈現(xiàn)：

一圖勝千言圖呈現(xiàn)：一圖勝千言

圖呈現(xiàn)-圖形開(kāi)發(fā)工具DataWrangler斯坦福大學(xué)可視化組（SUVG）設(shè)計(jì)的基于web的服務(wù)的圖形化工具計(jì)算量大GoogleRefine用戶在電腦上運(yùn)行這個(gè)應(yīng)用程序后就可以通過(guò)瀏覽器訪問(wèn)之GoogleFusionTablesarietyGoogleFusionTables的處理大數(shù)據(jù)量的強(qiáng)大能力，以及能夠自由添加不同的空間視圖的功能JavaScriptInfoVisToolkitQuantumGISOpenHeatMapTimeFlow圖呈現(xiàn)-圖形開(kāi)發(fā)工具DataWrangler輿情系統(tǒng)：大數(shù)據(jù)應(yīng)用全文檢索軟件文本挖掘軟件輿情分析軟件突發(fā)事件專(zhuān)題追蹤與分析軟件輿情簡(jiǎn)報(bào)自動(dòng)生成軟件六大主要技術(shù)組件輿情系統(tǒng)：大數(shù)據(jù)應(yīng)用六大主要技術(shù)組件111112輿情監(jiān)控社會(huì)傳感網(wǎng)絡(luò)

輿情系統(tǒng)：數(shù)據(jù)采集模式一級(jí)社會(huì)傳感網(wǎng)絡(luò)：活躍的敏感網(wǎng)站，實(shí)時(shí)監(jiān)控二級(jí)社會(huì)傳感網(wǎng)絡(luò)：包含有害信息站點(diǎn)，定時(shí)掃描三級(jí)社會(huì)傳感網(wǎng)絡(luò)：一般性網(wǎng)站，關(guān)鍵詞定期巡查47輿情監(jiān)控社會(huì)傳感網(wǎng)絡(luò)輿情系統(tǒng)：數(shù)據(jù)采集模式一級(jí)社會(huì)傳113輿情系統(tǒng)：突發(fā)事件分析48輿情系統(tǒng)：突發(fā)事件分析關(guān)鍵詞配置文本篇章配置站點(diǎn)頻道配置數(shù)據(jù)實(shí)時(shí)處理與匯總在線分析與計(jì)算事件趨勢(shì)分析輿情分析社會(huì)網(wǎng)絡(luò)分析蒙牛事件涉及組織社會(huì)網(wǎng)絡(luò)分析蒙牛事件人物關(guān)系網(wǎng)絡(luò)演化傳播影響分析蒙牛事件

輿情系統(tǒng)：結(jié)果展示關(guān)鍵詞配置文本篇章配置站點(diǎn)頻道配置數(shù)據(jù)實(shí)時(shí)處理與匯總在線分析114時(shí)空大數(shù)據(jù)聚合應(yīng)用案例廣西科技投入