大數(shù)據(jù)與云數(shù)據(jù)管理

1、第9章 大數(shù)據(jù)與云數(shù)據(jù)管理大數(shù)據(jù)云計(jì)算云數(shù)據(jù)管理 Evaluation Warning : The document was created with Spire.Presentation for .NET有關(guān)大數(shù)數(shù)據(jù)的兩兩個(gè)問題題問題1：你知道道什么是是“大數(shù)數(shù)據(jù)”嗎嗎？如果你不不知道，那么你你很可能能OUT了！問題2：你聽說說過“大大數(shù)據(jù)”嗎？如果你連連“大數(shù)數(shù)據(jù)”聽聽都沒聽聽過，那那么你絕絕對OUT了！Evaluation Warning : The document was created with Spire.Presentation for .NET你認(rèn)識這這位老兄兄嗎？如果你連連

2、這位老老兄都不不認(rèn)識，那你也也太OUT了！Evaluation Warning : The document was created with Spire.Presentation for .NET斯諾登事事件帶給給我們的的最大震震動是什什么？不在于他他暴露了了美國政政府正在在監(jiān)聽全全世界這這件事情情。因?yàn)闉椋@早早已是公公開的秘秘密，對對“世界界警察”而言，這沒有有什么值值得大驚驚小怪的的!而在于他他使我們們了解到到美國政政府已經(jīng)經(jīng)具備了了獲取、存儲、管理、分析和和使用“大數(shù)據(jù)據(jù)”的超超強(qiáng)能力力。這使使美國政政府獲得得了相對對他國政政府更明明顯的優(yōu)優(yōu)勢！大數(shù)據(jù)為為“世界界警察”的“大大拳頭”

3、裝上了了“大眼眼睛”、“大耳朵朵”和“大腦袋袋”！Evaluation Warning : The document was created with Spire.Presentation for .NET目前IT領(lǐng)域最引引人關(guān)注注的三個(gè)個(gè)熱詞是是什么？大數(shù)據(jù)云計(jì)算物聯(lián)網(wǎng)其他：移移動互聯(lián)聯(lián)網(wǎng)，社社交網(wǎng)，XXX2.0/3.0/Evaluation Warning : The document was created with Spire.Presentation for .NET什么是大大數(shù)據(jù)？來源：2008年9月科學(xué)(Science)雜志發(fā)表表了一篇篇文章“BigData:Scienceint

4、hePetabyteEra”， 從此此“大數(shù)數(shù)據(jù)”這這個(gè)詞開開始被廣廣泛傳播播。Evaluation Warning : The document was created with Spire.Presentation for .NET什么是大大數(shù)據(jù)？沒有統(tǒng)一一定義，因?yàn)椤按蟆笔鞘且粋€(gè)相相對“小小”而言言概念。與大數(shù)據(jù)據(jù)(Big Data)相類似的的詞匯：LargeScale大規(guī)模,Very Large超大規(guī)模模,Massive海量Evaluation Warning : The document was created with Spire.Presentation for .NET什么是大

5、大數(shù)據(jù)？從歷史發(fā)發(fā)展的視視角看這這幾個(gè)詞詞：Very Large表示GB級別的數(shù)數(shù)據(jù)Massive表示TB級的數(shù)據(jù)據(jù)BigData表示PB級別及其其以上的的數(shù)據(jù)顯然，爭爭論它們們中哪一一個(gè)更大大沒有什什么意義義。Evaluation Warning : The document was created with Spire.Presentation for .NET什么是大大數(shù)據(jù)？一個(gè)普遍遍接受的的定義大數(shù)據(jù)是是指無法法在可容容忍的時(shí)時(shí)間內(nèi)用用傳統(tǒng)方方法或工工具對其其進(jìn)行抓抓取、管管理和處處理的數(shù)數(shù)據(jù)集合合。數(shù)據(jù)集組組成非常常巨大和和復(fù)雜，以至于于傳統(tǒng)數(shù)數(shù)據(jù)庫管管理工具具處理起起來面臨臨很多問

6、問題。獲取、存存儲、檢檢索、共共享、分分析和可可視化。數(shù)據(jù)量達(dá)達(dá)到PB、EB或ZB級別。*from BigDatawikipedia.Evaluation Warning : The document was created with Spire.Presentation for .NET難道這就就是大數(shù)數(shù)據(jù)？Evaluation Warning : The document was created with Spire.Presentation for .NET難道這就就是大數(shù)數(shù)據(jù)？Evaluation Warning : The document was created with Spir

7、e.Presentation for .NET大數(shù)據(jù)產(chǎn)產(chǎn)生的背背景數(shù)據(jù)量3個(gè)月翻一一番通信速度度6個(gè)月翻一一番存儲容量量9個(gè)月翻一一番集成電路路18個(gè)月翻一一番現(xiàn)在網(wǎng)絡(luò)絡(luò)環(huán)境下下每18個(gè)月產(chǎn)生生的數(shù)據(jù)據(jù)量相當(dāng)當(dāng)于過去去幾千年年的數(shù)據(jù)據(jù)量之和和數(shù)據(jù)之多多，數(shù)據(jù)據(jù)量之大大，前所所未有Evaluation Warning : The document was created with Spire.Presentation for .NET大數(shù)據(jù)有有多大？以互聯(lián)網(wǎng)網(wǎng)為例Facebook截止2012年4月，每日日評論已已達(dá)32億條；每每天新上上傳照片片近3億張。每周新增增圖片容容量約60TB，圖片總總量

8、約2600億張，已已超過20PB。平均每秒秒3500次寫操作作，讀操操作的峰峰值可以以達(dá)到每每秒百萬萬次。Amazon目前EC2有約450000臺服務(wù)器器(存儲+處理)。*數(shù)據(jù)來來自Facebook于2012年4月提交的的監(jiān)管文文件。*數(shù)據(jù)據(jù)來源于于亞馬遜遜2012年4月的官方方介紹材材料。Evaluation Warning : The document was created with Spire.Presentation for .NET大數(shù)據(jù)有有多大？多，實(shí)在在是多！繁，實(shí)在在是繁！大，實(shí)在在是大！Nodata likemoredata!數(shù)據(jù)永遠(yuǎn)遠(yuǎn)也不嫌嫌多！Evaluation Wa

9、rning : The document was created with Spire.Presentation for .NET大數(shù)據(jù)從從何而來來？機(jī)器存儲軟件、系系統(tǒng)文件件、基礎(chǔ)礎(chǔ)數(shù)據(jù)元數(shù)據(jù)(如索引)冗余、備備份處理原始數(shù)據(jù)據(jù)的自動動加工：壓縮、聚聚類、規(guī)規(guī)則適用用、可視視化、智智能衍生生傳播負(fù)載遷移移、分布布式共享享(如P2P)Evaluation Warning : The document was created with Spire.Presentation for .NET大數(shù)據(jù)從從何而來來？人內(nèi)容提供供商新聞報(bào)道道、時(shí)事事評論、廣告宣宣傳音頻、視視頻、微微視頻職業(yè)撰稿稿人網(wǎng)絡(luò)作

10、家家、寫手手、推手手、水軍軍普通大眾眾博文、圖圖片、音音樂、視視頻SNS網(wǎng)絡(luò)傳播播評論、轉(zhuǎn)轉(zhuǎn)發(fā)Evaluation Warning : The document was created with Spire.Presentation for .NET大數(shù)據(jù)從從何而來來？物理世界界無所不在在的感知知數(shù)據(jù)傳感節(jié)點(diǎn)點(diǎn)(壓力、溫溫度、濕濕度、聲聲光電)無線寬頻頻信號采采樣、太太湖藍(lán)藻藻檢測、PM2.5視頻監(jiān)控控目前1路720P高清視頻頻攝像數(shù)數(shù)據(jù)每小小時(shí)視頻頻錄像3GB左右。按按一個(gè)月月保存時(shí)時(shí)間要求求計(jì)算，3GB/小時(shí)24小時(shí)30天1路=2.16T。一個(gè)擁擁有500路高清視視頻攝像像，需要要保存1個(gè)

11、月的監(jiān)監(jiān)控系統(tǒng)統(tǒng)所需的的最少存存儲容量量是1PB。對地觀測測資源三號號衛(wèi)星在在運(yùn)行前前兩個(gè)月月的時(shí)間間內(nèi)，產(chǎn)產(chǎn)生37TB的原始影影像數(shù)據(jù)據(jù)。這是是后續(xù)互互聯(lián)網(wǎng)地地圖的基基礎(chǔ)。天文物理理、氣象象、醫(yī)學(xué)學(xué)等專業(yè)業(yè)領(lǐng)域數(shù)數(shù)據(jù)Evaluation Warning : The document was created with Spire.Presentation for .NET大數(shù)據(jù)向向何而去去？服務(wù)如果不能能提供服服務(wù)，大大數(shù)據(jù)就就沒有意意義。面向人、機(jī)、物物的服務(wù)務(wù)物理世界界：需要要足夠的的采樣數(shù)數(shù)據(jù)機(jī)器：需需要數(shù)據(jù)據(jù)具有關(guān)關(guān)聯(lián)度，能夠從從中分析析出有用用信息，非結(jié)構(gòu)構(gòu)化半結(jié)構(gòu)化化結(jié)構(gòu)化人：能夠

12、夠直接使使用數(shù)據(jù)據(jù)的表現(xiàn)現(xiàn)形式，進(jìn)行生生產(chǎn)和決決策Evaluation Warning : The document was created with Spire.Presentation for .NET大數(shù)據(jù)為為什么重重要？2012年3月29日，奧巴巴馬政府府宣布投投資2億美元啟啟動“大大數(shù)據(jù)研研究和發(fā)發(fā)展計(jì)劃劃”，美美國政府府已把“大數(shù)據(jù)據(jù)”上升升到了國國家戰(zhàn)略略的層面面。中國政府府和業(yè)界界對“大大數(shù)據(jù)” 高度度重視并并在大力力推進(jìn)。據(jù)報(bào)道道，今年年兩會上上已有委委員提出出將大數(shù)數(shù)據(jù)列入入國家發(fā)發(fā)展戰(zhàn)略略。Evaluation Warning : The document was cre

13、ated with Spire.Presentation for .NET20大數(shù)據(jù)的的特征容量大1電子商務(wù)務(wù)科學(xué)計(jì)算算網(wǎng)絡(luò)生活活每月交易21億筆，產(chǎn)生生300TB交易日志志信息7億用戶、400億張照片，總?cè)萘苛砍^1500TB新墨西哥哥州的天天文望遠(yuǎn)遠(yuǎn)鏡每年產(chǎn)生80TB的圖像信信息美國國會會圖書館館存檔信信息量：約80TB生物信息息第一個(gè)中中國人的的全基因因組圖譜譜，1177億堿基對Evaluation Warning : The document was created with Spire.Presentation for .NET21大數(shù)據(jù)的的特征增加快2許多數(shù)據(jù)據(jù)是人造造出來的的！例

14、子：北北京至紐紐約的客客機(jī)有千千余個(gè)傳傳感器，一次飛飛機(jī)記錄錄的數(shù)據(jù)據(jù)達(dá)數(shù)百百T至P級。Evaluation Warning : The document was created with Spire.Presentation for .NET22大數(shù)據(jù)的的特征非結(jié)構(gòu)化化3非結(jié)構(gòu)化化=沒有找到到共性特特征多層結(jié)構(gòu)構(gòu)Evaluation Warning : The document was created with Spire.Presentation for .NET大數(shù)據(jù)的的構(gòu)成Evaluation Warning : The document was created with Spire.

15、Presentation for .NET大數(shù)據(jù)的的4V特性體量Volume多樣性Variety價(jià)值密度Value速度Velocity非結(jié)構(gòu)化數(shù)據(jù)的超大規(guī)模和增長總數(shù)據(jù)量的8090%比結(jié)構(gòu)化數(shù)據(jù)增長快10倍到50倍是傳統(tǒng)數(shù)據(jù)倉庫的10倍到50倍大數(shù)據(jù)的異構(gòu)和多樣性很多不同形式(文本、圖像、視頻、機(jī)器數(shù)據(jù))無模式或者模式不明顯不連貫的語法或句義大量的不相關(guān)信息對未來趨勢與模式的可預(yù)測分析深度復(fù)雜分析(機(jī)器學(xué)習(xí)、人工智能Vs傳統(tǒng)商務(wù)智能(咨詢、報(bào)告等)實(shí)時(shí)分析而非批量式分析數(shù)據(jù)輸入、處理與丟棄立竿見影而非事后見效Evaluation Warning : The document was creat

16、ed with Spire.Presentation for .NETVolume數(shù)據(jù)量PB是大數(shù)據(jù)據(jù)層次的的臨界點(diǎn)點(diǎn).KB-MB-GB-TB-PB-EB-ZB-YB-NB-DBEvaluation Warning : The document was created with Spire.Presentation for .NETValue價(jià)值挖掘大數(shù)數(shù)據(jù)的價(jià)價(jià)值類似似沙里淘淘金,從海量數(shù)數(shù)據(jù)中挖挖掘稀疏疏但珍貴貴的信息息.價(jià)值密度度低,是大數(shù)據(jù)據(jù)的一個(gè)個(gè)典型特特征.Evaluation Warning : The document was created with Spire.Presen

17、tation for .NETVariety多樣性企業(yè)內(nèi)部部的經(jīng)營營交易信信息，物物聯(lián)網(wǎng)世世界中商商品，物物流信息息；互聯(lián)聯(lián)網(wǎng)世界界中人與與人交互互信息，位置信信息等是是大數(shù)據(jù)據(jù)的主要要來源。能夠在不不同的數(shù)數(shù)據(jù)類型型中，進(jìn)進(jìn)行交叉叉分析的的技術(shù)，是大數(shù)數(shù)據(jù)的核核心技術(shù)術(shù)之一。語義分析析技術(shù)，圖文轉(zhuǎn)轉(zhuǎn)換技術(shù)術(shù)，模式式識別技技術(shù)，地地理信息息技術(shù)等等，都會會在大數(shù)數(shù)據(jù)分析析時(shí)獲得得應(yīng)用。Evaluation Warning : The document was created with Spire.Presentation for .NETVelocity速度1s是臨界點(diǎn)點(diǎn)。對于大數(shù)數(shù)據(jù)應(yīng)用用而

18、言,必須要在在1秒鐘內(nèi)形形成答案案,否則處理理結(jié)果就就是過時(shí)時(shí)和無效效的。實(shí)時(shí)處理理的要求求,是區(qū)別大大數(shù)據(jù)引引用和傳傳統(tǒng)數(shù)據(jù)據(jù)倉庫技技術(shù)、BI技術(shù)的關(guān)關(guān)鍵差別別之一。Evaluation Warning : The document was created with Spire.Presentation for .NET臉譜(Facebook)數(shù)據(jù)中心心微軟(Microsoft)數(shù)據(jù)中心心蘋果(Apple)數(shù)據(jù)中心心谷歌(Google)數(shù)據(jù)中心心數(shù)據(jù)中心心看上去，規(guī)模龐龐大4大數(shù)據(jù)管管理的基基礎(chǔ)數(shù)據(jù)中心心Evaluation Warning : The document was create

19、d with Spire.Presentation for .NET30數(shù)據(jù)中心心走進(jìn)去，結(jié)構(gòu)復(fù)復(fù)雜4大數(shù)據(jù)管管理的基基礎(chǔ)數(shù)據(jù)中心心Evaluation Warning : The document was created with Spire.Presentation for .NET數(shù)據(jù)庫與與大數(shù)據(jù)據(jù)GB/TB級高質(zhì)量、較干凈凈強(qiáng)結(jié)構(gòu)化化Top-down重交易確定解數(shù)據(jù)庫vs大數(shù)據(jù)*傳統(tǒng)數(shù)據(jù)據(jù)庫/數(shù)據(jù)倉庫庫PB級以上有噪聲、有冗余余非結(jié)構(gòu)化化Bottom-up重交互滿意解大數(shù)據(jù)* 摘自自李德毅毅院士于于2012年5月23日在云計(jì)計(jì)算大會會上的講講話，略略有修改改Evaluation War

20、ning : The document was created with Spire.Presentation for .NET“大數(shù)據(jù)據(jù)”是數(shù)數(shù)據(jù)增長長從量量變到質(zhì)質(zhì)變的里里程碑從人的認(rèn)認(rèn)知角度度來看，在數(shù)據(jù)據(jù)量比較較小的情情況下，我們基基于典型型的數(shù)據(jù)據(jù)去思考考。例如，我我們可以以設(shè)計(jì)一一個(gè)數(shù)據(jù)據(jù)模型來來管理目目前沒遇遇到但以以后可能能遇到的的數(shù)據(jù)，或者設(shè)設(shè)計(jì)一個(gè)個(gè)精妙的的算法正正確高效效地處理理將來可可能遇到到的數(shù)據(jù)據(jù)和各種種情況。而大數(shù)據(jù)據(jù)則顛覆覆了這一一假定，目前的的數(shù)據(jù)量量已足夠夠大，足足以包羅羅萬象，充分利利用現(xiàn)有有數(shù)據(jù)得得出的全全面而簡簡約的數(shù)數(shù)據(jù)模型型和算法法足以應(yīng)應(yīng)對我們們

21、可能遇遇到的各各種情況況。換言之，數(shù)據(jù)模模型與算算法設(shè)計(jì)計(jì)的首要要任務(wù)不不再是人人基于少少量數(shù)據(jù)據(jù)的思考考，而是是機(jī)器基基于海量量數(shù)據(jù)的的分析歸歸類。從基于猜猜測假定定的設(shè)計(jì)計(jì)到基于于事實(shí)和和經(jīng)驗(yàn)的的歸納總總結(jié)，是是人類認(rèn)認(rèn)知過程程的進(jìn)步步。這是一個(gè)個(gè)革命性性的進(jìn)展展，是大大數(shù)據(jù)之之所以激激動人心心的根本本。Evaluation Warning : The document was created with Spire.Presentation for .NET大數(shù)據(jù)不不僅僅是是“大”多大？PB級比大更重要的的是數(shù)據(jù)的復(fù)復(fù)雜性，有時(shí)甚甚至大數(shù)數(shù)據(jù)中的的小數(shù)據(jù)據(jù)如一條條微博就就具有顛顛覆性的的價(jià)

22、值Evaluation Warning : The document was created with Spire.Presentation for .NET大數(shù)據(jù)的的應(yīng)用不不僅僅是是精準(zhǔn)營營銷通過用戶戶行為分分析實(shí)現(xiàn)現(xiàn)精準(zhǔn)營營銷是大大數(shù)據(jù)的的典型應(yīng)應(yīng)用，但但是大數(shù)數(shù)據(jù)在各各行各業(yè)業(yè)特別是是公共服服務(wù)領(lǐng)域域具有廣廣闊的應(yīng)應(yīng)用前景景消費(fèi)行業(yè)業(yè)金融服務(wù)務(wù)食品安全全醫(yī)療衛(wèi)生生軍事交通環(huán)保保電子商務(wù)務(wù)氣象Evaluation Warning : The document was created with Spire.Presentation for .NET軟件是驅(qū)驅(qū)動大數(shù)數(shù)據(jù)的引引擎和數(shù)據(jù)中中心(D

23、ataCenter)一樣，軟軟件是大大數(shù)據(jù)的的驅(qū)動力力。軟件改變變世界！Evaluation Warning : The document was created with Spire.Presentation for .NET大數(shù)據(jù)生生態(tài):軟件是引引擎Evaluation Warning : The document was created with Spire.Presentation for .NET前瞻來看看，隨著著互聯(lián)網(wǎng)網(wǎng)對網(wǎng)民民的理解解，網(wǎng)民民對網(wǎng)絡(luò)絡(luò)的反作作用，互互聯(lián)網(wǎng)將將變得越越來越智智能。它它在滿足足你需求求的同時(shí)時(shí)，也在在創(chuàng)造新新的需求求。前者者的代表表是Google，后者

24、的的典型則則是Facebook。谷歌的盈盈利在于于所有的的軟件應(yīng)應(yīng)用都是是在線的的。用戶戶在免費(fèi)費(fèi)使用這這些產(chǎn)品品的同時(shí)時(shí)，把個(gè)個(gè)人的行行為、喜喜好等信信息也免免費(fèi)的送送給了Google。因此Google的產(chǎn)品線線越豐富富，他對對用戶的的理解就就越深入入，他的的廣告就就越精準(zhǔn)準(zhǔn)。廣告告的價(jià)值值就越高高。這是正向向的循環(huán)環(huán)，谷歌歌好用的的、免費(fèi)費(fèi)得軟件件產(chǎn)品，換取對對用戶的的理解；通過精精準(zhǔn)的廣廣告，找找到生財(cái)財(cái)之道。顛覆了了微軟賣賣軟件拷拷貝賺錢錢的模式式。成為為互聯(lián)網(wǎng)網(wǎng)的巨擘擘?；ヂ?lián)網(wǎng)越越來越智智能Google精確掌握握用戶行行為、獲獲取需求求Evaluation Warning : The

25、 document was created with Spire.Presentation for .NET微博為新新浪帶來來巨大價(jià)價(jià)值馬云的判判斷來自自于數(shù)據(jù)據(jù)分析“2008年初,阿里巴巴巴平臺上上整個(gè)買家詢盤數(shù)急急劇下滑滑，歐美對中中國采購購在下滑滑。海關(guān)關(guān)是賣了了貨,出去以后后再獲得得數(shù)據(jù);而我們提提前半年年時(shí)間從從詢盤上上推斷出出世界貿(mào)貿(mào)易發(fā)生生變化了了?！瘪R云對未未來的預(yù)預(yù)測，是是建立在在對用戶戶行文分分析的基基礎(chǔ)上。通常而言言，買家家在采購購商品前前，會比比較多家家供應(yīng)商商的產(chǎn)品品，反映映到阿里里巴巴網(wǎng)網(wǎng)站統(tǒng)計(jì)計(jì)數(shù)據(jù)中中，就是是查詢點(diǎn)點(diǎn)擊的數(shù)數(shù)量和購購買點(diǎn)擊擊的數(shù)量量會保持持一個(gè)相

26、相對的數(shù)數(shù)值，綜綜合各個(gè)個(gè)維度的的數(shù)據(jù)可可建立用用戶行為為模型。因?yàn)閿?shù)數(shù)據(jù)樣本本巨大，保證用用戶行為為模型的的準(zhǔn)確性性。因此此在這個(gè)個(gè)案例中中，詢盤盤數(shù)據(jù)的的下降，自然導(dǎo)導(dǎo)致買盤盤的下降降。騰訊在天天津投資資建立亞亞洲最大大的數(shù)據(jù)據(jù)中心；百度也也在投資資建立大大數(shù)據(jù)處處理中心心；新浪浪推出企企業(yè)微博博產(chǎn)品，提供精精準(zhǔn)的數(shù)數(shù)據(jù)分析析服務(wù)。Evaluation Warning : The document was created with Spire.Presentation for .NET更高一層層數(shù)據(jù)層層面整合合企業(yè)內(nèi)內(nèi)外部更高數(shù)據(jù)據(jù)層面整整合Evaluation Warning : The

27、 document was created with Spire.Presentation for .NET利用用戶戶”行為指紋紋”創(chuàng)造新商商機(jī)用戶在線線的每一一次點(diǎn)擊擊，每一一次評論論，每一一個(gè)視頻頻點(diǎn)播，就是大大數(shù)據(jù)的的典型來來源?；ヂ?lián)網(wǎng)企企業(yè)之所所以取得得令人矚矚目的成成績，其其核心的的本質(zhì)就就是包括括用戶網(wǎng)網(wǎng)絡(luò)操作作的大數(shù)數(shù)據(jù)，進(jìn)進(jìn)行記錄錄和分析析，形成成用戶“行為指指紋”，從而洞洞悉用戶戶的潛在在的、真真實(shí)的需需求，形形成預(yù)判判。這是傳統(tǒng)統(tǒng)企業(yè)花花費(fèi)重金金都難以以企及的的夢想。所有傳傳統(tǒng)的產(chǎn)產(chǎn)品公司司都只能能淪為這這種新型型用戶平平臺級公公司的附附庸。Evaluation Warni

28、ng : The document was created with Spire.Presentation for .NET大數(shù)據(jù)應(yīng)應(yīng)用中的的陷阱邦弗朗尼尼原理(BonferronisPrinciple)邦弗朗尼尼原理:在數(shù)據(jù)隨隨機(jī)性假假設(shè)的基基礎(chǔ)上，計(jì)算所所尋找的的事件的的發(fā)生的的期望值值，如果果該期望望值大于于找到的的真實(shí)事事件的數(shù)數(shù)目，則則所找到到的事件件很可能能是一種種假象。即隨著數(shù)據(jù)規(guī)模模的不斷增增加，任任何數(shù)據(jù)據(jù)都會顯顯現(xiàn)出一一些不同同尋常的的特征，這些特特征看上上去似乎乎非常重重要，但但實(shí)際上上卻并不不重要。Evaluation Warning : The document wa

29、s created with Spire.Presentation for .NET42整體情報(bào)報(bào)預(yù)警的的故事設(shè)有一群群恐怖分分子會偶偶爾在酒酒店聚會會策劃恐恐怖陰謀謀。想找出那那些同一一天在同同一個(gè)酒酒店至少少出現(xiàn)兩兩次的人人群。Evaluation Warning : The document was created with Spire.Presentation for .NET43假設(shè)被監(jiān)控的的人數(shù)：10億(109)被監(jiān)控的的天數(shù)：1000 days每個(gè)人去去酒店的的概率1%(1000天里住10天酒店)有10萬(105)家酒店，每家酒酒店可容容納100人每個(gè)人行行為都是是隨機(jī)的的。通過

30、數(shù)據(jù)據(jù)挖掘能能發(fā)現(xiàn)可可疑行為為嗎？Evaluation Warning : The document was created with Spire.Presentation for .NET44Calculations(1)人員p和人員q同一天在在同一個(gè)個(gè)酒店出出現(xiàn)的概概率:1/1001/10010-5= 10-9.人員p和q在d1和d2出現(xiàn)在同同一個(gè)酒酒店的概概率:10-910-9= 10-18.1000天任意兩兩天的排排列組合合:5105.p atsomehotelq atsomehotelSamehotelEvaluation Warning : The document was cre

31、ated with Spire.Presentation for .NET45Calculations(2)人員p和q在任意兩兩天出現(xiàn)現(xiàn)在同一一個(gè)酒店店的概率率:510510-18= 510-13.可能的人人數(shù)是10億，任意意兩個(gè)人人的排列列組合是是:51017.平均可疑疑的人員員對的數(shù)數(shù)目:51017510-13= 250,000.實(shí)際上他他們是純純隨機(jī)導(dǎo)導(dǎo)致的巧巧合Evaluation Warning : The document was created with Spire.Presentation for .NET46結(jié)論假設(shè)真的的有10對恐怖分分子在同同一個(gè)酒酒店出現(xiàn)現(xiàn)兩次那么需要要

32、掃描250,010對候選人人才能找找出這10對恐怖分分子這個(gè)方法法好嗎？“大數(shù)據(jù)據(jù)”是不不能亂用用的！Evaluation Warning : The document was created with Spire.Presentation for .NET大數(shù)據(jù)與與云數(shù)據(jù)據(jù)管理大數(shù)據(jù)云計(jì)算云數(shù)據(jù)管管理Evaluation Warning : The document was created with Spire.Presentation for .NET云計(jì)算（CloudComputing）,2007年第3季度才誕誕生的新新名詞，僅過了了半年多多，其受受到關(guān)注注程度就就超過網(wǎng)網(wǎng)格計(jì)算算（Gr

33、id Computing），而且且關(guān)注度度至今一一直居高高不下Evaluation Warning : The document was created with Spire.Presentation for .NET云計(jì)算是是一種商商業(yè)計(jì)算算模型。它將計(jì)計(jì)算任務(wù)務(wù)分布在在大量計(jì)計(jì)算機(jī)構(gòu)構(gòu)成的資源池上，使各各種應(yīng)用用系統(tǒng)能能夠根據(jù)據(jù)需要獲獲取計(jì)算算力、存存儲空間間和信息息服務(wù)。云計(jì)算到到底是什什么？云云計(jì)算算有什么么特點(diǎn)？Evaluation Warning : The document was created with Spire.Presentation for .NET云計(jì)算起起源和發(fā)發(fā)

34、展1961年斯坦福福教授John McCarthy提出計(jì)算算資源可可以成為為一種重重要的新新型工業(yè)業(yè)基礎(chǔ)。類似水水、電、氣和通通信。1999年Salesforce成立，2001年發(fā)布在在線CRM系統(tǒng)2001年GoogleCEO EricSchmidt在搜索引引擎大會會上首次次提出”CloudComputing“概念。2003年Google逐步開始始在內(nèi)部部使用云云計(jì)算，2008年推出GoogleAppEngine云計(jì)算平平臺2006年Amazon正式對外外推出彈彈性計(jì)算算服務(wù)(EC2)。各各大全球球知名廠廠商跟進(jìn)進(jìn)(IBM,MicroSoft.)Evaluation Warning : The

35、 document was created with Spire.Presentation for .NET51什么是云云計(jì)算?計(jì) 算：對數(shù)值或或信息進(jìn)進(jìn)行處理理并得到到結(jié)果的的過程，有時(shí)也也指計(jì)算算方式。1+1=2flower.bmpflower.jpg云：由網(wǎng)絡(luò)連連接起來來的各種種計(jì)算資資源(包括計(jì)算算設(shè)備和和其上的的軟件)云計(jì)算：運(yùn)用由網(wǎng)網(wǎng)絡(luò)連接接起來的的大量虛虛擬化的的計(jì)算設(shè)設(shè)備對信信息進(jìn)行行處理并并得到結(jié)結(jié)果的一一種計(jì)算算方式。不是一一種產(chǎn)品品，也不不是一種種技術(shù)，而是一一種產(chǎn)生生和獲取取計(jì)算能能力的模模式。Evaluation Warning : The document was

36、created with Spire.Presentation for .NET52大型機(jī)時(shí)時(shí)代1960年代1980年代2000年代1990年代微型機(jī)時(shí)時(shí)代個(gè)人計(jì)算算機(jī)變革革將只在特特定行業(yè)業(yè)中應(yīng)用用的大型型主機(jī)變變成每個(gè)個(gè)人都負(fù)負(fù)擔(dān)得起起的個(gè)人人電腦，大幅度度提高了了個(gè)人生生產(chǎn)效率率和企業(yè)業(yè)效率互聯(lián)網(wǎng)變變革將數(shù)以億億萬計(jì)的的信息孤孤島匯集集成龐大大的信息息網(wǎng)絡(luò)，極大的的提高了了人類溝溝通，共共享和協(xié)協(xié)作的效效率，豐豐富了社社交和娛娛樂生活活互聯(lián)網(wǎng)時(shí)時(shí)代云計(jì)算變變革將IT基礎(chǔ)設(shè)施施轉(zhuǎn)變?yōu)闉橄袼秃兔簹庖灰粯拥纳缟鐣糜没A(chǔ)設(shè)設(shè)施超級數(shù)據(jù)據(jù)中心成成為IT資源和服服務(wù)的提提供者技術(shù)云計(jì)算時(shí)時(shí)代時(shí)

37、間云計(jì)算是是繼個(gè)人人計(jì)算機(jī)機(jī)、互聯(lián)聯(lián)網(wǎng)變革革之后的的第三次次IT革命云計(jì)算的的由來Evaluation Warning : The document was created with Spire.Presentation for .NET云計(jì)算定定義云計(jì)算(CloudComputing )：是分布布式處理理(DistributedComputing)、并行處處理(ParallelComputing)和網(wǎng)格計(jì)計(jì)算(GridComputing)的發(fā)展，或者說說是這些些計(jì)算機(jī)機(jī)科學(xué)概概念的商商業(yè)實(shí)現(xiàn)現(xiàn)。是指指基于互聯(lián)網(wǎng)的超級計(jì)計(jì)算模式式-即把存儲儲于個(gè)人電腦腦、移動電話話和其他設(shè)設(shè)備上的的大量信信息

38、和處理器資源集中中在一起起，協(xié)同同工作。在極大大規(guī)模上上可擴(kuò)展展的信息息技術(shù)能能力向外外部客戶戶作為服服務(wù)來提提供的一一種計(jì)算算方式。使得計(jì)算算資源如如同用水水、用電電、用燃燃?xì)庖粯訕?0多億的移移動電話話一2010年數(shù)據(jù)來源源: Nokia個(gè)人電腦腦和筆記本電電腦企業(yè)電腦腦和服務(wù)器器PDAEvaluation Warning : The document was created with Spire.Presentation for .NET54從不同角角度看云云計(jì)算的的內(nèi)涵1.云計(jì)算是是一種IT基礎(chǔ)設(shè)施施交付和和使用模模式從原理看看，云計(jì)計(jì)算是將將計(jì)算工工作分布布在大量量的、分分布式的的計(jì)

39、算機(jī)機(jī)上，從從而利用用大量計(jì)計(jì)算資源源(包括硬件件設(shè)備、軟件及及網(wǎng)絡(luò)等等IT基礎(chǔ)設(shè)施施)完成所要要求的計(jì)計(jì)算任務(wù)務(wù)。云計(jì)算環(huán)環(huán)境下，與傳統(tǒng)統(tǒng)的IT基礎(chǔ)設(shè)施施交付和和使用模模式的主主要區(qū)別別：1.基礎(chǔ)設(shè)施施建設(shè)運(yùn)運(yùn)維方式式不同：基礎(chǔ)設(shè)設(shè)施所有有權(quán)和運(yùn)運(yùn)維責(zé)任任2.交付和使使用的便便捷性不不同：提提供商交交付方式式和用戶戶使用方方式Evaluation Warning : The document was created with Spire.Presentation for .NET55從不同角角度看云云計(jì)算的的內(nèi)涵2.云計(jì)算是是一種信信息服務(wù)務(wù)的交付付和使用用模式從商業(yè)層層面看，云計(jì)算算提供的

40、的是而且且僅是服服務(wù)可以統(tǒng)稱稱為“云云服務(wù)”。從云計(jì)算算服務(wù)商商和云計(jì)計(jì)算用戶戶間的關(guān)關(guān)系看，服務(wù)商商并未向向用戶提提供硬件件、軟件件等事物物或具體體產(chǎn)品，而是運(yùn)運(yùn)用自己己所掌握握的IT資源幫助助用戶完完成計(jì)算算任務(wù)，滿足用用戶使用用軟硬件件設(shè)備或或獲得信信息的需需要。Evaluation Warning : The document was created with Spire.Presentation for .NET基礎(chǔ)設(shè)施施作為服服務(wù)(IaaS)平臺作為為服務(wù)(PaaS)軟件作為為服務(wù)(SaaS)服務(wù)器網(wǎng)絡(luò)存儲中間件協(xié)同合作作業(yè)務(wù)流程程CRM/ERP/HR行業(yè)應(yīng)用用數(shù)據(jù)中心心Fabri

41、c共享的虛虛擬化的的,動態(tài)部屬屬數(shù)據(jù)庫Web2.0應(yīng)用運(yùn)行行環(huán)境Java運(yùn)行環(huán)境境開發(fā)工具具云計(jì)算分分類ComputingonDemandBlue Cloud,PureScaleAppliicationSystem市場的例例子IBM的例子Source: Hagen WenzekCHQStrategy, 2/09Evaluation Warning : The document was created with Spire.Presentation for .NET云計(jì)算分分類操作系統(tǒng)統(tǒng)+應(yīng)用服務(wù)務(wù)引擎應(yīng)用系統(tǒng)統(tǒng)基礎(chǔ)設(shè)施施應(yīng)用平臺臺應(yīng)用軟件件(IaaS)(PaaS)(SaaS)根據(jù)提供供的服務(wù)務(wù)

42、類型，將云計(jì)計(jì)算應(yīng)用用(服務(wù))分為三類類InfrastructureasaService以服務(wù)的的形式提提供虛擬擬硬件資資源，如如虛擬主主機(jī)/存儲/網(wǎng)絡(luò)/安全等資資源。用于無需需購買服服務(wù)器、網(wǎng)絡(luò)設(shè)設(shè)備、存存儲設(shè)備備，只需需通過互互聯(lián)網(wǎng)租租賃即可可搭建自自己的應(yīng)應(yīng)用系統(tǒng)統(tǒng)典型應(yīng)用用：AmazonWeb服務(wù)IDCPlatformasaService提供應(yīng)用用服務(wù)引引擎，如如互聯(lián)網(wǎng)網(wǎng)應(yīng)用編編程接口口/運(yùn)行平臺臺等。用戶基于于該應(yīng)用用服務(wù)引引擎，可可以構(gòu)建建該類應(yīng)應(yīng)用。典型應(yīng)用用：GoogleAppEngine,IBMPureScaleApplicationSystem,SAESoftwareasa

43、Service用戶通過過標(biāo)準(zhǔn)的的Web瀏覽器來來使用Internet上的軟件件。用戶不必必購買軟軟件，只只需按需需租用軟軟件典型應(yīng)用用：LotusLive,SEvaluation Warning : The document was created with Spire.Presentation for .NET58從不同角角度看云云計(jì)算的的內(nèi)涵3.云計(jì)算是是一種基基于互聯(lián)聯(lián)網(wǎng)的新新型計(jì)算算模式從數(shù)值和和信息處處理的角角度看，云計(jì)算算是通過過互聯(lián)網(wǎng)網(wǎng)將計(jì)算算任務(wù)分分布到由由大量計(jì)計(jì)算機(jī)構(gòu)構(gòu)成的資資源池上上，從而而使用戶戶能夠根根據(jù)需要要獲取計(jì)計(jì)算能力力、存儲儲空和信信息服務(wù)務(wù)。云計(jì)算的的四方面

44、面新特征征：1.資源匯聚聚：計(jì)算算資源匯匯聚在一一起通過過多租戶戶模式服服務(wù)多個(gè)個(gè)消費(fèi)者者2.快速彈性性：計(jì)算算能力能能夠以某某種自動動方式快快速而彈彈性地實(shí)實(shí)現(xiàn)供應(yīng)應(yīng)3.按需的自自助服務(wù)務(wù)：消費(fèi)費(fèi)者能夠夠根據(jù)自自己的需需要獲取取計(jì)算能能力4.可控可計(jì)計(jì)量：系系統(tǒng)根據(jù)據(jù)服務(wù)類類型提供供相應(yīng)的的計(jì)量方方式Evaluation Warning : The document was created with Spire.Presentation for .NET59云計(jì)算服服務(wù)對象象：在各各行各業(yè)業(yè)、各種種組織、各種產(chǎn)產(chǎn)業(yè)拓展展應(yīng)用范范圍云計(jì)算服服務(wù)內(nèi)容容：從基基礎(chǔ)架構(gòu)構(gòu)、在線線存儲、軟件服服務(wù)擴(kuò)展

45、展到各種種應(yīng)用領(lǐng)領(lǐng)域云計(jì)算服服務(wù)形式式：更簡簡單易用用、更安安全、更更智能的的差異化化服務(wù)從行業(yè)視視角滿足中小小企業(yè)、政府部部門、科科研教育育、娛樂樂、商業(yè)業(yè)企業(yè)的的信息化化需求成為互聯(lián)聯(lián)網(wǎng)企業(yè)業(yè)的運(yùn)營營平臺和和資源平平臺成為人民民群眾生生活的必必需品從產(chǎn)業(yè)領(lǐng)領(lǐng)域視角角成為物聯(lián)聯(lián)網(wǎng)信息息存儲、分析的的智能化化平臺成為移動動互聯(lián)網(wǎng)網(wǎng)的基礎(chǔ)礎(chǔ)信息支支撐平臺臺成為移動動電子商商務(wù)、移移動支付付的支持持平臺逐步進(jìn)入入網(wǎng)絡(luò)通通信基礎(chǔ)礎(chǔ)設(shè)施領(lǐng)領(lǐng)域已有主要要服務(wù)內(nèi)內(nèi)容基礎(chǔ)設(shè)施施即服務(wù)/IaaS軟件平臺臺即服務(wù)/PaaS軟件即服務(wù)/SaaS存儲即服務(wù)/DaaSXaaS一切皆服服務(wù)，延延伸到各各種應(yīng)用用硬件即服

46、務(wù)：終端設(shè)設(shè)備成為為服務(wù)發(fā)發(fā)布形式式消息即服務(wù)：消息中中間件成成為服務(wù)務(wù)監(jiān)控即服務(wù)：監(jiān)控內(nèi)內(nèi)容成為為服務(wù)現(xiàn)存各種種應(yīng)用均均被云服務(wù)化化更為便捷：就像現(xiàn)現(xiàn)在水、電、氣氣、通信信那樣簡簡單，打打開即用用，關(guān)閉閉即停，按需使使用，用用完充值值隱私和信信息安全更有保障障：用戶戶信息隔隔離、網(wǎng)網(wǎng)絡(luò)傳輸輸加密、高強(qiáng)度度身份認(rèn)認(rèn)證、服服務(wù)商數(shù)數(shù)據(jù)安全全審核更智能化：用戶戶服務(wù)狀狀態(tài)恢復(fù)復(fù)、信息息推薦、精準(zhǔn)營營銷、預(yù)預(yù)測用戶戶潛在信信息需求求、差異化服務(wù)：提提供從免免費(fèi)、普普通用戶戶、中端端用戶、高端用用戶的各各種服務(wù)務(wù)，按質(zhì)質(zhì)論價(jià)云服務(wù)Evaluation Warning : The document wa

47、s created with Spire.Presentation for .NET云計(jì)算的的優(yōu)勢數(shù)據(jù)在云云端：不不怕丟失失,不必備份份,可以任意意點(diǎn)的恢恢復(fù)；軟件在云云端：不不必下載載自動升升級；無所不在在的計(jì)算算：在任任何時(shí)間間，任意意地點(diǎn)，任何設(shè)設(shè)備登錄錄后就可可以進(jìn)行行計(jì)算服服務(wù)；無限強(qiáng)大大的計(jì)算算：具有有無限空空間的，無限速速度。硬件為中中心軟件為中中心服務(wù)為中中心PCC/S云計(jì)算Evaluation Warning : The document was created with Spire.Presentation for .NET天下大勢勢，合久久必分，分久必必合，計(jì)計(jì)算機(jī)機(jī)技術(shù)

48、的的分合演演義早期計(jì)算算技術(shù)以以“合”為特征征:曲高和寡寡PC的發(fā)展使使“分”成為了了主流:舊時(shí)王謝謝堂前燕燕，飛入入尋常百百姓家網(wǎng)絡(luò)技術(shù)術(shù)的發(fā)展展使云計(jì)計(jì)算成為為了“合合”的模模式，計(jì)計(jì)算和存存儲通過過網(wǎng)絡(luò)隱隱形于云云端：大象無形形Evaluation Warning : The document was created with Spire.Presentation for .NET云計(jì)算體體系結(jié)構(gòu)構(gòu)云計(jì)算的的基本原原理是通通過使計(jì)計(jì)算分布布在大量量的分布布式計(jì)算算機(jī)上，而非本本地計(jì)算算機(jī)或遠(yuǎn)遠(yuǎn)程服務(wù)務(wù)器中，企業(yè)數(shù)數(shù)據(jù)中心心的運(yùn)行行將更與與互聯(lián)網(wǎng)網(wǎng)相似。這使得企企業(yè)能夠夠?qū)①Y源源切換到到需

49、要的的應(yīng)用上上，根據(jù)據(jù)需求訪訪問計(jì)算算機(jī)和存存儲系統(tǒng)統(tǒng)。Evaluation Warning : The document was created with Spire.Presentation for .NET云計(jì)算發(fā)發(fā)展路線線并行計(jì)算集群計(jì)算網(wǎng)格計(jì)算云計(jì)算Evaluation Warning : The document was created with Spire.Presentation for .NET在動態(tài)、多機(jī)構(gòu)構(gòu)參與的的虛擬組組織中協(xié)協(xié)同共享享資源和和求解問問題同時(shí)使用用多種計(jì)計(jì)算資源源解決計(jì)計(jì)算問題題的過程程將需要巨巨大計(jì)算算能力的的問題分分成許多多小部分分進(jìn)行處處理，最最后

50、綜合合結(jié)果分布式計(jì)計(jì)算并行計(jì)算算網(wǎng)格計(jì)算算云計(jì)算Evaluation Warning : The document was created with Spire.Presentation for .NET云計(jì)算特特點(diǎn)超大規(guī)模模虛擬化高可靠靠性通用性高可伸縮縮性按需服務(wù)務(wù)極其廉價(jià)價(jià) 超大規(guī)模模虛擬化高可靠靠性通用性高可伸縮縮性按需服務(wù)務(wù)極其廉價(jià)價(jià) Evaluation Warning : The document was created with Spire.Presentation for .NET云計(jì)算技技術(shù)體系系結(jié)構(gòu)Evaluation Warning : The document was

51、 created with Spire.Presentation for .NET云計(jì)算與與大數(shù)據(jù)據(jù)大數(shù)據(jù)雖雖然不是是云計(jì)算算，但卻卻是云計(jì)計(jì)算的靈靈魂和升升級方向向。云計(jì)算的的核心是是業(yè)務(wù)模模式，本本質(zhì)是數(shù)數(shù)據(jù)處理理技術(shù)。數(shù)據(jù)是資資產(chǎn)，云云為數(shù)據(jù)據(jù)資產(chǎn)提提供了保保管、訪訪問的場場所和渠渠道。如何盤活活數(shù)據(jù)資資產(chǎn)，使使其為國國家治理理、企業(yè)業(yè)決策乃乃至個(gè)人人生活服服務(wù)，是是大數(shù)據(jù)據(jù)的核心心議題，也是云云計(jì)算內(nèi)內(nèi)在的靈靈魂和必必然的升升級方向向。Evaluation Warning : The document was created with Spire.Presentation for .N

52、ET云計(jì)算與與大數(shù)據(jù)據(jù)本質(zhì)上，云計(jì)算算與大數(shù)數(shù)據(jù)的關(guān)關(guān)系是“靜”與與“動的的關(guān)系；云計(jì)算強(qiáng)強(qiáng)調(diào)的是是計(jì)算，這是動動的概念念；而數(shù)據(jù)則則是計(jì)算算的對象象，是靜靜的概念念。如果結(jié)合合實(shí)際的的應(yīng)用，前者強(qiáng)強(qiáng)調(diào)的是是計(jì)算能能力，或或者看重重的存儲儲能力；Evaluation Warning : The document was created with Spire.Presentation for .NET云計(jì)算與與大數(shù)據(jù)據(jù)但是這樣樣說，并并不意味味著兩個(gè)個(gè)概念就就如此涇涇渭分明明。一方面，大數(shù)據(jù)據(jù)需要處處理大數(shù)數(shù)據(jù)的能能力(數(shù)據(jù)獲取取、清潔潔、轉(zhuǎn)換換、統(tǒng)計(jì)計(jì)等能力力)，其實(shí)就就是強(qiáng)大大的計(jì)算算能力；

53、另一方面面，云計(jì)計(jì)算的“動”也也是相對對而言，比如基基礎(chǔ)設(shè)施施即服務(wù)務(wù)(IaaS)中的存儲儲設(shè)備提提供的主主要是數(shù)數(shù)據(jù)存儲儲能力，所以可可謂是動動中有靜靜。Evaluation Warning : The document was created with Spire.Presentation for .NET云計(jì)算與與大數(shù)據(jù)據(jù)如果數(shù)據(jù)據(jù)是財(cái)富富，那么么大數(shù)據(jù)據(jù)就是寶寶藏，而而云計(jì)算算就是挖挖掘和利利用寶藏藏的利器器！沒有強(qiáng)大大的計(jì)算算能力，數(shù)據(jù)寶寶藏終究究是鏡中中花；沒有大數(shù)數(shù)據(jù)的積積淀，云云計(jì)算也也只能是是殺雞用用的宰牛牛刀！Evaluation Warning : The documen

54、t was created with Spire.Presentation for .NET大數(shù)據(jù)比比云計(jì)算算更為落落地商業(yè)模式式驅(qū)動應(yīng)用需求求驅(qū)動云計(jì)算本身也是大數(shù)據(jù)的一種業(yè)務(wù)模式Evaluation Warning : The document was created with Spire.Presentation for .NET大數(shù)據(jù)與與云數(shù)據(jù)據(jù)管理大數(shù)據(jù)云計(jì)算云數(shù)據(jù)管管理Evaluation Warning : The document was created with Spire.Presentation for .NET什么是云云數(shù)據(jù)管管理？云數(shù)據(jù)管管理是指指通過集集群應(yīng)用用、網(wǎng)

55、格格技術(shù)或或分布式式文件系系統(tǒng)等，將網(wǎng)絡(luò)絡(luò)中大量量各種不不同類型型的存儲儲設(shè)備通通過應(yīng)用用軟件集集合起來來協(xié)同工工作，共共同對外外提供數(shù)數(shù)據(jù)存儲儲和業(yè)務(wù)務(wù)訪問功功能的一一個(gè)系統(tǒng)統(tǒng)。云數(shù)據(jù)管管理的基基礎(chǔ)是云云存儲，其核心心是以NoSQL(New SQL)為代表的的新一代代云數(shù)據(jù)據(jù)存儲(庫)系統(tǒng)。Evaluation Warning : The document was created with Spire.Presentation for .NET云數(shù)據(jù)管管理的背背景隨著云計(jì)計(jì)算中大大數(shù)據(jù)集集高效管管理、海海量數(shù)據(jù)據(jù)中特定定數(shù)據(jù)的的快速定定位、云云端海量量數(shù)據(jù)精精準(zhǔn)查詢詢等迫切切需求的的日益顯顯

56、現(xiàn),Web數(shù)數(shù)據(jù)管理理正逐步步向云數(shù)數(shù)據(jù)管理理階段發(fā)發(fā)展,一一個(gè)新的的云數(shù)據(jù)據(jù)管理研研究領(lǐng)域域正逐漸漸形成。Evaluation Warning : The document was created with Spire.Presentation for .NET云數(shù)據(jù)管管理的背背景云數(shù)據(jù)管管理在云云計(jì)算概概念上延延伸和發(fā)發(fā)展出來來的一個(gè)個(gè)新的概概念。云數(shù)據(jù)管管理使更更大數(shù)據(jù)據(jù)量的處處理成為為可能，被稱為為下一代代的因特特網(wǎng)計(jì)算算和下一一代的數(shù)數(shù)據(jù)中心心。Web應(yīng)用作為為推動云云計(jì)算發(fā)發(fā)展的主主力，正正快速的的普及成成熟起來來，它需需要能夠夠按需進(jìn)進(jìn)行擴(kuò)展展，企業(yè)業(yè)都希望望他們的的Web應(yīng)用系

57、統(tǒng)統(tǒng)能夠應(yīng)應(yīng)對不斷斷增長的的用戶量量和數(shù)據(jù)據(jù)量，以以及適應(yīng)應(yīng)用戶和和其它開開發(fā)人員員對WEB應(yīng)用系統(tǒng)統(tǒng)的高吞吞吐量和和低響應(yīng)應(yīng)時(shí)間的的要求。Evaluation Warning : The document was created with Spire.Presentation for .NET云數(shù)據(jù)管管理的背背景通過云計(jì)計(jì)算技術(shù)術(shù)，網(wǎng)絡(luò)絡(luò)服務(wù)提提供者可可以在數(shù)數(shù)秒之內(nèi)內(nèi)，處理理數(shù)以千千萬計(jì)甚甚至億計(jì)計(jì)的信息息，達(dá)到到和“超超級計(jì)算算機(jī)”同同樣強(qiáng)大大的網(wǎng)絡(luò)絡(luò)服務(wù)。系統(tǒng)必須須以低延延遲的響響應(yīng)速度度(幾十毫秒秒)、高吞吐吐量(每秒上萬萬的讀寫寫)為世界范范圍內(nèi)的的用戶請請求提供供服務(wù)。并且，應(yīng)應(yīng)

58、用必須須具備高高可用性性，長期期維持最最小的運(yùn)運(yùn)維成本本。但是，如如果WEB應(yīng)用系統(tǒng)統(tǒng)仍然依依賴傳統(tǒng)統(tǒng)的關(guān)系系(SQL)數(shù)據(jù)庫系系統(tǒng)，我我們會發(fā)發(fā)現(xiàn)數(shù)據(jù)據(jù)存儲將將成為最最大的瓶瓶頸。Evaluation Warning : The document was created with Spire.Presentation for .NET云數(shù)據(jù)管管理的背背景幸運(yùn)的是是我們已已不再需需要提供供完整的的事務(wù)(ACID)支持，單單獨(dú)的系系統(tǒng)也可可以執(zhí)行行復(fù)雜的的分析任任務(wù)，比比如像Hadoop這樣的map-reduce平臺。對于許多多應(yīng)用程程序來說說，它們們處理的的請求相相比傳統(tǒng)統(tǒng)數(shù)據(jù)管管理更為為簡單

59、。數(shù)據(jù)可能能是用戶戶的會話話數(shù)據(jù)，用戶在在網(wǎng)頁上上所有的的行為只只涉及單單條記錄錄的讀寫寫。應(yīng)用也有有可能是是社交化化的，對對于社交交活動可可能會被被寫入單單條的用用戶記錄錄，而用用戶的朋朋友們的的活動需需要從少少量的其其他用戶戶記錄中中讀取。Evaluation Warning : The document was created with Spire.Presentation for .NET云數(shù)據(jù)管管理的背背景這些挑戰(zhàn)戰(zhàn)推動了了新一代代數(shù)據(jù)存存儲管理理系統(tǒng)的的發(fā)展，該系統(tǒng)統(tǒng)基于大大型(可能包括括成千上上萬臺機(jī)機(jī)器的集集群)分布式架架構(gòu)。為了容錯(cuò)錯(cuò)，所有有數(shù)據(jù)會會在數(shù)據(jù)據(jù)中心內(nèi)內(nèi)被復(fù)制制。甚至有些些數(shù)據(jù)為為了保證證低延遲遲讀取，需要橫橫跨多個(gè)個(gè)數(shù)據(jù)中中心進(jìn)行行地域性性復(fù)制。為了滿足足構(gòu)建多