專題18 云計(jì)算簡(jiǎn)介課件

1、云計(jì)算簡(jiǎn)介 -XXX1、什么是云計(jì)算？云計(jì)算（Cloud Computing ）：是分布式處理(Distributed Computing)、并行處 理(Parallel Computing)和網(wǎng)格計(jì)算(Grid Computing)的發(fā)展，或者說是這些計(jì)算 機(jī)科學(xué)概念的商業(yè)實(shí)現(xiàn)。是指基于互聯(lián)網(wǎng)的超級(jí)計(jì)算模式-即把存儲(chǔ)于個(gè)人電腦、 移動(dòng)電話和其他設(shè)備上的大量信息和處理器資源集中在一起，協(xié)同工作。在極大 規(guī)模上可擴(kuò)展的信息技術(shù)能力向外部客戶作為服務(wù)來提供的一種計(jì)算方式。2、云計(jì)算的發(fā)展歷程1959年6月，Christopher Strachey發(fā)表虛擬化論文，虛擬化是今天云計(jì)算基礎(chǔ)架構(gòu)的基石。1

2、984年，Sun公司的聯(lián)合創(chuàng)始人John Gage說出了“網(wǎng)絡(luò)就是計(jì)算機(jī)”的名言，用于描述分布式計(jì)算技術(shù)帶來的新世界，今天的云計(jì)算正在將這一理念變成現(xiàn)實(shí)。1996年，網(wǎng)格計(jì)算Globus開源網(wǎng)格平臺(tái)起步。1998年，VMware(威睿公司)成立并首次引入X86的虛擬技術(shù)。1999年，Marc Andreessen創(chuàng)建LoudCloud，是第一個(gè)商業(yè)化的IaaS平臺(tái)。2000年，SaaS興起。2004年，Google發(fā)布MapReduce論文。Hadoop就是Google集群系統(tǒng)的一個(gè)開源項(xiàng)目總稱，主要由HDFS、MapReduce和Hbase組成，其中HDFS是Google File Syst

3、em(GFS)的開源實(shí)現(xiàn);MapReduce是Google MapReduce的開源實(shí)現(xiàn);HBase是Google BigTable的開源實(shí)現(xiàn)。2004年，Doug Cutting 和 Mike Cafarella實(shí)現(xiàn)了Hadoop分布式文件系統(tǒng)(HDFS)和Map-Reduce，Hadoop并成為了非常優(yōu)秀的分布式系統(tǒng)基礎(chǔ)架構(gòu)。2005年，Amazon宣布Amazon Web Services云計(jì)算平臺(tái)。2006年，Amazon相繼推出在線存儲(chǔ)服務(wù)S3和彈性計(jì)算云EC2等云服務(wù)。2006年，Sun推出基于云計(jì)算理論的“BlackBox”計(jì)劃。2008年4月，Google App Engine

4、發(fā)布。2008年5月，Sun在2008JavaOne開發(fā)者大會(huì)上宣布推出“Hydrazine”計(jì)劃。2008年9月 Google公司推出Google Chrome瀏覽器，將瀏覽器徹底融入云計(jì)算時(shí)代。2008年10月，微軟發(fā)布其公共云計(jì)算平臺(tái)Windows Azure Platform，由此拉開了微軟的云計(jì)算大幕。2010年1月，Microsoft正式發(fā)布Microsoft Azure云平臺(tái)服務(wù)。結(jié)合云計(jì)算應(yīng)用背景,我們可以得出云計(jì)算主要具有以下特征:(1)彈性配置:用戶可以根據(jù)上層應(yīng)用的用戶請(qǐng)求數(shù)量的實(shí)時(shí)變化彈性配置資源池,有效避免應(yīng)用空閑時(shí)段的資源浪費(fèi);(2)虛擬化資源池:云計(jì)算運(yùn)營(yíng)商利用虛

5、擬化技術(shù)實(shí)現(xiàn)對(duì)硬件資源的動(dòng)態(tài)配置,提高資源部署的靈活性;(3)即付即用:用戶根據(jù)租用虛擬機(jī)的類型和使用量進(jìn)行付費(fèi),并可以在任意時(shí)間啟動(dòng)虛擬機(jī)鏡像;(4)泛在連接:云計(jì)算以網(wǎng)絡(luò)為載體向用戶提供服務(wù)。用戶可以使用任意客戶端隨時(shí)隨地獲取云服務(wù)。3、云計(jì)算的特征4、云計(jì)算的體系架構(gòu) 相對(duì)于網(wǎng)格計(jì)算，云計(jì)算在面對(duì)互聯(lián)網(wǎng)規(guī)模的問題時(shí)有著先天的優(yōu)勢(shì)?！霸啤蓖ǔ１幻枋鰹橐粋€(gè)擁有巨大計(jì)算能力和存儲(chǔ)能力的資源池，對(duì)外提供抽象的訪問接口，允許用戶通過標(biāo)準(zhǔn)協(xié)議進(jìn)行存儲(chǔ)。云建立在虛擬化基礎(chǔ)之上，廣泛使用通用高端協(xié)議如 Web Service（WSDL，SOAP 等）或先進(jìn)的 Web 2.0 技術(shù)（如 REST，RSS，

6、AJAX 等）等技術(shù)，通過這些協(xié)議或技術(shù)，將運(yùn)行在云中的結(jié)果展現(xiàn)給用戶或用戶端應(yīng)用程序。而在云內(nèi)部，完全可以采用積淀十多年的網(wǎng)格計(jì)算技術(shù)以獲得標(biāo)準(zhǔn)化、安全防護(hù)、資源管理和虛擬化等方面的支持。 對(duì)云的架構(gòu)的定義也存在多個(gè)不同的版本，為了能夠與網(wǎng)格計(jì)算進(jìn)行比較，在這里給出一個(gè)相對(duì)應(yīng)的層次結(jié)構(gòu)，分別是構(gòu)造層、統(tǒng)一資源層、平臺(tái)層和應(yīng)用層。云計(jì)算的平臺(tái)層次結(jié)構(gòu)如下圖 所示： 云計(jì)算平臺(tái)層次結(jié)構(gòu)圖6.1 計(jì)算模型 云計(jì)算的數(shù)據(jù)處理方式是同一時(shí)間內(nèi)，云中的所有資源可以被所有的用戶共享，獨(dú)占資源由隊(duì)列系統(tǒng)管理以避免形成死鎖。在運(yùn)行的過程中，隨著用戶量的增加和計(jì)算規(guī)模的驟增，這種處理方式必然產(chǎn)生一定的延遲，在保

7、證良好的 QoS 的同時(shí)，這些延滯能否被用戶接受，將成為云計(jì)算在未來的發(fā)展過程中面臨的一大挑戰(zhàn)。 利用云計(jì)算的靈活性和易擴(kuò)展性是解決資源緊張的有效方法，但資源的快速增加會(huì)造成浪費(fèi)。利用網(wǎng)格的計(jì)算模型，針對(duì)任務(wù)目標(biāo)進(jìn)行分類處理，增加適當(dāng)?shù)馁Y源量，將可以解決云計(jì)算的延遲問題。6.2 數(shù)據(jù)模型 以數(shù)據(jù)為中心（Data Centric），是為了解決海量數(shù)據(jù)的獲取、存儲(chǔ)、管理和搜索的問題，并使數(shù)據(jù)變得越來越智能化、結(jié)構(gòu)化。沒有數(shù)據(jù)，計(jì)算將無意義可言，以數(shù)據(jù)為中心的計(jì)算，有別于以應(yīng)用為中心的計(jì)算，未來將以數(shù)據(jù)的分析和處理作為計(jì)算技術(shù)研究和體驗(yàn)的核心，相關(guān)的研究領(lǐng)域則涵蓋了平臺(tái)技術(shù)探索、數(shù)據(jù)分割、數(shù)據(jù)挖掘、

8、互聯(lián)網(wǎng)數(shù)據(jù)搜索等方面。從應(yīng)用為中心到數(shù)據(jù)為中心的轉(zhuǎn)變決不只是技術(shù)思路的進(jìn)化，它還標(biāo)志著一個(gè)更加人性化、智能化的計(jì)算時(shí)代的開始，將來無論是工作，還是娛樂，這個(gè)時(shí)代的效率都將變得更高。采用云-端分布的存儲(chǔ)方式的優(yōu)勢(shì)是明顯的：（1）數(shù)據(jù)的分布存儲(chǔ)可以充分利用云和端多種形式的計(jì)算資源，確保數(shù)據(jù)元素的信息能夠被快速高效檢索。（2）云-端的分布存儲(chǔ)，充分利用數(shù)據(jù)定位的效能，盡量減少數(shù)據(jù)的移動(dòng)量，最終提高應(yīng)用程序的性能和擴(kuò)展性非常重要。面對(duì)大量的數(shù)據(jù)，先遷移數(shù)據(jù)然后再處理將有可能造成資源緊張，另外也會(huì)造成處理代價(jià)的提高。因此，可以通過任務(wù)調(diào)度直接在數(shù)據(jù)上進(jìn)行處理來降低不必要的開銷。云計(jì)算使用虛擬化技術(shù)的原因

9、：（1）進(jìn)行服務(wù)和應(yīng)用的整合，通過將多個(gè)應(yīng)用運(yùn)行在同一個(gè)器上，提高資源利用率；（2）對(duì)各種應(yīng)用按資源需求完成相適應(yīng)的配置，比如有些應(yīng)用需要強(qiáng)大的計(jì)算能力，而有些應(yīng)用需要較大容量的存儲(chǔ)空間，要按這些需求靈活配置，假如通過硬件來實(shí)現(xiàn)幾乎是不可能的；（3）虛擬化可以使應(yīng)用從災(zāi)難中快速恢復(fù)，能夠使服務(wù)無中斷備份和遷移，最大程度提高應(yīng)用程序可用性；（4）資源配置、監(jiān)控、和維護(hù)可以自動(dòng)化操作，公用資源也可以被緩存和重用，這將進(jìn)一步提高資源的響應(yīng)能力。7、云計(jì)算的編程方式（1）MapReduce 分布式編程方法 MapReduce 是一種強(qiáng)大的分布式編程方法，這種方法也是一種函數(shù)語言模型，用于處理大規(guī)模數(shù)據(jù)

10、集，在這個(gè)方法中僅提供了兩種函數(shù)：Map 和 Reduce。 Map函數(shù)為每一個(gè)數(shù)據(jù)項(xiàng)目集提供一個(gè)專用的操作，并在處理完畢后返回一個(gè)新的數(shù)據(jù)項(xiàng)目集；Reduce 函數(shù)在一個(gè)數(shù)據(jù)項(xiàng)目集上執(zhí)行聚集操作。MapReduce 系統(tǒng)能夠在一套商業(yè)計(jì)算機(jī)上自動(dòng)區(qū)分輸入數(shù)據(jù)和調(diào)度信息，它具有高度的容錯(cuò)性，系統(tǒng)運(yùn)行時(shí)能夠?qū)ぷ鞴?jié)點(diǎn)進(jìn)行持續(xù)的錯(cuò)誤檢測(cè)，當(dāng)遇到一個(gè)節(jié)點(diǎn)出錯(cuò)時(shí)能夠迅速的將任務(wù)快速的轉(zhuǎn)移到其他節(jié)點(diǎn)上。根據(jù)用戶自身的具體應(yīng)用要求,自行定制專屬的map()函數(shù)和reduce()函數(shù)。對(duì)于輸入數(shù)據(jù)中的每個(gè)鍵值對(duì),執(zhí)行map(k1,v1) 函數(shù),執(zhí)行結(jié)果或者為空,或者輸出中間結(jié)果鍵值對(duì), 。把多個(gè)中間結(jié)果鍵值

11、對(duì)集合在一起,執(zhí)行函數(shù)reduce(k2,list(v2),list(v2)表示與同一k2值相對(duì)應(yīng)的所有v2值序列。reduce函數(shù)執(zhí)行結(jié)果或者為空,或者是結(jié)果鍵值對(duì)。（2）Dryad 和 DryadLINQ 方法 Dryad 和 DryadLINQ 模型是微軟硅谷研究院創(chuàng)建的研究項(xiàng)目，旨在提供一個(gè)分布式計(jì)算平臺(tái)。近年來基于這種方法的平臺(tái)已經(jīng)成功運(yùn)行在微軟內(nèi)部，并成功構(gòu)建了微軟自有的云計(jì)算平臺(tái) Azure。據(jù) Dryad 論文描述：Dryad 被設(shè)計(jì)為伸縮于各種規(guī)模的計(jì)算平臺(tái)上，從單臺(tái)多核計(jì)算機(jī)、或由幾臺(tái)計(jì)算機(jī)組成的小型集群，到擁有數(shù)千臺(tái)計(jì)算機(jī)的數(shù)據(jù)中心都可以運(yùn)行。Dryad 執(zhí)行引擎負(fù)責(zé)處理

12、大型分布式、并行應(yīng)用程序中可能出現(xiàn)的各種問題，對(duì)計(jì)算機(jī)和它們的 CPU 進(jìn)行調(diào)度，從通信或計(jì)算的失敗中恢復(fù)，以及控制數(shù)據(jù)在節(jié)點(diǎn)間的傳遞等。 DryadLINQ 的目標(biāo)是提供一種高級(jí)語言接口，使普通程序員可以簡(jiǎn)單的進(jìn)行大規(guī)模的分布式計(jì)算，整合合了微軟 Dryad 和 LINQ 兩種關(guān)鍵技術(shù)。（4）虛擬計(jì)算平臺(tái)安全與云計(jì)算服務(wù)可信性 云計(jì)算服務(wù)可信性依賴于計(jì)算平臺(tái)的安全性。云計(jì)算平臺(tái)為屏蔽基礎(chǔ)設(shè)施的異構(gòu)性并要求可方便的擴(kuò)展，嚴(yán)重依賴虛擬化技術(shù)對(duì)資源實(shí)現(xiàn)統(tǒng)一，此時(shí)云平臺(tái)的安全性對(duì)虛擬計(jì)算技術(shù)的安全性的依賴程度更大。因此，要提高云計(jì)算服務(wù)的可信性，必須解決虛擬化平臺(tái)軟件的安全問題，特別是虛擬機(jī)管理軟件

13、如 Hypervisor 等。（5）虛擬機(jī)與僵尸網(wǎng)絡(luò)僵尸網(wǎng)絡(luò)控制者可能利用云計(jì)算資源，將僵尸代碼以虛擬機(jī)文件發(fā)布的形式進(jìn)行傳播，這些僵尸代碼虛隱蔽運(yùn)行在受害用戶的計(jì)算機(jī)中，使用戶難以察覺。同時(shí)僵尸控制者還可能利用租用的虛擬機(jī)隱藏自己的真實(shí)身份，使對(duì)攻擊來源信息的跟蹤更加困難。（6）應(yīng)用虛擬映像與軟件安全管理與傳統(tǒng)的軟件發(fā)布模式不同的是，云服務(wù)提供商通常將應(yīng)用軟件預(yù)安裝，再同操作系統(tǒng)打包形成不同類型的虛擬機(jī)文件（VA,VirtualAppliance）發(fā)布給用戶。然后用戶即可以在 Hypervisor 的支持下，自行運(yùn)行 VA，也可以租用云中的虛擬機(jī)來運(yùn)行。這種對(duì)于用戶來說簡(jiǎn)單的部署模式卻為安全維護(hù)帶來了隱患。目前的漏洞發(fā)現(xiàn)和補(bǔ)丁管理系統(tǒng)尚不支持對(duì) VA 的有效管理。另外 VA 文件也比較大，如果使用傳統(tǒng)安全檢測(cè)的方式，從速度上就不可以接受。VA 在未運(yùn)行時(shí)實(shí)際上是一臺(tái)包含了全部配置的虛擬機(jī)，如何測(cè)試 VA 配置的安全性也是軟件安全管理中的一個(gè)難題。雖然目前出現(xiàn)了許多云計(jì)算