云計算技術及體系結構_第1頁
云計算技術及體系結構_第2頁
云計算技術及體系結構_第3頁
云計算技術及體系結構_第4頁
云計算技術及體系結構_第5頁
已閱讀5頁,還剩28頁未讀, 繼續(xù)免費閱讀

下載本文檔

版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領

文檔簡介

關于云計算技術及體系結構第一頁,共三十三頁,2022年,8月28日一、什么是云計算云計算(cloudcomputing)是基于互聯(lián)網的相關服務的增加、使用和交付模式,通常涉及通過互聯(lián)網來提供動態(tài)易擴展且經常是虛擬化的資源。云是網絡、互聯(lián)網的一種比喻說法。過去在圖中往往用云來表示電信網,后來也用來表示互聯(lián)網和底層基礎設施的抽象。狹義云計算指IT基礎設施的交付和使用模式,指通過網絡以按需、易擴展的方式獲得所需資源;廣義云計算指服務的交付和使用模式,指通過網絡以按需、易擴展的方式獲得所需服務。這種服務可以是IT和軟件、互聯(lián)網相關,也可是其他服務。它意味著計算能力也可作為一種商品通過互聯(lián)網進行流通。第二頁,共三十三頁,2022年,8月28日云計算背景云計算是繼1980年代大型計算機到客戶端-服務器的大轉變之后的又一種巨變。云計算(CloudComputing)是分布式計算(DistributedComputing)、并行計算(ParallelComputing)、效用計算(UtilityComputing)、網絡存儲(NetworkStorageTechnologies)、虛擬化(Virtualization)、負載均衡(LoadBalance)等傳統(tǒng)計算機和網絡技術發(fā)展融合的產物。第三頁,共三十三頁,2022年,8月28日云計算的興起云計算是近年來一個熱門的技術名詞,很多專家認為,云計算會改變互聯(lián)網的技術基礎,甚至會影響整個產業(yè)的格局。正因為如此,很多大型企業(yè)都在研究云計算技術和基于云計算的服務,亞馬遜、谷歌、微軟、IBM、SUN等IT巨頭都在其中。第四頁,共三十三頁,2022年,8月28日云計算的興起幾年之內,云計算已從新興技術發(fā)展成為當今的熱點技術。從2003年Google公開發(fā)布的核心文件到2006年AmazonEC2(亞馬遜彈性計算云)的商業(yè)化應用,再到美國電信巨頭AT&T(美國電話電報公司)推出的SynapticHosting(動態(tài)托管)服務,云計算從節(jié)約成本的工具到盈利的推動器,從ISP(網絡服務提供商)到電信企業(yè),已然成功地從內置的IT系統(tǒng)演變成公共的服務。2012年更是云計算快速發(fā)展的一年,各種云技術、云方案將陸續(xù)出臺,無論是早期亞馬遜的CloudDrive,還是2011年蘋果公司推出的iCloud,或是2012年微軟推出的SystemCenter系統(tǒng)等,都把目標盯緊了云計算這塊大“肥肉”。第五頁,共三十三頁,2022年,8月28日云計算的定義Wiki定義:云計算是一種通過Internet以服務的方式提供動態(tài)可伸縮的虛擬化的資源的計算模式。美國國家標準與技術研究院(NIST)定義:云計算是一種按使用量付費的模式,這種模式提供可用的、便捷的、按需的網絡訪問,進入可配置的計算資源共享池(資源包括網絡,服務器,存儲,應用軟件,服務),這些資源能夠被快速提供,只需投入很少的管理工作,或與服務供應商進行很少的交互?!霸朴嬎恪备拍瞵F在被大量運用到生產環(huán)境中,國內的“阿里云”與云谷公司的XenSystem,以及在國外已經非常成熟的Intel和IBM,各種“云計算”的應服務范圍正日漸擴大,影響力也無可估量。。第六頁,共三十三頁,2022年,8月28日云計算常與網格計算、效用計算區(qū)別網格計算:分布式計算的一種,由一群松散耦合的計算機組成的一個超級虛擬計算機,常用來執(zhí)行一些大型任務。效用計算:IT資源的一種打包和計費方式,比如按照計算、存儲分別計量費用,像傳統(tǒng)的電力等公共設施一樣。云計算部署依賴于計算機集群(但與網格的組成、體系結構、目的、工作方式大相徑庭),也吸收了自主計算和效用計算的特點。第七頁,共三十三頁,2022年,8月28日云計算主要經歷了四個階段才發(fā)展到現在這樣比較成熟的水平,這四個階段依次是電廠模式、效用計算、網格計算和云計算。第八頁,共三十三頁,2022年,8月28日云計算的服務形式基礎設施即服務(IaaS):消費者通過Internet可以從完善的計算機基礎設施獲得服務。平臺即服務(PaaS):PaaS實際上是指將軟件研發(fā)的平臺作為一種服務,以SaaS的模式提交給用戶。因此,PaaS也是SaaS模式的一種應用。但是,PaaS的出現可以加快SaaS的發(fā)展,尤其是加快SaaS應用的開發(fā)速度。軟件即服務(SaaS):它是一種通過Internet提供軟件的模式,用戶無需購買軟件,而是向提供商租用基于Web的軟件,來管理企業(yè)經營活動。第九頁,共三十三頁,2022年,8月28日第十頁,共三十三頁,2022年,8月28日二、云計算體系結構云計算基本原理:利用非本地或遠程服務器(集群)的分布式計算機為互聯(lián)網用戶提供服務(計算、存儲、軟硬件等服務)。這使得用戶可以將資源切換到需要的應用上,根據需求訪問計算機和存儲系統(tǒng)。云計算可以把普通的服務器或者PC連接起來以獲得超級計算機計算機的計算和存儲等功能,但是成本更低。云計算真正實現了按需計算,從而有效地提高了對軟硬件資源的利用效率。云計算的出現使高性并行計算不再是科學家和專業(yè)人士的專利,普通的用戶也能通過云計算享受高性能并行計算所帶來的便利,使人人都有機會使用并行機,從而大大提高了工作效率和計算資源的利用率。云計算模式中用戶不需要了解服務器在哪里,不用關心內部如何運作,通過高速互聯(lián)網就可以透明地使用各種資源。第十一頁,共三十三頁,2022年,8月28日二、云計算體系結構云計算是全新的基于互聯(lián)網的超級計算理念和模式,實現云計算需要多種技術結合,并且需要用軟件實現將硬件資源進行虛擬化管理和調度,形成一個巨大的虛擬化資源池,把存儲于個人電腦、移動設備和其他設備上的大量信息和處理器資源集中在一起,協(xié)同工作。按照最大眾化、最通俗理解云計算就是把計算資源都放到互聯(lián)網上,互聯(lián)網即是云計算時代的云。計算資源則包括了計算機硬件資源(如計算機設備、存儲設備、服務器集群、硬件服務等)和軟件資源(如應用軟件、集成開發(fā)環(huán)境、軟件服務)。

第十二頁,共三十三頁,2022年,8月28日二、云計算體系結構云計算體系結構:云計算平臺是一個強大的“云”網絡,連接了大量并發(fā)的網絡計算和服務,可利用虛擬化技術擴展每一個服務器的能力,將各自的資源通過云計算平臺結合起來,提供超級計算和存儲能力。通用的云計算體系結構如下圖所示:第十三頁,共三十三頁,2022年,8月28日云計算體系結構云用戶端:提供云用戶請求服務的交互界面,也是用戶使用云的入口,用戶通過Web瀏覽器可以注冊、登錄及定制服務、配置和管理用戶。打開應用實例與本地操作桌面系統(tǒng)一樣。服務目錄:云用戶在取得相應權限(付費或其他限制)后可以選擇或定制的服務列表,也可以對已有服務進行退訂的操作,在云用戶端界面生成相應的圖標或列表的形式展示相關的服務。第十四頁,共三十三頁,2022年,8月28日云計算體系結構管理系統(tǒng)和部署工具:提供管理和服務,能管理云用戶,能對用戶授權、認證、登錄進行管理,并可以管理可用計算資源和服務,接收用戶發(fā)送的請求,根據用戶請求并轉發(fā)到相應的相應程序,調度資源智能地部署資源和應用,動態(tài)地部署、配置和回收資源。監(jiān)控:監(jiān)控和計量云系統(tǒng)資源的使用情況,以便做出迅速反應,完成節(jié)點同步配置、負載均衡配置和資源監(jiān)控,確保資源能順利分配給合適的用戶。服務器集群:虛擬的或物理的服務器,由管理系統(tǒng)管理,負責高并發(fā)量的用戶請求處理、大運算量計算處理、用戶Web應用服務,云數據存儲時采用相應數據切割算法采用并行方式上傳和下載大容量數據。用戶可通過云用戶端從列表中選擇所需的服務,其請求通過管理系統(tǒng)調度相應的資源,并通過部署工具分發(fā)請求、配置Web應用。第十五頁,共三十三頁,2022年,8月28日云計算體系結構云計算服務層次:在云計算中,根據其服務集合所提供的服務類型,整個云計算服務集合被劃分成4個層次:應用層、平臺層、基礎設施層和虛擬化層。這4個層次每一層都對應著一個子服務集合,為云計算服務層次如下圖所示:第十六頁,共三十三頁,2022年,8月28日云計算體系結構云計算的服務層次是根據服務類型即服務集合來劃分,與大家熟悉的計算機網絡體系結構中層次的劃分不同。在計算機網絡中每個層次都實現一定的功能,層與層之間有一定關聯(lián)。而云計算體系結構中的層次是可以分割的,即某一層次可以單獨完成一項用戶的請求而不需要其他層次為其提供必要的服務和支持。在云計算服務體系結構中各層次與相關云產品對應。應用層對應SaaS軟件即服務如:GoogleAPPS、SoftWare+Services;平臺層對應PaaS平臺即服務如:IBMITFactory、GoogleAPPEngine、F;基礎設施層對應IaaS基礎設施即服務如:AmazoEc2、IBMBlueCloud、SunGrid;虛擬化層對應硬件即服務結合Paas提供硬件服務,包括服務器集群及硬件檢測等服務。第十七頁,共三十三頁,2022年,8月28日云計算體系結構云計算技術層次:云計算技術層次和云計算服務層次不是一個概念,后者從服務的角度來劃分云的層次,主要突出了云服務能給我?guī)硎裁?。而云計算的技術層次主要從系統(tǒng)屬性和設計思想角度來說明云,是對軟硬件資源在云計算技術中所充當角色的說明。從云計算技術角度來分,云計算大約有4部分構成:物理資源、虛擬化資源、中間件管理部分和服務接口,如下圖所示:服務接口:統(tǒng)一規(guī)定了在云計算時代使用計算機的各種規(guī)范、云計算服務的各種標準等,用戶端與云端交互操作的入口,可以完成用戶或服務注冊,對服務的定制和使用。第十八頁,共三十三頁,2022年,8月28日云計算體系結構第十九頁,共三十三頁,2022年,8月28日云計算體系結構服務管理中間件:在云計算技術中,中間件位于服務和服務器集群之間,提供管理和服務即云計算體系結構中的管理系統(tǒng)。對標識、認證、授權、目錄、安全性等服務進行標準化和操作,為應用提供統(tǒng)一的標準化程序接口和協(xié)議,隱藏底層硬件、操作系統(tǒng)和網絡的異構性,統(tǒng)一管理網絡資源。其用戶管理包括用戶身份驗證、用戶許可、用戶定制管理;資源管理包括負載均衡、資源監(jiān)控、故障檢測等;安全管理包括身份驗證、訪問授權、安全審計、綜合防護等;映像管理包括映像創(chuàng)建、部署、管理等。虛擬化資源:指一些可以實現一定操作具有一定功能,但其本身是虛擬而不是真實的資源,如計算池,存儲池和網絡池、數據庫資源等,通過軟件技術來實現相關的虛擬化功能包括虛擬環(huán)境、虛擬系統(tǒng)、虛擬平臺。第二十頁,共三十三頁,2022年,8月28日云計算體系結構物理資源:主要指能支持計算機正常運行的一些硬件設備及技術,可以是價格低廉的PC,也可以是價格昂貴的服務器及磁盤陣列等設備,可以通過現有網絡技術和并行技術、分布式技術將分散的計算機組成一個能提供超強功能的集群用于計算和存儲等云計算操作。在云計算時代,本地計算機可能不再像傳統(tǒng)計算機那樣需要空間足夠的硬盤、大功率的處理器和大容量的內存,只需要一些必要的硬件設備如網絡設備和基本的輸入輸出設備等。第二十一頁,共三十三頁,2022年,8月28日三、典型云計算平臺云計算的研究吸引了不同技術領域巨頭,因此對云計算理論及實現架構也有所不同。如亞馬遜利用虛擬化技術提供云計算服務,推出S3(SimpleStorageService)提供可靠、快速、可擴展的網絡存儲服務,而彈性可擴展的云計算服務器EC2(ElasticComputeCloud)采用Xen虛擬化技術,提供一個虛擬的執(zhí)行環(huán)境(虛擬機器),讓用戶通過互聯(lián)網來執(zhí)行自己的應用程序。IBM將包括Xen和PowerVM虛擬的Linux操作系統(tǒng)鏡像與Hadoop并行工作負載調度。下面以Google公司的云計算核心技術和架構作基本講解。云計算的先行者Google的云計算平臺能實現大規(guī)模分布式計算和應用服務程序,平臺包括MapReduce分布式處理技術、Hadoop框架、分布式的文件系統(tǒng)GFS、結構化的BigTable存儲系統(tǒng)以及Google其他的云計算支撐要素?,F有的云計算通過對資源層、平臺層和應用層的虛擬化以及物理上的分布式集成,將龐大的IT資源整合在一起。更重要的是,云計算不僅僅是資源的簡單匯集,它為我們提供了一種管理機制,讓整個體系作為一個虛擬的資源池對外提供服務,并賦予開發(fā)者透明獲取資源、使用資源的自由。第二十二頁,共三十三頁,2022年,8月28日1、MapReduce分布式處理技術MapReduce是Google開發(fā)的Java、Python、C++編程工具,用于大規(guī)模數據集(大于1TB)的并行運算,也是云計算的核心技術,一種分布式運算技術,也是簡化的分布式編程模式,適合用來處理大量數據的分布式運算,用于解決問題的程序開發(fā)模型,也是開發(fā)人員拆解問題的方法。MapReduce模式的思想是將要執(zhí)行的問題拆解成Map(映射)和Reduce(化簡)的方式,先通過Map程序將數據切割成不相關的區(qū)塊,分配(調度)給大量計算機處理達到分布運算的效果,再通過Reduce程序將結果匯整,輸出開發(fā)者需要的結果。MapReduce的軟件實現是指定一個Map(映射)函數,把鍵值對(key/value)映射成新的鍵值對(key/value),形成一系列中間形式的key/value對,然后把它們傳給Reduce(化簡)函數,把具有相同中間形式key的value合并在一起.map和reduce函數具有一定的關聯(lián)性1.map

(k1,v1)

->

list(k2,v2)

2.reduce

(k2,list(v2))

->list(v2)

第二十三頁,共三十三頁,2022年,8月28日1、MapReduce分布式處理技術其中v1、v2可以是簡單數據,也可以是一組數據,對應不同的映射函數規(guī)則。在Map過程中將數據并行,即把數據用映射函數規(guī)則分開,而Reduce則把分開的數據用化簡函數規(guī)則合在一起,也就是說Map是一個分的過程,Reduce則對應著合。MapReduce應用廣泛,包括簡單計算任務、海量輸入數據、集群計算環(huán)境等,如分布grep、分布排序、單詞計數、Web連接圖反轉、每臺機器的詞矢量、Web訪問日志分析、反向索引構建、文檔聚類、機器學習、基于統(tǒng)計的機器翻譯等。第二十四頁,共三十三頁,2022年,8月28日2、Hadoop架構在Google發(fā)表MapReduce后,2004年開源社群用Java搭建出一套Hadoop框架,用于實現MapReduce算法,能夠把應用程序分割成許多很小的工作單元,每個單元可以在任何集群節(jié)點上執(zhí)行或重復執(zhí)行。此外,Hadoop還提供一個分布式文件系統(tǒng)GFS(Googlefilesystem),是一個可擴展、結構化、具備日志的分布式文件系統(tǒng),支持大型、分布式大數據量的讀寫操作,其容錯性較強。而分布式數據庫(BigTable)是一個有序、稀疏、多維度的映射表,有良好的伸縮性和高可用性,用來將數據存儲或部署到各個計算節(jié)點上。Hadoop框架具有高容錯性及對數據讀寫的高吞吐率,能自動處理失敗節(jié)點,如圖所示為GoogleHadoop架構。在架構中MapReduceAPI提供Map和Reduce處理、GFS分布式文件系統(tǒng)和BigTable分布式數據庫提供數據存取。基于Hadoop可以非常輕松和方便完成處理海量數據的分布式并行程序,并運行于大規(guī)模集群上。第二十五頁,共三十三頁,2022年,8月28日Google云計算執(zhí)行過程云計算服務方式多種多樣,通過對Google云計算架構及技術的理解,在此給出用戶將要執(zhí)行的程序或處理的問題提交云計算的平臺Hadoop,其執(zhí)行過程如圖所示:第二十六頁,共三十三頁,2022年,8月28日Google云計算執(zhí)行過程如圖所示的Google云計算執(zhí)行過程包括以下步驟。(1)將要執(zhí)行的MPI程序復制到Hadoop框架中的Master和每一臺Worker機器中。(2)Master選擇由哪些Worker機器來執(zhí)行Map程序與Reduce程序。(3)分配所有的數據區(qū)塊到執(zhí)行Map程序的Worker機器中進行Map(切割成小塊數據)。(4)將Map后的結果存入Worker機器。(5)執(zhí)行Reduce程序的Worker機器,遠程讀取每一份Map結果,進行混合、匯整與排序,同時執(zhí)行Reduce程序。(6)將結果輸出給用戶(開發(fā)者)。在云計算中為了保證計算和存儲等操作的完整性,充分利用MapReduce的分布和可靠特性,在數據上傳和下載過程中根據各Worker節(jié)點在指定時間內反饋的信息判斷節(jié)點的狀態(tài)是正常還是死亡,若節(jié)點死亡則將其負責的任務分配給別的節(jié)點,確保文件數據的完整性。第二十七頁,共三十三頁,2022年,8月28日核心技術1、編程模式2、海量數據分布存儲技術3、海量數據管理技術4、虛擬化技術5、云計算平臺管理技術第二十八頁,共三十三頁,2022年,8月28日四、云計算應用云計算的表現形式多種多樣,簡單的云計算在人們日常網絡應用中隨處可見,如騰訊QQ空間提供在線制作Flash圖片,彩字秀提供的個性文字圖片的處理,GoogleDoc和GoogleApps、zoho、用遠程軟件進行Office處理。對于眾多的服務,可以將云計算提供的服務細分為以下7個類型。(1)SaaS(軟件即服務)。軟件廠商將應用軟件統(tǒng)一部署在服務器或服務器集群上,通過互聯(lián)網提供軟件給用戶。用戶也可以根據自己實際需要向軟件廠商定制或租用適合自己的應用軟件,通過租用方式使用基于Web的軟件來管理企業(yè)經營活動。軟件廠商負責管理和維護軟件,對于許多小型企業(yè)來說,SaaS是采用先進技術的最好途徑,它消除了企業(yè)購買、構建和維護基礎設施和應用程序的需要,近年來,SaaS的興起已經給傳統(tǒng)軟件企業(yè)帶來強勁的壓力。在這種模式下,客戶不再像傳統(tǒng)模式那樣花費大量投資用于硬件、軟件、人員,而只需要支出一定的租賃服務費用,通過互聯(lián)網便可以享受到相應的硬件、軟件和維護服務,享有軟件使用權和不斷升級,這是網絡應用最具效益的營運模式。第二十九頁,共三十三頁,2022年,8月28日四、云計算應用SaaS通常被用在企業(yè)管理軟件領域、產品技術和市場,國內的廠商以八百客、沃利森為主,主要開發(fā)CRM、ERP等在線應用。用友、金蝶等老牌管理軟件廠商也推出在線財務SaaS產品。國際上其他大型軟件企業(yè)中,微軟提出了Software+SaaS的模式,谷歌推出了與微軟Office競爭的GoogleApps,Oracle在收購Sieble升級Siebleon-demand后推出OracleOn-demand,SAP推出了傳統(tǒng)和SaaS的雜交(Hybrid)模式。(2)平臺即服務。平臺即服務PaaS(Platformasaservice)是提供開發(fā)環(huán)境、服務器平臺、硬件資源等服務給用戶,用戶可以在服務提供商的基礎架構基礎上開發(fā)開發(fā)程序并通過互聯(lián)網和其服務器傳給其他用戶。PaaS能夠提供企業(yè)或個人定制研發(fā)的中間件平臺,提供應用軟件開發(fā)、數據庫、應用服務器、試驗、托管及應用服務,為個人用戶或企業(yè)的團隊協(xié)作。在云計算服務中,平臺即服務包括以下類型服務。①提供集成開發(fā)環(huán)境。云服務提供商開發(fā)、測試、部署、維護應用程序等服務,滿足不同用戶需要的不同開發(fā)周期和集成開發(fā)環(huán)境,多用戶互動測試,版本控制,部署和回滾。第三十頁,共三十三頁,2022年,8月28日四、云計算應用②集成Web服務和數據庫。支持SOAP和REST的接口,組成多個網絡服務,支持多用戶使用不同數據庫的平臺,協(xié)作用戶實現云計算設計。③支持團隊協(xié)作。平臺服務通過共享代碼和預定義方式,可以界定、更新和跟蹤設計人員,開發(fā)、測試、質量控制完成團隊協(xié)作。④提供實用設備。

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
  • 4. 未經權益所有人同意不得將文件中的內容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網僅提供信息存儲空間,僅對用戶上傳內容的表現方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論