云計(jì)算技術(shù)及體系結(jié)構(gòu)

關(guān)于云計(jì)算技術(shù)及體系結(jié)構(gòu)第1頁，課件共33頁，創(chuàng)作于2023年2月一、什么是云計(jì)算云計(jì)算（cloudcomputing）是基于互聯(lián)網(wǎng)的相關(guān)服務(wù)的增加、使用和交付模式，通常涉及通過互聯(lián)網(wǎng)來提供動(dòng)態(tài)易擴(kuò)展且經(jīng)常是虛擬化的資源。云是網(wǎng)絡(luò)、互聯(lián)網(wǎng)的一種比喻說法。過去在圖中往往用云來表示電信網(wǎng)，后來也用來表示互聯(lián)網(wǎng)和底層基礎(chǔ)設(shè)施的抽象。狹義云計(jì)算指IT基礎(chǔ)設(shè)施的交付和使用模式，指通過網(wǎng)絡(luò)以按需、易擴(kuò)展的方式獲得所需資源；廣義云計(jì)算指服務(wù)的交付和使用模式，指通過網(wǎng)絡(luò)以按需、易擴(kuò)展的方式獲得所需服務(wù)。這種服務(wù)可以是IT和軟件、互聯(lián)網(wǎng)相關(guān)，也可是其他服務(wù)。它意味著計(jì)算能力也可作為一種商品通過互聯(lián)網(wǎng)進(jìn)行流通。第2頁，課件共33頁，創(chuàng)作于2023年2月云計(jì)算背景云計(jì)算是繼1980年代大型計(jì)算機(jī)到客戶端-服務(wù)器的大轉(zhuǎn)變之后的又一種巨變。云計(jì)算（CloudComputing）是分布式計(jì)算（DistributedComputing）、并行計(jì)算（ParallelComputing）、效用計(jì)算（UtilityComputing）、網(wǎng)絡(luò)存儲(chǔ)（NetworkStorageTechnologies）、虛擬化（Virtualization）、負(fù)載均衡（LoadBalance）等傳統(tǒng)計(jì)算機(jī)和網(wǎng)絡(luò)技術(shù)發(fā)展融合的產(chǎn)物。第3頁，課件共33頁，創(chuàng)作于2023年2月云計(jì)算的興起云計(jì)算是近年來一個(gè)熱門的技術(shù)名詞，很多專家認(rèn)為，云計(jì)算會(huì)改變互聯(lián)網(wǎng)的技術(shù)基礎(chǔ)，甚至?xí)绊懻麄€(gè)產(chǎn)業(yè)的格局。正因?yàn)槿绱?，很多大型企業(yè)都在研究云計(jì)算技術(shù)和基于云計(jì)算的服務(wù)，亞馬遜、谷歌、微軟、IBM、SUN等IT巨頭都在其中。第4頁，課件共33頁，創(chuàng)作于2023年2月云計(jì)算的興起幾年之內(nèi),云計(jì)算已從新興技術(shù)發(fā)展成為當(dāng)今的熱點(diǎn)技術(shù)。從2003年Google公開發(fā)布的核心文件到2006年AmazonEC2（亞馬遜彈性計(jì)算云）的商業(yè)化應(yīng)用，再到美國(guó)電信巨頭AT&T（美國(guó)電話電報(bào)公司）推出的SynapticHosting（動(dòng)態(tài)托管）服務(wù)，云計(jì)算從節(jié)約成本的工具到盈利的推動(dòng)器，從ISP（網(wǎng)絡(luò)服務(wù)提供商）到電信企業(yè)，已然成功地從內(nèi)置的IT系統(tǒng)演變成公共的服務(wù)。2012年更是云計(jì)算快速發(fā)展的一年，各種云技術(shù)、云方案將陸續(xù)出臺(tái)，無論是早期亞馬遜的CloudDrive，還是2011年蘋果公司推出的iCloud，或是2012年微軟推出的SystemCenter系統(tǒng)等，都把目標(biāo)盯緊了云計(jì)算這塊大“肥肉”。第5頁，課件共33頁，創(chuàng)作于2023年2月云計(jì)算的定義Wiki定義：云計(jì)算是一種通過Internet以服務(wù)的方式提供動(dòng)態(tài)可伸縮的虛擬化的資源的計(jì)算模式。美國(guó)國(guó)家標(biāo)準(zhǔn)與技術(shù)研究院（NIST）定義：云計(jì)算是一種按使用量付費(fèi)的模式，這種模式提供可用的、便捷的、按需的網(wǎng)絡(luò)訪問，進(jìn)入可配置的計(jì)算資源共享池（資源包括網(wǎng)絡(luò)，服務(wù)器，存儲(chǔ)，應(yīng)用軟件，服務(wù)），這些資源能夠被快速提供，只需投入很少的管理工作，或與服務(wù)供應(yīng)商進(jìn)行很少的交互?！霸朴?jì)算”概念現(xiàn)在被大量運(yùn)用到生產(chǎn)環(huán)境中，國(guó)內(nèi)的“阿里云”與云谷公司的XenSystem，以及在國(guó)外已經(jīng)非常成熟的Intel和IBM，各種“云計(jì)算”的應(yīng)服務(wù)范圍正日漸擴(kuò)大，影響力也無可估量。。第6頁，課件共33頁，創(chuàng)作于2023年2月云計(jì)算常與網(wǎng)格計(jì)算、效用計(jì)算區(qū)別網(wǎng)格計(jì)算：分布式計(jì)算的一種，由一群松散耦合的計(jì)算機(jī)組成的一個(gè)超級(jí)虛擬計(jì)算機(jī)，常用來執(zhí)行一些大型任務(wù)。效用計(jì)算：IT資源的一種打包和計(jì)費(fèi)方式，比如按照計(jì)算、存儲(chǔ)分別計(jì)量費(fèi)用，像傳統(tǒng)的電力等公共設(shè)施一樣。云計(jì)算部署依賴于計(jì)算機(jī)集群（但與網(wǎng)格的組成、體系結(jié)構(gòu)、目的、工作方式大相徑庭），也吸收了自主計(jì)算和效用計(jì)算的特點(diǎn)。第7頁，課件共33頁，創(chuàng)作于2023年2月云計(jì)算主要經(jīng)歷了四個(gè)階段才發(fā)展到現(xiàn)在這樣比較成熟的水平，這四個(gè)階段依次是電廠模式、效用計(jì)算、網(wǎng)格計(jì)算和云計(jì)算。第8頁，課件共33頁，創(chuàng)作于2023年2月云計(jì)算的服務(wù)形式基礎(chǔ)設(shè)施即服務(wù)（IaaS）：消費(fèi)者通過Internet可以從完善的計(jì)算機(jī)基礎(chǔ)設(shè)施獲得服務(wù)。平臺(tái)即服務(wù)（PaaS）：PaaS實(shí)際上是指將軟件研發(fā)的平臺(tái)作為一種服務(wù)，以SaaS的模式提交給用戶。因此，PaaS也是SaaS模式的一種應(yīng)用。但是，PaaS的出現(xiàn)可以加快SaaS的發(fā)展，尤其是加快SaaS應(yīng)用的開發(fā)速度。軟件即服務(wù)（SaaS）：它是一種通過Internet提供軟件的模式，用戶無需購買軟件，而是向提供商租用基于Web的軟件，來管理企業(yè)經(jīng)營(yíng)活動(dòng)。第9頁，課件共33頁，創(chuàng)作于2023年2月第10頁，課件共33頁，創(chuàng)作于2023年2月二、云計(jì)算體系結(jié)構(gòu)云計(jì)算基本原理：利用非本地或遠(yuǎn)程服務(wù)器（集群）的分布式計(jì)算機(jī)為互聯(lián)網(wǎng)用戶提供服務(wù)（計(jì)算、存儲(chǔ)、軟硬件等服務(wù)）。這使得用戶可以將資源切換到需要的應(yīng)用上，根據(jù)需求訪問計(jì)算機(jī)和存儲(chǔ)系統(tǒng)。云計(jì)算可以把普通的服務(wù)器或者PC連接起來以獲得超級(jí)計(jì)算機(jī)計(jì)算機(jī)的計(jì)算和存儲(chǔ)等功能，但是成本更低。云計(jì)算真正實(shí)現(xiàn)了按需計(jì)算，從而有效地提高了對(duì)軟硬件資源的利用效率。云計(jì)算的出現(xiàn)使高性并行計(jì)算不再是科學(xué)家和專業(yè)人士的專利，普通的用戶也能通過云計(jì)算享受高性能并行計(jì)算所帶來的便利，使人人都有機(jī)會(huì)使用并行機(jī)，從而大大提高了工作效率和計(jì)算資源的利用率。云計(jì)算模式中用戶不需要了解服務(wù)器在哪里，不用關(guān)心內(nèi)部如何運(yùn)作，通過高速互聯(lián)網(wǎng)就可以透明地使用各種資源。第11頁，課件共33頁，創(chuàng)作于2023年2月二、云計(jì)算體系結(jié)構(gòu)云計(jì)算是全新的基于互聯(lián)網(wǎng)的超級(jí)計(jì)算理念和模式，實(shí)現(xiàn)云計(jì)算需要多種技術(shù)結(jié)合，并且需要用軟件實(shí)現(xiàn)將硬件資源進(jìn)行虛擬化管理和調(diào)度，形成一個(gè)巨大的虛擬化資源池，把存儲(chǔ)于個(gè)人電腦、移動(dòng)設(shè)備和其他設(shè)備上的大量信息和處理器資源集中在一起，協(xié)同工作。按照最大眾化、最通俗理解云計(jì)算就是把計(jì)算資源都放到互聯(lián)網(wǎng)上，互聯(lián)網(wǎng)即是云計(jì)算時(shí)代的云。計(jì)算資源則包括了計(jì)算機(jī)硬件資源（如計(jì)算機(jī)設(shè)備、存儲(chǔ)設(shè)備、服務(wù)器集群、硬件服務(wù)等）和軟件資源（如應(yīng)用軟件、集成開發(fā)環(huán)境、軟件服務(wù)）。

第12頁，課件共33頁，創(chuàng)作于2023年2月二、云計(jì)算體系結(jié)構(gòu)云計(jì)算體系結(jié)構(gòu)：云計(jì)算平臺(tái)是一個(gè)強(qiáng)大的“云”網(wǎng)絡(luò)，連接了大量并發(fā)的網(wǎng)絡(luò)計(jì)算和服務(wù)，可利用虛擬化技術(shù)擴(kuò)展每一個(gè)服務(wù)器的能力，將各自的資源通過云計(jì)算平臺(tái)結(jié)合起來，提供超級(jí)計(jì)算和存儲(chǔ)能力。通用的云計(jì)算體系結(jié)構(gòu)如下圖所示：第13頁，課件共33頁，創(chuàng)作于2023年2月云計(jì)算體系結(jié)構(gòu)云用戶端：提供云用戶請(qǐng)求服務(wù)的交互界面，也是用戶使用云的入口，用戶通過Web瀏覽器可以注冊(cè)、登錄及定制服務(wù)、配置和管理用戶。打開應(yīng)用實(shí)例與本地操作桌面系統(tǒng)一樣。服務(wù)目錄：云用戶在取得相應(yīng)權(quán)限（付費(fèi)或其他限制）后可以選擇或定制的服務(wù)列表，也可以對(duì)已有服務(wù)進(jìn)行退訂的操作，在云用戶端界面生成相應(yīng)的圖標(biāo)或列表的形式展示相關(guān)的服務(wù)。第14頁，課件共33頁，創(chuàng)作于2023年2月云計(jì)算體系結(jié)構(gòu)管理系統(tǒng)和部署工具：提供管理和服務(wù)，能管理云用戶，能對(duì)用戶授權(quán)、認(rèn)證、登錄進(jìn)行管理，并可以管理可用計(jì)算資源和服務(wù)，接收用戶發(fā)送的請(qǐng)求，根據(jù)用戶請(qǐng)求并轉(zhuǎn)發(fā)到相應(yīng)的相應(yīng)程序，調(diào)度資源智能地部署資源和應(yīng)用，動(dòng)態(tài)地部署、配置和回收資源。監(jiān)控：監(jiān)控和計(jì)量云系統(tǒng)資源的使用情況，以便做出迅速反應(yīng)，完成節(jié)點(diǎn)同步配置、負(fù)載均衡配置和資源監(jiān)控，確保資源能順利分配給合適的用戶。服務(wù)器集群：虛擬的或物理的服務(wù)器，由管理系統(tǒng)管理，負(fù)責(zé)高并發(fā)量的用戶請(qǐng)求處理、大運(yùn)算量計(jì)算處理、用戶Web應(yīng)用服務(wù)，云數(shù)據(jù)存儲(chǔ)時(shí)采用相應(yīng)數(shù)據(jù)切割算法采用并行方式上傳和下載大容量數(shù)據(jù)。用戶可通過云用戶端從列表中選擇所需的服務(wù)，其請(qǐng)求通過管理系統(tǒng)調(diào)度相應(yīng)的資源，并通過部署工具分發(fā)請(qǐng)求、配置Web應(yīng)用。第15頁，課件共33頁，創(chuàng)作于2023年2月云計(jì)算體系結(jié)構(gòu)云計(jì)算服務(wù)層次：在云計(jì)算中，根據(jù)其服務(wù)集合所提供的服務(wù)類型，整個(gè)云計(jì)算服務(wù)集合被劃分成4個(gè)層次：應(yīng)用層、平臺(tái)層、基礎(chǔ)設(shè)施層和虛擬化層。這4個(gè)層次每一層都對(duì)應(yīng)著一個(gè)子服務(wù)集合，為云計(jì)算服務(wù)層次如下圖所示：第16頁，課件共33頁，創(chuàng)作于2023年2月云計(jì)算體系結(jié)構(gòu)云計(jì)算的服務(wù)層次是根據(jù)服務(wù)類型即服務(wù)集合來劃分，與大家熟悉的計(jì)算機(jī)網(wǎng)絡(luò)體系結(jié)構(gòu)中層次的劃分不同。在計(jì)算機(jī)網(wǎng)絡(luò)中每個(gè)層次都實(shí)現(xiàn)一定的功能，層與層之間有一定關(guān)聯(lián)。而云計(jì)算體系結(jié)構(gòu)中的層次是可以分割的，即某一層次可以單獨(dú)完成一項(xiàng)用戶的請(qǐng)求而不需要其他層次為其提供必要的服務(wù)和支持。在云計(jì)算服務(wù)體系結(jié)構(gòu)中各層次與相關(guān)云產(chǎn)品對(duì)應(yīng)。應(yīng)用層對(duì)應(yīng)SaaS軟件即服務(wù)如：GoogleAPPS、SoftWare+Services；平臺(tái)層對(duì)應(yīng)PaaS平臺(tái)即服務(wù)如：IBMITFactory、GoogleAPPEngine、F；基礎(chǔ)設(shè)施層對(duì)應(yīng)IaaS基礎(chǔ)設(shè)施即服務(wù)如：AmazoEc2、IBMBlueCloud、SunGrid；虛擬化層對(duì)應(yīng)硬件即服務(wù)結(jié)合Paas提供硬件服務(wù)，包括服務(wù)器集群及硬件檢測(cè)等服務(wù)。第17頁，課件共33頁，創(chuàng)作于2023年2月云計(jì)算體系結(jié)構(gòu)云計(jì)算技術(shù)層次：云計(jì)算技術(shù)層次和云計(jì)算服務(wù)層次不是一個(gè)概念，后者從服務(wù)的角度來劃分云的層次，主要突出了云服務(wù)能給我?guī)硎裁?。而云?jì)算的技術(shù)層次主要從系統(tǒng)屬性和設(shè)計(jì)思想角度來說明云，是對(duì)軟硬件資源在云計(jì)算技術(shù)中所充當(dāng)角色的說明。從云計(jì)算技術(shù)角度來分，云計(jì)算大約有4部分構(gòu)成：物理資源、虛擬化資源、中間件管理部分和服務(wù)接口，如下圖所示：服務(wù)接口：統(tǒng)一規(guī)定了在云計(jì)算時(shí)代使用計(jì)算機(jī)的各種規(guī)范、云計(jì)算服務(wù)的各種標(biāo)準(zhǔn)等，用戶端與云端交互操作的入口，可以完成用戶或服務(wù)注冊(cè)，對(duì)服務(wù)的定制和使用。第18頁，課件共33頁，創(chuàng)作于2023年2月云計(jì)算體系結(jié)構(gòu)第19頁，課件共33頁，創(chuàng)作于2023年2月云計(jì)算體系結(jié)構(gòu)服務(wù)管理中間件：在云計(jì)算技術(shù)中，中間件位于服務(wù)和服務(wù)器集群之間，提供管理和服務(wù)即云計(jì)算體系結(jié)構(gòu)中的管理系統(tǒng)。對(duì)標(biāo)識(shí)、認(rèn)證、授權(quán)、目錄、安全性等服務(wù)進(jìn)行標(biāo)準(zhǔn)化和操作，為應(yīng)用提供統(tǒng)一的標(biāo)準(zhǔn)化程序接口和協(xié)議，隱藏底層硬件、操作系統(tǒng)和網(wǎng)絡(luò)的異構(gòu)性，統(tǒng)一管理網(wǎng)絡(luò)資源。其用戶管理包括用戶身份驗(yàn)證、用戶許可、用戶定制管理；資源管理包括負(fù)載均衡、資源監(jiān)控、故障檢測(cè)等；安全管理包括身份驗(yàn)證、訪問授權(quán)、安全審計(jì)、綜合防護(hù)等；映像管理包括映像創(chuàng)建、部署、管理等。虛擬化資源：指一些可以實(shí)現(xiàn)一定操作具有一定功能，但其本身是虛擬而不是真實(shí)的資源，如計(jì)算池，存儲(chǔ)池和網(wǎng)絡(luò)池、數(shù)據(jù)庫資源等，通過軟件技術(shù)來實(shí)現(xiàn)相關(guān)的虛擬化功能包括虛擬環(huán)境、虛擬系統(tǒng)、虛擬平臺(tái)。第20頁，課件共33頁，創(chuàng)作于2023年2月云計(jì)算體系結(jié)構(gòu)物理資源：主要指能支持計(jì)算機(jī)正常運(yùn)行的一些硬件設(shè)備及技術(shù)，可以是價(jià)格低廉的PC，也可以是價(jià)格昂貴的服務(wù)器及磁盤陣列等設(shè)備，可以通過現(xiàn)有網(wǎng)絡(luò)技術(shù)和并行技術(shù)、分布式技術(shù)將分散的計(jì)算機(jī)組成一個(gè)能提供超強(qiáng)功能的集群用于計(jì)算和存儲(chǔ)等云計(jì)算操作。在云計(jì)算時(shí)代，本地計(jì)算機(jī)可能不再像傳統(tǒng)計(jì)算機(jī)那樣需要空間足夠的硬盤、大功率的處理器和大容量的內(nèi)存，只需要一些必要的硬件設(shè)備如網(wǎng)絡(luò)設(shè)備和基本的輸入輸出設(shè)備等。第21頁，課件共33頁，創(chuàng)作于2023年2月三、典型云計(jì)算平臺(tái)云計(jì)算的研究吸引了不同技術(shù)領(lǐng)域巨頭，因此對(duì)云計(jì)算理論及實(shí)現(xiàn)架構(gòu)也有所不同。如亞馬遜利用虛擬化技術(shù)提供云計(jì)算服務(wù)，推出S3（SimpleStorageService）提供可靠、快速、可擴(kuò)展的網(wǎng)絡(luò)存儲(chǔ)服務(wù)，而彈性可擴(kuò)展的云計(jì)算服務(wù)器EC2（ElasticComputeCloud）采用Xen虛擬化技術(shù)，提供一個(gè)虛擬的執(zhí)行環(huán)境（虛擬機(jī)器），讓用戶通過互聯(lián)網(wǎng)來執(zhí)行自己的應(yīng)用程序。IBM將包括Xen和PowerVM虛擬的Linux操作系統(tǒng)鏡像與Hadoop并行工作負(fù)載調(diào)度。下面以Google公司的云計(jì)算核心技術(shù)和架構(gòu)作基本講解。云計(jì)算的先行者Google的云計(jì)算平臺(tái)能實(shí)現(xiàn)大規(guī)模分布式計(jì)算和應(yīng)用服務(wù)程序，平臺(tái)包括MapReduce分布式處理技術(shù)、Hadoop框架、分布式的文件系統(tǒng)GFS、結(jié)構(gòu)化的BigTable存儲(chǔ)系統(tǒng)以及Google其他的云計(jì)算支撐要素。現(xiàn)有的云計(jì)算通過對(duì)資源層、平臺(tái)層和應(yīng)用層的虛擬化以及物理上的分布式集成，將龐大的IT資源整合在一起。更重要的是，云計(jì)算不僅僅是資源的簡(jiǎn)單匯集，它為我們提供了一種管理機(jī)制，讓整個(gè)體系作為一個(gè)虛擬的資源池對(duì)外提供服務(wù)，并賦予開發(fā)者透明獲取資源、使用資源的自由。第22頁，課件共33頁，創(chuàng)作于2023年2月1、MapReduce分布式處理技術(shù)MapReduce是Google開發(fā)的Java、Python、C++編程工具，用于大規(guī)模數(shù)據(jù)集（大于1TB）的并行運(yùn)算，也是云計(jì)算的核心技術(shù)，一種分布式運(yùn)算技術(shù)，也是簡(jiǎn)化的分布式編程模式，適合用來處理大量數(shù)據(jù)的分布式運(yùn)算，用于解決問題的程序開發(fā)模型，也是開發(fā)人員拆解問題的方法。MapReduce模式的思想是將要執(zhí)行的問題拆解成Map（映射）和Reduce（化簡(jiǎn)）的方式，先通過Map程序?qū)?shù)據(jù)切割成不相關(guān)的區(qū)塊，分配（調(diào)度）給大量計(jì)算機(jī)處理達(dá)到分布運(yùn)算的效果，再通過Reduce程序?qū)⒔Y(jié)果匯整，輸出開發(fā)者需要的結(jié)果。MapReduce的軟件實(shí)現(xiàn)是指定一個(gè)Map（映射）函數(shù)，把鍵值對(duì)（key/value）映射成新的鍵值對(duì)（key/value），形成一系列中間形式的key/value對(duì)，然后把它們傳給Reduce（化簡(jiǎn)）函數(shù)，把具有相同中間形式key的value合并在一起.map和reduce函數(shù)具有一定的關(guān)聯(lián)性1.map

(k1,v1)

->

list(k2,v2)

2.reduce

(k2,list(v2))

->list(v2)

第23頁，課件共33頁，創(chuàng)作于2023年2月1、MapReduce分布式處理技術(shù)其中v1、v2可以是簡(jiǎn)單數(shù)據(jù)，也可以是一組數(shù)據(jù)，對(duì)應(yīng)不同的映射函數(shù)規(guī)則。在Map過程中將數(shù)據(jù)并行，即把數(shù)據(jù)用映射函數(shù)規(guī)則分開，而Reduce則把分開的數(shù)據(jù)用化簡(jiǎn)函數(shù)規(guī)則合在一起，也就是說Map是一個(gè)分的過程，Reduce則對(duì)應(yīng)著合。MapReduce應(yīng)用廣泛，包括簡(jiǎn)單計(jì)算任務(wù)、海量輸入數(shù)據(jù)、集群計(jì)算環(huán)境等，如分布grep、分布排序、單詞計(jì)數(shù)、Web連接圖反轉(zhuǎn)、每臺(tái)機(jī)器的詞矢量、Web訪問日志分析、反向索引構(gòu)建、文檔聚類、機(jī)器學(xué)習(xí)、基于統(tǒng)計(jì)的機(jī)器翻譯等。第24頁，課件共33頁，創(chuàng)作于2023年2月2、Hadoop架構(gòu)在Google發(fā)表MapReduce后，2004年開源社群用Java搭建出一套Hadoop框架，用于實(shí)現(xiàn)MapReduce算法，能夠把應(yīng)用程序分割成許多很小的工作單元，每個(gè)單元可以在任何集群節(jié)點(diǎn)上執(zhí)行或重復(fù)執(zhí)行。此外，Hadoop還提供一個(gè)分布式文件系統(tǒng)GFS（Googlefilesystem），是一個(gè)可擴(kuò)展、結(jié)構(gòu)化、具備日志的分布式文件系統(tǒng)，支持大型、分布式大數(shù)據(jù)量的讀寫操作，其容錯(cuò)性較強(qiáng)。而分布式數(shù)據(jù)庫（BigTable）是一個(gè)有序、稀疏、多維度的映射表，有良好的伸縮性和高可用性，用來將數(shù)據(jù)存儲(chǔ)或部署到各個(gè)計(jì)算節(jié)點(diǎn)上。Hadoop框架具有高容錯(cuò)性及對(duì)數(shù)據(jù)讀寫的高吞吐率，能自動(dòng)處理失敗節(jié)點(diǎn)，如圖所示為GoogleHadoop架構(gòu)。在架構(gòu)中MapReduceAPI提供Map和Reduce處理、GFS分布式文件系統(tǒng)和BigTable分布式數(shù)據(jù)庫提供數(shù)據(jù)存取?；贖adoop可以非常輕松和方便完成處理海量數(shù)據(jù)的分布式并行程序，并運(yùn)行于大規(guī)模集群上。第25頁，課件共33頁，創(chuàng)作于2023年2月Google云計(jì)算執(zhí)行過程云計(jì)算服務(wù)方式多種多樣，通過對(duì)Google云計(jì)算架構(gòu)及技術(shù)的理解，在此給出用戶將要執(zhí)行的程序或處理的問題提交云計(jì)算的平臺(tái)Hadoop，其執(zhí)行過程如圖所示：第26頁，課件共33頁，創(chuàng)作于2023年2月Google云計(jì)算執(zhí)行過程如圖所示的Google云計(jì)算執(zhí)行過程包括以下步驟。（1）將要執(zhí)行的MPI程序復(fù)制到Hadoop框架中的Master和每一臺(tái)Worker機(jī)器中。（2）Master選擇由哪些Worker機(jī)器來執(zhí)行Map程序與Reduce程序。（3）分配所有的數(shù)據(jù)區(qū)塊到執(zhí)行Map程序的Worker機(jī)器中進(jìn)行Map（切割成小塊數(shù)據(jù)）。（4）將Map后的結(jié)果存入Worker機(jī)器。（5）執(zhí)行Reduce程序的Worker機(jī)器，遠(yuǎn)程讀取每一份Map結(jié)果，進(jìn)行混合、匯整與排序，同時(shí)執(zhí)行Reduce程序。（6）將結(jié)果輸出給用戶（開發(fā)者）。在云計(jì)算中為了保證計(jì)算和存儲(chǔ)等操作的完整性，充分利用MapReduce的分布和可靠特性，在數(shù)據(jù)上傳和下載過程中根據(jù)各Worker節(jié)點(diǎn)在指定時(shí)間內(nèi)反饋的信息判斷節(jié)點(diǎn)的狀態(tài)是正常還是死亡，若節(jié)點(diǎn)死亡則將其負(fù)責(zé)的任務(wù)分配給別的節(jié)點(diǎn)，確保文件數(shù)據(jù)的完整性。第27頁，課件共33頁，創(chuàng)作于2023年2月核心技術(shù)1、編程模式2、海量數(shù)據(jù)分布存儲(chǔ)技術(shù)3、海量數(shù)據(jù)管理技術(shù)4、虛擬化技術(shù)5、云計(jì)算平臺(tái)管理技術(shù)第28頁，課件共33頁，創(chuàng)作于2023年2月四、云計(jì)算應(yīng)用云計(jì)算的表現(xiàn)形式多種多樣，簡(jiǎn)單的云計(jì)算在人們?nèi)粘＞W(wǎng)絡(luò)應(yīng)用中隨處可見，如騰訊QQ空間提供在線制作Flash圖片，彩字秀提供的個(gè)性文字圖片的處理，GoogleDoc和GoogleApps、zoho、用遠(yuǎn)程軟件進(jìn)行Office處理。對(duì)于眾多的服務(wù)，可以將云計(jì)算提供的服務(wù)細(xì)分為以下7個(gè)類型。（1）SaaS（軟件即服務(wù)）。軟件廠商將應(yīng)用軟件統(tǒng)一部署在服務(wù)器或服務(wù)器集群上，通過互聯(lián)網(wǎng)提供軟件給用戶。用戶也可以根據(jù)自己實(shí)際需要向軟件廠商定制或租用適合自己的應(yīng)用軟件，通過租用方式使用基于Web的軟件來管理企業(yè)經(jīng)營(yíng)活動(dòng)。軟件廠商負(fù)責(zé)管理和維護(hù)軟件，對(duì)于許多小型企業(yè)來說，SaaS是采用先進(jìn)技術(shù)的最好途徑，它消除了企業(yè)購買、構(gòu)建和維護(hù)基礎(chǔ)設(shè)施和應(yīng)用程序的需要，近年來，SaaS的興起已經(jīng)給傳統(tǒng)軟件企業(yè)帶來強(qiáng)勁的壓力。在這種模式下，客戶不再像傳統(tǒng)模式那樣花費(fèi)大量投資用于硬件、軟件、人員，而只需要支出一定的租賃服務(wù)費(fèi)用，通過互聯(lián)網(wǎng)便可以享受到相應(yīng)的硬件、軟件和維護(hù)服務(wù)，享有軟件使用權(quán)和不斷升級(jí)，這是網(wǎng)絡(luò)應(yīng)用最具效益的營(yíng)運(yùn)模式。第29頁，課件共33頁，創(chuàng)作于2023年2月四、云計(jì)算應(yīng)用SaaS通常被用在企業(yè)管理軟件領(lǐng)域、產(chǎn)品技術(shù)和市場(chǎng)，國(guó)內(nèi)的廠商以八百客、沃利森為主，主要開發(fā)CRM、ERP等在線應(yīng)用。用友、金蝶等老牌管理軟件廠商也推出在線財(cái)務(wù)SaaS產(chǎn)品。國(guó)際上其他大型軟件企業(yè)中，微軟提出了Software+SaaS的模式，谷歌推出了與微軟Office競(jìng)爭(zhēng)的GoogleApps，Oracle在收購Sieble升級(jí)Siebleon-demand后推出OracleOn-demand，SAP推出了傳統(tǒng)和SaaS的雜交（Hybrid）模式。（2）平臺(tái)即服務(wù)。平臺(tái)即服務(wù)PaaS（Platformasaservice）是提供開發(fā)環(huán)境、服務(wù)器平臺(tái)、硬件資源等服務(wù)給用戶，用戶可以在服務(wù)提供商的基礎(chǔ)架構(gòu)基礎(chǔ)上開發(fā)開發(fā)程序并通過互聯(lián)網(wǎng)和其服務(wù)器傳給其他用戶。PaaS能夠提供企業(yè)或個(gè)人定制研發(fā)的中間件平臺(tái)，提供應(yīng)用軟件開發(fā)、數(shù)據(jù)庫、應(yīng)用服務(wù)器、試驗(yàn)、托管及應(yīng)用服務(wù)，為個(gè)人用戶或企業(yè)的團(tuán)隊(duì)協(xié)作。在云計(jì)算服務(wù)中，平臺(tái)即服務(wù)包括以下類型服務(wù)。①提供集成開發(fā)環(huán)境。云服務(wù)提供商開發(fā)、測(cè)試、部署、維護(hù)應(yīng)用程序等服務(wù)，滿足不同用戶需要的不同開發(fā)周期和集成開發(fā)環(huán)境，多用戶互動(dòng)測(cè)試，版本控制，部署和回滾。第30頁，課件共33頁，創(chuàng)作于2023年2月四、云計(jì)算應(yīng)用②集成Web服務(wù)和數(shù)據(jù)庫。支持SOAP和REST的接口，組成多個(gè)網(wǎng)絡(luò)服務(wù)，支持多用戶使用不同數(shù)據(jù)庫的平臺(tái)，協(xié)作用戶實(shí)現(xiàn)云計(jì)算設(shè)計(jì)。③支持團(tuán)隊(duì)協(xié)作。平臺(tái)服務(wù)通過共享代碼和預(yù)定義方式，可以界定、更新和跟蹤設(shè)計(jì)人員，開發(fā)、測(cè)試、質(zhì)量控制完成團(tuán)隊(duì)協(xié)作。④提供實(shí)用設(shè)