云計(jì)算導(dǎo)論 課件 第二章 云計(jì)算的關(guān)鍵技術(shù)

《云計(jì)算導(dǎo)論》第二章

云計(jì)算的關(guān)鍵技術(shù)目錄虛擬化技術(shù)1數(shù)據(jù)存儲(chǔ)技術(shù)2資源管理技術(shù)3云計(jì)算中的編程模型4集成一體化技術(shù)5自動(dòng)化技術(shù)62.1虛擬化技術(shù)2.1.1虛擬化的定義虛擬相對(duì)于真實(shí)，虛擬化就是將原本運(yùn)行在真實(shí)環(huán)境上的計(jì)算機(jī)系統(tǒng)或組建運(yùn)行在虛擬出來的環(huán)境中。一般來說，計(jì)算機(jī)系統(tǒng)分為若干層次，從下至上包括底層硬件資源、操作系統(tǒng)、操作系統(tǒng)提供的應(yīng)用程序編程接口，以及運(yùn)行在操作系統(tǒng)之上的應(yīng)用程序。虛擬化技術(shù)可以在這些不同層次之間構(gòu)建虛擬化層，向上提供與真實(shí)層次相同或類似的功能，使得上層系統(tǒng)可以運(yùn)行在該中間層之上。這個(gè)中間層可以解除其上下兩層間原本存在的耦合關(guān)系，使上層的運(yùn)行不依賴于下層的具體實(shí)現(xiàn)。2.1虛擬化技術(shù)2.1.1虛擬化的定義“虛擬化”是一個(gè)廣泛而變化的概念，因此想要給出一個(gè)清晰而準(zhǔn)確的“虛擬化”定義并不是一件容易的事情。IBM對(duì)虛擬化的定義：虛擬化是資源的邏輯表示，它不受物理限制的約束。在這個(gè)定義中，資源涵蓋的范圍很廣。資源可以是各種硬件資源，如CPU、內(nèi)存、存儲(chǔ)、網(wǎng)絡(luò)；也可以是各種軟件環(huán)境，如操作系統(tǒng)、文件系統(tǒng)、應(yīng)用程序等。2.1虛擬化技術(shù)2.1.2虛擬化的常見類型從被虛擬的資源類型來看，一般可以將虛擬化技術(shù)分成軟件虛擬化、系統(tǒng)虛擬化和基礎(chǔ)設(shè)施虛擬化三類。（1）軟件虛擬化軟件虛擬化很顯然是針對(duì)軟件環(huán)境的虛擬化技術(shù)，應(yīng)用虛擬化就是其中的一種。應(yīng)用虛擬化分離了應(yīng)用程序的計(jì)算邏輯和顯示邏輯，即界面抽象化，而不是在用戶端安裝軟件。當(dāng)用戶要訪問被虛擬化的應(yīng)用程序時(shí)，用戶端只需要把用戶端人機(jī)交互的數(shù)據(jù)傳送到服務(wù)器，由服務(wù)器來為用戶開設(shè)獨(dú)立的會(huì)話去運(yùn)行被訪問的應(yīng)用程序的計(jì)算邏輯，服務(wù)器再把處理后的顯示邏輯傳回給用戶端，從而使用戶獲取像在本地運(yùn)行應(yīng)用程序的使用感受。（2）系統(tǒng)虛擬化是指使用虛擬化軟件在一臺(tái)物理主機(jī)上虛擬出一臺(tái)或多臺(tái)相互獨(dú)立的虛擬機(jī)。服務(wù)器虛擬化就屬于系統(tǒng)虛擬化，它是指在一臺(tái)物理機(jī)上面運(yùn)行多個(gè)虛擬機(jī)（VirtualMachine，VM），各個(gè)虛擬機(jī)之間相互隔離，并能同時(shí)運(yùn)行相互獨(dú)立的操作系統(tǒng)，這些客戶操作系統(tǒng)（GuestOS）通過虛擬機(jī)管理器（VirtualMachineMonitor，VMM）訪問實(shí)際的物理資源，并進(jìn)行管理。服務(wù)器虛擬化技術(shù)具有諸多優(yōu)點(diǎn)，基于服務(wù)器虛擬化搭建的云計(jì)算平臺(tái)有著很多良好特性。（3）基礎(chǔ)設(shè)施虛擬化一般包含存儲(chǔ)虛擬化和網(wǎng)絡(luò)虛擬化等。存儲(chǔ)虛擬化是指為物理存儲(chǔ)設(shè)備提供抽象的邏輯視圖，而用戶能通過這個(gè)視圖中的統(tǒng)一邏輯接口去訪問被整合在一起的存儲(chǔ)資源。網(wǎng)絡(luò)虛擬化是指將軟件資源和網(wǎng)絡(luò)的硬件整合起來，為用戶提供虛擬的網(wǎng)絡(luò)連接服務(wù)。網(wǎng)絡(luò)虛擬化的典型代表有虛擬專用網(wǎng)（VPN）和虛擬局域網(wǎng)（VLAN）。2.1虛擬化技術(shù)2.1.3服務(wù)器虛擬化服務(wù)器虛擬化是指在一個(gè)物理機(jī)器上面虛擬出很多個(gè)虛擬主機(jī)（VirtualMachine），并且各個(gè)虛擬主機(jī)之間是相互隔離的，它們可以同時(shí)運(yùn)行彼此獨(dú)立的操作系統(tǒng)，所有的客戶操作系統(tǒng)（GuestOS）都能借助于虛擬機(jī)管理器（VirtualMachineMonitor）去訪問實(shí)際存在的物理資源，并對(duì)其進(jìn)行管理。服務(wù)器虛擬化主要有兩種類型：寄宿虛擬化和原生虛擬化2.1虛擬化技術(shù)2.1.4云計(jì)算與虛擬化相對(duì)于傳統(tǒng)的方式而言，基于虛擬化技術(shù)搭建的云平臺(tái)有著相當(dāng)大的優(yōu)勢(shì)，體現(xiàn)在以下幾個(gè)方面。（1）易伸縮（2）高可用性（3）負(fù)載均衡（4）提高資源使用率2.2數(shù)據(jù)存儲(chǔ)技術(shù)2.2.1Google文件系統(tǒng)GFS是一個(gè)管理大型分布式數(shù)據(jù)密集型計(jì)算的可擴(kuò)展的分布式文件系統(tǒng)。它使用廉價(jià)的商用硬件搭建系統(tǒng)并向大量用戶提供容錯(cuò)的高性能的服務(wù)。云計(jì)算的數(shù)據(jù)存儲(chǔ)技術(shù)未來的發(fā)展將集中在超大規(guī)模的數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)加密和安全性保，證以及繼續(xù)提高I/O速率等方面。GFS系統(tǒng)由一個(gè)Master和大量塊服務(wù)器構(gòu)成。Master存放文件系統(tǒng)的所有元數(shù)據(jù)，包括名字空間、存取控制、文件分塊信息、文件塊的位置信息等。GFS中的文件切分為64MB的塊進(jìn)行存儲(chǔ)。在GFS文件系統(tǒng)中，采用冗余存儲(chǔ)的方式來保證數(shù)據(jù)的可靠性。每份數(shù)據(jù)在系統(tǒng)中保存3個(gè)以上的備份。由于搜索引擎需要處理海量的數(shù)據(jù)，所以Google的兩位創(chuàng)始人LarryPage和SergeyBrin在創(chuàng)業(yè)初期設(shè)計(jì)一套名為“BigFiles”的文件系統(tǒng)，而GFS（全稱為“GoogleFileSystem”）這套分布式文件系統(tǒng)則是“BigFiles”的延續(xù)。2.2數(shù)據(jù)存儲(chǔ)技術(shù)2.2.1Google文件系統(tǒng)在設(shè)計(jì)上，GFS主要有8個(gè)特點(diǎn)：（1）大文件和大數(shù)據(jù)塊數(shù)據(jù)文件的大小普遍在GB級(jí)別，而且其每個(gè)數(shù)據(jù)塊默認(rèn)大小為64MB，這樣做的好處是減少了元數(shù)據(jù)的大小，能使Master節(jié)點(diǎn)非常方便地將元數(shù)據(jù)放置在內(nèi)存中以提升訪問效率。（2）操作以添加為主因?yàn)槲募苌俦粍h減或者覆蓋，通常只是進(jìn)行添加或者讀取操作，這樣能充分考慮到硬盤現(xiàn)行吞吐量大和隨機(jī)讀寫慢的特點(diǎn)。（3）支持容錯(cuò)首先，雖然當(dāng)時(shí)為了設(shè)計(jì)方便，采用了單Master的方案，但是整個(gè)系統(tǒng)會(huì)保證每個(gè)Master都有其相對(duì)應(yīng)的復(fù)制品，以便于在Master節(jié)點(diǎn)出現(xiàn)問題時(shí)進(jìn)行切換。其次，在Chunk層，GFS已經(jīng)在設(shè)計(jì)上將節(jié)點(diǎn)失敗視為常態(tài)，所以能非常好地處理Chunk節(jié)點(diǎn)失效的問題。（4）高吞吐量雖然其單個(gè)節(jié)點(diǎn)的性能無論是從吞吐量還是延遲都很普通，但因?yàn)槠渲С稚锨€(gè)節(jié)點(diǎn)，所以總的數(shù)據(jù)吞吐量是非常驚人的。（5）保護(hù)數(shù)據(jù)文件被分割成固定尺寸的數(shù)據(jù)塊以便于保存，而且每個(gè)數(shù)據(jù)塊都會(huì)被系統(tǒng)復(fù)制3份。（6）擴(kuò)展能力強(qiáng)因?yàn)樵獢?shù)據(jù)偏小，使得一個(gè)Master節(jié)點(diǎn)能控制上千個(gè)存儲(chǔ)數(shù)據(jù)的Chunk節(jié)點(diǎn)。（7）支持壓縮對(duì)于那些稍舊的文件，可以通過對(duì)它進(jìn)行壓縮，來節(jié)省硬盤空間，并且壓縮率非常驚人，有時(shí)甚至接近90%。8）用戶空間雖然在用戶空間運(yùn)行在運(yùn)行效率方面稍差，但是更便于開發(fā)和測(cè)試，還能更好地利用Linux自帶的一些POSICAPI。2.2數(shù)據(jù)存儲(chǔ)技術(shù)2.2.2Hadoop分布式文件系統(tǒng)（HDFS）HDFS（HadoopDistributedFileSystem）是一個(gè)為普通硬件設(shè)計(jì)的分布式文件系統(tǒng)，是Hadoop分布式軟件架構(gòu)的基礎(chǔ)部件。HDFS在設(shè)計(jì)之初就做了如下假設(shè)。①硬件錯(cuò)誤是常態(tài)。②流式數(shù)據(jù)訪問為主，要求具備高吞吐量。③存儲(chǔ)的文件以大數(shù)據(jù)集為主。④文件修改以尾部追加為主，一次寫入多次讀取。基于以上幾點(diǎn)，HDFS被設(shè)計(jì)為部署在大量廉價(jià)硬件上的，適用于大數(shù)據(jù)集應(yīng)用程序的分布式文件系統(tǒng)，具有高容錯(cuò)、高吞吐率等優(yōu)點(diǎn)。HDFS使用文件和目錄的形式組織用戶數(shù)據(jù)，支持文件系統(tǒng)的大多數(shù)操作，包括創(chuàng)建、刪除、修改、復(fù)制目錄和文件等。2.2數(shù)據(jù)存儲(chǔ)技術(shù)2.2.2Hadoop分布式文件系統(tǒng)（HDFS）HDFS的基本概念：（1）數(shù)據(jù)塊（block）①HDFS（HadoopDistributedFileSystem）默認(rèn)的最基本的存儲(chǔ)單位是64MB的數(shù)據(jù)塊。②和普通文件系統(tǒng)相同的是，HDFS中的文件是被分成64MB一塊的數(shù)據(jù)塊存儲(chǔ)的。③不同于普通文件系統(tǒng)的是，HDFS中，如果一個(gè)文件小于一個(gè)數(shù)據(jù)塊的大小，并不占用整個(gè)數(shù)據(jù)塊存儲(chǔ)空間。（2）元數(shù)據(jù)節(jié)點(diǎn)（NameNode）和數(shù)據(jù)節(jié)點(diǎn)（DataNode）●元數(shù)據(jù)節(jié)點(diǎn)用來管理文件系統(tǒng)的命名空間?！駭?shù)據(jù)節(jié)點(diǎn)是文件系統(tǒng)中真正存儲(chǔ)數(shù)據(jù)的地方?！駨脑獢?shù)據(jù)節(jié)點(diǎn)從元數(shù)據(jù)節(jié)點(diǎn)并不是元數(shù)據(jù)節(jié)點(diǎn)出現(xiàn)問題時(shí)候的備用節(jié)點(diǎn)，它和元數(shù)據(jù)節(jié)點(diǎn)負(fù)責(zé)不同的事情。其主要功能就是周期性地將元數(shù)據(jù)節(jié)點(diǎn)的命名空間鏡像文件和修改日志合并，以防日志文件過大。這點(diǎn)在下面會(huì)詳細(xì)敘述。合并過后的命名空間鏡像文件也在從元數(shù)據(jù)節(jié)點(diǎn)保存了一份，以防元數(shù)據(jù)節(jié)點(diǎn)失敗的時(shí)候，可以恢復(fù)。2.2數(shù)據(jù)存儲(chǔ)技術(shù)2.2.3鍵值存儲(chǔ)系統(tǒng)技術(shù)鍵值存儲(chǔ)系統(tǒng)的目的就是存儲(chǔ)海量半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，應(yīng)對(duì)數(shù)據(jù)量和用戶規(guī)模的不斷擴(kuò)展。在互聯(lián)網(wǎng)飛速發(fā)展的今天，鍵值存儲(chǔ)系統(tǒng)和關(guān)系數(shù)據(jù)庫系統(tǒng)將共存。雖然都是管理數(shù)據(jù)，但鍵值存儲(chǔ)系統(tǒng)和關(guān)系數(shù)據(jù)庫系統(tǒng)是完全不同的。（1）關(guān)系數(shù)據(jù)庫系統(tǒng)中，數(shù)據(jù)庫包含表，表包含行和列，行由各個(gè)列的數(shù)據(jù)值組成，在一個(gè)表中的行都擁有相同的策略。而在鍵值存儲(chǔ)系統(tǒng)中，并不包含策略和關(guān)系數(shù)據(jù)庫那樣的表。鍵值存儲(chǔ)系統(tǒng)一般包含域或桶，各個(gè)域或桶中包含若干條數(shù)據(jù)記錄。（2）關(guān)系數(shù)據(jù)庫擁有良好的數(shù)據(jù)模型定義，包含策略、表的關(guān)系、事物等機(jī)制。數(shù)據(jù)之間的關(guān)系式建立在數(shù)據(jù)本身基礎(chǔ)上的，而不是上層應(yīng)用的功能和需要。鍵值存儲(chǔ)系統(tǒng)中，數(shù)據(jù)記錄只是簡單地通過一個(gè)標(biāo)識(shí)來識(shí)別和獲取，數(shù)據(jù)之間沒有關(guān)系的概念。（3）關(guān)系數(shù)據(jù)庫的目的是提高數(shù)據(jù)共享能力和減少數(shù)據(jù)冗余，鍵值存儲(chǔ)系統(tǒng)一般需要進(jìn)行數(shù)據(jù)冗余保證可靠性。（4）關(guān)系數(shù)據(jù)庫適合于存儲(chǔ)傳統(tǒng)數(shù)據(jù)，如字符、數(shù)字的存儲(chǔ)和查詢。鍵值存儲(chǔ)系統(tǒng)適合于海量的非關(guān)系型數(shù)據(jù)的存儲(chǔ)和查詢。2.2數(shù)據(jù)存儲(chǔ)技術(shù)2.2.3鍵值存儲(chǔ)系統(tǒng)技術(shù)當(dāng)前，鍵值存儲(chǔ)系統(tǒng)在以下幾方面的效果優(yōu)于關(guān)系數(shù)據(jù)庫系統(tǒng)：（1）鍵值存儲(chǔ)系統(tǒng)是云計(jì)算模式的最佳搭檔云計(jì)算模式就是需要靈活地應(yīng)對(duì)用戶對(duì)可伸縮性的需求。鍵值存儲(chǔ)系統(tǒng)的可伸縮性的特點(diǎn)正好滿足了用戶的需求。如果試圖把規(guī)模龐大的系統(tǒng)伸縮需求交給數(shù)十個(gè)甚至上百臺(tái)服務(wù)器去處理，那么鍵值存儲(chǔ)系統(tǒng)應(yīng)該是一個(gè)比較好的解決方案。（2）鍵值存儲(chǔ)系統(tǒng)提供了相對(duì)廉價(jià)的存儲(chǔ)平臺(tái)，并擁有巨大的擴(kuò)充潛力用戶通常只需根據(jù)自己的規(guī)模進(jìn)行相應(yīng)的配置即可，當(dāng)需求增長時(shí)配額也能隨之增加。同時(shí)，鍵值存儲(chǔ)系統(tǒng)一般運(yùn)行在便宜的PC服務(wù)器集群上，避免了購買高性能服務(wù)器的昂貴開銷。2.3資源管理技術(shù)2.3.1資源的統(tǒng)一管理資源管理主要針對(duì)所有物理可見的網(wǎng)元設(shè)備包括服務(wù)器、存儲(chǔ)、網(wǎng)絡(luò)（設(shè)備、IP、VLAN）、物理介質(zhì)、軟件資源以及經(jīng)虛擬化技術(shù)形成的資源池（計(jì)算資源、存儲(chǔ)資源、網(wǎng)絡(luò)資源、軟件資源）進(jìn)行抽象和信息記錄，并對(duì)其生命周期、容量和訪問操作進(jìn)行綜合管理，同時(shí)對(duì)系統(tǒng)內(nèi)重要配置信息的發(fā)現(xiàn)、備份、比對(duì)和檢查等。資源池是指將多個(gè)具有相同能力（相同廠商同種功能的設(shè)備或者具體同種參數(shù)的設(shè)備）的資源組合，根據(jù)服務(wù)實(shí)例的需求可劃分為：計(jì)算資源池、存儲(chǔ)資源池、網(wǎng)絡(luò)資源池和軟件資源池。2.3資源管理技術(shù)2.3.2資源的統(tǒng)一監(jiān)控資源監(jiān)控是保證運(yùn)營管理平臺(tái)流程化、自動(dòng)化、標(biāo)準(zhǔn)化運(yùn)作的關(guān)鍵模塊之一。它利用下層資源管理模塊提供的各類參數(shù)，進(jìn)行有針對(duì)性分析和判決后，為上層的資源部署調(diào)度模塊提供了必要的輸入，是實(shí)現(xiàn)負(fù)載管理、資源部署、優(yōu)化整理的基礎(chǔ)。一般認(rèn)為，資源監(jiān)控包括故障監(jiān)控、性能監(jiān)控和自動(dòng)巡檢3個(gè)方面的內(nèi)容。（1）故障監(jiān)控屏蔽了不同設(shè)備的差別，對(duì)被管資源提供故障信息的采集、預(yù)處理、告警展現(xiàn)、告警處理等方面的監(jiān)控。首先，可以對(duì)物理機(jī)、虛擬機(jī)、網(wǎng)絡(luò)設(shè)備、存儲(chǔ)設(shè)備、系統(tǒng)軟件主動(dòng)發(fā)出的各種告警信息進(jìn)行分析處理，其次可以對(duì)系統(tǒng)主動(dòng)輪詢采集到的KPI指標(biāo)，定義各種告警類型、告警級(jí)別、告警條件，支持靜態(tài)門限值和動(dòng)態(tài)門限值，同時(shí)以告警監(jiān)視窗口、實(shí)時(shí)板等多種告警方式展現(xiàn)。另外，支持告警確認(rèn)、升級(jí)等功能，并能把特定級(jí)別的告警信息轉(zhuǎn)發(fā)給上一級(jí)管理支撐系統(tǒng)。（2）性能監(jiān)控實(shí)現(xiàn)對(duì)采集到的數(shù)據(jù)，通過分析、優(yōu)化和分組，以圖表等形式，讓管理員在單一界面對(duì)虛擬化環(huán)境中的計(jì)算資源、存儲(chǔ)資源和網(wǎng)絡(luò)資源的總量、使用情況、性能和健康狀態(tài)等信息有明確、量化的了解，同時(shí)還可以為其他模塊提供相關(guān)監(jiān)控信息。（3）自動(dòng)巡檢則實(shí)現(xiàn)每天登陸資源做例行檢查的工作，實(shí)現(xiàn)任務(wù)的自動(dòng)執(zhí)行和巡檢結(jié)果的自動(dòng)發(fā)送。2.3資源管理技術(shù)2.3.3資源的統(tǒng)一部署調(diào)度資源的部署調(diào)度是通過自動(dòng)化部署流程將資源交付給上層應(yīng)用的過程。主要分為兩個(gè)階段。首先，在上層應(yīng)用出發(fā)需要?jiǎng)?chuàng)建相應(yīng)基礎(chǔ)資源環(huán)境需求流程時(shí)，資源部署調(diào)度模塊進(jìn)行初始化的資源部署；其次，在服務(wù)部署運(yùn)行中，根據(jù)上層應(yīng)用對(duì)底層基礎(chǔ)資源的需求，會(huì)進(jìn)行過程中的動(dòng)態(tài)部署與優(yōu)化。調(diào)度管理實(shí)現(xiàn)彈性、按需的自動(dòng)化調(diào)度，能夠根據(jù)服務(wù)和資源指定調(diào)度策略，自動(dòng)執(zhí)行操作流程，實(shí)現(xiàn)對(duì)計(jì)算資源、網(wǎng)絡(luò)、存儲(chǔ)、軟件、補(bǔ)丁等進(jìn)行集中地自動(dòng)選擇、部署、更改和回收功能。2.3資源管理技術(shù)2.3.4負(fù)載均衡負(fù)載均衡是資源管理的重要內(nèi)容，數(shù)據(jù)中心管理和維護(hù)時(shí)應(yīng)做到負(fù)載均衡，以避免資源浪費(fèi)或形成系統(tǒng)瓶頸。負(fù)載不均衡主要體現(xiàn)在以下幾個(gè)方面。（1）同一服務(wù)器內(nèi)不同類型的資源使用不均衡，如內(nèi)存已經(jīng)嚴(yán)重不足，但CPU利用率僅為10%。這種問題的出現(xiàn)多是由于在購買和升級(jí)服務(wù)器時(shí)沒有很好地分析應(yīng)用對(duì)資源的需求。對(duì)于計(jì)算密集型應(yīng)用，應(yīng)為服務(wù)器配置高主頻CPU；對(duì)于I/O密集型應(yīng)用，應(yīng)配置高速大容量磁盤；對(duì)于網(wǎng)絡(luò)密集型應(yīng)用，應(yīng)配置高速網(wǎng)絡(luò)。（2）統(tǒng)一應(yīng)用不同服務(wù)器間的負(fù)載不均衡Web應(yīng)用往往采用表現(xiàn)層、應(yīng)用層和數(shù)據(jù)層的三層架構(gòu)，三層協(xié)同工作處理用戶請(qǐng)求。同樣的請(qǐng)求對(duì)這三層的壓力往往是不同的，因此要根據(jù)業(yè)務(wù)請(qǐng)求的壓力分配情況決定服務(wù)器的配置。如果應(yīng)用層壓力較大而其他兩層壓力較小，則要為應(yīng)用層提供較高的配置；如果仍然不能滿足需求，可以搭建應(yīng)用層集群環(huán)境，使用多個(gè)服務(wù)器平衡負(fù)載。（3）不同應(yīng)用之間的資源分配不均衡數(shù)據(jù)中心往往運(yùn)行著多個(gè)應(yīng)用，每個(gè)應(yīng)用對(duì)資源的需求是不同的，應(yīng)按照應(yīng)用的具體要求來分配系統(tǒng)資源。（4）時(shí)間不均衡用戶對(duì)業(yè)務(wù)的使用存在高峰期和低谷期，這種不均衡具有一定的規(guī)律，如對(duì)于在線游戲來說，晚上的負(fù)載大于白天，白天的負(fù)載大于深夜，周末和節(jié)假日的負(fù)載大于工作日。此外，從長期來看，隨著企業(yè)的發(fā)展，業(yè)務(wù)系統(tǒng)的負(fù)載往往呈上升趨勢(shì)。與前述其他情況相比，時(shí)間不均衡有其特殊性：時(shí)間不均衡不能通過靜態(tài)配置的方式解決，只能通過動(dòng)態(tài)調(diào)整資源來解決，這給系統(tǒng)的管理和維護(hù)工作提出了更高的要求?？傊行У馁Y源管理方式能提高資源利用率，合理的資源分配能夠有效地均衡負(fù)載，減少資源浪費(fèi)，避免系統(tǒng)瓶頸的出現(xiàn)，保障業(yè)務(wù)系統(tǒng)的正常運(yùn)行。2.4云計(jì)算中的編程模型2.4.1分布式計(jì)算分布式計(jì)算的概念：分布式計(jì)算是一門計(jì)算機(jī)科學(xué)，研究如何把一個(gè)需要非常巨大的計(jì)算能力才能解決的問題分成許多小的部分，并由許多相互獨(dú)立的計(jì)算機(jī)進(jìn)行協(xié)同處理，以得到最終結(jié)果。分布式計(jì)算的基本原理：大量分布式系統(tǒng)通常會(huì)面臨如何把應(yīng)用程序分割成若干個(gè)可并行處理的功能模塊，并解決各功能模塊間協(xié)同工作的問題。對(duì)于數(shù)據(jù)密集型問題，可以采用分割數(shù)據(jù)的分布式計(jì)算模型，把需要進(jìn)行大量計(jì)算的數(shù)據(jù)分割成小塊，由網(wǎng)絡(luò)上的多臺(tái)計(jì)算機(jī)分別計(jì)算，然后對(duì)結(jié)果進(jìn)行組合得出數(shù)據(jù)結(jié)論。Map-reduce是分割數(shù)據(jù)型分布式計(jì)算模型的典范，在云計(jì)算領(lǐng)域被廣泛采用。2.4云計(jì)算中的編程模型2.4.2并行編程模型云計(jì)算大部分采用Map-reduce的編程模型。何謂Map-reduce：Map-reduce是Google開發(fā)的Java、Python、C++編程模型，它是一種簡化的分布式編程模型和高效的任務(wù)調(diào)度模型，用于大規(guī)模數(shù)據(jù)集（大于1TB）的并行計(jì)算。嚴(yán)格的編程模型使云計(jì)算環(huán)境下的編程十分簡單。Map-reduce模型的思想是將要執(zhí)行的問題分解成Map（映射）和Reduce（歸約）的方式，先通過Map程序?qū)?shù)據(jù)切割成不相關(guān)的區(qū)塊，分配（調(diào)度）給大量計(jì)算機(jī)處理，達(dá)到分布式運(yùn)算的效果，再通過Reduce程序?qū)⒔Y(jié)果匯總輸出。2.5集成一體化技術(shù)2.5.1用戶需求催生一體化一體化的趨勢(shì)由來已久，但始作俑者倒是可以視為思科。思科在推出UCS產(chǎn)品之后，極大動(dòng)搖了整個(gè)產(chǎn)業(yè)鏈“和平共處”的基礎(chǔ)。IT領(lǐng)域各個(gè)巨頭都開始行動(dòng)起來，大家的目標(biāo)只有一個(gè)——一體化。近年來，不論是IBM還是甲骨文還是賽門鐵克，抑或是曙光、浪潮等，國內(nèi)外的IT廠商巨頭紛紛推出一體化的產(chǎn)品和方案。分析其中原因，不外乎是企業(yè)級(jí)用戶需求因云計(jì)算與大數(shù)據(jù)兩個(gè)層面的變化所致。在2012年中國存儲(chǔ)峰會(huì)的高峰論壇上，Gartner公司大中華區(qū)首席存儲(chǔ)分析師張瑾分析認(rèn)為：“一體化”的趨勢(shì)不是從存儲(chǔ)開始的，實(shí)際上是從