云計(jì)算完整版本

云計(jì)算CloudComputing目錄云計(jì)算的定義和特點(diǎn)1云計(jì)算的核心思想和技術(shù)2云計(jì)算的SPI服務(wù)模型3云計(jì)算的開源系統(tǒng)Hadoop4什么是云計(jì)算從應(yīng)用的角度來定義：云計(jì)算是一種商業(yè)計(jì)算模式，它將計(jì)算任務(wù)分布在大量計(jì)算機(jī)構(gòu)成的資源池上，使用戶能夠按需獲取計(jì)算機(jī)、存儲(chǔ)空間和信息服務(wù)。從技術(shù)的角度來定義：云計(jì)算是并行計(jì)算（ParallelComputing）、分布式計(jì)算(DistributedComputing)和網(wǎng)格計(jì)算(GridComputing)的融合和發(fā)展，或者說是這些計(jì)算機(jī)科學(xué)概念的商業(yè)實(shí)現(xiàn)。

——云計(jì)算是計(jì)算模式和IT商業(yè)模式的自然演變。什么是云計(jì)算云計(jì)算包含了兩個(gè)層面的概念：云平臺(tái)（CloudPlatform）和云服務(wù)（CloudService）。云平臺(tái)是指基于硬件的服務(wù)，提供計(jì)算、網(wǎng)絡(luò)和存儲(chǔ)能力。云服務(wù)是指基于抽象的底層基礎(chǔ)設(shè)施、且可以彈性擴(kuò)展的服務(wù)。云計(jì)算的特點(diǎn)高可擴(kuò)展性通用性按需服務(wù)資源池特點(diǎn)極其廉價(jià)虛擬化高可靠性云計(jì)算的特點(diǎn)按需服務(wù)云計(jì)算就像我們公共服務(wù)中的自來水、電和煤氣一樣，集中供應(yīng)并按需服務(wù)和計(jì)費(fèi)。2.資源池云計(jì)算帶來的一個(gè)好處是能夠提高資源的利用率，一般需要通過共享的方式來達(dá)到這個(gè)目的，而共享需要先把資源集中到一個(gè)公共的資源池中。這種資源池稱之為“云”。3.高可擴(kuò)展性“云”的規(guī)?？梢詣?dòng)態(tài)伸縮，滿足應(yīng)用和用戶規(guī)模增長的需要。云計(jì)算的特點(diǎn)4.高可靠性“云”使用了數(shù)據(jù)多副本容錯(cuò)、計(jì)算節(jié)點(diǎn)同構(gòu)可互換等措施來保障服務(wù)的高可靠性。5.虛擬性云計(jì)算支持用戶在任意位置、使用各種終端獲取服務(wù)。所請(qǐng)求的資源來自“云”，而不是固定的有形的實(shí)體。應(yīng)用在“云”中某處運(yùn)行，但用戶無需了解應(yīng)用運(yùn)行的具體位置，只需要一臺(tái)筆記本就可以通過網(wǎng)絡(luò)服務(wù)來獲取各種能力超強(qiáng)的服務(wù)。云計(jì)算的特點(diǎn)6.通用性云計(jì)算不針對(duì)特定的應(yīng)用，在“云”的支撐下可以構(gòu)造出千變?nèi)f化的應(yīng)用，同一片“云”可以同時(shí)支撐不同的應(yīng)用運(yùn)行。7.極其廉價(jià)“云”的自動(dòng)化管理使數(shù)據(jù)中心管理成本大幅降低；“云”的公用性和通用性使資源的利用率大幅提升；“云”設(shè)施可以建在電力資源豐富的地區(qū)，從而大幅降低能源成本。因此“云”具有前所未有的性能價(jià)格比。云計(jì)算的特點(diǎn)云計(jì)算強(qiáng)調(diào)的是資源的共享，而不是獨(dú)占。云計(jì)算強(qiáng)調(diào)的是資源集中，而不是分散。云計(jì)算強(qiáng)調(diào)的是一種服務(wù)，而不是技術(shù)。云計(jì)算強(qiáng)調(diào)的是動(dòng)態(tài)資源配置，而不是靜態(tài)資源分配。云計(jì)算強(qiáng)調(diào)的是專業(yè)分工，而不是事必親躬。云計(jì)算的核心思想和技術(shù)

核心思想是將大量用網(wǎng)絡(luò)連接的計(jì)算資源統(tǒng)一管理和調(diào)度，構(gòu)成一個(gè)計(jì)算資源池向用戶按需服務(wù)。

這種資源池被稱為“云”。“云”中的資源在使用者看來是可以無限擴(kuò)展的，并且可以隨時(shí)獲取，按需使用，隨時(shí)擴(kuò)展，按使用付費(fèi)。這種特性經(jīng)常被稱為像水電一樣使用IT基礎(chǔ)設(shè)施。

云計(jì)算的核心思想和技術(shù)核心技術(shù)：虛擬化技術(shù)——一種調(diào)配計(jì)算資源的方法海量分布式存儲(chǔ)技術(shù)——保證高可靠性和經(jīng)濟(jì)性并行編程模式MapReduce——將任務(wù)自動(dòng)分成多個(gè)子任務(wù)，通過Map和Reduce兩步實(shí)現(xiàn)任務(wù)在大規(guī)模計(jì)算節(jié)點(diǎn)中的調(diào)度與分配數(shù)據(jù)管理技術(shù)——能夠高效的管理大數(shù)據(jù)集，以及在規(guī)模巨大的數(shù)據(jù)中找到特定的數(shù)據(jù)云計(jì)算的核心思想和技術(shù)5.分布式資源管理技術(shù)——通過鎖機(jī)制協(xié)調(diào)多任務(wù)對(duì)于資源的使用，從而保證數(shù)據(jù)操作的一致性6.云計(jì)算平臺(tái)管理技術(shù)——云計(jì)算的“神經(jīng)網(wǎng)絡(luò)”，通過這些技術(shù)能使大量的服務(wù)器協(xié)同工作，方便進(jìn)行業(yè)務(wù)部署和開通，快速發(fā)現(xiàn)和恢復(fù)系統(tǒng)故障，通過自動(dòng)化、智能化的手段實(shí)現(xiàn)大規(guī)模系統(tǒng)的可運(yùn)營、可管理7.多粒度和變粒度計(jì)算——提倡通過不同的分辨率或尺度，對(duì)數(shù)據(jù)中出現(xiàn)的知識(shí)進(jìn)行認(rèn)知以及搜索8.綠色節(jié)能技術(shù)

云計(jì)算的分類

按照是否公開發(fā)布服務(wù)可以分成公有云（PublicCloud）、混合云（HybridCloud）和私有云（PrivateCloud）。公有云和私有云在技術(shù)上并沒有本質(zhì)差異，只是運(yùn)營和使用對(duì)象有所不同：前者是指企業(yè)使用其他單位運(yùn)營的云平臺(tái)服務(wù)；而后者則是企業(yè)自己運(yùn)營并使用云平臺(tái)服務(wù)?；旌显平橛诠性坪退接性浦g，其主要特征是內(nèi)部云和外部云的混合。云計(jì)算的分類按照服務(wù)類型可以分成：SaasSoftwareasaservice軟件即服務(wù)PaasPlatformasaservice平臺(tái)即服務(wù)IaasInfrastructureasaservice基礎(chǔ)設(shè)施即服務(wù)Saas軟件即服務(wù)定義——軟件即服務(wù)就是云計(jì)算服務(wù)提供商為滿足用戶某種特定需求而提供其消費(fèi)的軟件的計(jì)算能力。特點(diǎn)：(1)用戶主要通過標(biāo)準(zhǔn)的web瀏覽器來使用互聯(lián)網(wǎng)上的軟件即服務(wù)。(2)多主租用。(3)用戶不必購買軟件，只需按需租用軟件或通過廣告模式免費(fèi)使用。典型應(yīng)用：微軟office365中的在線服務(wù)、Salesforce的在線CRM（ClientRelationshipManagement客戶關(guān)系管理）Paas平臺(tái)即服務(wù)定義——平臺(tái)即服務(wù)是指將一個(gè)完整的應(yīng)用程序運(yùn)行平臺(tái)作為一種服務(wù)提供給客戶。在這種服務(wù)模式中，客戶不需要購買底層硬件和平臺(tái)軟件，只需要利用Paas平臺(tái)就能夠創(chuàng)建、測試和部署應(yīng)用程序。特點(diǎn)：(1)提供應(yīng)用服務(wù)平臺(tái)的編程接口，開發(fā)人員需要根據(jù)平臺(tái)提供的服務(wù)接口進(jìn)行應(yīng)用程序開發(fā)。(2)提供應(yīng)用程序的托管平臺(tái)，針對(duì)這個(gè)平臺(tái)開發(fā)的應(yīng)用程序一般只能部署在這個(gè)平臺(tái)上面。典型實(shí)例：微軟的WindowsAzure平臺(tái)、GoogleAppEngineIaas基礎(chǔ)設(shè)施即服務(wù)定義——基礎(chǔ)設(shè)施即服務(wù)是指把IT基礎(chǔ)設(shè)施作為一種服務(wù)通過網(wǎng)絡(luò)對(duì)外提供。在這種服務(wù)模式中，用戶不用自己構(gòu)建一個(gè)數(shù)據(jù)中心，而是通過租用的方式來使用基礎(chǔ)設(shè)施服務(wù)，包括服務(wù)器、存儲(chǔ)和網(wǎng)絡(luò)等。特點(diǎn)：(1)以服務(wù)的形式提供虛擬硬件資源。(2)用戶對(duì)基礎(chǔ)設(shè)施環(huán)境需要自己進(jìn)行系統(tǒng)管理。典型實(shí)例：亞馬遜提供的AWS(AmazonWebServices)服務(wù)三種服務(wù)模型之間的聯(lián)系云計(jì)算的三種服務(wù)模型中的任何一種都可以獨(dú)立對(duì)外提供服務(wù)，但是從層次上講這三種不同的服務(wù)是處于不同層次的服務(wù)，而且相互之間有一定的依賴關(guān)系。比如一個(gè)SaaS層的產(chǎn)品和服務(wù)不僅需要使用到SaaS層本身的技術(shù)，而且還依賴PaaS層所提供的開發(fā)和部署平臺(tái)或者直接部署于IaaS層所提供的計(jì)算資源上，還有，PaaS層的產(chǎn)品和服務(wù)也很有可能構(gòu)建于IaaS層服務(wù)之上。三種服務(wù)模型之間的區(qū)別服務(wù)模型用戶好處問題Saas最終用戶對(duì)用戶的要求較低不是任何需求都有現(xiàn)成應(yīng)用服務(wù)來解決Paas開發(fā)人員直接在平臺(tái)上開發(fā)應(yīng)用程序，不用關(guān)心底層系統(tǒng)平臺(tái)的維護(hù)不利于已有應(yīng)用的遷移IaasIT管理人員對(duì)已有應(yīng)用的遷移相對(duì)比較平滑，用戶使用平臺(tái)的靈活度大要做的事情多Google云計(jì)算原理Google文件系統(tǒng)GFS：提供了海量數(shù)據(jù)的存儲(chǔ)和訪問能力。分布式計(jì)算編程模型MapReduce：使海量信息的并行處理變得簡單易行。分布式鎖服務(wù)Chubby：保證了分布式環(huán)境下并發(fā)操作的同步問題。分布式結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)系統(tǒng)Bigtable：使得海量數(shù)據(jù)的管理和組織十分方便。開源云計(jì)算系統(tǒng)簡介開源云計(jì)算系統(tǒng)及對(duì)應(yīng)的商用系統(tǒng)開源云計(jì)算系統(tǒng)對(duì)應(yīng)的商用云計(jì)算系統(tǒng)HadoopHDFSGoogleGFSHadoopMapReduceGoogleMapReduceHadoopHBaseGoogleBigtableHadoopZookeeperGoogleChubbyHadoopPigGoogleSawzallEucalyptus、EnomalyECP、NimbusAmazonEC2EucalyptusAmazonS3Hadoop

最知名的云計(jì)算開源系統(tǒng)Hadoop模仿和實(shí)現(xiàn)了Google云計(jì)算的主要技術(shù)。Hadoop的核心是HDFS、MapReduce和HBase，它們分別是Google云計(jì)算最核心技術(shù)GFS、MapReduce和Bigtable的開源實(shí)現(xiàn)。Hadoop源于另外兩個(gè)開源項(xiàng)目Lucene和Nutch，它們是一脈相承的關(guān)系。Lucene是一個(gè)用Java開發(fā)的開源高性能全文檢索工具包；Nutch是第一個(gè)開源的Web搜索引擎，它在Lucene的基礎(chǔ)上增加了網(wǎng)絡(luò)爬蟲、Web相關(guān)的一些功能以及一些解析各類文檔格式的查件等，還包含一個(gè)分布式文件系統(tǒng)用于存儲(chǔ)數(shù)據(jù)。從Nutch8.0開始，將其中實(shí)現(xiàn)分布式文件系統(tǒng)和MapReduce算法的代碼獨(dú)立出來，形成一個(gè)新的開源項(xiàng)目，這就是Hadoop。

Hadoop主要由以下幾個(gè)子項(xiàng)目組成HadoopCore：是整個(gè)Hadoop項(xiàng)目的核心。Avro：Hadoop的RPC（遠(yuǎn)程過程調(diào)用）方案。Chukwa：一個(gè)用來管理大型分布式系統(tǒng)的數(shù)據(jù)采集系統(tǒng)。Hbase：支持結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)的分布式數(shù)據(jù)庫，是Bigtable的開源實(shí)現(xiàn)。HDFS：提供高吞吐量的分布式文件系統(tǒng)（HadoopDistributedFileSystem），是GFS的開源實(shí)現(xiàn)。Hadoop主要由以下幾個(gè)子項(xiàng)目組成6.Hive:提供數(shù)據(jù)摘要和查詢功能的數(shù)據(jù)倉庫。7.MapReduce：大型數(shù)據(jù)的分布式處理模型，是Google的MapReduce的開源實(shí)現(xiàn)。8.Pig：是在MapReduce上構(gòu)建的一種高級(jí)的數(shù)據(jù)流語言，它是Sawzall的開源實(shí)現(xiàn)。9.Zookeeper：用于解決分布式系統(tǒng)中一致性問題，是Chubby的開源實(shí)現(xiàn)。Hadoop的優(yōu)點(diǎn)除了是開源的之外，Hadoop還有很多