Google云計(jì)算原理課件

Google云計(jì)算原理2ReachedOurGoal

認(rèn)識(shí)云計(jì)算（理解）

理解Google云計(jì)算實(shí)現(xiàn)原理（難點(diǎn)）

可獨(dú)立在GAE上開發(fā)云服務(wù)應(yīng)用

了解TMF？以及云未來(lái)的發(fā)展（了解）3初識(shí)云計(jì)算1Google云計(jì)算原理2GAE平臺(tái)部署云服務(wù)3提綱TMForum對(duì)云態(tài)度44Wehaveadream……愿景:

計(jì)算機(jī)的服務(wù)能力可以作為一種商品進(jìn)行流通。就像水、電、氣一樣取之方便，費(fèi)用低廉5云計(jì)算定義

圖：云計(jì)算概念模型云計(jì)算:是一種商業(yè)計(jì)算模型。它將計(jì)算任務(wù)分布在大量計(jì)算機(jī)構(gòu)成的資源池上，使各種應(yīng)用系統(tǒng)能夠按需獲取計(jì)算力、存儲(chǔ)空間和信息服務(wù)。6云計(jì)算服務(wù)的部署形式IaaS基礎(chǔ)設(shè)施云(代表：亞馬遜的S3)SaaS應(yīng)用云（代表：salesforce的CRM）PaaS平臺(tái)云（代表：GoogleAppEngine）私有云(數(shù)據(jù)中心–內(nèi)部網(wǎng))公共云(服務(wù)提供商–互連網(wǎng))混合云(公共和私有)Xasaservice7Amazon云計(jì)算1GB數(shù)據(jù)存放1個(gè)月為0.15美元每個(gè)服務(wù)器租用1小時(shí)為0.1美元Amazon的IaaS云計(jì)算思路彈性計(jì)算云EC2為企業(yè)提供計(jì)算服務(wù)簡(jiǎn)單存儲(chǔ)服務(wù)S3為企業(yè)提供存儲(chǔ)服務(wù)Amazon的IaaS運(yùn)用實(shí)例亞馬遜IaaS應(yīng)用案例：紐約時(shí)報(bào)使用亞馬遜云計(jì)算服務(wù)效果：在不到24個(gè)小時(shí)的時(shí)間里處理了1100萬(wàn)篇文章費(fèi)用：累計(jì)花費(fèi)240美元利用自己服務(wù)器時(shí)間：數(shù)月時(shí)間費(fèi)用：多得多的費(fèi)用89Google云計(jì)算Google的云計(jì)算思路應(yīng)用向互聯(lián)網(wǎng)遷移數(shù)據(jù)向互聯(lián)網(wǎng)遷移計(jì)算能力向互聯(lián)網(wǎng)遷移存儲(chǔ)空間向互聯(lián)網(wǎng)遷移“瀏覽器＝操作系統(tǒng)”10隸屬PaaS的Google云計(jì)算Google云計(jì)算PaaS屬于部署在云端的應(yīng)用執(zhí)行環(huán)境支持Python和Java兩種語(yǔ)言通過(guò)SDK調(diào)用Google的各種服務(wù)。如GoogleMap、Mail等用戶可快速、廉價(jià)（可免費(fèi)使用限定的流量和存儲(chǔ)）地部署自己開發(fā)的應(yīng)用（如創(chuàng)新的網(wǎng)站、游戲等）在下一章將具體介紹GAE具體的應(yīng)用11Google云計(jì)算SaaS隸屬SaaS的Google云計(jì)算提供在線“Word、Excel、PPT”提供在線MAP提供在線日歷管理……Google云計(jì)算平臺(tái)技術(shù)架構(gòu)分布式文件系統(tǒng)GoogleDistributedFileSystem并行數(shù)據(jù)處理MapReduce分布式鎖Chubby結(jié)構(gòu)化數(shù)據(jù)表BigTableGoogle如何實(shí)現(xiàn)云？Google云計(jì)算應(yīng)用MapReduceBigTableGFSChubby12將在第二章詳細(xì)介紹13云計(jì)算概念入門Q&A14初識(shí)云計(jì)算1Google云計(jì)算原理2GAE平臺(tái)部署云服務(wù)3提綱TMForum對(duì)云態(tài)度4Google云計(jì)算原理分布式文件系統(tǒng)GFS并行數(shù)據(jù)處理模型MapReduce分布式鎖服務(wù)Chubby分布式數(shù)據(jù)庫(kù)BigTable1234Google云計(jì)算應(yīng)用MapReduceBigTableGFSChubby151617Google設(shè)計(jì)GFS的動(dòng)機(jī)Google需要支持海量數(shù)據(jù)存儲(chǔ)的文件系統(tǒng)購(gòu)置昂貴的分布式文件系統(tǒng)與硬件？是否可以在一堆廉價(jià)且不可靠的硬件上構(gòu)建可靠的分布式文件系統(tǒng)？GFS的設(shè)計(jì)思路GFS設(shè)計(jì)原則：機(jī)器失效不能視為異?，F(xiàn)象能應(yīng)付對(duì)大型/超大型文件處理支持大量用戶同時(shí)訪問(wèn)GFS組成GFS集群:一個(gè)的Master和多個(gè)ChunkServer（塊服務(wù)器）組成，并可以多客戶端Client訪問(wèn)GFS設(shè)計(jì)要點(diǎn)每個(gè)文件拆成若干個(gè)64M文件塊Chunk組成每個(gè)Chunk都由Master根據(jù)其創(chuàng)建時(shí)間指定ChunkHandle(64)文件塊被保存在ChunkServer本地磁盤中缺省情況下3處熱備份Chunk塊文件18GFS的設(shè)計(jì)思路Client職責(zé)包含文件系統(tǒng)的API負(fù)責(zé)和ChunkServer和Master通信代表應(yīng)用程序進(jìn)行讀寫操作Client和Master進(jìn)行元數(shù)據(jù)操作Client和ChunkServer進(jìn)行文件數(shù)據(jù)操作Master職責(zé)負(fù)責(zé)管理所有文件系統(tǒng)的元數(shù)據(jù)元數(shù)據(jù)包括：命名空間，訪問(wèn)控制信息，文件到Chunk的映射信息等ChunkServer職責(zé)負(fù)責(zé)存儲(chǔ)chunk文件塊Linux文件系統(tǒng)1920GFS的系統(tǒng)架構(gòu)應(yīng)用程序GFS客戶端GFS數(shù)據(jù)塊服務(wù)器Linux文件系統(tǒng)GFS主服務(wù)器文件命名空間Chunk2EEE/foo/barGFS數(shù)據(jù)塊服務(wù)器Linux文件系統(tǒng)………………標(biāo)注：數(shù)據(jù)信息控制信息文件名，chunk索引向數(shù)據(jù)塊服務(wù)器發(fā)指令返回?cái)?shù)據(jù)塊服務(wù)器狀態(tài)Chunk句柄和位置Chunk句柄，查找數(shù)據(jù)返回?cái)?shù)據(jù)信息21Question文件為什么要被化分為64M？Answer：1、可以減少Client和Master的之間的交互，減少M(fèi)aster的負(fù)載2、客戶端可以在一個(gè)Chunk中完成許多操作3、可以減少TCP三次握手時(shí)間。另外這些信息都要被Master管理的缺點(diǎn)：有冗余GFS架構(gòu)的特點(diǎn)采用中心服務(wù)器模式Master可以方便地增加ChunkServerMaster掌握系統(tǒng)內(nèi)所有ChunkServer的情況，方便進(jìn)行負(fù)載均衡不存在元數(shù)據(jù)的一致性問(wèn)題不緩存數(shù)據(jù)必要性：Client流式讀取，非重復(fù)讀寫可行性：Master本身管理多個(gè)Server，很復(fù)雜22GFS容錯(cuò)機(jī)制ChunkServer容錯(cuò)每個(gè)Chunk有多個(gè)存儲(chǔ)副本（默認(rèn)是3個(gè)），分別存儲(chǔ)于不通的服務(wù)器上每個(gè)Chunk又劃分為若干Block（64KB），每個(gè)Block對(duì)應(yīng)一個(gè)32bit的校驗(yàn)碼，保證數(shù)據(jù)正確（若某個(gè)Block錯(cuò)誤，則轉(zhuǎn)移至其他Chunk副本）Master容錯(cuò)三類元數(shù)據(jù)：命名空間（目錄結(jié)構(gòu)）、Chunk與文件名的映射以及Chunk副本的位置信息前兩類通過(guò)日志提供容錯(cuò)，Chunk副本信息存儲(chǔ)于其它ChunkServer。這樣Master出現(xiàn)故障時(shí)可恢復(fù)2324GFS實(shí)驗(yàn)效果圖ChunkServer1ChunkServer2ChunkServer16……MasterClient1Client2Client16路由器1路由器2MasterGoogle云計(jì)算原理分布式文件系統(tǒng)GFS并行數(shù)據(jù)處理模型MapReduce分布式鎖服務(wù)Chubby分布式數(shù)據(jù)庫(kù)BigTable1234Google云計(jì)算應(yīng)用MapReduceBigTableGFSChubby25并行計(jì)算基礎(chǔ)摩爾定律正在走向終結(jié)…單芯片容納晶體管的增加，對(duì)制造工藝提出要求CPU制造18nm技術(shù)，電子泄漏問(wèn)題CPU主頻已達(dá)3GHz時(shí)代，難以繼續(xù)提高散熱問(wèn)題（發(fā)熱太大，且難以驅(qū)散）功耗太高26未來(lái)的發(fā)展：多核27什么樣的問(wèn)題適合并行計(jì)算？斐波那契序列(Fibonacci)X計(jì)算URL訪問(wèn)頻率YMap函數(shù)處理日志中web頁(yè)面請(qǐng)求的記錄，然后輸出(URL,1)。Reduce函數(shù)把相同URL的value值都累加起來(lái)，產(chǎn)生(URL,記錄總數(shù))結(jié)果。Google為什么需要MapReduce？Google擁有海量數(shù)據(jù)，并且需要快速處理什么是MapReduce？28Google全球Web數(shù)據(jù)郵件數(shù)據(jù)地圖數(shù)據(jù)衛(wèi)星照片……GoogleMapReduce架構(gòu)設(shè)計(jì)師JeffreyDeanJefferyDean設(shè)計(jì)一個(gè)新的抽象模型，使我們只要執(zhí)行的簡(jiǎn)單計(jì)算，而將并行化、容錯(cuò)、數(shù)據(jù)分布、負(fù)載均衡的等雜亂細(xì)節(jié)放在一個(gè)庫(kù)里，使并行編程時(shí)不必關(guān)心它們這就是MapReduce29Google并行運(yùn)算編程模型MapMapMap……原始數(shù)據(jù)1原始數(shù)據(jù)2原始數(shù)據(jù)MReduceReduce結(jié)果1結(jié)果R……1、在編程的時(shí)候，開發(fā)者需要編寫兩個(gè)函數(shù)：Map:(in_key,in_value)Reduce:(key,[value1,value2…])2、Map操作產(chǎn)生結(jié)果是<key,value>對(duì)3、在Map，Reduce之間系統(tǒng)把同一Key歸類到Reduce3、Reduce操作對(duì)相同的Key進(jìn)行歸類處理30MapReduce實(shí)現(xiàn)機(jī)制用戶程序(1)分割(1)分割(1)分割Master工作機(jī)M工作機(jī)M工作機(jī)M工作機(jī)R工作機(jī)R(2)指派Map(2)指派Reduce片段1片段4片段3片段2輸入文件(3)Read(4)本地存儲(chǔ)輸出文件0輸出文件1Map狀態(tài)本地存儲(chǔ)Reduce狀態(tài)輸出文件(5)遠(yuǎn)程讀取(6)寫入文件31單詞計(jì)數(shù)

體現(xiàn)M/R算法HelloWorld

ByeWorldHelloChina

ByeChinaHelloSi-tech

ByeSi-tech輸入數(shù)據(jù)：MapReduceHello：3Bye：3China：2World：2Si-tech：2Map(Key,Value){for(eachworld‘world’invalue) collect(‘world’,1);}Reduce(Key,Value[]){intcount=0;for(eachwinvalue) count++;collect(Key,count);}1)32HelloWorld

ByeWorldHelloChina

ByeChinaHelloSi-tech

ByeSi-tech2)分割分割分割HelloWorld

ByeWorldHelloChina

ByeChinaHelloSi-tech

ByeSi-techKEYVALUEKEYVALUEKEYVALUE3)HelloWorld

ByeWorldHelloChina

ByeChinaHelloSi-tech

ByeSi-techMAPMAPMAP<Hello1><World1><Bye1><World1><Hello1><China1><Bye1><China1><Hello1><Si-tech1><Bye1><Si-tech1>33<Hello1><World1><Bye1><World1><Hello1><China1><Bye1><China1><Hello1><Si-tech1><Bye1><Si-tech1>4)Map輸出Fold<Hello1><World1><Bye1><World1><Hello1><China1><Bye1><China1><Hello1><Si-tech1><Bye1><Si-tech1>Fold輸出34<Hello3><Bye3><China2><World2><Si-tech2><Hello1><World1><Bye1><World1><Hello1><China1><Bye1><China1><Hello1><Si-tech1><Bye1><Si-tech1>Fold輸出5)Reduce輸出ReduceMapReduce容錯(cuò)機(jī)制背景MapReduce設(shè)計(jì)初衷：由普通PC組成的集群來(lái)處理超大規(guī)模的數(shù)據(jù)，所以有效的錯(cuò)誤保障機(jī)制是必不可少Worker容錯(cuò)Master周期性的ping每個(gè)workerMaster容錯(cuò)Master周期性的將Master的數(shù)據(jù)結(jié)構(gòu)的寫入磁盤，即檢查點(diǎn)（checkpoint）Master數(shù)據(jù)結(jié)構(gòu)包括:Map和Reduce任務(wù)的狀態(tài)（空閑、工作中或完成)，以及Worker機(jī)器(非空閑任務(wù)的機(jī)器)的標(biāo)識(shí)。35Google云計(jì)算原理分布式文件系統(tǒng)GFS并行數(shù)據(jù)處理模型MapReduce分布式鎖服務(wù)Chubby分布式數(shù)據(jù)庫(kù)BigTable1234Google云計(jì)算應(yīng)用MapReduceBigTableGFSChubby3637初識(shí)云計(jì)算1Google云計(jì)算原理2GAE平臺(tái)部署云服務(wù)3提綱TMForum對(duì)云態(tài)度438GAE部署云應(yīng)用Q&A課堂演示部署過(guò)程39初識(shí)云計(jì)算1Google云計(jì)算原理2GAE平臺(tái)部署云服務(wù)3提綱TMForum對(duì)云態(tài)度4TMFSeeSunnyFutureInTeleManagementWorldAmerican40TMF簡(jiǎn)介1、電信管理論壇,非盈利聯(lián)盟組織2、會(huì)員遍布全球195個(gè)國(guó)家，700+會(huì)員公司3、我們公司也是會(huì)員，享受會(huì)員權(quán)利4、業(yè)界廣泛使用的eTOM,SID,TAM,NGOSSTMF最新框架技術(shù)結(jié)束語(yǔ)云計(jì)算的出現(xiàn)并快速發(fā)展，一方面是虛擬化技術(shù)、分布式計(jì)算等技術(shù)發(fā)展的結(jié)果，另一方面也是互聯(lián)網(wǎng)應(yīng)用不斷豐富趨勢(shì)的體現(xiàn)。目前，雖然有Amazon、Google、IBM、Microsoft等在推，但云計(jì)算還沒有一個(gè)統(tǒng)一的標(biāo)準(zhǔn)。云計(jì)算平臺(tái)已經(jīng)為很多用戶所使用，但是云計(jì)算在行業(yè)標(biāo)準(zhǔn)、數(shù)據(jù)安全、服務(wù)質(zhì)量、應(yīng)用軟件等方面也面臨著各種問(wèn)題，這些問(wèn)題的解決需要技術(shù)的進(jìn)一步發(fā)展?，F(xiàn)有的研究大多集中于云體系結(jié)構(gòu)、云存儲(chǔ)、云數(shù)據(jù)管理、虛擬化、云安全、編程模型等技術(shù)41Google云計(jì)算技術(shù)主要內(nèi)容Google的“云”在哪里？Google云計(jì)算應(yīng)用場(chǎng)景Google云計(jì)算的技術(shù)框架Google云計(jì)算的關(guān)鍵技術(shù)Google的“云”在哪里？云計(jì)算是一個(gè)新概念于07年第3季度被提出，是并行計(jì)算、分布式計(jì)算和網(wǎng)格計(jì)算等技術(shù)的混合演進(jìn)，經(jīng)過(guò)商業(yè)包裝的概念為分布式存儲(chǔ)和分布式計(jì)算找到了盈利模式提出以來(lái)發(fā)展迅速，Google、Amazon、Microsoft等公司都提出了自己的云計(jì)算方案為什么Google需要“云”？系統(tǒng)規(guī)模對(duì)系統(tǒng)設(shè)計(jì)的重要性Google提供的服務(wù)：海量信息＋海量用戶，如何又好又快地提供服務(wù)？Google的“云”在哪里？Google的“云”無(wú)所不在GoogleEarth、Gmail……GoogleDocs，GoogleWave……云計(jì)算技術(shù)是Google大部分應(yīng)用的基礎(chǔ)設(shè)施沒有“云計(jì)算”，就沒有Google的創(chuàng)新服務(wù)Google云計(jì)算應(yīng)用場(chǎng)景Google的云計(jì)算夢(mèng)想應(yīng)用向互聯(lián)網(wǎng)遷移數(shù)據(jù)向互聯(lián)網(wǎng)遷移計(jì)算能力向互聯(lián)網(wǎng)遷移存儲(chǔ)空間向互聯(lián)網(wǎng)遷移“瀏覽器＝操作系統(tǒng)”GoogleChromeGoogle云計(jì)算應(yīng)用場(chǎng)景Google云計(jì)算應(yīng)用的分類總體上，云計(jì)算可以分為IaaS、PaaS和SaaS三種類型Google云計(jì)算應(yīng)用場(chǎng)景Google云計(jì)算應(yīng)用的分類目前，Google云計(jì)算應(yīng)用可以歸于SaaS和PaaS兩類SaaSGoogleDocsGoogleMapsGmailGoogleCalendarGoogleWave……PaaSGoogleAppEngineGoogle云計(jì)算應(yīng)用場(chǎng)景

——GoogleDocsGoogle在線文檔創(chuàng)建在線的Word和Excel，支持主要的文檔編輯功能Google云計(jì)算應(yīng)用場(chǎng)景

——GoogleDocsGoogle在線文檔在線創(chuàng)建演示文檔（PPT），并支持在線演示Google云計(jì)算應(yīng)用場(chǎng)景

——GoogleDocsGoogle在線文檔支持實(shí)時(shí)協(xié)作（多人同時(shí)編輯）使用豐富的在線模板，快速構(gòu)建文檔支持移動(dòng)設(shè)備訪問(wèn)和編輯與其他產(chǎn)品集成，如Gmail等Google云計(jì)算應(yīng)用場(chǎng)景

——GoogleMapsGoogle提供的電子地圖服務(wù)Google云計(jì)算應(yīng)用場(chǎng)景

——GoogleMapsGoogle提供的電子地圖服務(wù)提供全球詳盡的矢量電子地圖不僅僅是地圖街景地形交通流量衛(wèi)星圖片不僅僅是地圖商業(yè)信息導(dǎo)航支持移動(dòng)設(shè)備訪問(wèn)，對(duì)外提供服務(wù)Google云計(jì)算應(yīng)用場(chǎng)景

——GmailGoogle提供的電子郵件服務(wù)超大附件、海量存儲(chǔ)空間Google云計(jì)算應(yīng)用場(chǎng)景

——GoogleCalendarGoogle提供的日程安排工具Google云計(jì)算應(yīng)用場(chǎng)景

——GoogleWaveGoogle的信息分享、協(xié)作、發(fā)布平臺(tái)一個(gè)創(chuàng)新和整合的平臺(tái)整合了Gmail、即時(shí)通訊、文字處理、在線協(xié)作（游戲）等功能Google云計(jì)算應(yīng)用場(chǎng)景

——AppEngine隸屬于PaaS的Google云計(jì)算屬于部署在云端的應(yīng)用執(zhí)行環(huán)境支持Python和Java兩種語(yǔ)言通過(guò)SDK提供Google的各種服務(wù)，如圖形、MAIL和數(shù)據(jù)存儲(chǔ)等用戶可快速、廉價(jià)（可免費(fèi)使用限定的流量和存儲(chǔ)）地部署自己開發(fā)的應(yīng)用（如創(chuàng)新的網(wǎng)站、游戲等）Google云計(jì)算應(yīng)用場(chǎng)景上述應(yīng)用的特點(diǎn)應(yīng)用（功能實(shí)現(xiàn)）在云端存儲(chǔ)在云端計(jì)算在云端Google云計(jì)算的技術(shù)架構(gòu)Google的云計(jì)算應(yīng)用均依賴于四個(gè)基礎(chǔ)組件文件存儲(chǔ)，GoogleFileSystem，GFS并行數(shù)據(jù)處理MapReduce分布式鎖Chubby結(jié)構(gòu)化數(shù)據(jù)表BigTableGoogle云計(jì)算應(yīng)用MapReduceBigTableGFSChubbyGoogle云計(jì)算關(guān)鍵技術(shù)

——GFSGoogle文件系統(tǒng)的假設(shè)與目標(biāo)硬件出錯(cuò)是正常而非異常系統(tǒng)應(yīng)當(dāng)由大量廉價(jià)、易損的硬件組成必須保持文件系統(tǒng)整體的可靠性主要負(fù)載是流數(shù)據(jù)讀寫主要用于程序處理批量數(shù)據(jù)，而非與用戶的交互或隨機(jī)讀寫數(shù)據(jù)寫主要是“追加寫”，“插入寫”非常少需要存儲(chǔ)大尺寸的文件存儲(chǔ)的文件尺寸可能是GB或TB量級(jí)，而且應(yīng)當(dāng)能支持存儲(chǔ)成千上萬(wàn)的大尺寸文件Google云計(jì)算關(guān)鍵技術(shù)

——GFSGFS的架構(gòu)如何存儲(chǔ)大文件？節(jié)點(diǎn)分為Client、Master和ChunkServer三類Google云計(jì)算關(guān)鍵技術(shù)

——GFSGFS的架構(gòu)Master：管理節(jié)點(diǎn)，邏輯上唯一（物理上多個(gè)），保存系統(tǒng)元數(shù)據(jù)，負(fù)責(zé)整個(gè)文件系統(tǒng)的管理，是GFS的“大腦”Google云計(jì)算關(guān)鍵技術(shù)

——GFSGFS的架構(gòu)ChunkServer：負(fù)責(zé)具體的存儲(chǔ)工作GFS可以包含多個(gè)ChunkServer，其數(shù)目決定了GFS的存儲(chǔ)規(guī)模GFS將文件分塊存儲(chǔ)，塊大小默認(rèn)為64M，每隔塊均具有唯一索引號(hào)（index）Google云計(jì)算關(guān)鍵技術(shù)

——GFSGFS的架構(gòu)GFS的訪問(wèn)流程Google云計(jì)算關(guān)鍵技術(shù)

——GFSGFS的架構(gòu)訪問(wèn)流程實(shí)現(xiàn)了控制流和信息流的分離Client與Master僅有控制流，使Master不成為瓶頸Client與ChunkServer直接存儲(chǔ)數(shù)據(jù)，實(shí)現(xiàn)高速的數(shù)據(jù)并發(fā)讀取Google云計(jì)算關(guān)鍵技術(shù)

——GFSGFS的架構(gòu)的特點(diǎn)采用中心服務(wù)器模式可以方便地增加ChunkServerMaster掌握系統(tǒng)內(nèi)所有ChunkServer的情況，方便進(jìn)行負(fù)載均衡不存在元數(shù)據(jù)的一致性問(wèn)題不緩沖數(shù)據(jù)GFS的文件操作大部分是流式讀寫，不存在大量的重復(fù)讀寫，使用Cache對(duì)性能提高不大ChunkServer上的數(shù)據(jù)存取使用本地文件系統(tǒng)，如果某個(gè)Chunk讀取頻繁，文件系統(tǒng)具有Cache從可行性看，Cache與實(shí)際數(shù)據(jù)的一致性維護(hù)也極其復(fù)雜Google云計(jì)算關(guān)鍵技術(shù)

——GFSGFS的架構(gòu)的特點(diǎn)在用戶態(tài)下實(shí)現(xiàn)直接利用ChunkServer的文件系統(tǒng)存取Chunk，實(shí)現(xiàn)簡(jiǎn)單用戶態(tài)應(yīng)用調(diào)試較為簡(jiǎn)單，利于開發(fā)用戶態(tài)的GFS不會(huì)影響ChunkServer的穩(wěn)定性只提供專用的訪問(wèn)接口降低GFS的實(shí)現(xiàn)復(fù)雜度Google云計(jì)算關(guān)鍵技術(shù)

——GFSGFS的容錯(cuò)機(jī)制ChunkServer容錯(cuò)每個(gè)Chunk有多個(gè)存儲(chǔ)副本（通常是3個(gè)），分別存儲(chǔ)于不通的服務(wù)器上每個(gè)Chunk又劃分為若干Block（64KB），每個(gè)Block對(duì)應(yīng)一個(gè)32bit的校驗(yàn)碼，保證數(shù)據(jù)正確（若某個(gè)Block錯(cuò)誤，則轉(zhuǎn)移至其他Chunk副本）Master容錯(cuò)三類元數(shù)據(jù)：命名空間（目錄結(jié)構(gòu)）、Chunk與文件名的映射以及Chunk副本的位置信息前兩類通過(guò)日志提供容錯(cuò)，Chunk副本信息存儲(chǔ)于ChunkServer，Master出現(xiàn)故障時(shí)可恢復(fù)Google云計(jì)算關(guān)鍵技術(shù)

——GFS基于GFS的Google數(shù)據(jù)中心節(jié)點(diǎn)廉價(jià)、易損壞，但整體可靠、穩(wěn)定Google云計(jì)算關(guān)鍵技術(shù)

——MapReduceMapReduceGoogle提出的一個(gè)軟件架構(gòu)，是一種處理海量數(shù)據(jù)的并行編程模式用于大規(guī)模數(shù)據(jù)集（通常大于1TB）的并行運(yùn)算MapReduce實(shí)現(xiàn)了Map和Reduce兩個(gè)功能Map把一個(gè)函數(shù)應(yīng)用于集合中的所有成員，然后返回一個(gè)基于這個(gè)處理的結(jié)果集Reduce對(duì)結(jié)果集進(jìn)行分類和歸納Map()和Reduce()兩個(gè)函數(shù)可能會(huì)并行運(yùn)行，即使不是在同一的系統(tǒng)的同一時(shí)刻Google云計(jì)算關(guān)鍵技術(shù)

——MapReduce業(yè)務(wù)處理流程Google云計(jì)算關(guān)鍵技術(shù)

——MapReduce案例：?jiǎn)卧~記數(shù)問(wèn)題(WordCount)給定一個(gè)巨大的文本（如1TB），如何計(jì)算單詞出現(xiàn)的數(shù)目？Google云計(jì)算關(guān)鍵技術(shù)

——MapReduce使用MapReduce求解該問(wèn)題定義Map和Reduce函數(shù)Google云計(jì)算關(guān)鍵技術(shù)

——MapReduce使用MapReduce求解該問(wèn)題Step1:自動(dòng)對(duì)文本進(jìn)行分割Google云計(jì)算關(guān)鍵技術(shù)

——MapReduce使用MapReduce求解該問(wèn)題Step2:在分割之后的每一對(duì)<key,value>進(jìn)行用戶定義的Map進(jìn)行處理，再生成新的<key,value>對(duì)Google云計(jì)算關(guān)鍵技術(shù)

——MapReduce使用MapReduce求解該問(wèn)題Step3:對(duì)輸出的結(jié)果集歸攏、排序(系統(tǒng)自動(dòng)完成）Google云計(jì)算關(guān)鍵技術(shù)

——MapReduce使用MapReduce求解該問(wèn)題Step4:通過(guò)Reduce操作生成最后結(jié)果Google云計(jì)算關(guān)鍵技術(shù)

——MapReduce實(shí)踐證明，MapReduce是出色的分布式計(jì)算模型Google宣布，其對(duì)分布于1000臺(tái)計(jì)算機(jī)上的1TB數(shù)據(jù)進(jìn)行排序僅僅需要68s對(duì)4000臺(tái)計(jì)算機(jī)上的1PB數(shù)據(jù)進(jìn)行排序處理僅需要6小時(shí)2分鐘（每次測(cè)試至少會(huì)損壞1塊硬盤）在08年1月份，GoogleMapReduce平均每天的數(shù)據(jù)處理量是20PB，相當(dāng)于美國(guó)國(guó)會(huì)圖書館當(dāng)年5月份存檔網(wǎng)絡(luò)數(shù)據(jù)的240倍Google云計(jì)算關(guān)鍵技術(shù)

——Chubby分布式一致性問(wèn)題在一個(gè)分布式系統(tǒng)中，有一組的Process，它們需要確定一個(gè)Value。于是每個(gè)Process都提出了一個(gè)Value，一致性就是指只有其中的一個(gè)Value能夠被選中作為最后確定的值，并且當(dāng)這個(gè)值被選出來(lái)以后，所有的Process都需要被通知到Google云計(jì)算關(guān)鍵技術(shù)

——ChubbyGoogle云計(jì)算中的分布式一致性問(wèn)題例如，GFS在物理上往往包含多個(gè)Master，但需要在邏輯上確定唯一的Master。如何確定？這是一個(gè)分布式一致性問(wèn)題Chubby是Google為解決分布式一致性問(wèn)題而設(shè)計(jì)的提供粗粒度鎖服務(wù)的文件系統(tǒng)Google云計(jì)算關(guān)鍵技術(shù)

——ChubbyChubby是一個(gè)文件系統(tǒng)，如何提供“鎖”服務(wù)？Chubby中的鎖就是文件在GFS的例子中，創(chuàng)建文件就是進(jìn)行“加鎖”操作，創(chuàng)建文件成功的那個(gè)server其實(shí)就是搶占到了“鎖”用戶通過(guò)打開、關(guān)閉和讀取文件，獲取共享鎖或者獨(dú)占鎖；并且通過(guò)通信機(jī)制，向用戶發(fā)送更新信息因此，通過(guò)Chubby可以解決Google云計(jì)算中的分布式一致性問(wèn)題Google云計(jì)算關(guān)鍵技術(shù)

——BigTable為什么需要設(shè)計(jì)BigTable？Google需要存儲(chǔ)的數(shù)據(jù)種類繁多網(wǎng)頁(yè)，地圖數(shù)據(jù)，郵件……如何使用統(tǒng)一的方式存儲(chǔ)各類數(shù)據(jù)？海量的服務(wù)請(qǐng)求如何快速地從海量信息中尋找需要的數(shù)據(jù)？BigTable：