google云計(jì)算培訓(xùn)ppt課件

1、Google云計(jì)算原理研討院 黃兵2Reached Our Goal 認(rèn)識云計(jì)算了解 了解Google 云計(jì)算實(shí)現(xiàn)原理難點(diǎn) 可獨(dú)立在GAE上開發(fā)云效力運(yùn)用 了解TMF？以及云未來的開展了解3初識云計(jì)算1Google云計(jì)算原理2GAE平臺部署云效力3提 綱TM Forum 對云態(tài)度44We have a dream 愿景:計(jì)算機(jī)的效力才干可以作為一種商品進(jìn)展流通。就像水、電、 氣一樣取之方便，費(fèi)用低廉5云計(jì)算定義圖：云計(jì)算概念模型云計(jì)算:是一種商業(yè)計(jì)算模型。它將計(jì)算義務(wù)分布在大量計(jì)算機(jī)構(gòu)成的資源池上，使各種運(yùn)用系統(tǒng)可以按需獲取計(jì)算力、存儲空間和信息效力。6云計(jì)算效力的部署方式IaaS根底設(shè)備云(

2、代表：亞馬遜的S3)SaaS 運(yùn)用云代表：salesforce的CRMPaaS 平臺云代表：Google App Engine私有云(數(shù)據(jù)中心 內(nèi)部網(wǎng))公共云(效力提供商 互連網(wǎng))混合云(公共和私有)X as a service7Amazon 云計(jì)算1GB數(shù)據(jù)存放1個(gè)月為0.15美圓每個(gè)效力器租用1小時(shí)為0.1美圓Amazon的IaaS云計(jì)算思緒彈性計(jì)算云EC2為企業(yè)提供計(jì)算效力簡單存儲效力S3為企業(yè)提供存儲效力Amazon的IaaS運(yùn)用實(shí)例亞馬遜IaaS運(yùn)用案例：紐約時(shí)報(bào)運(yùn)用亞馬遜云計(jì)算效力效果：在不到 24個(gè)小時(shí)的時(shí)間里處置了1100萬篇文章費(fèi)用：累計(jì)破費(fèi)240美圓利用本人效力器時(shí)間：數(shù)月

3、時(shí)間費(fèi)用：多得多的費(fèi)用 89Google 云計(jì)算Google的云計(jì)算思緒“閱讀器操作系統(tǒng)10隸屬PaaS的Google云計(jì)算Google 云計(jì)算PaaS屬于部署在云端的運(yùn)用執(zhí)行環(huán)境支持Python和Java兩種言語經(jīng)過SDK調(diào)用Google的各種效力。如Google Map、Mail等用戶可快速、廉價(jià)可免費(fèi)運(yùn)用限定的流量和存儲地部署本人開發(fā)的運(yùn)用如創(chuàng)新的網(wǎng)站、游戲等在下一章將詳細(xì)引見GAE詳細(xì)的運(yùn)用11Google 云計(jì)算SaaS隸屬SaaS的Google云計(jì)算提供在線“Word、Excel、PPT提供在線MAP提供在線日歷管理Google云計(jì)算平臺技術(shù)架構(gòu)分布式文件系統(tǒng) Google Dis

4、tributed File System并行數(shù)據(jù)處置 MapReduce分布式鎖 Chubby構(gòu)造化數(shù)據(jù)表 BigTableGoogle如何實(shí)現(xiàn)云？Google云計(jì)算運(yùn)用MapReduceBigTableGFSChubby12將在第二章詳細(xì)引見13云計(jì)算概念入門Q&A14初識云計(jì)算1Google云計(jì)算原理2GAE平臺部署云效力3提 綱TM Forum 對云態(tài)度4Google云計(jì)算原理1234Google云計(jì)算運(yùn)用MapReduceBigTableGFSChubby151617Google設(shè)計(jì)GFS的動(dòng)機(jī)Google需求支持海量數(shù)據(jù)存儲的文件系統(tǒng)購置昂貴的分布式文件系統(tǒng)與硬件？能否可以在一堆廉價(jià)

5、且不可靠的硬件上構(gòu)建可靠的分布式文件系統(tǒng)？GFS的設(shè)計(jì)思緒GFS設(shè)計(jì)原那么：機(jī)器失效不能視為異常景象能應(yīng)付對大型/超大型文件處置支持大量用戶同時(shí)訪問GFS組成GFS集群:一個(gè)的Master和多個(gè)ChunkServer塊效力器組成，并可以多客戶端Client訪問GFS設(shè)計(jì)要點(diǎn)每個(gè)文件拆成假設(shè)干個(gè)64M文件塊Chunk組成每個(gè)Chunk都由Master根據(jù)其創(chuàng)建時(shí)間指定Chunk Handle(64)文件塊被保管在ChunkServer本地磁盤中缺省情況下3處熱備份Chunk塊文件18GFS的設(shè)計(jì)思緒Client職責(zé)包含文件系統(tǒng)的API擔(dān)任和ChunkServer和Master通訊代表運(yùn)用程序進(jìn)展

6、讀寫操作Client和Master進(jìn)展元數(shù)據(jù)操作Client和ChunkServer進(jìn)展文件數(shù)據(jù)操作Master職責(zé)擔(dān)任管理一切文件系統(tǒng)的元數(shù)據(jù)元數(shù)據(jù)包括：命名空間，訪問控制信息，文件到Chunk的映射信息等ChunkServer職責(zé)擔(dān)任存儲chunk文件塊Linux文件系統(tǒng)1920GFS的系統(tǒng)架構(gòu)運(yùn)用程序GFS客戶端GFS數(shù)據(jù)塊效力器Linux文件系統(tǒng)GFS主效力器文件命名空間Chunk 2EEE/foo/barGFS數(shù)據(jù)塊效力器Linux文件系統(tǒng)標(biāo)注：數(shù)據(jù)信息控制信息文件名，chunk索引向數(shù)據(jù)塊效力器發(fā)指令前往數(shù)據(jù)塊效力器形狀Chunk句柄和位置Chunk句柄，查找數(shù)據(jù)前往數(shù)據(jù)信息21Q

7、uestion文件為什么要被化分為64M？Answer：1、可以減少Client和Master的之間的交互，減少M(fèi)aster的負(fù)載2、客戶端可以在一個(gè)Chunk中完成許多操作3、可以減少TCP三次握手時(shí)間。另外這些信息都要被Master管理的缺陷：有冗余GFS架構(gòu)的特點(diǎn)采用中心效力器方式Master可以方便地添加Chunk ServerMaster掌握系統(tǒng)內(nèi)一切Chunk Server的情況，方便進(jìn)展負(fù)載平衡不存在元數(shù)據(jù)的一致性問題不緩存數(shù)據(jù)必要性：Client流式讀取，非反復(fù)讀寫可行性：Master本身管理多個(gè)Server，很復(fù)雜22GFS容錯(cuò)機(jī)制Chunk Server容錯(cuò)每個(gè)Chunk有

8、多個(gè)存儲副本默許是3個(gè)，分別存儲于不通的效力器上每個(gè)Chunk又劃分為假設(shè)干Block64KB，每個(gè)Block對應(yīng)一個(gè)32bit的校驗(yàn)碼，保證數(shù)據(jù)正確假設(shè)某個(gè)Block錯(cuò)誤，那么轉(zhuǎn)移至其他Chunk副本Master容錯(cuò)三類元數(shù)據(jù)：命名空間目錄構(gòu)造、Chunk與文件名的映射以及Chunk副本的位置信息前兩類經(jīng)過日志提供容錯(cuò)，Chunk副本信息存儲于其它Chunk Server。這樣Master出現(xiàn)缺點(diǎn)時(shí)可恢復(fù)2324GFS實(shí)驗(yàn)效果圖ChunkServer 1ChunkServer 2ChunkServer 16MasterClient 1Client 2Client 16路由器 1路由器 2Ma

9、sterGoogle云計(jì)算原理1234Google云計(jì)算運(yùn)用MapReduceBigTableGFSChubby25并行計(jì)算根底摩爾定律正在走向終結(jié)單芯片包容晶體管的添加，對制造工藝提出要求CPU制造18nm技術(shù)，電子走漏問題CPU主頻已達(dá)3GHz時(shí)代，難以繼續(xù)提高散熱問題發(fā)熱太大，且難以驅(qū)散功耗太高26未來的開展：多核27什么樣的問題適宜并行計(jì)算？斐波那契序列(Fibonacci) X計(jì)算URL訪問頻率 YMap函數(shù)處置日志中web頁面懇求的記錄，然后輸出(URL,1)。Reduce函數(shù)把一樣URL的value值都累加起來，產(chǎn)生(URL,記錄總數(shù))結(jié)果。Google為什么需求MapReduc

10、e？Google擁有海量數(shù)據(jù)，并且需求快速處置什么是MapReduce？28Google MapReduce架構(gòu)設(shè)計(jì)師Jeffrey DeanJeffery Dean設(shè)計(jì)一個(gè)新的籠統(tǒng)模型， 使我們只需執(zhí)行的簡單計(jì)算，而將并行化、容錯(cuò)、數(shù)據(jù)分布、負(fù)載平衡的等雜亂細(xì)節(jié)放在一個(gè)庫里，使并行編程時(shí)不用關(guān)懷它們這就是MapReduce29Google 并行運(yùn)算編程模型MapMapMap 原始數(shù)據(jù) 1原始數(shù)據(jù) 2原始數(shù)據(jù) MReduceReduce結(jié)果 1結(jié)果R1、在編程的時(shí)候，開發(fā)者需求編寫兩個(gè)函數(shù)：Map:(in_key, in_value)Reduce:(key,value 1,value 2)2、

11、Map操作產(chǎn)生結(jié)果是對3、在Map，Reduce之間系統(tǒng)把同一Key歸類到Reduce3、Reduce操作對一樣的Key進(jìn)展歸類處置30MapReduce實(shí)現(xiàn)機(jī)制用戶程序(1)分割(1)分割(1)分割Master任務(wù)機(jī)M任務(wù)機(jī)M任務(wù)機(jī)M任務(wù)機(jī)R任務(wù)機(jī)R(2)指派Map(2)指派Reduce片段1片段4片段3片段2輸入文件(3)Read(4)本地存儲輸出文件0輸出文件1Map形狀本地存儲Reduce形狀輸出文件(5)遠(yuǎn)程讀取(6)寫入文件31單詞計(jì)數(shù) 表達(dá)M/R算法Hello World Bye WorldHello China Bye ChinaHello Si-tech Bye Si-tec

12、h 輸入數(shù)據(jù)：MapReduceHello ：3Bye ：3China ：2World ：2Si-tech：2Map(Key,Value) for( each world world in value)collect(world,1);Reduce(Key,Value ) int count = 0; for(each w in value)count +; collect(Key,count);1)32Hello World Bye WorldHello China Bye ChinaHello Si-tech Bye Si-tech 2)分割分割分割Hello World Bye Worl

13、dHello China Bye ChinaHello Si-tech Bye Si-tech 3)Hello World Bye WorldHello China Bye ChinaHello Si-tech Bye Si-tech MAPMAPMAP334)Map輸出FoldFold輸出34Fold輸出5)Reduce輸出ReduceMapReduce容錯(cuò)機(jī)制背景MapReduce設(shè)計(jì)初衷：由普通PC組成的集群來處置超大規(guī)模的數(shù)據(jù)，所以有效的錯(cuò)誤保證機(jī)制是必不可少Worker容錯(cuò)Master周期性的ping每個(gè)workerMaster容錯(cuò)Master周期性的將Master的數(shù)據(jù)構(gòu)造的寫入磁

14、盤，即檢查點(diǎn)checkpointMaster數(shù)據(jù)構(gòu)造包括: Map和Reduce義務(wù)的形狀空閑、任務(wù)中或完成)，以及Worker機(jī)器(非空閑義務(wù)的機(jī)器)的標(biāo)識。35Google云計(jì)算原理1234Google云計(jì)算運(yùn)用MapReduceBigTableGFSChubby3637初識云計(jì)算1Google云計(jì)算原理2GAE平臺部署云效力3提 綱TM Forum 對云態(tài)度438GAE部署云運(yùn)用Q&A課堂演示部署過程39初識云計(jì)算1Google云計(jì)算原理2GAE平臺部署云效力3提 綱TM Forum 對云態(tài)度4TMF See Sunny Future In Tele Management World American40TMF簡介1、電信管實(shí)際壇 ,非盈利聯(lián)盟組織2、會員遍及全球195個(gè)國家，700+會員公司3、我們公司也是會員，享用會員權(quán)益4、業(yè)界廣泛運(yùn)用的eTOM,SID,TAM,NGOSSTMF最新框架技術(shù)終了語云計(jì)算的出現(xiàn)并快速開展，一方面是虛