google云計算培訓(xùn)課件(共43張)(PPT 43頁)

1、Google云計算原理研究院 黃兵第1頁，共43頁。2Reached Our Goal 認(rèn)識云計算（理解） 理解Google 云計算實現(xiàn)原理（難點） 可獨立在GAE上開發(fā)云服務(wù)應(yīng)用 了解TMF？以及云未來的發(fā)展（了解）第2頁，共43頁。3初識云計算1Google云計算原理2GAE平臺部署云服務(wù)3提 綱TM Forum 對云態(tài)度4第3頁，共43頁。4We have a dream 愿景:計算機(jī)的服務(wù)能力可以作為一種商品進(jìn)行流通。就像水、電、 氣一樣取之方便，費用低廉第4頁，共43頁。5云計算定義圖：云計算概念模型云計算:是一種商業(yè)計算模型。它將計算任務(wù)分布在大量計算機(jī)構(gòu)成的資源池上，使各種應(yīng)用系

2、統(tǒng)能夠按需獲取計算力、存儲空間和信息服務(wù)。第5頁，共43頁。6云計算服務(wù)的部署形式IaaS基礎(chǔ)設(shè)施云(代表：亞馬遜的S3)SaaS 應(yīng)用云（代表：salesforce的CRM）PaaS 平臺云（代表：Google App Engine）私有云(數(shù)據(jù)中心 內(nèi)部網(wǎng))公共云(服務(wù)提供商 互連網(wǎng))混合云(公共和私有)X as a service第6頁，共43頁。7Amazon 云計算1GB數(shù)據(jù)存放1個月為0.15美元每個服務(wù)器租用1小時為0.1美元Amazon的IaaS云計算思路彈性計算云EC2為企業(yè)提供計算服務(wù)簡單存儲服務(wù)S3為企業(yè)提供存儲服務(wù)Amazon的IaaS運用實例第7頁，共43頁。亞馬遜I

3、aaS應(yīng)用案例：紐約時報使用亞馬遜云計算服務(wù)效果：在不到 24個小時的時間里處理了1100萬篇文章費用：累計花費240美元利用自己服務(wù)器時間：數(shù)月時間費用：多得多的費用 8第8頁，共43頁。9Google 云計算Google的云計算思路應(yīng)用向互聯(lián)網(wǎng)遷移數(shù)據(jù)向互聯(lián)網(wǎng)遷移計算能力向互聯(lián)網(wǎng)遷移存儲空間向互聯(lián)網(wǎng)遷移“瀏覽器操作系統(tǒng)”第9頁，共43頁。10隸屬PaaS的Google云計算Google 云計算PaaS屬于部署在云端的應(yīng)用執(zhí)行環(huán)境支持Python和Java兩種語言通過SDK調(diào)用Google的各種服務(wù)。如Google Map、Mail等用戶可快速、廉價（可免費使用限定的流量和存儲）地部署自己開

4、發(fā)的應(yīng)用（如創(chuàng)新的網(wǎng)站、游戲等）在下一章將具體介紹GAE具體的應(yīng)用第10頁，共43頁。11Google 云計算SaaS隸屬SaaS的Google云計算提供在線“Word、Excel、PPT”提供在線MAP提供在線日歷管理第11頁，共43頁。Google云計算平臺技術(shù)架構(gòu)分布式文件系統(tǒng) Google Distributed File System并行數(shù)據(jù)處理 MapReduce分布式鎖 Chubby結(jié)構(gòu)化數(shù)據(jù)表 BigTableGoogle如何實現(xiàn)云？Google云計算應(yīng)用MapReduceBigTableGFSChubby12將在第二章詳細(xì)介紹第12頁，共43頁。13云計算概念入門Q&A第13

5、頁，共43頁。14初識云計算1Google云計算原理2GAE平臺部署云服務(wù)3提 綱TM Forum 對云態(tài)度4第14頁，共43頁。Google云計算原理1234Google云計算應(yīng)用MapReduceBigTableGFSChubby15第15頁，共43頁。16第16頁，共43頁。17Google設(shè)計GFS的動機(jī)Google需要支持海量數(shù)據(jù)存儲的文件系統(tǒng)購置昂貴的分布式文件系統(tǒng)與硬件？是否可以在一堆廉價且不可靠的硬件上構(gòu)建可靠的分布式文件系統(tǒng)？第17頁，共43頁。GFS的設(shè)計思路GFS設(shè)計原則：機(jī)器失效不能視為異?，F(xiàn)象能應(yīng)付對大型/超大型文件處理支持大量用戶同時訪問GFS組成GFS集群:一個的

6、Master和多個ChunkServer（塊服務(wù)器）組成，并可以多客戶端Client訪問GFS設(shè)計要點每個文件拆成若干個64M文件塊Chunk組成每個Chunk都由Master根據(jù)其創(chuàng)建時間指定Chunk Handle(64)文件塊被保存在ChunkServer本地磁盤中缺省情況下3處熱備份Chunk塊文件18第18頁，共43頁。GFS的設(shè)計思路Client職責(zé)包含文件系統(tǒng)的API負(fù)責(zé)和ChunkServer和Master通信代表應(yīng)用程序進(jìn)行讀寫操作Client和Master進(jìn)行元數(shù)據(jù)操作Client和ChunkServer進(jìn)行文件數(shù)據(jù)操作Master職責(zé)負(fù)責(zé)管理所有文件系統(tǒng)的元數(shù)據(jù)元數(shù)據(jù)包括

7、：命名空間，訪問控制信息，文件到Chunk的映射信息等ChunkServer職責(zé)負(fù)責(zé)存儲chunk文件塊Linux文件系統(tǒng)19第19頁，共43頁。20GFS的系統(tǒng)架構(gòu)應(yīng)用程序GFS客戶端GFS數(shù)據(jù)塊服務(wù)器Linux文件系統(tǒng)GFS主服務(wù)器文件命名空間Chunk 2EEE/foo/barGFS數(shù)據(jù)塊服務(wù)器Linux文件系統(tǒng)標(biāo)注：數(shù)據(jù)信息控制信息文件名，chunk索引向數(shù)據(jù)塊服務(wù)器發(fā)指令返回數(shù)據(jù)塊服務(wù)器狀態(tài)Chunk句柄和位置Chunk句柄，查找數(shù)據(jù)返回數(shù)據(jù)信息第20頁，共43頁。21Question文件為什么要被化分為64M？Answer：1、可以減少Client和Master的之間的交互，減少M

8、aster的負(fù)載2、客戶端可以在一個Chunk中完成許多操作3、可以減少TCP三次握手時間。另外這些信息都要被Master管理的缺點：有冗余第21頁，共43頁。GFS架構(gòu)的特點采用中心服務(wù)器模式Master可以方便地增加Chunk ServerMaster掌握系統(tǒng)內(nèi)所有Chunk Server的情況，方便進(jìn)行負(fù)載均衡不存在元數(shù)據(jù)的一致性問題不緩存數(shù)據(jù)必要性：Client流式讀取，非重復(fù)讀寫可行性：Master本身管理多個Server，很復(fù)雜22第22頁，共43頁。GFS容錯機(jī)制Chunk Server容錯每個Chunk有多個存儲副本（默認(rèn)是3個），分別存儲于不通的服務(wù)器上每個Chunk又劃分為

9、若干Block（64KB），每個Block對應(yīng)一個32bit的校驗碼，保證數(shù)據(jù)正確（若某個Block錯誤，則轉(zhuǎn)移至其他Chunk副本）Master容錯三類元數(shù)據(jù)：命名空間（目錄結(jié)構(gòu)）、Chunk與文件名的映射以及Chunk副本的位置信息前兩類通過日志提供容錯，Chunk副本信息存儲于其它Chunk Server。這樣Master出現(xiàn)故障時可恢復(fù)23第23頁，共43頁。24GFS實驗效果圖ChunkServer 1ChunkServer 2ChunkServer 16MasterClient 1Client 2Client 16路由器 1路由器 2Master第24頁，共43頁。Google云計

10、算原理1234Google云計算應(yīng)用MapReduceBigTableGFSChubby25第25頁，共43頁。并行計算基礎(chǔ)摩爾定律正在走向終結(jié)單芯片容納晶體管的增加，對制造工藝提出要求CPU制造18nm技術(shù)，電子泄漏問題CPU主頻已達(dá)3GHz時代，難以繼續(xù)提高散熱問題（發(fā)熱太大，且難以驅(qū)散）功耗太高26未來的發(fā)展：多核第26頁，共43頁。27什么樣的問題適合并行計算？斐波那契序列(Fibonacci) X計算URL訪問頻率 YMap函數(shù)處理日志中web頁面請求的記錄，然后輸出(URL,1)。Reduce函數(shù)把相同URL的value值都累加起來，產(chǎn)生(URL,記錄總數(shù))結(jié)果。第27頁，共43頁

11、。Google為什么需要MapReduce？Google擁有海量數(shù)據(jù)，并且需要快速處理什么是MapReduce？28Google全球Web數(shù)據(jù)郵件數(shù)據(jù)地圖數(shù)據(jù)衛(wèi)星照片Google MapReduce架構(gòu)設(shè)計師Jeffrey DeanJeffery Dean設(shè)計一個新的抽象模型， 使我們只要執(zhí)行的簡單計算，而將并行化、容錯、數(shù)據(jù)分布、負(fù)載均衡的等雜亂細(xì)節(jié)放在一個庫里，使并行編程時不必關(guān)心它們這就是MapReduce第28頁，共43頁。29Google 并行運算編程模型MapMapMap 原始數(shù)據(jù) 1原始數(shù)據(jù) 2原始數(shù)據(jù) MReduceReduce結(jié)果 1結(jié)果R1、在編程的時候，開發(fā)者需要編寫兩個

12、函數(shù)：Map:(in_key, in_value)Reduce:(key,value 1,value 2)2、Map操作產(chǎn)生結(jié)果是對3、在Map，Reduce之間系統(tǒng)把同一Key歸類到Reduce3、Reduce操作對相同的Key進(jìn)行歸類處理第29頁，共43頁。30MapReduce實現(xiàn)機(jī)制用戶程序(1)分割(1)分割(1)分割Master工作機(jī)M工作機(jī)M工作機(jī)M工作機(jī)R工作機(jī)R(2)指派Map(2)指派Reduce片段1片段4片段3片段2輸入文件(3)Read(4)本地存儲輸出文件0輸出文件1Map狀態(tài)本地存儲Reduce狀態(tài)輸出文件(5)遠(yuǎn)程讀取(6)寫入文件第30頁，共43頁。31單詞計

13、數(shù) 體現(xiàn)M/R算法Hello World Bye WorldHello China Bye ChinaHello Si-tech Bye Si-tech 輸入數(shù)據(jù)：MapReduceHello ：3Bye ：3China ：2World ：2Si-tech：2Map(Key,Value) for( each world world in value)collect(world,1);Reduce(Key,Value ) int count = 0; for(each w in value)count +; collect(Key,count);1)第31頁，共43頁。32Hello World

14、 Bye WorldHello China Bye ChinaHello Si-tech Bye Si-tech 2)分割分割分割Hello World Bye WorldHello China Bye ChinaHello Si-tech Bye Si-tech KEY VALUEKEY VALUEKEY VALUE3)Hello World Bye WorldHello China Bye ChinaHello Si-tech Bye Si-tech MAPMAPMAP第32頁，共43頁。334)Map輸出FoldFold輸出第33頁，共43頁。34Fold輸出5)Reduce輸出Redu

15、ce第34頁，共43頁。MapReduce容錯機(jī)制背景MapReduce設(shè)計初衷：由普通PC組成的集群來處理超大規(guī)模的數(shù)據(jù)，所以有效的錯誤保障機(jī)制是必不可少Worker容錯Master周期性的ping每個workerMaster容錯Master周期性的將Master的數(shù)據(jù)結(jié)構(gòu)的寫入磁盤，即檢查點（checkpoint）Master數(shù)據(jù)結(jié)構(gòu)包括: Map和Reduce任務(wù)的狀態(tài)（空閑、工作中或完成)，以及Worker機(jī)器(非空閑任務(wù)的機(jī)器)的標(biāo)識。35第35頁，共43頁。Google云計算原理1234Google云計算應(yīng)用MapReduceBigTableGFSChubby36第36頁，共43頁

16、。37初識云計算1Google云計算原理2GAE平臺部署云服務(wù)3提 綱TM Forum 對云態(tài)度4第37頁，共43頁。38GAE部署云應(yīng)用Q&A課堂演示部署過程第38頁，共43頁。39初識云計算1Google云計算原理2GAE平臺部署云服務(wù)3提 綱TM Forum 對云態(tài)度4第39頁，共43頁。TMF See Sunny Future In Tele Management World American40TMF簡介1、電信管理論壇 ,非盈利聯(lián)盟組織2、會員遍布全球195個國家，700+會員公司3、我們公司也是會員，享受會員權(quán)利4、業(yè)界廣泛使用的eTOM,SID,TAM,NGOSSTMF最新框架技術(shù)第40頁，共43頁。結(jié)束語云計算的出現(xiàn)并快速發(fā)展，一方面是虛擬化技術(shù)、分布式計算等技術(shù)