google云計(jì)算培訓(xùn)課件

ReachedOurGoal

認(rèn)識(shí)云計(jì)算（理解）

理解Google云計(jì)算實(shí)現(xiàn)原理（難點(diǎn)）

可獨(dú)立在GAE上開(kāi)發(fā)云服務(wù)應(yīng)用

了解TMF?以及云未來(lái)的發(fā)展（了解）

提綱

??初識(shí)云計(jì)算

每Google云計(jì)算原理

?GAE平臺(tái)部署云服務(wù)

QTMForum對(duì)云態(tài)度

3

Wehaveadream

愿景:

計(jì)算機(jī)的服務(wù)能力可以作為一種商品進(jìn)行流通。

就像水、電、氣一樣取之方便，費(fèi)用低廉

4

云計(jì)算定義

云計(jì)算:是一種

商業(yè)計(jì)算模型。

它將計(jì)算任務(wù)分

按鼠計(jì)費(fèi)的商業(yè)模型布在大量計(jì)算機(jī)

構(gòu)成的資源池上,

使各種應(yīng)用系統(tǒng)

能夠按需獲取計(jì)

算力、存儲(chǔ)空間

和信息服務(wù)。

0?i■一

圖：云計(jì)算概念模型5

云計(jì)算服務(wù)的部署形式

公共云」私有云

混合云

（服務(wù)提供商-互連網(wǎng)）

（數(shù)據(jù)中心-內(nèi)部網(wǎng)）（公共和私有）

Xasaservice

SaaS應(yīng)用云

（代表：salesforce的CRM）

PaaS平臺(tái)云

（代表：GoogleAppEngine）

laaS基礎(chǔ)設(shè)施云amazon.com

（代表：亞馬遜的S3）

6

Amazon云計(jì)算

磔，amazon

webservices

1.Amazon的laaS云計(jì)算思路

?彈性計(jì)算云EC2為企業(yè)提供計(jì)算服務(wù)

每個(gè)服務(wù)器租用1小時(shí)為61美元

?簡(jiǎn)單存儲(chǔ)服務(wù)S3為企業(yè)提供存儲(chǔ)服務(wù)

1GB數(shù)據(jù)存放1個(gè)月為0.15美元

2.Amazon的laaS運(yùn)用實(shí)例

7

亞馬遜laaS應(yīng)用案例：紐約時(shí)報(bào)

Mamazon

webservices

三三

El)c，y'cWllorkSimesM*?u*-w.*■*a.*<i

>LCINaSUMNitwn?KWIUMIOMY.sirmtwiuiiraM<nctifm使用亞馬遜云計(jì)算服務(wù)

US.ATTACKED

HIJACKEDJETSDESTROYTWINTOWERS

ANDHITPENTAGONINDAYOFTERROR效果：在不到24個(gè)小時(shí)的時(shí)間里處理

了noo萬(wàn)篇文章

費(fèi)用：累計(jì)花費(fèi)240美元

利用自己服務(wù)器

時(shí)間：數(shù)月時(shí)間

費(fèi)用：多得多的費(fèi)用

8

Google云計(jì)算

6。。噓

1.Google的云計(jì)算思路

應(yīng)用向互聯(lián)數(shù)據(jù)向互聯(lián)

網(wǎng)遷移網(wǎng)遷移

計(jì)算能力向存儲(chǔ)空間向ChromeOS

互聯(lián)網(wǎng)遷移互聯(lián)網(wǎng)遷移“瀏覽器=操作系統(tǒng)”

9

Google云計(jì)算PaaS

Go^le

appengineer

2.隸屬PaaS的Google云計(jì)算

A屬于部署在云端的應(yīng)用執(zhí)行環(huán)境

?支持Python和Jara兩種語(yǔ)言

?通過(guò)SDK調(diào)用Google的各種服務(wù)。如GoogleMap、Mail等

A用戶可快速、廉價(jià)（可免費(fèi)使用限定的流量和存儲(chǔ)）地部署

自己開(kāi)發(fā)的應(yīng)用（如創(chuàng)新的網(wǎng)站、游戲等）

A在下一章將具體介紹GAE具體的應(yīng)用

^^■■1

10

Google云計(jì)算SaaS

Google文件

3.隸屬SaaS的Google云計(jì)算

Google文件提供在線“Word、Excel、PPT”

Go°g發(fā)鶻提供在線MAP

Google日歷提供在線日歷管理

GMil……

口E?A

vr

11

Google如何實(shí)現(xiàn)云?

Goog。l谷e歌

Google云計(jì)算平臺(tái)技術(shù)架構(gòu)

A分布式文件系統(tǒng)GoogleDistributedFileSystem

將

A并行數(shù)據(jù)處理MapReduce在

第

?分布式鎖Chubby二

章

?結(jié)構(gòu)化數(shù)據(jù)表BigTable詳

細(xì)

介

紹

MapReduce

GFS

12

云計(jì)算概念入門

Q&A

13

提綱

?初識(shí)云計(jì)算

?Google云計(jì)算原理

?GAE平臺(tái)部署云服務(wù)

r\TMForum對(duì)云態(tài)度

14

Google云計(jì)算原理

可分布式文件系統(tǒng)GFS

愉并行數(shù)據(jù)處理模型MapReduceI

W分布式鎖服務(wù)Chubby

“分布式數(shù)據(jù)庫(kù)BigTable

Google云計(jì)算應(yīng)用

一、Z\/、

MapReduceBigTableChubb)

r~一

GFS，

*-----------------------------------------------------------------------------Jv--------------------)15

9

Google設(shè)計(jì)GFS的動(dòng)機(jī)

?Google需要支持滲量泰提范瀚勺文件系統(tǒng)

-購(gòu)置昂貴的分布式文件系統(tǒng)與硬件？

17

GFS的設(shè)計(jì)思路

1.GFS設(shè)計(jì)原則：

＞機(jī)器失效不能視為異?，F(xiàn)象

＞能應(yīng)付對(duì)大型/超大型文件處理

?支持大量用戶同時(shí)訪問(wèn)

2.GFS組成

AGFS集群：一個(gè)的Master和多個(gè)ChunkServer(塊服務(wù)器)組成,

并可以多客戶端Client訪問(wèn)

3.GFS設(shè)計(jì)要點(diǎn)

＞每個(gè)文件拆成若干個(gè)64M文件塊Chunk組成

＞每個(gè)Chunk都由Master根據(jù)其創(chuàng)建時(shí)間指定ChunkHandle(64)

＞文件塊被保存在ChunkServer本地磁盤中

＞缺省情況下3處熱備份Chunk塊文件

18

GFS的設(shè)計(jì)思路

4.Client職責(zé)

?包含文件系統(tǒng)的API

>負(fù)責(zé)和ChunkServer和Master通信

?代表應(yīng)用程序進(jìn)行讀寫(xiě)操作

>Client和Master進(jìn)行元數(shù)據(jù)操作

>Client和ChunkServer進(jìn)行文件數(shù)據(jù)操作

5.Master職責(zé)

>負(fù)責(zé)管理所有文件系統(tǒng)的元數(shù)蕭

?元數(shù)據(jù)包括：命名空間,訪問(wèn)控制信息,文步到C3/7A的映射

信息等

6.ChunkServer職責(zé)

?負(fù)責(zé)存儲(chǔ)chunk文件塊

ALinux文件系統(tǒng)

19

GFS的系統(tǒng)架構(gòu)

GFS主服務(wù)器

文件命名空間

/foo/bar

Chunk

12EEE

/...........-

Linux文件系統(tǒng)Linux文件系統(tǒng)

返回?cái)?shù)據(jù)信.息廠、廠、o

L

—X.

20

Question文件為什么要被化分為64M?

Answer：

1、可以減少Client和Master的之間的交互，減少M(fèi)aster的負(fù)載

2、客戶端可以在一個(gè)Chunk中完成許多操作

3、可以減少TCP三次握手時(shí)間。另外這些信息都要被Master管理的

缺點(diǎn)：有冗余

21

GFS架構(gòu)的特點(diǎn)

?采用中心服務(wù)器模式Master

?可以方便地增加ChunkServer

>Master掌握系統(tǒng)內(nèi)所有ChunkServer的情況，方便進(jìn)

行負(fù)載均衡

>不存在元數(shù)據(jù)的一致性問(wèn)題

?不緩存數(shù)據(jù)

A必要性：Client流式讀取，非重復(fù)讀寫(xiě)

A可行性：Master本身管理多個(gè)Server,很復(fù)雜

22

GFS容錯(cuò)機(jī)制

?ChunkServer容錯(cuò)

?每個(gè)Chunk有多個(gè)存儲(chǔ)副本（默認(rèn)是3個(gè)），分別存儲(chǔ)于不通

的服務(wù)器上

?每個(gè)Chunk又劃分為若干Block（64KB）,每個(gè)Block對(duì)應(yīng)一個(gè)

32bit的校驗(yàn)碼，保證數(shù)據(jù)正確（若某個(gè)Block錯(cuò)誤，則轉(zhuǎn)移

至其他Chunk副本）

?Master容錯(cuò)

?三類元數(shù)據(jù)：命名空間（目錄結(jié)構(gòu)）、Chunk與文件名的映射

以及Chunk副本的位置信息

＞前兩類通過(guò)日志提供容錯(cuò)，Chunk副本信息存儲(chǔ)于其它Chunk

Server這樣Master出現(xiàn)故障時(shí)可恢復(fù)

o

23

GFS實(shí)驗(yàn)效果圖

Master

ChunkServer1ChunkServer2

Client16

24

Google云計(jì)算原理

可分布式文件系統(tǒng)GFS

(7)并行數(shù)據(jù)處理模型MapReduce

0分布式鎖服務(wù)Chubby

”分布式數(shù)據(jù)庫(kù)BigTable

Go聞8云計(jì)算應(yīng)用I

r

M叩ReduceBigTable

Chubb

GI

25

并行計(jì)算基礎(chǔ)

?摩爾定律正在走向終結(jié)…

?單芯片容納晶體管的增加，對(duì)制造工藝提出要求

>CPU制造18nm技術(shù)，電子泄漏問(wèn)題

ACPU主頻已達(dá)3GHz時(shí)代，難以繼續(xù)提高

/散熱問(wèn)題（發(fā)熱太大，且難以驅(qū)散）

/功耗太高

未來(lái)的發(fā)展：多核

—"

26

什么樣的問(wèn)題適合并行計(jì)算?

?斐波刃口契序歹1（Fibonacci）X

(1,A：=0

耳=<1,k=1

、Fk-i+理_2.,k>2.

?計(jì)算URL訪問(wèn)頻率Y

Map函數(shù)處理日志中web頁(yè)面請(qǐng)

求的記錄，然后輸出（URL,1）。

Reduce函數(shù)把相同URL的value

值都累加起來(lái)，產(chǎn)生（URL,記錄

總數(shù)）結(jié)果。

27

Google為什么需要MapReduce?

?Google擁有海量數(shù)據(jù)，并且需要快速處理

?什么是MapReduce?

JefferyDean設(shè)計(jì)一個(gè)新的抽象模型，CoogleMapReduce

使我們只要執(zhí)行的簡(jiǎn)單計(jì)算，而將方行化、架構(gòu)設(shè)計(jì)師

JeffreyDean

容錯(cuò)、數(shù)據(jù)分布、負(fù)載均衡的等柒亂繩節(jié)

放在一個(gè)庫(kù)里，使并行編程時(shí)不必關(guān)心它

們這就是MapReduce

28

Google并行運(yùn)算編程模型

1、在編程的時(shí)候，開(kāi)發(fā)者需

要編寫(xiě)兩個(gè)函數(shù)：

Map:(in_key,in_value)

Reduce:(key,[value1,value

2...])

2、Map操作產(chǎn)生結(jié)果是

<key,value>Xt

3、在Map,Reduce之間系

統(tǒng)把同一Key歸類到Reduce

3、Reduce操作對(duì)相同的Key

進(jìn)行歸類處理

29

MapReduce實(shí)現(xiàn)機(jī)制

輸入文件Map狀態(tài)本地存儲(chǔ)Reduce狀態(tài)

h—k

30

單詞計(jì)數(shù)體現(xiàn)M/R算法

輸入數(shù)據(jù)：

HelloWorldByeWorld

HelloChinaByeChina

HelloSi-techByeSi-tech

1)

Reduce(Key,Value[])

Map(Key,Value)(

(intcount=0;

for(eachworld'world'invalue)for(eachwinvalue)

collectCworld'J);count++;

)collect(Key,count);

)

31

2)

HelloWorldByeWorld

HelloChinaByeChina

HelloSi-techByeSi-techI分割）

3)ello1><Bye1>

<World1><World1>

HelloWorldByeWorld

<Hello1><Bye1>

HelloChinaByeChina

<China1><China1>

HelloSi-techByeSi-tech

<Hello1><Bye1>

<Si-tech1><Si-tech1>

32

4)

Map輸出Fold輸出

ello1><Bye1><Hello1><Hello1><Hello1>

<World1><World1>

<Bye1><Bye1><Bye1>

<Hello1><Bye1>

Fold

<World1><World1>

<China1><China1>

<China1><China1>

<Hello1><Bye1>

<Si-tech1><Si-tech1>

<Si-tech1><Si-tech1>

33

5)

Fold輸出Reduce輸出

<Hello1><Hello1><Hello1>

<Bye3>

<Bye1><Bye1><Bye1>

<World2>

<World1><World1>Reduce

<China2>

<China1><China1>

<Si-tech2>

<Si-tech1><Si-tech1>

34

MapReduce容錯(cuò)機(jī)制

?背景

AMapReduce設(shè)計(jì)初衷：由普通PC組成的集群來(lái)處理超大賽蕉的

數(shù)據(jù),所以有效的錯(cuò)誤保障機(jī)制是必不可少

?Worker容錯(cuò)

>Master屈助使的ping每個(gè)worker

?Master容錯(cuò)

>Master周期性的將Master的教舞結(jié)猾的寫(xiě)入磁盤,即檢查點(diǎn)

（checkpoint）

AMaster數(shù)據(jù)結(jié)構(gòu)包括：Map和Reduce任務(wù)的狀態(tài)（空閑、工作

中或完成），以及Worker機(jī)器（非空閑任務(wù)的機(jī)器）豳麋

35

Google云計(jì)算原理

可分布式文件系統(tǒng)GFS

G)并行數(shù)據(jù)處理模型MapReduce

⑤分布式鎖服務(wù)Chubby

哥分布式數(shù)據(jù)庫(kù)BigTable

Google云計(jì)算應(yīng)用

、Z

MapReduceBigTable

)IChubb

GFS

36

提綱

?初識(shí)云計(jì)算

每Google云計(jì)算原理

GAE平臺(tái)部署云服務(wù)

QTMForum對(duì)云態(tài)度

37

GAE部署云應(yīng)用

Q&A

課堂演示部署過(guò)程