云計(jì)算綜述之一-GFS,Bigable,Mareduce技術(shù)

云計(jì)算綜述云計(jì)算研究現(xiàn)狀綜述

李喬、鄭嘯《ComputerScience》2011云計(jì)算及其關(guān)鍵技術(shù)

陳全等《計(jì)算機(jī)應(yīng)用》

2009CloudComputingSecurityThreatsandResponsesICCSN,IEEE3rdInternationalConference2011文獻(xiàn)：1.云計(jì)算研究現(xiàn)狀綜述1.什么是云計(jì)算1)云計(jì)算將IT相關(guān)的能力以服務(wù)的方式提供給用戶,允許用戶在不了解提供服務(wù)的技術(shù)、沒(méi)有相關(guān)知識(shí)以及設(shè)備操作能力的情況下,通過(guò)Internet獲取需要的服務(wù)?！S基百科2)云計(jì)算是分布式計(jì)算分布式處理(DistributedComputing)、并行處理(ParallelComputing)和網(wǎng)格計(jì)算(GridComputing)的發(fā)展,或者說(shuō)是這些科學(xué)概念的商業(yè)實(shí)現(xiàn)?！袊?guó)云計(jì)算網(wǎng)3)文章定義:云計(jì)算是由網(wǎng)格計(jì)算發(fā)展而來(lái)的,前臺(tái)采用按時(shí)付費(fèi)的方式通過(guò)Internet向用戶提供服務(wù)。云系統(tǒng)后臺(tái)由大量的集群使用虛擬機(jī)的方式,通過(guò)網(wǎng)絡(luò)互連,組成大型的虛擬資源池。這些虛擬資源可自主管理和配置。用數(shù)據(jù)冗余的方式保證虛擬資源的高可靠性。并具有分布式存儲(chǔ)和計(jì)算、高擴(kuò)展性、高可用性等特征。圖1云計(jì)算架構(gòu)圖部署角度：私有云、社區(qū)云、公共云和混合云。私有云被一個(gè)組織管理操作社區(qū)云由多個(gè)組織共同管理操作具有一致的任務(wù)調(diào)度和安全策略公共云由一個(gè)組織管理維護(hù)提供對(duì)外的云服務(wù)可以被公眾所擁有。服務(wù)角度：基礎(chǔ)設(shè)施Iaas、平臺(tái)即服務(wù)Paas、軟件即服務(wù)Saas代表性的云服務(wù)Iaas：管理硬件資源的軟件服務(wù)，通過(guò)他可以租用硬件

Paas：管理軟件資源的服務(wù)，通過(guò)他可以開(kāi)發(fā)、管理軟件服務(wù)

Saas：應(yīng)用軟件服務(wù)，用戶可以直接租用服務(wù)圖2幾種云服務(wù)比較2.云計(jì)算的關(guān)鍵技術(shù)

數(shù)據(jù)存儲(chǔ)技術(shù)——以GFS為例數(shù)據(jù)管理技術(shù)——以BigTable為例編程模型——以Map-Reduce為例2.1數(shù)據(jù)存儲(chǔ)技術(shù)——以GFS為例GFS系統(tǒng)由1個(gè)Master和大量塊服務(wù)器（Chunk）構(gòu)成。Master存放文件系統(tǒng)的所有元數(shù)據(jù)（名字空間、存取控制、文件分塊信息、文件塊的位置信息等）。GFS中文件默認(rèn)切分為64MB的塊存儲(chǔ)。可靠性：冗余存儲(chǔ)。每份數(shù)據(jù)在系統(tǒng)中保存3個(gè)以上的備份,對(duì)于數(shù)據(jù)的所有修改需要在所有的備份上進(jìn)行,并用版本號(hào)的方式來(lái)確保所有備份處于一致的狀態(tài)?？蛻舳瞬煌ㄟ^(guò)Master讀取數(shù)據(jù),避免了大量讀操作使Master成為系統(tǒng)瓶頸?？蛻舳藦腗aster獲取目標(biāo)數(shù)據(jù)塊的位置信息后,直接和塊服務(wù)器交互進(jìn)行讀操作。GFS的寫(xiě)操作將寫(xiě)操作控制信號(hào)和數(shù)據(jù)流分開(kāi)。

即客戶端在獲取Master的寫(xiě)授權(quán)后,將數(shù)據(jù)傳輸給所有的數(shù)據(jù)副本,在所有副本都收到修改的數(shù)據(jù)后,客戶端才發(fā)出寫(xiě)請(qǐng)求控制信號(hào)。在所有副本更新完數(shù)據(jù)后,由主副本向客戶端發(fā)出寫(xiě)操作完成控制信號(hào)。圖3寫(xiě)控制信號(hào)和寫(xiě)數(shù)據(jù)流文件名，chunk索引Chunk句柄、位置2.2數(shù)據(jù)管理技術(shù)——以BigTable為例Bigtable是一個(gè)鍵值（key-value）映射。Bigtable的鍵有三維，分別是行鍵（rowkey）、列鍵（columnkey）和時(shí)間戳（timestamp），行鍵和列鍵都是字節(jié)串，時(shí)間戳是64位整型；而值是一個(gè)字節(jié)串。

(row:string,column:string,time:int64)→string圖5BigTable采用類似B+樹(shù)三級(jí)層次化的方式來(lái)存儲(chǔ)位置信息圖4bigTable結(jié)構(gòu)圖此文件屬于Chubby服務(wù)的一部分，它保存著roottablet的位置，以保證主服務(wù)器唯一。為了保證樹(shù)的深度不變，roottablet從不分裂。元數(shù)據(jù)片，它和roottablet一起組成完整的元數(shù)據(jù)表。每個(gè)元數(shù)據(jù)片都包含了許多用戶片的位置信息。2.3編程模型——以Map-Reduce為例編寫(xiě)Map-Reduce程序，一般需要實(shí)現(xiàn)兩個(gè)函數(shù)：mapper中的map函數(shù)和reducer中的reduce;map:

(in_key,in_value)

→

{(keyj,valuej)|j=1····k}reduce:

(key,[value1,

···valuem])

→(key,final_value） //已歸并

Map-Reduce模型具有很強(qiáng)的容錯(cuò)性,當(dāng)worker節(jié)點(diǎn)出現(xiàn)錯(cuò)誤時(shí),只需要將該worker節(jié)點(diǎn)屏蔽在系統(tǒng)外等待修復(fù),并將該worker上執(zhí)行的程序遷移到其他worker上重新執(zhí)行,同時(shí)將該遷移信息通過(guò)Master發(fā)送給對(duì)應(yīng)該節(jié)點(diǎn)處理。3.衣C年lo賄udCo笑mp馳ut臘in獻(xiàn)g拖S稿e(cuò)c鍛ur難it迅y伶T茄hr行ea嚷ts黑a欠nd唱Re年sp蓋on均se給sCl放ou判d卸co寬mp喜ut僵in叼g瓦isane截tw愛(ài)or抄k-煎ba銳se腿den盜vi玻ro租nm旦en鳳t客t小ha容tfo取cu坡se桂s躬on寧s宗ha頭ri銹ng開(kāi)c鑼om叛pu議ta樓ti獻(xiàn)on手s綁or臣r蒸es叼ou違rc豆es.Incl暮ou毀d免en南vi算ro炮nm陶en蔽ts暴,努s金ev茂er描al吵k銀in勇ds吐o積fvi迎rt衫ua妖l秀ma漫ch尾in矮esar膠e艘h紋os畝te聚d少o芹n訴t墨he項(xiàng)sa射me握ph絡(luò)ys糊ic如al此se集rv妨er堂asin較fr偽as灑tr述uc創(chuàng)tu皆re.Us炒in慶gCl浪ou富d喬r仆es薄ul雅tsap鍛pl花ic捐at遷io伙ns智a牙nd醒d巧at費(fèi)a米wi尺ll臣m脆ov塵e煉un撫de滑rth去ir辟d-時(shí)pa絞rt懂y鋸co紛nt團(tuán)ro航l.3.宣1門(mén)Cl判ou賣(mài)d比Ra蟲(chóng)s籠is嫁su漸esDa死ta竟L郊ea街ka蒸geus怒e頁(yè)Da餅ta捉L攪ea昨ka搖ge檔P倚re衣ve耐nt冊(cè)io專n(太DL巨P)莫a危pp到li塊ca桐ti含on杠s猶to幅p桐ro欺te揚(yáng)ct救s泰en員si碑ti艦ve腿d聽(tīng)at巷a.Ma敘ch山in多einIa豆aSto貴a嶺ch五ie建ve臘s存om確eco苦nt榮ro僚l公ov羨erda桶ta罩a訪ss張oc包ia丹te浪d.泄B頭ut鼓i魂nSa個(gè)aS和a灶nd唯P僑aa賤S跳,D沉LPag者en串tsis籍i壁mp伏os燒si兼bl午eex段ce片pt銜wh揚(yáng)en折t軟he累p剃ro掘vi老de平rpu柿t靈ab謀il它it衡y徑of派i態(tài)t刺toit否sse符rv業(yè)ic移e.Cl展ou扯d纖se扔cu冊(cè)ri伶ty宴i師ss抱ue問(wèn)sDD煌oS遞a億tt欺ac盛ks托a得ga叔in寸st利C雪lo收udInf射ra雙st塵ru爺ct愿ur喇e琴is熄s哄ha舍re釘d鞋by種l碧ar樸ge瘋n特um鏈be賊rofcl傻ie遇nt織s,DD羞oS河a守tt悶ac曾ks寺m究ak凱e槳ha呼ve撐th筒e拆po程te劈燕nt亂ia刪l父of噴h只av膜in奮gmu付chgr絞ea懶te尼r半im新pa賤ct柿t種ha笨n蛾ag巖ai蟻ns蹦t爹si霧ng端le彩t犬en熱an蒸te速d奸a柴rc蔬h(yuǎn)i常te別ct明ur傲es貧.Cl冒ou屬d戰(zhàn)ag累ai狡ns先t怒DD帳oS拉a肝tt感ac儀ksWe麻bs盆it籃es悼e加xp拘er漢ie裕nc扔in昏g句DD姿oS節(jié)a曠tt側(cè)ac頓ks爪w誤hi彼ch泰h喝av盼e課li艱mi茫ta站ti萍o(jì)n顆i窄n灶se傘rv慰er桿re奴so錄ur琴ce盈s隙c草anta販ke咐a給dv烏an伏ta瘦ge延o鍛f億us晝in辨g改cl圍ou戶d重th階at收p麥ro僅vi悼de員smo狹re雪r憶es碧ou慚rc晃e季toto雅le再ra來(lái)tesu四ch廟at抵ta什ck匯s.3.廚2難So獲lu灶ti釘on歇sAc頌ce后ss頂c饒on坑tr堪ol煩i細(xì)n艘cl飯ou糞d廊se飛rv清ic蔑esIn狠t伶he揭S日aa司Scl薄ou備d趙pr窩ov扇id球erisre嫩sp筐on們si蒜bl宿e頁(yè)fo共r嬸ma縫na曲gi丑ngal良las甚pe翁ct慣sof牛th稀e等ne析tw潮or糕k,se質(zhì)rv頂er,an數(shù)d踏a蜻pp象li吉ca土ti知onin國(guó)fr珍as秋tr腿uc附tu掉re.Inth澆ePa俱aSth作eCl廢ou患d濕pr峰ov撞id范er借i陜s希re梳sp茂on全si指bl旋e老fo鵝r拌ma陜na固gi看ngac完ce榮ssco會(huì)nt壤ro來(lái)lto牧t浸he位ne支tw始o(jì)r獲k,se向rv子er第s枯an翠d涉ap瞧pl墊ic腿at務(wù)io您npl鴿at竄fo梨rmin座fr悄as棗tr果uc鉗tu隆re.Inth論eIa躺aSAc鋼ce仍sstoth參e崗vi扛rt捎ua圖l衣se吼rv