中國(guó)電信云計(jì)算探索與應(yīng)用實(shí)踐

云計(jì)算的探討和應(yīng)用21234目錄5什么云計(jì)算KevinHartig：云是一個(gè)龐大的資源池，你按需購置；云是虛擬化的；云可以象自來水，電，煤氣那樣計(jì)費(fèi)。JanPritzker：云計(jì)算是用戶友好的網(wǎng)格計(jì)算。3農(nóng)村城市化開展云計(jì)算-網(wǎng)格計(jì)算的開展4網(wǎng)格計(jì)算云計(jì)算MPIMAP-Ruduce，Dryad異構(gòu)資源同構(gòu)資源不同機(jī)構(gòu)單一機(jī)構(gòu)虛擬組織虛擬機(jī)科學(xué)計(jì)算為主數(shù)據(jù)處理為主高性能服務(wù)器服務(wù)器、PC標(biāo)準(zhǔn)化無標(biāo)準(zhǔn)科學(xué)界商業(yè)應(yīng)用云計(jì)算的使用方式將計(jì)算和存儲(chǔ)等資源以效勞的方式提供，用戶按需使用，按用量付費(fèi)5云計(jì)算關(guān)鍵特征云計(jì)算-關(guān)鍵特征按需擴(kuò)展和使用快速獲得效勞通過互聯(lián)網(wǎng)提供自助式效勞按使用量付費(fèi)6云計(jì)算-交付模型PC硬件資源〔PowerPC、x86、ARM〕操作系統(tǒng)Linux、Windows、UNIX 開發(fā)環(huán)境C、C++、Java、Python、Perl等軟件應(yīng)用運(yùn)行庫〔.Net、JRE〕SaaSPaaSIaaS基于互聯(lián)網(wǎng)Cloud共享資源7云計(jì)算-部署模型公有云：簡(jiǎn)單來說，公有云效勞指的是用戶通過互聯(lián)網(wǎng)從第三方供給商獲取的云計(jì)算效勞。私有云：私有云具備公有云計(jì)算環(huán)境的許多優(yōu)點(diǎn)，如靈活性強(qiáng)、以效勞為根底等。社區(qū)云：社區(qū)云由一群共享利益〔如特定平安需求或共同目標(biāo)〕的企業(yè)管理和使用?；旌显疲夯旌显剖枪性坪退接性频娜诤希覂烧呖苫ゲ僮?。8云計(jì)算-架構(gòu)9101234目錄511虛擬化領(lǐng)域效勞器虛擬化網(wǎng)絡(luò)虛擬化應(yīng)用虛擬化客戶端虛擬化降低系統(tǒng)復(fù)雜度，提高資源利用率，動(dòng)態(tài)劃分服務(wù)資源，動(dòng)態(tài)部署資源池，統(tǒng)一管理，數(shù)據(jù)更加安全存儲(chǔ)虛擬化網(wǎng)絡(luò)容量的優(yōu)化，網(wǎng)絡(luò)各節(jié)點(diǎn)優(yōu)化交付模式的改變，應(yīng)用能力的按需提供降低終端成本，滿足客戶動(dòng)態(tài)需求概念：分布式存儲(chǔ)系統(tǒng)是分布式計(jì)算環(huán)境的根底架構(gòu)之一，它把分散在網(wǎng)絡(luò)中的存儲(chǔ)資源以統(tǒng)一的視點(diǎn)呈現(xiàn)給用戶，簡(jiǎn)化了用戶訪問的復(fù)雜性，加強(qiáng)了分布系統(tǒng)的可管理性，也為進(jìn)一步開發(fā)分布式應(yīng)用準(zhǔn)備了條件?；谠茢?shù)據(jù)中心的分布式存儲(chǔ)系統(tǒng)構(gòu)建在大規(guī)模效勞器群上，面臨以下幾個(gè)挑戰(zhàn)：1〕效勞器等組件的失效將是正?，F(xiàn)象，需解決系統(tǒng)的容錯(cuò)問題；2〕提供海量數(shù)據(jù)的存儲(chǔ)和快速讀?。?〕多用戶同時(shí)訪問文件系統(tǒng)，需解決并發(fā)控制和訪問效率問題；4〕效勞器增減頻繁，需解決動(dòng)態(tài)擴(kuò)展問題；5〕需提供類似傳統(tǒng)文件系統(tǒng)的接口以兼容上層應(yīng)用開發(fā)，支持創(chuàng)立、刪除、翻開、關(guān)閉、讀寫文件等常用操作。12GFS的設(shè)計(jì)理念效勞器DOWN機(jī)作為常態(tài)文件用塊存儲(chǔ)每個(gè)塊固定為64MB通過冗余解決可靠性問題每個(gè)塊同時(shí)拷貝在3個(gè)塊效勞器上主效勞器負(fù)責(zé)協(xié)調(diào)訪問和保存元數(shù)據(jù)簡(jiǎn)單化的集中管理定制化的API無數(shù)據(jù)緩存較大文件塊和流式讀取使得緩存效果不佳13GFS體系結(jié)構(gòu)14 對(duì)于并行編程而言，核心的問題是如何把一個(gè)大的應(yīng)用程序分解成假設(shè)干可以并行處理的子程序。有兩種可能處理的方法，一種是分割計(jì)算，即把應(yīng)用程序的功能分割成假設(shè)干個(gè)模塊，由網(wǎng)絡(luò)上多臺(tái)機(jī)器協(xié)同完成；另一種是分割數(shù)據(jù)，即把數(shù)據(jù)集分割成小塊，由網(wǎng)絡(luò)上的多臺(tái)計(jì)算機(jī)分別計(jì)算。目的是實(shí)現(xiàn)分布式計(jì)算，讓幾個(gè)物理上獨(dú)立的組件作為一個(gè)單獨(dú)的系統(tǒng)協(xié)同工作，這些組件可能指多個(gè)CPU，或者網(wǎng)絡(luò)中的多臺(tái)計(jì)算機(jī)。15復(fù)雜，很難入門如何簡(jiǎn)單化Map/Reduce用于大規(guī)模數(shù)據(jù)并行處理數(shù)據(jù)量大〔超過1TB〕在成百上千個(gè)CPU上并行處理用戶只需實(shí)現(xiàn)下面接口 map(in_key,in_value)-> (out_key,intermediate_value)list reduce(out_key,intermediate_valuelist)-> out_valuelist16Catinput|grepxxx|sort|uniq–c|cat>output架構(gòu)17實(shí)現(xiàn)原理1819分布式數(shù)據(jù)庫是對(duì)海量數(shù)據(jù)進(jìn)行存儲(chǔ)和管理。分布式數(shù)據(jù)庫是一組結(jié)構(gòu)化的數(shù)據(jù)集，邏輯上屬于同一系統(tǒng)，而物理上分散在用計(jì)算機(jī)網(wǎng)絡(luò)連接的多個(gè)場(chǎng)地上，并統(tǒng)一由一個(gè)分布式數(shù)據(jù)庫管理系統(tǒng)管理。與集中式或分散數(shù)據(jù)庫相比，分布式數(shù)據(jù)庫具有可靠性高、模塊擴(kuò)展容易、響應(yīng)延遲小、負(fù)載均衡、容錯(cuò)能力強(qiáng)等優(yōu)點(diǎn)。BigTable的設(shè)計(jì)理念面向網(wǎng)頁數(shù)據(jù)的發(fā)布、搜索和瀏覽等特定處理的需要，簡(jiǎn)化數(shù)據(jù)管理系統(tǒng)的設(shè)計(jì)，并提高性能不支持關(guān)聯(lián)不支持SQL查詢簡(jiǎn)化數(shù)據(jù)的一致性管理網(wǎng)頁數(shù)據(jù)的管理對(duì)一致性要求不高簡(jiǎn)化事務(wù)管理網(wǎng)頁數(shù)據(jù)的處理〔搜索、發(fā)布〕對(duì)事務(wù)管理要求不高面向海量數(shù)據(jù)管理要求設(shè)計(jì)分割和合并管理機(jī)制〔基于元數(shù)據(jù)〕設(shè)計(jì)自動(dòng)伸縮功能〔根據(jù)數(shù)據(jù)量調(diào)整資源用量〕20Bigtable根本架構(gòu)21 在分布式系統(tǒng)中，對(duì)共享資源的并行操作可能會(huì)引起喪失修改、讀臟數(shù)據(jù)、不可重復(fù)讀等數(shù)據(jù)不一致問題，這時(shí)需要引入同步機(jī)制，控制進(jìn)程的并發(fā)操作。2223基本架構(gòu)組成：客戶端+5個(gè)效勞器〔Chubby單元〕；主效勞器機(jī)制：5個(gè)效勞器〔Chubby單元〕，只有一個(gè)主效勞器，租續(xù)期內(nèi)所有的客戶請(qǐng)求都是由主效勞器來處理的；客戶端定位主效勞器：DNS請(qǐng)求。Chubby的設(shè)計(jì)目標(biāo)主要有以下幾點(diǎn)。1〕高可用性和高可靠性。這是系統(tǒng)設(shè)計(jì)的首要目標(biāo)，在保證這一目標(biāo)的根底上再考慮系統(tǒng)的吞吐量和存儲(chǔ)能力。2〕高擴(kuò)展性。將數(shù)據(jù)存儲(chǔ)在價(jià)格較為低廉的RAM，支持大規(guī)模用戶訪問文件。3〕支持粗粒度的建議性鎖效勞。提供這種效勞的根本目的是提高系統(tǒng)的性能。4〕效勞信息的直接存儲(chǔ)?？梢灾苯哟鎯?chǔ)包括元數(shù)據(jù)、系統(tǒng)參數(shù)在內(nèi)的有關(guān)效勞信息，而不需要再維護(hù)另一個(gè)效勞。5〕支持通報(bào)機(jī)制?？蛻艨梢约皶r(shí)地了解到事件的發(fā)生。6〕支持緩存機(jī)制。通過一致性緩存將常用信息保存在客戶端，防止了頻繁地訪問主效勞器。24Chubby客戶端與效勞器端的通信過程251234目錄5云計(jì)算商用-開源比照26云計(jì)算開源-HadoopHadoop是Apache開源組織的一個(gè)分布式計(jì)算開源框架，在很多大型網(wǎng)站上都已經(jīng)得到了應(yīng)用，如亞馬遜、Facebook和Yahoo等等。Google的開源實(shí)現(xiàn)HDFS是GoogleFileSystem〔GFS〕的開源實(shí)現(xiàn);MapReduce是GoogleMapReduce的開源實(shí)現(xiàn);HBase是GoogleBigTable的開源實(shí)現(xiàn)。27云計(jì)算開源-EucalyptusEucalyptus工程〔ElasticUtilityComputingArchitectureforLinkingYourProgramsToUsefulSystems〕是AmazonEC2的一個(gè)開源實(shí)現(xiàn)，它與商業(yè)效勞接口兼容。和EC2一樣，Eucalyptus依賴于Linux和Xen進(jìn)行操作系統(tǒng)虛擬化。Eucalyptus是加利福尼亞大學(xué)〔SantaBarbara〕為進(jìn)行云計(jì)算研究而開發(fā)的28OpenNebula云計(jì)算開源-10genMongoDB

10gen既是一個(gè)云平臺(tái)，又是一個(gè)可下載的開放源代碼包，可用于創(chuàng)立您自己的私有云。10gen是類似于AppEngine的一個(gè)軟件棧，它提供與AppEngine類似的功能―但有一些不同之處。通過10gen，可以使用Python以及JavaScript和Ruby編程語言開發(fā)應(yīng)用程序。該平臺(tái)還使用沙盒概念隔離應(yīng)用程序，并且使用它們自己的應(yīng)用效勞器的許多計(jì)算機(jī)(當(dāng)然，是在

Linux上構(gòu)建)提供一個(gè)可靠的環(huán)境。MongoDB是一個(gè)高性能的面向文件的開源數(shù)據(jù)存儲(chǔ)工程。十分容易部署，管理和使用?？梢酝ㄟ^網(wǎng)絡(luò)訪問，并且由C++語言編寫。主要包含的功能特性有易存儲(chǔ)對(duì)象類型的數(shù)據(jù)，完全索引支持，查詢支持，復(fù)制和故障恢復(fù)支持，高效的二進(jìn)制數(shù)據(jù)存儲(chǔ)，自動(dòng)處理碎片提高云層次上的擴(kuò)展性。高性能，可擴(kuò)展，適當(dāng)?shù)墓δ苁惯@個(gè)工程的主要設(shè)計(jì)目標(biāo)。29301234目錄5電信云計(jì)算總體開展規(guī)劃初步構(gòu)建包含IaaS、PaaS和AaaS的完整效勞體系。IDC信息化應(yīng)用云服務(wù)PaaS開放平臺(tái)戰(zhàn)略合作ＳａａＳ／ＡａａＳＰａａＳＩａａＳ商務(wù)領(lǐng)航號(hào)百彈性存儲(chǔ)服務(wù)彈性計(jì)算服務(wù)切入點(diǎn)產(chǎn)品平臺(tái)開展規(guī)劃合作廠家IBM微軟微軟IBMHadoopIBMVMWareXen２００９－２０１2SaaS軟件效勞天翼軟件廣場(chǎng)/OneApp移動(dòng)互聯(lián)網(wǎng)云服務(wù)內(nèi)部試驗(yàn)平臺(tái)SCE及開放API災(zāi)備與恢復(fù)彈性大容量數(shù)據(jù)庫先試點(diǎn)后推廣，初步形成價(jià)值鏈；內(nèi)部應(yīng)用：以提升性能為目的IaaS先試點(diǎn)再規(guī)模開展；內(nèi)部應(yīng)用：以提升資源效益為主IT系統(tǒng)整合移動(dòng)互聯(lián)網(wǎng)基礎(chǔ)設(shè)施整合外部開放平臺(tái)號(hào)百整合內(nèi)部海量數(shù)據(jù)處理平臺(tái)內(nèi)部應(yīng)用31321234目錄5亞馬遜云計(jì)算AWS-商業(yè)應(yīng)用

33彈性計(jì)算云EC2 一部具有無限采集能力的虛擬計(jì)算機(jī)，用戶能夠用來執(zhí)行一些處理任務(wù)。簡(jiǎn)單存儲(chǔ)效勞S3 一個(gè)很大的磁盤驅(qū)動(dòng)或一個(gè)SAN。簡(jiǎn)單數(shù)據(jù)庫效勞SimpleDB 為復(fù)雜的，結(jié)構(gòu)化數(shù)據(jù)建立的，支持?jǐn)?shù)據(jù)的查找、刪除、插入等操作。微軟Azure虛擬化平臺(tái)-Xen與KVM

34HadoopHDFS->GFS分布式文件系統(tǒng)

35HadoopHDFS->GFS分布式文件系統(tǒng)(read)

36HadoopHDFS->GFS分布式文件系統(tǒng)(write)

37HadoopHDFS操作命令38HadoopMapReduce->googleMapReduce工作流39SHELL:~>catinput|grepxxx|sort|uniq-c|cat>outputmapReduce：

Input|Map|Shuffle&Sort|Reduce|OutputInput：一個(gè)HadoopMapReduce應(yīng)用通常需要提供一對(duì)通過實(shí)現(xiàn)合適的接口或抽象類提供的Map和Reduce函數(shù)，還應(yīng)該指明輸入/輸出的位置（路徑）和其他一些運(yùn)行參數(shù)。此外，此階段還會(huì)把輸入目錄下的大數(shù)據(jù)文件切分為若干獨(dú)立的數(shù)據(jù)塊。Map：MapReduce框架把應(yīng)用作業(yè)的輸入看為是一組<key,value>鍵值對(duì)，在Map這個(gè)階段，框架會(huì)調(diào)用用戶自定義的Map函數(shù)處理每一個(gè)<key,value>鍵值對(duì)，生成一批新的中間<key,value>鍵值對(duì)，這兩組鍵值對(duì)的類型可能不同。Shuffle&Sort：為了保證Reduce的輸入是Map排好序的輸出。在Shuffle階段，框架通過HTTP為每個(gè)Reduce獲得所有Map輸出中與之相關(guān)的<key,value>鍵值對(duì)；而在Sort階段，框架將按照key的值對(duì)Reduce的輸入進(jìn)行分組（因?yàn)椴煌琺ap的輸出中可能會(huì)有相同的key）。通常Shuffle和Sort兩個(gè)階段是同時(shí)進(jìn)行的，Reduce的輸入也是一邊被取回，一邊被合并的。Reduce：此階段會(huì)遍歷中間數(shù)據(jù)，對(duì)每一個(gè)唯一key，執(zhí)行用戶自定義的Reduce函數(shù)（輸入?yún)?shù)是<key,(listofvalues)>），輸出是新的<key,value>鍵值對(duì)。Output：此階段會(huì)把Reduce輸出的結(jié)果寫入輸出目錄的文件中。這樣，一個(gè)典型的MapReduce過程就結(jié)束了。HadoopMapReduce->googleMapReduce執(zhí)行過程40HadoopMapReduce->googleMapReduce并行執(zhí)行41HadoopMapReduce執(zhí)行例子監(jiān)控42://3:50030/jobtracker.jspHadoopZooKeeper->