云計(jì)算基礎(chǔ)知識(shí)整理

云計(jì)算是對(duì)〔D〕技術(shù)的進(jìn)展與運(yùn)用并行計(jì)算B網(wǎng)格計(jì)算C分布式計(jì)算D三個(gè)選項(xiàng)都是IBM在2007年11月退出了“改進(jìn)玩耍規(guī)章”的〔A〕計(jì)算平臺(tái)，為客戶帶來即買即用的云計(jì)算平臺(tái)。A.藍(lán)云B.藍(lán)天C. ARUZE D.EC2200810月推出云計(jì)算操作系統(tǒng)是〔C〕GoogleAppEngine B.藍(lán)云C.Azure D.EC22008〔A〕先后在無錫和北京建立了兩個(gè)云計(jì)算中心IBMB.Google C.AmazonD.微軟將平臺(tái)作為效勞的云計(jì)算效勞類型是〔B〕A.IaaS B.PaaSC.SaaSD.三個(gè)選項(xiàng)都不是將根底設(shè)施作為效勞的云計(jì)算效勞類型是〔A〕IaaSB.PaaSC.SaaSD.三個(gè)選項(xiàng)都不是IaaS計(jì)算實(shí)現(xiàn)機(jī)制中，系統(tǒng)治理模塊的核心功能是〔A〕負(fù)載均衡B監(jiān)視節(jié)點(diǎn)的運(yùn)行狀態(tài)C應(yīng)用APID.節(jié)點(diǎn)環(huán)境配置云計(jì)算體系構(gòu)造的〔C〕負(fù)責(zé)資源治理、任務(wù)治理用戶治理和安全治理等工作A.物理資源層B.資源池層C.治理中間件層D.SOA構(gòu)建層云計(jì)算依據(jù)效勞類型大致可分為以下類〔A、B、C〕IaaS B.PaaS C.SaaS D.效用計(jì)算以下不屬于Google云計(jì)算平臺(tái)技術(shù)架構(gòu)的是〔D〕并行數(shù)據(jù)處理MapReduce B.分布式鎖ChubbyC. 結(jié)構(gòu)化數(shù)據(jù)表BigTable D.EC2在目前GFS集群中，每個(gè)集群包含〔B〕個(gè)存儲(chǔ)節(jié)點(diǎn)幾百個(gè) B.幾千個(gè)C.幾十個(gè)D.幾十萬個(gè)以下選項(xiàng)中，哪條不是GFS選擇在用戶態(tài)下實(shí)現(xiàn)的緣由〔D〕A.調(diào)試簡(jiǎn)潔B.不影響數(shù)據(jù)塊效勞器的穩(wěn)定性C.D.簡(jiǎn)潔擴(kuò)展GFS中主效勞器節(jié)點(diǎn)存儲(chǔ)的元數(shù)據(jù)包含這些信息〔BCD〕A.文件副本的位置信息B.命名空間C.Chunk與文件名的映射D.Chunk副本的位置信息單一主效勞器〔Master〕解決性能瓶頸的方法是〔ABCD〕A.削減其在數(shù)據(jù)存儲(chǔ)中的參與程度B.不適用Master讀取數(shù)據(jù)C.客戶端緩存元數(shù)據(jù)D.承受大尺寸的數(shù)據(jù)塊〔B〕是Google提出的用于處理海量數(shù)據(jù)的并行編程模式和大規(guī)模數(shù)據(jù)集的并行運(yùn)算的軟件架構(gòu)。A.GFS B.MapReduce C.Chubby D.BitTableMapreduce適用于〔D〕A.任意應(yīng)用程序B.任意可在windowsservet2008上運(yùn)行的程序C.可以串行處理的應(yīng)用程序 D.可以并行處理的應(yīng)用程序MapReduce通常把輸入文件依據(jù)〔C〕MB來劃分A.16 B32 C64 D128與傳統(tǒng)的分布式程序設(shè)計(jì)相比，Mapreduce封裝了〔ABCD〕等細(xì)節(jié)，還供給了一個(gè)簡(jiǎn)潔而強(qiáng)大的接口。A.并行處理B.容錯(cuò)處理C.本地化計(jì)算D.負(fù)載均衡〔D〕是Google的分布式數(shù)據(jù)存儲(chǔ)于治理系統(tǒng)A.GFS B.MapReduce C.Chubby D.Bigtable在Bigtable 中，〔A〕主要用來存儲(chǔ)子表數(shù)據(jù)以及一些日志文件A.GFS B.Chubby C.SSTable D.MapReduceGoogleAPPEngine使用的數(shù)據(jù)庫(kù)是〔C〕A.改進(jìn)的SQLServerB.Orack C.Datestore D.亞馬遜的SimpleDBGoogleAPPEngine目前支持的編程語(yǔ)言有〔AD〕A.Python語(yǔ)言B.C++語(yǔ)言C.匯編語(yǔ)言D.JAVA語(yǔ)言亞馬遜AWS承受〔A〕虛擬化技術(shù)A.未使用B.Hyper-VC.Vmware D.Xen亞馬遜將區(qū)域分為〔AC〕A地理區(qū)域B不行用區(qū)域C可用區(qū)域D隔離區(qū)域下面選項(xiàng)屬于Amazon供給的云計(jì)算效勞是〔ABC〕A.彈性云計(jì)算EC2 B簡(jiǎn)潔存儲(chǔ)效勞S3c簡(jiǎn)潔隊(duì)列效勞SQS D.Net效勞不屬于彈性計(jì)算云EC2包含的IP地址的是〔C〕A.IP地址B.私有IP地址C.IP地址D.IP地址在EC2的安全與容錯(cuò)機(jī)制中，一個(gè)用戶目前最多可以創(chuàng)立〔B〕安全組。A.50B.100C.150 D.200EC2常用的API包含以下哪些類型的操〔ABCD〕A.AMI B.安全組 C實(shí)例D彈性IP地址S3的根本存儲(chǔ)單元是〔B〕 A.效勞 B.對(duì)象 C.卷 D.組S3承受的特地安全措施是〔AB〕A.身份認(rèn)證B.訪問掌握列表C防火墻D防木馬病毒技術(shù)在云計(jì)算系統(tǒng)中，供給“云端”效勞模式是〔D〕A.IBM B.GOOGLE C. AmaxonD.微軟以下四種云計(jì)算方案中，效勞間的耦合度最高的是〔C〕A.亞馬遜AWSB.微軟AZUREC.GoogleAPPEngine D.IBM的“藍(lán)云”云格可以完成的效勞有〔ABCD〕A.數(shù)據(jù)處理效勞B.格處理效勞C.高性能計(jì)算效勞D.協(xié)作效勞亞馬遜AWS供給的云計(jì)算效勞類型是〔D〕A.IaaS B.PaaSC.SaaSD.三個(gè)選項(xiàng)都是Google文件系統(tǒng)將整個(gè)系統(tǒng)的節(jié)點(diǎn)分為〔ABC〕的角色A.客戶端B.主效勞器 C.數(shù)據(jù)塊效勞器 D.監(jiān)測(cè)效勞器Google文件系統(tǒng)具有〔ABD〕特點(diǎn)A.承受中心效勞器模式 B不緩存數(shù)據(jù)C.承受邊緣效勞器模式 D在用戶態(tài)下實(shí)現(xiàn)Google不緩存數(shù)據(jù)的緣由是〔ABCD〕A.OFSB.維護(hù)緩存與實(shí)際數(shù)據(jù)之間的全都性太簡(jiǎn)單C.D.數(shù)據(jù)塊效勞器上的數(shù)據(jù)存取使用本地文件系統(tǒng)從爭(zhēng)論現(xiàn)狀上看，下面不屬于云計(jì)算特點(diǎn)的是〔C〕A.超大規(guī)模B.虛擬化C.私有化D.高牢靠性與網(wǎng)絡(luò)計(jì)算相比，不屬于云計(jì)算特征的是〔B〕A.資源高度共享B.適合緊耦合科學(xué)計(jì)算C.支持虛擬機(jī)D.適用于商業(yè)領(lǐng)域一，填空題〔30分〕云計(jì)算是以公開的標(biāo)準(zhǔn)和效勞為根底，以互聯(lián)網(wǎng)為中心，供給“云“成為每一個(gè)網(wǎng)民的數(shù)據(jù)中心和計(jì)算中心。對(duì)供給者而言云計(jì)算可以三種部署模式即 公有云 、私有云 和混合云。當(dāng)前，幾乎全部的知名IT供給商、互聯(lián)網(wǎng)供給商，甚至電信運(yùn)營(yíng)商都在向云計(jì)算進(jìn)軍，都在供給相關(guān)的云效勞。但歸納起來，當(dāng)前云供給者可以分為三大類，即SaaS供給商、PaaS和IaaS供給商。5. 云計(jì)算CloudComputin：一種利用 大規(guī)模低本錢 運(yùn)算單元通過IP網(wǎng)絡(luò)連接，以供給各種計(jì)算和存儲(chǔ)效勞的IT技術(shù)。二，選擇題(可多項(xiàng)選擇)〔50分〕云計(jì)算的特點(diǎn)？(ABCDE)A．大規(guī)模B.平滑擴(kuò)展C資源共享D.動(dòng)態(tài)安排E.跨地域?qū)毜麓鎯?chǔ)云解決方案價(jià)值有哪些？(ABCD ) A.海量小文件的高效治理B.PB級(jí)的存儲(chǔ)空間和線行擴(kuò)展力量 C.可動(dòng)態(tài)提升的性能 D.數(shù)據(jù)高牢靠性目前，選用開源的虛擬化產(chǎn)品組建虛擬化平臺(tái)，構(gòu)建基于硬件的虛擬化層，可以選用〔BCD 〕A.Xen B.VMwareC.Hyper-v D.Citrix4．在云計(jì)算中，虛擬層主要包括〔ABC〕A.效勞器虛擬化B.存儲(chǔ)虛擬化C.網(wǎng)絡(luò)虛擬化D.桌面虛擬化將來云計(jì)算效勞面對(duì)那些客戶？〔ABCDE〕A.個(gè)人B.企業(yè)C.政府D.教育E.爭(zhēng)論所云安全主要的考慮的關(guān)鍵技術(shù)有哪些？〔ABC〕A.數(shù)據(jù)安全B.應(yīng)用安全C.虛擬化安D.效勞器安全I(xiàn)aaS、PaaSSaaS三種類型，不同的廠家又供給了不同的解決方案，目3次要功能尚未概括進(jìn)來。圖3 云計(jì)算技術(shù)體系構(gòu)造4層：物理資源層、資源池層、治理中間件層和SOA構(gòu)建層，如圖3所示。物理資源層包括計(jì)算機(jī)、存儲(chǔ)器、網(wǎng)絡(luò)設(shè)施、數(shù)據(jù)庫(kù)和軟件等；資源池層是將大量一樣多是物理資源的集成和治理工作，例如爭(zhēng)論在一個(gè)標(biāo)準(zhǔn)集裝箱的空間如何裝下2000個(gè)效勞器治理，并對(duì)眾多應(yīng)用任務(wù)進(jìn)展調(diào)度，使資源能夠高效、安全地為應(yīng)用供給效勞；SOA構(gòu)建層將云計(jì)算力量封裝成標(biāo)準(zhǔn)的WebServices效勞，并納入到SOA體系進(jìn)展治理和使用，包鍵局部，SOA構(gòu)建層的功能更多依靠外部設(shè)施供給。視統(tǒng)計(jì)；任務(wù)治理負(fù)責(zé)執(zhí)行用戶或應(yīng)用提交的任務(wù)，包括完成用戶任務(wù)映象(Image)的部署授權(quán)、綜合防護(hù)和安全審計(jì)等?；谏鲜鲶w系構(gòu)造，本文以IaaS云計(jì)算為例，簡(jiǎn)述云計(jì)算的實(shí)現(xiàn)機(jī)制，如圖4所示。用戶交互接口向應(yīng)用以WebServices工具來為用戶預(yù)備運(yùn)行環(huán)境。HadoopHDFS特性簡(jiǎn)介一、設(shè)計(jì)思想1HDFS可能是有上千的機(jī)器組成〔文檔中描述的YahooHadoop4096〕，任何一個(gè)組件都有可能始終失效，因此數(shù)據(jù)的強(qiáng)健性錯(cuò)誤檢測(cè)和快速、自動(dòng)的恢復(fù)是HDFS2HDFSHDFS的設(shè)計(jì)中更多的考慮到了數(shù)據(jù)批處理，而不是用戶交互處理。比之?dāng)?shù)據(jù)訪問的低延遲問題，更關(guān)鍵的在于數(shù)據(jù)并發(fā)訪問的高吞吐量。POSIX標(biāo)準(zhǔn)設(shè)置的很多硬性約束對(duì)HDFS應(yīng)用系統(tǒng)不是必需的。為了提高數(shù)據(jù)的吞吐量，在一些關(guān)鍵方面對(duì)POSIX的語(yǔ)義做了一些修改。3、HDFS應(yīng)用對(duì)文件要求的是write-one-read-many典型的如MapReducewebcrawler4、移動(dòng)計(jì)算的代價(jià)比之移動(dòng)數(shù)據(jù)的代價(jià)低。一個(gè)應(yīng)用懇求的計(jì)算，離它操作的數(shù)據(jù)越近就到應(yīng)用所在明顯更好，HDFS5、在異構(gòu)的軟硬件平臺(tái)間的可移植性。二、NamenodeDatanodeHDFS集群有一個(gè)Namenode和肯定數(shù)目的DatanodeNamenodenamespaceDatanode在集群中會(huì)有多個(gè)，一般是一個(gè)節(jié)點(diǎn)存在一個(gè)，負(fù)責(zé)治理其自身節(jié)點(diǎn)上它們附帶的存儲(chǔ)。在內(nèi)部，一個(gè)大文件其分成一個(gè)或多個(gè)block，這些block存儲(chǔ)在Datanode集合里。Namenode執(zhí)行文件系統(tǒng)的namespace打算了block到具體DatanodeDatanodeNamenode的指揮下進(jìn)展block的創(chuàng)立、刪除和復(fù)制。單一節(jié)點(diǎn)的NamenodeNamenode負(fù)責(zé)保管和治理全部的HDFSNamenodeNamenode參與而直接從Datanode進(jìn)展。為了提高Namenode的性能，全部文件的namespace數(shù)據(jù)都在內(nèi)存中維護(hù)，所以就天生存在了由于內(nèi)存大小的限制導(dǎo)致一個(gè)HDFS依據(jù)目前的文檔，一個(gè)元數(shù)據(jù)〔一個(gè)HDFS文件塊兒〕占用200Bytes，假設(shè)是頁(yè)面抓取的小32GB1.5〔有待準(zhǔn)確具體測(cè)試〕。namespaceHDFS支持傳統(tǒng)的層次型文件組織，與大多數(shù)其他文件系統(tǒng)類似，用戶可以創(chuàng)立名目，并在其間創(chuàng)立、刪除、移動(dòng)和重命名文件。HDFS不支持userquotas接〔linkNamenode維護(hù)文件系統(tǒng)的namespace，任何對(duì)文件系統(tǒng)namespaceNamenodeHDFS保存的文件的副本數(shù)目，文件副本的數(shù)目稱為文件的replicationNamenode四、數(shù)據(jù)復(fù)制HDFS被設(shè)計(jì)成在一個(gè)大集群中可以跨機(jī)器地牢靠地存儲(chǔ)海量的文件。它將每個(gè)文件存儲(chǔ)成block序列，除了最終一個(gè)block，全部的block都是同樣的大小。文件的全部block容錯(cuò)都會(huì)被復(fù)制。每個(gè)文件的block大小和replication因子都是可配置的。ReplicationHDFS中的文件是write-one，并且嚴(yán)格要求在任何時(shí)候只有一個(gè)writer。Namenode全權(quán)治理block的復(fù)制，它周期性地從集群中的每個(gè)Datanode接收心跳包和一個(gè)BlockreportDatanode工作，而BlockreportDatanodeblock1、副本的存放，副本的存放是HDFS牢靠性和性能的關(guān)鍵。浩大的HDFS實(shí)例一般運(yùn)行在多下，同一個(gè)機(jī)架內(nèi)的兩個(gè)節(jié)點(diǎn)間的帶寬會(huì)比不同機(jī)架間的兩臺(tái)機(jī)器的帶寬大。在大多數(shù)狀況下，replication3，HDFS的性能。2、副本的選擇，為了降低整體的帶寬消耗和讀延時(shí)，HDFS會(huì)盡量讓reader假設(shè)在readerHDFS數(shù)據(jù)中心，那么reader3、SafeModeNamenode啟動(dòng)后會(huì)進(jìn)入一個(gè)稱為SafeMode的特別狀態(tài)，處在這個(gè)狀態(tài)的Namenode數(shù)據(jù)塊的復(fù)制的。NamenodeDatanodeBlockreport。Blockreport包括了某個(gè)Datanode全部的數(shù)據(jù)塊列表。每個(gè)block都有指定的最小數(shù)目的副本。當(dāng)Namenode檢測(cè)確認(rèn)某個(gè)DatanodeDatanode〔這個(gè)參數(shù)可配置〕Namenode將退出SafeModeblockDatanode。五、文件系統(tǒng)元數(shù)據(jù)的長(zhǎng)久化NamenodeHDFSNamenode個(gè)稱為EditlogHDFSNamenodeEditlogreplication因子也將往EditlogNamenode在本地OS的文件系統(tǒng)中存儲(chǔ)這個(gè)Editlognamespace，blockFsImageNamenodeNamenode在內(nèi)存中保存著整個(gè)文件系統(tǒng)namespace和文件Blockmap數(shù)據(jù)設(shè)計(jì)得很緊湊，一般為200Bytes4G內(nèi)存的Namenode支撐海量的文件和名目。當(dāng)NamenodeEditlogFsImage，將全部Editlog〔apply)在內(nèi)存中的FsImage，并將這個(gè)版本的FsImageflush到硬盤上,然后再truncate這個(gè)舊的EditlogEditlog已經(jīng)作用在FsImage上了。這個(gè)過程稱為checkpoint。在當(dāng)前實(shí)現(xiàn)中，checkpoint只發(fā)生Namenodecheckpoint。Datanode并不知道關(guān)于文件的任何東西，除了將文件中的數(shù)據(jù)保存在本地的文件系統(tǒng)上。它把每個(gè)HDFSDatanode法高效地在單一名目中支持大量的文件。當(dāng)一個(gè)Datanode啟動(dòng)時(shí)，它掃描本地文件系統(tǒng)，對(duì)這些本地文件產(chǎn)生相應(yīng)的一個(gè)全部HDFS數(shù)據(jù)塊的列表，然后發(fā)送報(bào)告到Namenode，這個(gè)報(bào)告就是Blockreport。六、通訊協(xié)議全部的HDFSTCP/IPNamenodeClientProtocolNamenodeDatanode是使用DatanodeProtocolNamenode交互。從ClientProtocol和Datanodeprotocol(RPC〕，在設(shè)計(jì)上，Namenode不會(huì)主動(dòng)發(fā)起RPC，而是是響應(yīng)來自客戶端和Datanode的RPC七、強(qiáng)健性HDFS的主要目標(biāo)就是實(shí)現(xiàn)在失敗狀況下的數(shù)據(jù)存儲(chǔ)牢靠性。常見的三種失?。篘amenodefailures,Datanodefailures〔networkpartitions)。1、硬盤數(shù)據(jù)錯(cuò)誤、心跳檢測(cè)和重復(fù)制每個(gè)Datanode節(jié)點(diǎn)都向Namenode周期性地發(fā)送心跳包DatanodeNamenode失去聯(lián)系。NamenodeDatanode標(biāo)記為dead，不會(huì)將的IO懇求發(fā)給它們。存放在deadDatanode效。Datanode的死亡可能引起一些blockNamenode要復(fù)制的block，在任何需要的狀況下啟動(dòng)復(fù)制。在以下狀況可能需要重復(fù)制：某個(gè)DatanodeDatanodereplication因子增大。2、集群均衡HDFS支持?jǐn)?shù)據(jù)的均衡打算，假設(shè)某個(gè)Datanode節(jié)點(diǎn)上的空閑空間低于特定的臨界點(diǎn)，那么就會(huì)啟動(dòng)一個(gè)打算自動(dòng)地將數(shù)據(jù)從一個(gè)Datanode搬移到空閑的Datanode的要求。這些均衡打算目前還沒有實(shí)現(xiàn)。3、數(shù)據(jù)完整性從某個(gè)DatanodeDatanode錯(cuò)誤、網(wǎng)絡(luò)錯(cuò)誤或者軟件bugHDFS客戶端軟件實(shí)現(xiàn)了HDFS某個(gè)客戶端創(chuàng)立一個(gè)的HDFS文件，會(huì)計(jì)算這個(gè)文件每個(gè)block的校驗(yàn)和，并作為一個(gè)單獨(dú)的隱蔽文件保存這些校驗(yàn)和在同一個(gè)HDFSnamespace確認(rèn)從Datanode獵取的數(shù)據(jù)跟相應(yīng)的校驗(yàn)和文件中的校驗(yàn)和是否匹配，假設(shè)不匹配，客戶端可以選擇從其他Datanodeblock4、元數(shù)據(jù)磁盤錯(cuò)誤FsImage和EditlogHDFSHDFSNamenodeFsImage和EditlogFsImage或者EditlogNamenode能支持處理的namespace事務(wù)。這個(gè)代價(jià)是可以承受的，由于HDFS是數(shù)據(jù)密集的，而非元數(shù)據(jù)密集。當(dāng)NamenodeFsImageEditlogNamenodeHDFS是單點(diǎn)存在，假設(shè)Namenode前，在另一臺(tái)機(jī)器上重啟因故障而停頓效勞的Namenode八、數(shù)據(jù)組織1、數(shù)據(jù)塊兼容HDFS的應(yīng)用都是處理大數(shù)據(jù)集合的。這些應(yīng)用都是寫數(shù)據(jù)一次，讀卻是一次到屢次，并且讀的速度要滿足流式讀。HDFS支持文件的write-once，read-many。一個(gè)典型的block64MB64M切分成chunk，每個(gè)chunk存儲(chǔ)于不同的Datanode上。2、數(shù)據(jù)產(chǎn)生步驟某個(gè)客戶端創(chuàng)立文件的懇求其實(shí)并沒有馬上發(fā)給Namenode，事實(shí)上，HDFS客戶端會(huì)將文件件累積的數(shù)據(jù)超過一個(gè)block〔默認(rèn)64M)，客戶端才會(huì)聯(lián)系Namenode。Namenode將文件名插入文件系統(tǒng)的層次構(gòu)造中，并且安排一個(gè)數(shù)據(jù)塊給它，然后返回Datanode