云計算與大數(shù)據(jù)技術(shù)應(yīng)用習(xí)題

1、1 .簡述什么是云計算?答:云計算是一種動態(tài)擴展的計算模式，通過網(wǎng)絡(luò)將虛擬化的資源作為服務(wù)提供；云計算是一種無處不在的、便捷的通過互聯(lián)網(wǎng)訪問一個可定制的IT資源（IT資源包括網(wǎng)絡(luò)、服務(wù)器、存儲、應(yīng)用軟件和服務(wù)）共享池，并是一種按使用量付費的模式，它能夠通過最少量的管理或與服務(wù)供應(yīng)商的互動實現(xiàn)計算資源的迅速供給和釋放；云計算是基于互聯(lián)網(wǎng)服務(wù)的增加、使用和交付模式，通常涉及通過互聯(lián)網(wǎng)來提供動態(tài)易擴展且經(jīng)常是虛擬化的資源。2 .云計算有什么特點？答：具有大規(guī)模并行計算能力；資源虛擬化（Virtualization）和彈性調(diào)度；數(shù)據(jù)量巨大并且增速迅猛；高可靠性；按需分配，按量計費。3 .請分另I回答什

2、么是IaaS、PaaSSaaS?答：IaaS:基礎(chǔ)設(shè)施即服務(wù)，InfrastructureasaServicePaaS:平臺即服務(wù)，PlatformasaServiceSaaS軟件即服務(wù),SoftwareasaService4 .云計算的基礎(chǔ)設(shè)施有哪些，各自完成什么功能？答：分布式文件系統(tǒng)，完成數(shù)據(jù)的存儲；MapReduce編程模式，提供分布式并行編程環(huán)境進行數(shù)據(jù)處理；大規(guī)模分布式數(shù)據(jù)庫BigTable,提供分布式大規(guī)模數(shù)據(jù)庫管理系統(tǒng)。1 .解釋說明什么是非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)？答：非結(jié)構(gòu)化數(shù)據(jù)是數(shù)據(jù)結(jié)構(gòu)不規(guī)則或不完整，沒有預(yù)定義的數(shù)據(jù)模型，不方便用數(shù)據(jù)庫二維邏輯表來表現(xiàn)的數(shù)據(jù)，包括所有格式的

3、辦公文檔、文本、圖片、圖像和音頻/視頻信息等。半結(jié)構(gòu)化數(shù)據(jù)是介于完全結(jié)構(gòu)化數(shù)據(jù)（如關(guān)系型數(shù)據(jù)庫、面向?qū)ο髷?shù)據(jù)庫中的數(shù)據(jù)）和完全無結(jié)構(gòu)的數(shù)據(jù)之間的數(shù)據(jù)，XML、HTML文檔屬于半結(jié)構(gòu)化數(shù)據(jù)，它一般是自描述的，數(shù)據(jù)的結(jié)構(gòu)和內(nèi)容混在一起，沒有明顯的區(qū)分。2 .大數(shù)據(jù)價值鏈的三大構(gòu)成是什么？答：數(shù)據(jù)本身、技能與思維。3 .大數(shù)據(jù)的4V特征是什么?答：多樣性（Variety）;規(guī)模性大（Volume）;快速性（Velocity）;價值密度低（Value）。4 .簡述云計算與大數(shù)據(jù)的關(guān)系？答：云計算與大數(shù)據(jù)是一對相輔相成的概念，它們描述了面向計算時代信息技術(shù)的兩個方面，云計算側(cè)重于描述資源和應(yīng)用的網(wǎng)絡(luò)化交

4、付方法，大數(shù)據(jù)側(cè)重于描述面向數(shù)據(jù)時代由于數(shù)據(jù)量巨大所帶來的技術(shù)挑戰(zhàn)。云計算的核心是業(yè)務(wù)模式，本質(zhì)是數(shù)據(jù)處理技術(shù)。數(shù)據(jù)是資產(chǎn)，云為數(shù)據(jù)資產(chǎn)提供了存儲、訪問的場所和計算，即云計算更偏重海量存儲和計算，以及提供的云服務(wù)，運行云應(yīng)用。云計算是基礎(chǔ)設(shè)施架構(gòu)，大數(shù)據(jù)是靈魂資產(chǎn)。1 .什么是虛擬化？答：虛擬化是一個廣義的術(shù)語，對不同的行業(yè)或不同的人有著不同的意義。在計算機科學(xué)領(lǐng)域中，虛擬化意味著對計算機資源的抽象。簡單來說，虛擬化是模擬真正的（或者稱物理的）計算機資源，模擬CPU、內(nèi)存、存儲、網(wǎng)絡(luò)等用戶可見的物理的硬件資源。2 .為什么要使用虛擬化？答：使用虛擬化的原因主要有以下四點：（1）使用虛擬化可以共

5、享資源，而相互不受影響。（2）使用虛擬化可以將很多零散的資源集中到一處，而使用的用戶則感覺像是一個整體。（3）使用虛擬化可以動態(tài)維護資源的分配，動態(tài)擴展或減少某個用戶所使用的資源。（4）使用虛擬化易于管理資源，易于發(fā)布版本，易于部署版本，易于測試版本等。3 .常見的虛擬化技術(shù)有哪些？答：常見的虛擬化技術(shù)有：CPU虛擬化，內(nèi)存虛擬化，全虛擬化，半虛擬化，硬件輔助虛擬化，存儲虛擬化等虛擬化技術(shù)。1 .數(shù)據(jù)中心的發(fā)展經(jīng)歷了?>?四個階段。答：巨型機時代、微型計算機/PC時代、互聯(lián)網(wǎng)時代、云計算與大數(shù)據(jù)時代。2 .數(shù)據(jù)中心的選址主要考慮?等I答：地質(zhì)條件、氣候環(huán)境、電力供給、網(wǎng)絡(luò)帶寬。3 .數(shù)據(jù)

6、中心的主要組成部分有?o答：基礎(chǔ)設(shè)施、硬件設(shè)施、基礎(chǔ)軟件、管理支撐軟件。4 .PUE的定義為答：PUE(PowerUsageEffectiveness由美國綠色網(wǎng)格聯(lián)盟(TheGreenGrid)于2007年提出，是業(yè)界公認的測量數(shù)據(jù)中心能耗的主要指標(biāo)之一，其定義如下：數(shù)據(jù)中心整體能耗PUEIT設(shè)備能耗5 .DCIE的定義為二答：DCIE(DataCenterInfrastructureEfficiency)是數(shù)據(jù)中心能耗評估的另一公認指標(biāo)，是由美國綠色網(wǎng)格聯(lián)盟于2007年提出，用于表示數(shù)據(jù)中心IT設(shè)備用電占總用電量的比例，其定義如下：IT設(shè)備能耗DCIE數(shù)據(jù)中心整體能耗1 .解釋說明什么是并

7、行計算？簡要概括并行計算的發(fā)展如何？答：在計算機術(shù)語中，并行性指的是把一個復(fù)雜問題分解成多個能同時處理子問題的能力。并行計算(ParallelComputing)是指同時使用多種計算資源解決計算問題的過程，是提高計算機系統(tǒng)計算速度和處理能力的一種有效手段。20世紀70年代，第一臺并行計算機于1972年產(chǎn)生(ILLIACIV，伊利諾依大學(xué))，由64個處理器組成，可擴展性好，但可編程性差；20世紀80年代，并行計算機進入百家爭鳴狀態(tài)，以多指令多數(shù)據(jù)流MIMD(MultipleInstructionstreamMultipleDatastrearni)并行計算機為主；20世紀90年代，并行計算體系結(jié)

8、構(gòu)框架趨于統(tǒng)一，基本以分布式共享存儲(DistributedSharedMemory,DSM)、大規(guī)模并行處理結(jié)構(gòu)(MassivelyParallelProcessingMPP)、工作站機群(ClusterofWorkstations,COW）為代表；21世紀初，并行計算得到了前所未有的大踏步發(fā)展，以COW為原型的由大規(guī)模商用普通PC機構(gòu)成的機群為主；今天，越來越多的并行計算機系統(tǒng)采用商品化的微處理器加上商品化的互連網(wǎng)絡(luò)構(gòu)造，這種分布存儲的并行計算機系統(tǒng)稱為集群（NOW）,并行計算進入了一個新的時代，并行計算的應(yīng)用達到了前所未有的廣度和深度。2 .簡要說明集群的概念和集群系統(tǒng)的分類。答：集群是

9、一組獨立的計算機（結(jié)點）的集合體，結(jié)點間通過高性能的網(wǎng)絡(luò)相連接，各結(jié)點除了作為一個單一的計算資源供用戶使用外，還可以協(xié)同工作，并表示為一個單一的、集中的計算資源，供并行計算使用。集群是一種造價低廉、易于構(gòu)建并且具有較好可擴展性的體系結(jié)構(gòu)。集群系統(tǒng)按功能和結(jié)構(gòu)可以分為如下四類：（1）高可用性集群系統(tǒng)（2）負載均衡集群系統(tǒng)（3）高性能集群系統(tǒng)（4）虛擬化集群系統(tǒng)。3 .并行計算的分類有哪些？答：并行計算技術(shù)在高速發(fā)展的今天，出現(xiàn)了各種不同的技術(shù)方法，同時也出現(xiàn)了不同的分類方法，包括按指令和數(shù)據(jù)處理方式的Flynn分類、按存儲訪問結(jié)構(gòu)的分類、按應(yīng)用計算特征的分類。4 .簡要說明并行計算的四類設(shè)計模型

10、？答：并行計算的設(shè)計模型主要有四類：隱式并行（ImplicitParallel）、數(shù)據(jù)并行（DataParallel）>共享變量（SharedVariable、消息傳遞（MessagePassing。（1）隱式并行是程序員用熟悉的串行語言編程，編譯器或運行支持系統(tǒng)自動轉(zhuǎn)化為并行代碼。其特點是語義簡單、可移植性好、單線程、易于調(diào)試和驗證正確性，但效率很低。（2）數(shù)據(jù)并行是SIMD的自然模型，是局部計算和數(shù)據(jù)選路操作。具特點是單線程、并行操作于聚合數(shù)據(jù)結(jié)構(gòu)（數(shù)組）、松散同步、單一地址空間、隱式交互作用和顯式數(shù)據(jù)分布。（3）共享變量是PVP、SMP、DSM的自然模型。其特點是多線程（SPMD、

11、MPMD）、異步、單一地址空間、顯式同步、隱式數(shù)據(jù)分布、隱式通信。（4）消息傳遞是MPP、COW的自然模型。其特點是多線程、異步、多地址空問、顯式同步、顯式通信、顯式數(shù)據(jù)映射和負載分配。5,并行程序設(shè)計方式主要有哪幾種并分別說明。答：實現(xiàn)并行編程常見方法有以下三種。但三者可混合使用，如對以SMP為節(jié)點的Cluster來說，可以在節(jié)點間進行消息傳遞，在節(jié)點內(nèi)進行共享變量編程。(1)線程模型：OpenMP、POSIXo(2)消息傳遞模型：PVM(ParallelVirtualMachineComputing)>MPI(MessagePassingInterface。(3)數(shù)據(jù)并行模型：HPF

12、01,描述云存儲系統(tǒng)的結(jié)構(gòu)模型。答：云存儲系統(tǒng)的結(jié)構(gòu)模型主要包括：存儲層，基礎(chǔ)管理層，應(yīng)用接口層，訪問層。(1)存儲層是云存儲最基礎(chǔ)的部分，云存儲中的存儲設(shè)備往往數(shù)量龐大且多分布在不同地域，彼此之間通過廣域網(wǎng)、互聯(lián)網(wǎng)或者FC光纖通道網(wǎng)絡(luò)連接在一起。云存儲系統(tǒng)對外提供多種不同的存儲服務(wù)，各種服務(wù)的數(shù)據(jù)統(tǒng)一存放在云存儲系統(tǒng)中，形成一個海量數(shù)據(jù)池。云存儲的數(shù)據(jù)存儲層將不同類型的存儲設(shè)備互連起來，實現(xiàn)海量數(shù)據(jù)的統(tǒng)一管理，同時實現(xiàn)對存儲設(shè)備的集中管理、狀態(tài)監(jiān)控以及容量的動態(tài)擴展，實質(zhì)上是一種面向服務(wù)的分布式存儲系統(tǒng)。存儲設(shè)備之上是一個統(tǒng)一存儲設(shè)備管理系統(tǒng)，可以實現(xiàn)存儲設(shè)備的邏輯虛擬化管理、多鏈路冗余管理

13、，以及硬件設(shè)備的狀態(tài)監(jiān)控和故障維護。(2)基礎(chǔ)管理層是云存儲最核心的部分，也是云存儲中最難以實現(xiàn)的部分?；A(chǔ)管理層通過集群、分布式文件系統(tǒng)和網(wǎng)格計算等技術(shù)，實現(xiàn)云存儲中多個存儲設(shè)備之間的協(xié)同工作，使多個存儲設(shè)備可以對外提供同一種服務(wù)，并提供更大、更強、更好的數(shù)據(jù)訪問性能。(3)應(yīng)用接口層是云存儲最靈活多變的部分。不同的云存儲運營單位可以根據(jù)實際業(yè)務(wù)類型，開發(fā)不同的應(yīng)用服務(wù)接口，提供不同的應(yīng)用服務(wù)。云存儲平臺面向用戶的部分，包括數(shù)據(jù)存儲服務(wù)、公共資源使用、數(shù)據(jù)備份功能等接口服務(wù)。(4)用戶訪問層主要功能包括訪問控制、身份識別與驗證、安全隔離等。云存儲用戶應(yīng)用程序，可以全新開發(fā)和移植現(xiàn)有的應(yīng)用程序

14、方式實現(xiàn)。云存儲服務(wù)商均為獨立實體，會有個性化的云存儲服務(wù)提供方式，因此，云存儲服務(wù)系統(tǒng)的訪問方式和訪問手段，不同的服務(wù)系統(tǒng)會有所差異。2,請簡述云存儲的實現(xiàn)前提。答：主要分為以下六點：寬帶網(wǎng)絡(luò)的發(fā)展，Web2.0技術(shù)的出現(xiàn)，應(yīng)用存儲的發(fā)展，集群技術(shù)、網(wǎng)格技術(shù)和分布式文件系統(tǒng)，CDN內(nèi)容分發(fā)、P2P技術(shù)、數(shù)據(jù)壓縮技術(shù)、重復(fù)數(shù)據(jù)刪除技術(shù)、數(shù)據(jù)加密技術(shù)，存儲虛擬化技術(shù)、存儲網(wǎng)絡(luò)化管理技術(shù)。(1)寬帶網(wǎng)絡(luò)的發(fā)展：真正的云存儲系統(tǒng)將會是一個多區(qū)域分布、遍布全國、甚至于遍布全球的龐大公用系統(tǒng)，使用者需要通過ADSL、DDN等寬帶接入設(shè)備來連接云存儲。只有寬帶網(wǎng)絡(luò)得到充足的發(fā)展，使用者才有可能獲得足夠大的

15、數(shù)據(jù)傳輸帶寬，實現(xiàn)大量容量數(shù)據(jù)的傳輸，真正享受到云存儲服務(wù)，否則只能是空談。(2)Web2.0技術(shù)的出現(xiàn)：Web2.0技術(shù)的核心是分享。只有通過Web2.0技術(shù)，云存儲的使用者才有可能通過PC、手機、移動多媒體等多種設(shè)備，實現(xiàn)數(shù)據(jù)、文檔、圖片和視頻、音頻等內(nèi)容的集中存儲和資料共享。(3)應(yīng)用存儲的發(fā)展：云存儲不僅僅是存儲，更多的是應(yīng)用。應(yīng)用存儲是一種在存儲設(shè)備中集成了應(yīng)用軟件功能的存儲設(shè)備，它不僅具有數(shù)據(jù)存儲功能，還具有應(yīng)用軟件功能，可以看作是服務(wù)器和存儲設(shè)備的集合體。應(yīng)用存儲技術(shù)的發(fā)展可以大量減少云存儲中服務(wù)器的數(shù)量，從而降低系統(tǒng)建設(shè)成本，減少系統(tǒng)中由服務(wù)器造成單點故障和性能瓶頸，減少數(shù)據(jù)傳

16、輸環(huán)節(jié)，提供系統(tǒng)性能和效率，保證整個系統(tǒng)的高效穩(wěn)定運行。(4)集群技術(shù)、網(wǎng)格技術(shù)和分布式文件系統(tǒng)：云存儲系統(tǒng)是一個多存儲設(shè)備、多應(yīng)用、多服務(wù)協(xié)同工作的集合體，任何一個單點的存儲系統(tǒng)都不是云存儲。既然是由多個存儲設(shè)備構(gòu)成的，不同存儲設(shè)備之間就需要通過集群技術(shù)、分布式文件系統(tǒng)和網(wǎng)格計算等技術(shù)，實現(xiàn)多個存儲設(shè)備之間的協(xié)同工作，多個存儲設(shè)備可以對外提供同一種服務(wù)，提供更大更強更好的數(shù)據(jù)訪問性能。如果沒有這些技術(shù)的存在，云存儲就不可能真正實現(xiàn)，所謂的云存儲只能是一個一個的獨立系統(tǒng)，不能形成云狀結(jié)構(gòu)。(5)CDN內(nèi)容分發(fā)、P2P技術(shù)、數(shù)據(jù)壓縮技術(shù)、重復(fù)數(shù)據(jù)刪除技術(shù)、數(shù)據(jù)加密技術(shù)。CDN內(nèi)容分發(fā)系統(tǒng)、數(shù)據(jù)加

17、密技術(shù)保證云存儲中的數(shù)據(jù)不會被未授權(quán)的用戶所訪問，同時，通過各種數(shù)據(jù)備份和容災(zāi)技術(shù)保證云存儲中的數(shù)據(jù)不會丟失，保證云存儲自身的安全和穩(wěn)定。如果云存儲中的數(shù)據(jù)安全得不到保證，想來也沒有人敢用云存儲，否則，保存的數(shù)據(jù)不是很快丟失了，就是全國人民都知道了。P2P(Peer-to-Peer對等)又被稱為“點對點”?！皩Φ取奔夹g(shù)是一種網(wǎng)絡(luò)新技術(shù)，依賴網(wǎng)絡(luò)中參與者的計算能力和帶寬，而不是把依賴都聚集在較少的幾臺服務(wù)器上。P2P還是英文PointtoPoint(點對點)的簡稱。它是下載術(shù)語，意思是在你自己下載的同時，自己的電腦還要繼續(xù)做主機上傳，這種下載方式，人越多速度越快但缺點是對硬盤損傷比較大（在寫的同

18、時還要讀），還有對內(nèi)存占用較多，影響整機速度。數(shù)據(jù)壓縮技術(shù)是指在不丟失有用信息的前提下，縮減數(shù)據(jù)量以減少存儲空間，提高其傳輸、存儲和處理效率，或按照一定的算法對數(shù)據(jù)進行重新組織，減少數(shù)據(jù)的冗余和存儲的空間的一種技術(shù)方法。數(shù)據(jù)壓縮包括有損壓縮和無損壓縮。在計算機科學(xué)和信息論中，數(shù)據(jù)壓縮或者源編碼是按照特定的編碼機制用比未經(jīng)編碼少的數(shù)據(jù)位元（或者其它信息相關(guān)的單位）表示信息的過程。如，如果將“compressio編碼為“com邵么這篇文章可以用較少的數(shù)據(jù)位表示。一種流行的壓縮實例是許多計算機都在使用的ZIP文件格式，它不僅僅提供了壓縮的功能，而且還作為歸檔工具（Archiver）使用，能夠?qū)⒃S多文

19、件存儲到同一個文件中。重復(fù)數(shù)據(jù)刪除技術(shù)是一種數(shù)據(jù)縮減技術(shù)，通常用于基于磁盤的備份系統(tǒng)，旨在減少存儲系統(tǒng)中使用的存儲容量。它的工作方式是在某個時間周期內(nèi)查找不同文件中不同位置的重復(fù)可變大小數(shù)據(jù)塊。重復(fù)的數(shù)據(jù)塊用指示符取代。高度冗余的數(shù)據(jù)集（如備份數(shù)據(jù)）從數(shù)據(jù)重復(fù)刪除技術(shù)的獲益極大；用戶可以實現(xiàn)10比1至50比1的縮減比。而且，重復(fù)數(shù)據(jù)刪除技術(shù)可以允許用戶的不同站點之間進行高效，經(jīng)濟的備份數(shù)據(jù)復(fù)制。數(shù)據(jù)加密技術(shù)是一門歷史悠久的技術(shù)，指通過加密算法和加密密鑰將明文轉(zhuǎn)變?yōu)槊芪模饷軇t是通過解密算法和解密密鑰將密文恢復(fù)為明文。它的核心是密碼學(xué)。數(shù)據(jù)加密目前仍是計算機系統(tǒng)對信息進行保護的一種最可靠的辦法

20、。它利用密碼技術(shù)對信息進行加密，實現(xiàn)信息隱蔽，從而起到保護信息的安全的作用。（6）存儲虛擬化技術(shù)、存儲網(wǎng)絡(luò)化管理技術(shù)云存儲中的存儲設(shè)備數(shù)量龐大且分布多在不同地域，如何實現(xiàn)不同廠商、不同型號甚至于不同類型（如FC（FibreChannel）存儲和IP存儲）的多臺設(shè)備之間的邏輯卷管理、存儲虛擬化管理和多鏈路冗余管理將會是一個巨大的難題，這個問題得不到解決，存儲設(shè)備就會是整個云存儲系統(tǒng)的性能瓶頸，結(jié)構(gòu)上也無法形成一個整體，而且還會帶來后期容量和性能擴展難等問題。云存儲中的存儲設(shè)備數(shù)量龐大、分布地域廣造成的另外一個問題就是存儲設(shè)備運營管理問題。雖然這些問題對云存儲的使用者來講根本不需要關(guān)心，但對于云存

21、儲的運營單位來講，卻必須要通過切實可行和有效的手段來解決集中管理難、狀態(tài)監(jiān)控難、故障維護難、人力成本高等問題。因此，云存儲必須要具有一個高效的類似與網(wǎng)絡(luò)管理軟件一樣的集中管理平臺，可實現(xiàn)云存儲系統(tǒng)中設(shè)有存儲設(shè)備、服務(wù)器和網(wǎng)絡(luò)設(shè)備的集中管理和狀態(tài)監(jiān)控。3 .云存儲服務(wù)系統(tǒng)的應(yīng)用有哪些分類，并列舉一些應(yīng)用，對其進行簡單陳述答：云存儲服務(wù)系統(tǒng)的應(yīng)用主要分為個人級云存儲的應(yīng)用和企業(yè)級云存儲的應(yīng)用。個人級云存儲的應(yīng)用主要有：(1)網(wǎng)絡(luò)存儲磁盤如百度網(wǎng)盤、360網(wǎng)盤等，一些小型的云盤，可以在線存儲大量的數(shù)據(jù)，服務(wù)商會給每一個用戶一定量大小的存儲空間，如果用戶需要更大的存儲空間，更強的編輯功能，則需要支付一

22、定的費用購買服務(wù)商提供的收費服務(wù)。相應(yīng)的用戶會享受服務(wù)商提供的更加強大的功能。我們大多數(shù)人都應(yīng)該用過騰訊等各大網(wǎng)站推出的“網(wǎng)絡(luò)磁盤”的這項業(yè)務(wù)。它可以讓用戶使用Web的方式將自己的文件上傳或者下載，從而把自己的重要數(shù)據(jù)進行存儲和備份，這是各服務(wù)商可以提供的一種服務(wù)。服務(wù)商提供兩種高級的訪問網(wǎng)絡(luò)存盤的方式，一種是Web頁面訪問，一種是客戶端軟件訪問。用戶向服務(wù)商支付費用的多少決定了可以享用的網(wǎng)絡(luò)磁盤的容量空間的大小。(2)在線編輯器經(jīng)過這幾年的快速發(fā)展，編輯文檔已經(jīng)不需要在用戶的PC端安裝文本編輯軟件，只要打開網(wǎng)頁，就可以通過googledocs對文件進行編輯和修改，并將文檔上傳到云端。這樣就可

23、以不用分地點，只要有網(wǎng)絡(luò)就可以重新登錄googledocs,打開保存在云端的文件進行再次的編輯修改。通過云端的服務(wù)管理功能，也能將文檔共享、傳送。如騰訊旗下的TIM就有一個在線存儲編輯文檔的功能，這樣的功能對于移動辦公有了很大的幫助，以及一些其他的在線編輯器，如谷歌的Docs,只要登錄相應(yīng)的賬號，就能查看到賬戶內(nèi)的文檔信息，并且還能分享與發(fā)送的相應(yīng)功能。(3)在線網(wǎng)絡(luò)游戲現(xiàn)在的網(wǎng)絡(luò)游戲更新?lián)Q代快，大量的用戶需要進行對戰(zhàn)游戲，因此游戲開發(fā)商需要在全國各地見了很多的服務(wù)器，如華東地區(qū)，華中地區(qū)等，云計算和云存儲的應(yīng)用，可以代替現(xiàn)有的多服務(wù)器架構(gòu)，使所有玩家都能集中在一個游戲服務(wù)器組的管理之下。從2

24、004年之后，網(wǎng)絡(luò)游戲傳播速度逐年加快，尤其是被年輕人所追捧，游戲的類型和主題也是越來越多元化，但是要滿足數(shù)量龐大的玩家同時在線，帶寬和單臺的服務(wù)器的性能的好壞成為了限制的主要原因。我們就可以讓所有的玩家在利用云計算的優(yōu)點建立起來的“超級”服務(wù)器群上一起進行游戲。云計算技術(shù)的興起，讓所有的玩家可以集中在一個服務(wù)器群當(dāng)中，替代了原來的多服務(wù)器結(jié)構(gòu)，從而可以在游戲服務(wù)器當(dāng)中大幅度的提升游戲性能，提供了更多更強的功能。企業(yè)級云存儲的應(yīng)用主要有：(1)企業(yè)空間租賃服務(wù)：信息化時代的不斷蓬勃發(fā)展產(chǎn)生了海量的數(shù)據(jù)，而這些數(shù)據(jù)的存儲與分析變成了企業(yè)的新難，數(shù)據(jù)的存儲需要一定的容量級的存儲設(shè)備，設(shè)備的管理與數(shù)

25、據(jù)安全的保障又會讓企業(yè)消耗大量的人力物力財力，目前還有一些小型企業(yè)并不能支撐這么一大筆的花費，而云存儲的出現(xiàn)順應(yīng)了這個信息化時代的發(fā)展，企業(yè)只需要根據(jù)自己公司所產(chǎn)生的數(shù)據(jù)量，向服務(wù)商購買相應(yīng)容積的存儲數(shù)量，數(shù)據(jù)的存儲，安全性等問題就交由云計算服務(wù)商處理，這樣企業(yè)才能更加專注于自己企業(yè)的發(fā)展，而且如果后期想要更換服務(wù)商也會比較方便，不需要考慮所有硬件的成本，只需要選擇一個更加適合本企業(yè)發(fā)展的服務(wù)商，方便快捷。(2)企業(yè)級遠程數(shù)據(jù)備份及容災(zāi)：對于任何一個企業(yè)。數(shù)據(jù)的備份是能決定一個企業(yè)存活的事情，大量的數(shù)據(jù)的備份問題儼然也變成了企業(yè)必須放在議事日程上的問題，云存儲的遠程數(shù)據(jù)備份及容災(zāi)便能為企業(yè)提供

26、一個保障，通過遠程的備份，當(dāng)企業(yè)內(nèi)部的設(shè)備出現(xiàn)問題的時候，數(shù)據(jù)在遠處備份這，不會受到單點故障的影響而丟失數(shù)據(jù)，幫助企業(yè)快速恢復(fù)數(shù)據(jù)，降低企業(yè)的經(jīng)濟損失。企業(yè)存儲信息量的不斷增加，對信息安全性的要求卻從來沒有降低過。不同的中小型企業(yè)不僅可以租賃高性能、海量的云存儲空間，還可以讓服務(wù)運營商通過它們?yōu)槠髽I(yè)提供備份軟件把數(shù)據(jù)備份來遠程容災(zāi)，當(dāng)本地發(fā)生嚴重的災(zāi)害的時候，就可以通過這個遠程的備份系統(tǒng)進行快速數(shù)據(jù)恢復(fù)，這樣就避免了數(shù)據(jù)的丟失。(3)視頻監(jiān)控系統(tǒng)：最近的這幾年，電信和網(wǎng)通這兩家運營商在建立一個在全國廣泛分布的不同規(guī)模的“全球眼”或“寬視界”云存儲系統(tǒng)，在這個系統(tǒng)中嵌入了視頻監(jiān)控管理軟件，目的是

27、建立類似語音和數(shù)據(jù)服務(wù)的網(wǎng)絡(luò)。系統(tǒng)提供者為已經(jīng)安裝了的攝像頭和編碼器等前端設(shè)備提供一個可以連接到云存儲服務(wù)系統(tǒng)的接入網(wǎng)連接，這樣就可以為用戶提供實時的視頻圖像的存儲，并通過監(jiān)管平臺對這些視頻的監(jiān)控和回放功能來收取一定的費用。但是由于城市之間的網(wǎng)絡(luò)帶寬的限制，“全球眼”或“寬視界”只能在城市的內(nèi)部，或者是其中的區(qū)或者是縣的內(nèi)部來建造。(4)集群技術(shù)、網(wǎng)格技術(shù)和分布式文件系統(tǒng)：把多存儲設(shè)備、多應(yīng)用、多服務(wù)協(xié)同工作整合起來的集合體構(gòu)成了云存儲系統(tǒng)，任何單一的存儲系統(tǒng)都不能成為云存儲系統(tǒng)。想要使不同的多個存儲設(shè)備之間協(xié)同工作起來，就需要使用集群技術(shù)、分布式文件系統(tǒng)、和網(wǎng)格計算等技術(shù)手段來把這些存儲設(shè)備

28、整合起來，以實現(xiàn)多個存儲的設(shè)備對外提供更強更好更快的數(shù)據(jù)訪問功能。如果沒有了這些技術(shù)的輔助，所謂的云存儲只能是單一的獨立的存儲系統(tǒng)，不能形成“云”，云存儲也就算不上是真正的實現(xiàn)。4 .請簡述云存儲的特性。答：可靠性，安全性，管理方便，可擴展性，數(shù)據(jù)訪問。了關(guān)于云采用的歷史教訓(xùn)。他表示，到2012年，企業(yè)的云采用速度相對較慢，這主要是行業(yè)廠商認真采用安全措施，并增加企業(yè)價值。他說：這就是為什么企業(yè)從2013年起迅速采用云計算的原因。現(xiàn)在已經(jīng)有49%的企業(yè)采用了公共云?！? .簡述OpenStack主要的組成模塊有哪些？答：OpenStack由幾個大模塊組成：DASHBOARD>COMPUT

29、E>BLOCKSTORAGE>NETWORKING、IMAGESERVICE、OBJECTSTORAGE、IDENTIFYSERVICE等。2 .簡述網(wǎng)絡(luò)服務(wù)模塊Neutron的功能。答：Neutron在OpenStack環(huán)境中管理所有虛擬網(wǎng)絡(luò)基礎(chǔ)設(shè)施(VirtualNetworkingInfrastructure,VNI),即Neutron將網(wǎng)絡(luò)、子網(wǎng)、端口和路由器等物理網(wǎng)絡(luò)基礎(chǔ)設(shè)施(PhysicalNetworkingInfrastructure,PNI)抽象化，之后啟動的虛擬主機就可以連接到這個虛擬網(wǎng)絡(luò)上。3 .簡述Nova的功能？答：COMPUTE計算服務(wù)項目名為Nova。

30、是OpenStack不可缺少的核心模塊，為用戶提供計算平臺，主要負責(zé)與虛擬化平臺的接口對接，如KVM,Xen等接口。Nova作為OpenStack的核心模塊主要完成計算，它主要負責(zé)虛擬服務(wù)的管理。OpenStack計算是IaaS(InfrastructureasaService,基礎(chǔ)設(shè)施即服務(wù))的一個主要部分，它與其它組件有著非常緊密的聯(lián)系。4 .簡述Swift和Cinder的區(qū)別。答：OpenStack組件Swift和Cinder的區(qū)別主要有三點：Cinder在OpenStack平臺中提供塊存儲服務(wù)。設(shè)計它的目的就是為了終端用戶使用的，即由Nova模塊管理的虛擬機實例模塊使用。實現(xiàn)塊存儲服務(wù)

31、一般都會用到與LVM相關(guān)的技術(shù)或者使用自定義的驅(qū)動方式來存儲。(2) Swift在OpenStack中還有另一個名字叫做對象存儲項目，它是一個云存儲軟件，通過一個簡單的API你就可以實現(xiàn)很多數(shù)據(jù)的獲取與存儲。設(shè)計它的目的是為了解決擴展并優(yōu)化整個數(shù)據(jù)集的持久性、可用性以及并發(fā)性。Swift用于存儲那些非結(jié)構(gòu)化的數(shù)據(jù)是非常理想的，用戶根本就不需要擔(dān)心數(shù)據(jù)會太多引起問題。(3)簡單來說，Cinder像硬盤塊，直接掛載到虛擬機上。Swift像軟件，它通過接口存儲與獲取數(shù)據(jù)。1 .HDFS上默認的一個數(shù)據(jù)塊(Block)大小是多少？答：64M。2 .畫出HDFS的基礎(chǔ)架構(gòu)圖并簡單概述其原理。讀取數(shù)解答：

32、基礎(chǔ)架構(gòu)圖:文件元數(shù)據(jù)心息南TClientR；Kk1McLiJjtaNkidcBkxk的現(xiàn)作XcplLcnmuriBlkJJSeiKondayHDFS是一個典型的主從(Master/Slave)架構(gòu)。Master主節(jié)點(NameNod®也叫元數(shù)據(jù)節(jié)點(MetadataNode),可以看作是分布式文件系統(tǒng)中的管理者，存儲文件系統(tǒng)的meta-data包括文件系統(tǒng)的命名空間(NameSpace,訪問控制信息，塊當(dāng)前所在的位置，集群配置信息。從節(jié)點也叫數(shù)據(jù)節(jié)點(DataNode),提供真實文件數(shù)據(jù)的物理支持。Hadoop集群中包含大量的DataNode,DataNode響應(yīng)客戶機的讀寫請求，

33、還響應(yīng)MetadataNode對文件塊的創(chuàng)建、刪除、移動、復(fù)制等命令。3 .簡要概述MapReduce編程模型。答：MapReduce編程模型主要由兩個抽象類構(gòu)成，即Mapper和Reducer抽象類，Mapper用以對切分過的原始數(shù)據(jù)進行處理，Reducer則對Mapper的結(jié)果進行匯總，得到最后的輸出。在數(shù)據(jù)格式上，Mapper接受key,valued式的數(shù)據(jù)流，并產(chǎn)生一系列同樣是key,value形式的輸出，這些輸出經(jīng)過相應(yīng)處理，形成key,valuelist的形式的中間結(jié)果；之后，由Mapper產(chǎn)生的中間結(jié)果再傳給Reducer作為輸入，把相同key值的valuelist做相應(yīng)處理，最

34、終生成key,value形式的結(jié)果數(shù)據(jù)，再寫入HDFS中。4 .列式數(shù)據(jù)庫HBase有哪些特征？答：HBase是一個類似BigTable的分布式數(shù)據(jù)庫，大部分特性和BigTable一樣，是一個稀疏的、長期存儲的、多維度的、排序的映射表。5 .搭建Hadoop開發(fā)環(huán)境，并實現(xiàn)。答：搭建開發(fā)環(huán)境：(1)修改主機名。(2)修改IP地址，并綁定主機名與IP。(3)關(guān)閉防火墻并關(guān)閉防火墻開機啟動。(4)安裝jdk并將java添加到環(huán)境變量中。(5) 安裝hadoop,并分另U修改hadoop-env.shcore-site.xml、hdfs-site.xml、mapred-site.xml、yarn-s

35、ite.xml五個配置文件，并將hadoop添加到環(huán)境變量。(6)初始化HDFS(格式化文件系統(tǒng))。啟動hadoop(8)實現(xiàn)(此處以測試程序WordCount為例)。先在hadoop用戶當(dāng)前目錄下新建文件夾WordCount,在其中建立兩個測試文件file1.txt,file2.txt。自行在兩個文件中填寫內(nèi)容。file1.txt文件內(nèi)容為：Thisisthefirsthadooptestprogram!file2.txt文件內(nèi)容為：Thisprogramisnotverydifficult,butthisprogramisacommonhadoopprogram!在Hadoop文件系統(tǒng)上新

36、建文件夾“input,”并查看其中的內(nèi)容：hadoopfs-mkdir/inputhadoopfs-ls/將WordCount文件夾中file1.txt、file2.txt文件上傳到剛剛創(chuàng)建的“input文件夾：hadoopfs-put/home/hadoop/WordCount/*.txt/input運行Hadoop的示例程序wordcount,運行命令如下：hadoopjarhadoop-mapreduce-examples-2.4.1.jarwordcountintputoutput查看輸出結(jié)果的文件位置和WordCount的結(jié)果：hadoopfs-ls/output使用如下指令查看Wo

37、rdCount的結(jié)果：hadoopfs-cat/output/part-r-00000顯示信息如下：This2a1common1difficult,but1first1hadoop2is3not1program2program!2test1the1this1very11 .請陳述RDD的五大特征。答：Partition（分區(qū)）、Compute函數(shù)、Dependencies（依賴）、Partitioner（分區(qū)函數(shù)）、PreferedLocations（優(yōu)先位置）。2 .簡述Spark的運行模式。答：Spark的運行模式有很多種，當(dāng)部署在單機上時，既可以用本地模式運行，也可以用偽分布模式運行；當(dāng)

38、部署在分布式集群上時，根據(jù)集群的實際情況，也有眾多的運行模式可供選擇。底層的資源調(diào)度既可以使用外部資源調(diào)度框架，也可以使用Spark內(nèi)建的Standalone模式。目前常用的外部資源調(diào)度框架有Yarn模式和Mesos模式。3 .Spark的生態(tài)系統(tǒng)包括哪些。答：Spark的生態(tài)系統(tǒng)主要包括以SparkCore為基礎(chǔ)的四個核心子框架：處理結(jié)構(gòu)化數(shù)據(jù)的SparkSQL、對實時數(shù)據(jù)流進行處理的SparkStreaming用于圖計算的GraphX、機器學(xué)習(xí)算法庫MLlib。1. Storm采用的三進程架構(gòu)包括什么？答：Nimbus、Supervisor、Zookeeper2. Storm中用戶每實現(xiàn)一

39、個任務(wù)，需要構(gòu)造哪兩類的拓撲組件？答：Spout和Bolt。3. 簡述搭建Storm的開發(fā)環(huán)境。答：步驟如下：(1)安裝準備，解壓所需工具的壓縮包storm.tar.gz；(2)安裝依賴文件，配置JDK;(3)安裝Zookeeper;(4)安裝ZeroMQ;(5)安裝Storm；(6)啟動Storm。1 .什么是CloudSim?答：CloudSim是澳大利亞墨爾本大學(xué)云計算與分布式系統(tǒng)實驗室開發(fā)的一種通用、可擴展的云計算仿真框架，也是一個云計算仿真工具集，提供了用于描述數(shù)據(jù)中心、虛擬機、應(yīng)用、用戶、計算資源和管理策略等核心類。2 .CloudSim使用的模型場景有哪些？答：CloudSim可

40、以對云數(shù)據(jù)中心的很多方面做場景模擬，比如網(wǎng)絡(luò)、電力、虛擬機的運行情況等等。最主要分為以下兩大類，云數(shù)據(jù)中心能耗模型以及云數(shù)據(jù)中心的經(jīng)濟模型。3 .簡述CloudSim仿真的主要步驟。4 ：(1)初始化CloudSim程序包；(2)創(chuàng)建數(shù)據(jù)中心；(3)創(chuàng)建數(shù)據(jù)中心(用戶)代理；(4)創(chuàng)建虛擬機和云事務(wù)，并將其傳遞給數(shù)據(jù)中心代理；(5)創(chuàng)建云任務(wù)、開始仿真；(6)結(jié)束仿真、統(tǒng)計結(jié)果。4.使用CloudSim完成以下數(shù)據(jù)中心的仿真。仿真兩個數(shù)據(jù)中心，每個數(shù)據(jù)中心分別有10臺物理機(5臺雙核，5臺4核)。兩個數(shù)據(jù)中心總共有100臺虛擬機，每臺虛擬機的運算能力(100-500)不相同。這兩個數(shù)據(jù)中心總共

41、需要處理1000個外部負載(負載能力10000-100000)任務(wù)。答：package0rg.cloudbus.cloudsim.examples;importjava.text.DecimalFormat;importjava.util.ArrayList;importjava.util.Calendar;importjava.util.LinkedList;importjava.util.List;importjava.util.Random;importorg.cloudbus.cloudsim.Cloudlet;import0rg.cloudbus.cloudsim.CloudletS

42、chedulerTimeShared;importorg.cloudbus.cloudsim.Datacenter;importorg.cloudbus.cloudsim.DatacenterBroker;importorg.cloudbus.cloudsim.DatacenterCharacteristics;importorg.cloudbus.cloudsim.Host;importorg.cloudbus.cloudsim.Log;importorg.cloudbus.cloudsim.Pe;importorg.cloudbus.cloudsim.Storage;importorg.c

43、loudbus.cloudsim.UtilizationModel;import0rg.cloudbus.cloudsim.UtilizationModelFull;importorg.cloudbus.cloudsim.Vm;import0rg.cloudbus.cloudsim.VmAllocationPolicySimple;import0rg.cloudbus.cloudsim.VmSchedulerTimeShared;importorg.cloudbus.cloudsim.core.CloudSim;visioners.

44、BwProvisionerSimple;visioners.PeProvisionerSimple;visioners.RamProvisionerSimple;* Anexampleshowinghowtocreate* scalablesimulations.* /publicclassCloudSimExercise/*Thecloudletlist.*/privatestaticList<Cloudlet>cloudletList;/*Thevmlis

45、t.*/privatestaticList<Vm>vmlist;privatestaticList<Vm>createVM(intuserId,intmips口)/CreatesacontainertostoreVMs.ThislistispassedtothebrokerlaterLinkedList<Vm>list=newLinkedList<Vm>();/VMParameterslongsize=10000;/imagesize(MB)intram=512;/vmmemory(MB)/intmips=1000;longbw=1000;int

46、pesNumber=1;/numberofcpusStringvmm="Xen"/VMMname/createVMsVmvm=newVmmips.length;for(inti=0;i<mips.length;i+)vmi=newVm(i,userId,mipsi,pesNumber,ram,bw,size,vmm,newCloudletSchedulerTimeShared();/forcreatingaVMwithaspacesharedschedulingpolicyforcloudlets:/vmi=Vm(i,userId,mips,pesNumber,ram

47、,bw,size,priority,vmm,newCloudletSchedulerSpaceShared();list.add(vmi);returnlist;privatestaticList<Cloudlet>createCloudlet(intuserId,longcloudlets)/CreatesacontainertostoreCloudletsLinkedList<Cloudlet>list=newLinkedList<Cloudlet>();/cloudletparameters/longlength=1000;longfileSize=3

48、00;longoutputSize=300;intpesNumber=1;UtilizationModelutilizationModel=newUtilizationModelFull();Cloudletcloudlet=newCloudletcloudlets.length;for(inti=0;i<cloudlets.length;i+)cloudleti=newCloudlet(i,cloudletsi,pesNumber,fileSize,outputSize,utilizationModel,utilizationModel,utilizationModel);/setti

49、ngtheowneroftheseCloudletscloudleti.setUserId(userId);list.add(cloudleti);returnlist;)/STATICMETHODS/*Createsmain()torunthisexample*/publicstaticvoidmain(String口args)Log.printLine("StartingCloudSimExercise.");try/Firststep:InitializetheCloudSimpackage.Itshouldbecalled/beforecreatinganyenti

50、num_user=1;/numberofgridusersCalendarcalendar=Calendar.getInstance();booleantrace_flag=false;/meantraceevents/InitializetheCloudSimlibraryCloudSim.init(num_user,calendar,trace_flag);/Secondstep:CreateDatacenters/DatacentersaretheresourceprovidersinCloudSim.WeneedatlistoneofthemtorunaCloudSim

51、simulationSuppressWarnings("unused")Datacenterdatacenter0=createDatacenter("Datacenter_0");SuppressWarnings("unused")Datacenterdatacenter1=createDatacenter("Datacenter_1");/Thirdstep:CreateBrokerDatacenterBrokerbroker=createBroker();intbrokerId=broker.getId();

52、/Fourthstep:CreateVMsandCloudletsandsendthemtobrokerRandomrand=newRandom();intmips=newint100;for(inti=0;i<mips.length;i+)mipsi=rand.nextInt(401)+100;vmlist=createVM(brokerId,mips);/creating20vmslonglen=newlong1000;for(inti=0;i<len.length;i+)leni=rand.nextInt(90000)+10000;cloudletList=createClo

53、udlet(brokerId,len);/creating40cloudletsbroker.submitVmList(vmlist);broker.submitCloudletList(cloudletList);/Fifthstep:StartsthesimulationCloudSim.startSimulation();/Finalstep:PrintresultswhensimulationisoverList<Cloudlet>newList=broker.getCloudletReceivedList();CloudSim.stopSimulation();print

54、CloudletList(newList);Log.printLine("CloudSimExercisefinished!");catch(Exceptione)e.printStackTrace();Log.printLine("Thesimulationhasbeenterminatedduetoanunexpectederror");privatestaticDatacentercreateDatacenter(Stringname)/HerearethestepsneededtocreateaPowerDatacenter:/1.Weneedt

55、ocreatealisttostoreoneormore/MachinesList<Host>hostList=newArrayList<Host>();/2.AMachinecontainsoneormorePEsorCPUs/Cores.Therefore,should/createalisttostorethesePEsbeforecreating/aMachine.List<Pe>peList1=newArrayList<Pe>();intmips=1000;/3.CreatePEsandaddtheseintothelist./fora

56、quad-coremachine,alistof4PEsisrequired:peList1.add(newPe(0,newPeProvisionerSimple(mips);/needtostorePeidandMIPSRatingpeList1.add(newPe(1,newPeProvisionerSimple(mips);peList1.add(newPe(2,newPeProvisionerSimple(mips);peList1.add(newPe(3,newPeProvisionerSimple(mips);/Anotherlist,foradual-coremachineLis

57、t<Pe>peList2=newArrayList<Pe>();peList2.add(newPe(0,newPeProvisionerSimple(mips);peList2.add(newPe(1,newPeProvisionerSimple(mips);/4.CreateHostswithitsidandlistofPEsandaddthemtothelistofmachinesinthostId=0;intram=16384;/hostmemory(MB)longstorage=1000000;/hoststorageintbw=10000;for(inti=0;i<5;i+)hostList.add(newHost(hostId,newRamProvisionerSimple(ram),newBwProvisionerSimple(bw),storage,peList1,newVmSchedulerTimeShared(peList1);hostId+;for(inti=0;i<5;i+)hostList.add(newHost(hostId,newRamProvisionerSimple(ram),newBwProvis