網(wǎng)絡計算答案版

1、學生的課程總評成績由平時成績（占50%）和期末考試成績（50%）兩部分構成。1、 平時成績依據(jù)課上小測驗2次，每次占10%；2、 提交創(chuàng)新性報告2份，每份10%；3、 提交1次小論文，占10%。4、 最后的開卷考試，成績占50%。網(wǎng)絡計算基本概念分布式對象計算Web計算XMLWeb Services無線與移動計算云計算大數(shù)據(jù)及分析要求：1、請同學們提交2份創(chuàng)新報告，每份不少于800字，打印簽名及學號。內(nèi)容以上面8個主題為目標，自選題目。2、請同學們提交1份小論文，字數(shù)不少于1500字，打印簽名及學號。內(nèi)容以上面8個主題為目標，自選題目，不要與創(chuàng)新報告內(nèi)容重復。3、按時參加考試，注意考試時間與地

2、點，考試當天每人交來3份報告（打印、簽名及學號）。開卷考試，自帶資料，要求字跡工整，內(nèi)容詳實，認真書寫。一：將會從以下簡述題中選擇部分。1、 闡述分布式核心技術中的分布式計算、并行計算、云計算的基本概念，以及各自的技術核心特點？概念：（1） 分布式計算：將需要巨大計算能力的問題分成許多小部分分布到多臺計算機進行處理，最后綜合結(jié)果。（2） 并行計算：同時使用多種計算資源解決計算問題的過程。（3） 云計算：云計算是一種商業(yè)計算模型。它將計算任務分布在大量計算機構成的資源池上，使各種應用系統(tǒng)能夠根據(jù)需要獲取計算力、存儲空間和信息服務。核心特點：（1） 分布式計算：需要多臺聯(lián)網(wǎng)的分布在各處的計算機協(xié)同

3、處理。并行的主體是計算機（2） 并行計算：一般而言，指時間或者空間上并行。如流水線技術或強調(diào)單計算機多核處理。并行的主體是處理器。（3） 云計算：云計算是上述兩種計算的商業(yè)發(fā)展。關鍵在能夠?qū)υ苾?nèi)的基礎設施等資源（資源池）進行動態(tài)按需分配與管理。2、 闡述移動計算的基本概念與技術特點？移動計算與分布式計算有何區(qū)別？概念：移動計算是使得人們可以在任何時間地點以任何方式接入網(wǎng)絡服務的技術集。它使計算機或其它信息智能終端設備在無線環(huán)境下實現(xiàn)數(shù)據(jù)傳輸及資源共享，它的作用是將有用、準確、及時的信息提供給任何時間地點的任何客戶。區(qū)別：與分布計算相比，移動計算具有以下一些主要特點：(1)移動性：移動計算機在移

4、動過程中可以通過所在無線單元與固定網(wǎng)絡的節(jié)點或其他移動計算機連接。(2)網(wǎng)絡條件多樣性：移動計算機在移動過程中所使用的網(wǎng)絡一般是變化的。 (3)頻繁斷接性：由于受電源、無線通信費用、網(wǎng)絡條件等因素的限制，移動計算機是主動或被動地間連、斷接。(4)網(wǎng)絡通信的非對稱性：移動節(jié)點的發(fā)送能力較弱。因此,下行鏈路和上行鏈路的通信帶寬和代價相差較大。(5)移動計算機的電源能力有限(6)可靠性低：這與無線網(wǎng)絡本身的可靠性及移動計算環(huán)境的易受干擾和不安全等因素有關。3、 闡述Google云計算原理中的Chubby的設計目標是什么？Chubby是Google設計的提供粗粒度鎖服務的一個文件系統(tǒng)，它基于松耦合分布

5、式系統(tǒng)，解決了分布的一致性問題。設計目標如下：（1） 高可用性和高可靠性；首要目標，在保證這一目標的基礎上再考慮系統(tǒng)的吞吐量和存儲能力；（2） 高擴展性；將數(shù)據(jù)存儲在價格較為低廉的RAM，支持大規(guī)模用戶訪問文件 （3） 支持粗粒度的建議性鎖服務；提供這種服務的根本目的是提高系統(tǒng)的性能 （4） 服務信息的直接存儲；可直接存儲包括元數(shù)據(jù)、系統(tǒng)參數(shù)在內(nèi)的有關服務信息（5） 支持通報機制；客戶可以及時地了解到事件發(fā)生 （6） 支持緩存機制；通過一致性緩存將常用信息保存在客戶端，避免了頻繁地訪問主服務器 4、 闡述Paxos算法在Chubby中起什么作用？簡述Paxos算法的原理？作用：Chubby設計

6、者借鑒了Paxos的兩種解決機制：給協(xié)調(diào)者指派序號或限制協(xié)調(diào)者可以選擇的值。原理：1、選擇一副本為協(xié)調(diào)者。 2、協(xié)調(diào)者從客戶提交的值中選擇一個，accept消息廣播給所有的副本，其他的副本收到廣播后，選擇接受或者拒絕這個值，并將決定結(jié)果反饋。 3、協(xié)調(diào)者收到大多數(shù)副本接受信息后，認為達到了一致性，接著向相關副本發(fā)送一個commit消息 。5、 闡述Google云計算原理中的Bigtable數(shù)據(jù)模型和系統(tǒng)架構？ 數(shù)據(jù)模型FBigtable是一個分布式多維映射表，表中的數(shù)據(jù)通過一個行關鍵字（Row Key）、一個列關鍵字（Column Key）以及一個時間戳（Time Stamp）進行索引 FBi

7、gtable對存儲在其中的數(shù)據(jù)不做任何解析，一律看做字符串FBigtable的存儲邏輯可以表示為： (row:string, column:string, time:int64)string系統(tǒng)架構Bigtable主要由三個部分組成：客戶端程序庫、一個主服務器和多個子表服務器F客戶訪問Bigtable服務時，首先要利用其庫函數(shù)執(zhí)行Open()操作來打開一個鎖（實際上就是獲取了文件目錄），鎖打開以后客戶端就可以和子表服務器進行通信F和許多具有單個主節(jié)點分布式系統(tǒng)一樣，客戶端主要與子表服務器通信，幾乎不和主服務器進行通信，這使得主服務器的負載大大降低F主服務主要進行一些元數(shù)據(jù)操作以及子表服務器之間

8、負載調(diào)度問題，實際數(shù)據(jù)是存儲在子表服務器上 6、闡述Google云計算原理中的分布式存儲系統(tǒng)Megastore的核心技術是什么？ 核心技術是復制。簡述如下：Megastore的數(shù)據(jù)復制是通過paxos進行同步復制的，也就是如果更新一個數(shù)據(jù)，所有機房都會進行同步更新，因為使用paxos進行復制， 所以不同機房針對同一條數(shù)據(jù)的更新 復制到所有機房的更新順序都是一致的，同步復制保證數(shù)據(jù)的實時可見性，采用paxos算法則保證了所有機房更新的一致 性，所以個人認為megastore的更新可能會比較慢，而所有讀都是實時讀(對于不同機房是一致的)，因為部署有多個機房，并且數(shù)據(jù)總是最新。7、闡述Google云

9、計算原理中大規(guī)模分布式系統(tǒng)的監(jiān)控基礎架構Dapper關鍵技術是什么？關鍵技術是實現(xiàn)應用級的透明。對于應用的程序員來說，是不需要知道有跟蹤系統(tǒng)這回事的。如果一個跟蹤系統(tǒng)想生效，就必須需要依賴應用的開發(fā)者主動配合，那么這個跟蹤系統(tǒng)也太脆弱了，往往由于跟蹤系統(tǒng)在應用中植入代碼的bug或疏忽導致應用出問題，這樣才是無法滿足對跟蹤系統(tǒng)“無所不在的部署”這個需求。（這一段可以不要）做到這一點需要實現(xiàn) 輕量級的核心功能庫和二次抽樣技術。輕量級核心功能庫：將Dapper的核心監(jiān)控實現(xiàn)限制在一個由通用線程（Ubiquitous Threading）、控制流（Control Flow）和RPC代碼庫（RPC Li

10、brary Code）組成的小規(guī)模庫基礎上。二次抽樣技術：第一次抽樣實踐中，設計人員發(fā)現(xiàn)當抽樣率低至1/1024時也能夠產(chǎn)生足夠多的有效監(jiān)控數(shù)據(jù)，即在1024個請求中抽取1個進行監(jiān)控也是可行的，從而可以捕獲有效數(shù)據(jù)第二次抽樣發(fā)生在數(shù)據(jù)寫入Bigtable前，具體方法是將監(jiān)控id散列成一個標量z（0z1），如果某個區(qū)間的z小于事先定義好的匯總抽樣系數(shù)，則保留這個區(qū)間并將它寫入Bigtable，否則丟棄 8、闡述Google App Engine提供了哪些服務？Google App Engine的沙盒對開發(fā)人員進行哪些限制？ 服務：網(wǎng)址獲取、郵件服務、Memcache 服務、圖片操作、python

11、程序框架、數(shù)據(jù)庫服務、用戶管理服務等等。限制：（1）用戶應用程序只能通過Google App Engine提供的網(wǎng)址抓取API和電子郵件服務API來訪問互聯(lián)網(wǎng)中其他計算機；只能在標準接口上通過HTTP或HTTPS來進行 （2）應用程序無法對Google App Engine的文件系統(tǒng)進行寫入操作，只能讀取應用程序代碼上的文件，并且該應用程序必須使用Data Store數(shù)據(jù)庫來存儲應用程序運行期間持續(xù)存在的數(shù)據(jù) （3）應用程序只有在響應網(wǎng)絡請求時才運行，且響應時間必須極短（幾秒之內(nèi)完成）。同時，請求處理的程序不能在自己的響應發(fā)送后產(chǎn)生子進程或執(zhí)行代碼 9、闡述當前主流分布式文件系統(tǒng)有哪些？各有什

12、么優(yōu)缺點？Google文件系統(tǒng)GFS特點體現(xiàn)在哪？第一問：目前幾個主流的分布式文件系統(tǒng)除GPFS外，還有HadoopHDFS、Lustre、FastDFS等。第二問：1.HadoopHDFS優(yōu)點：適合大數(shù)據(jù)處理（支持GB，TB，PB級別的數(shù)據(jù)存儲，支持百萬規(guī)模以上的文件數(shù)量） - 適合批處理（支持離線的批量數(shù)據(jù)處理，支持高吞吐率） - 高容錯性（以數(shù)據(jù)塊存儲，可以保存多個副本，容易實現(xiàn)負載均衡）缺點： - 小文件存取（占用namenode大量內(nèi)存，浪費磁盤空間） - 不支持并發(fā)寫入（同一時刻只能有一個進程寫入，不支持隨機修改）2.Lustre優(yōu)點：是一個基于對象存儲的分布式文件系統(tǒng)，比較成熟，

13、適合大型集群，支持動態(tài)擴展。缺點：它只有兩個元數(shù)據(jù)管理節(jié)點 ,當系統(tǒng)達到一定的規(guī)模之后，管理節(jié)點會成為Lustre系統(tǒng)中的瓶頸。3.FastDFS優(yōu)點：以文件為基本存儲單位，解決了大容量存儲的問題。特別適合以文件為載體的在線服務，簡化文件的存取功能。缺點：難以并行化處理（一個節(jié)點只能處理一個文件，無法同時處理一個文件）； -難以實現(xiàn)負載均衡（文件大小不同，無法實現(xiàn)負載均衡，用戶需要自己控制文件大?。┑谌龁枺篏PFS的主要優(yōu)點有以下三點：1)使用分布式鎖管理和大數(shù)據(jù)塊策略支持更大規(guī)模的集群系統(tǒng),文件系統(tǒng)的令牌管理器為塊、inode、屬性和目錄項建立細粒度的鎖，第一個獲得鎖的客戶將負責維護相應共享

14、對象的一致性管理，這減少了元數(shù)據(jù)服務器的負擔;2)擁有多個元數(shù)據(jù)服務器,元數(shù)據(jù)也是分布式,使得元數(shù)據(jù)的管理不再是系統(tǒng)瓶頸;3)令牌管理以字節(jié)作為鎖的最小單位,也就是說除非兩個請求訪問的是同一文件的同一字節(jié)數(shù)據(jù),對于數(shù)據(jù)的訪問請求永遠不會沖突.10、闡述MapReduce與傳統(tǒng)的分布式程序設計相比有何優(yōu)點？例舉傳統(tǒng)分布式程序設計的優(yōu)缺點？（真心找不到，當然我也沒怎么理解，感覺傳統(tǒng)的分布式應該改為傳統(tǒng)的集中式，知道答案的補充一下）（1）通過MapReduce這個分布式處理框架，能用于處理大規(guī)模數(shù)據(jù)。（2）能將很多繁瑣的細節(jié)隱藏起來，容錯率高。比如自動并行化、負載均衡和災備管理等，這樣將極大地簡化程

15、序員的開發(fā)工作;（3）MapReduce的伸縮性非常好；也就是說每增加一臺服務器，其就能將差不多的計算能力接入到集群中，傳統(tǒng)的在伸縮性方面都與MapReduce相差甚遠。二：將會從以下敘述題中選擇題目解答。1、參照以下MapReduce操作執(zhí)行流程圖，請敘述MapReduce操作過程？（1）輸入文件分成M塊，每塊大概16M64MB（可以通過參數(shù)決定），接著在集群的機器上執(zhí)行分派處理程序（2）M個Map任務和R個Reduce任務需要分派，Master選擇空閑Worker來分配這些Map或Reduce任務（3）Worker讀取并處理相關輸入塊，Map函數(shù)產(chǎn)生的中間結(jié)果對暫時緩沖到內(nèi)存 （4）中間結(jié)

16、果定時寫到本地硬盤，分區(qū)函數(shù)將其分成R個區(qū)。中間結(jié)果在本地硬盤的位置信息將被發(fā)送回Master，然后Master負責把這些位置信息傳送給Reduce Worker（5）當Master通知執(zhí)行Reduce的Worker關于中間對的位置時，它調(diào)用遠程過程，從Map Worker的本地硬盤上讀取緩沖的中間數(shù)據(jù)。當Reduce Worker讀到所有的中間數(shù)據(jù)，它就使用中間key進行排序，這樣可使相同key的值都在一起。（6）Reduce Worker根據(jù)每一個唯一中間key來遍歷所有的排序后的中間數(shù)據(jù)，并且把key和相關的中間結(jié)果值集合傳遞給用戶定義的Reduce函數(shù)。Reduce函數(shù)的結(jié)果寫到一個最

17、終的輸出文件（7）當所有的Map任務和Reduce任務都完成的時候，Master激活用戶程序。此時MapReduce返回用戶程序的調(diào)用點2、請參照以下“云計算仿真器cloudsim”的體系結(jié)構，敘述其技術實現(xiàn)及使用方法？技術實現(xiàn)：1）BwProvisioner用于模擬虛擬機的帶寬分配策略?？梢酝ㄟ^擴展這個類反映其應用需求的變化，實現(xiàn)自己的策略（基于優(yōu)先級或服務質(zhì)量）2）CloudCoordinator整合了云數(shù)據(jù)中心，負責周期性地監(jiān)控數(shù)據(jù)中心資源的內(nèi)部狀態(tài)和執(zhí)行動態(tài)負載均衡的決策 3）Cloudlet模擬了云應用服務（如內(nèi)容分發(fā)、社區(qū)網(wǎng)絡和業(yè)務工作流等）。每一個應用服務都會擁有一個預分配的指令

18、長度和其生命周期內(nèi)所需的數(shù)據(jù)傳輸開銷4）CloudletScheduler擴展實現(xiàn)了多種策略，用于決定虛擬機內(nèi)的應用服務如何共享處理器能力。支持兩種調(diào)度策略：空間共享（CloudletSchedulerSpaceShared）和時間共享（CloudletSchedulerTimeShared）策略 7）DatacenterCharacteristics包含了數(shù)據(jù)中心資源的配置信息8）Host模擬如計算機、存儲服務器等物理資源。它封裝了一些重要信息，如內(nèi)存/存儲器的容量、處理器內(nèi)核列表及類型（多核機器）、虛擬機之間共享處理能力的分配策略、為虛擬機分配內(nèi)存和帶寬的策略等9）NetworkTopol

19、ogy包含模擬網(wǎng)絡行為（延時）的信息。它里面保存了網(wǎng)絡拓撲信息，該信息由BRITE拓撲生成器生成10）RamProvisioner代表為虛擬機分配主存的策略11）SanStorage模擬了云數(shù)據(jù)中心的存儲區(qū)域網(wǎng)，主要用于存儲大量數(shù)據(jù)，類似于Amazon S3、Azure blob storage等 12）Sensor該接口的實現(xiàn)必須通過實例化一個能夠被云協(xié)調(diào)器使用的傳感器組件，用于監(jiān)控特定的性能參數(shù)（能量消耗、資源利用）。該接口定義了如下方法：（1）為性能參數(shù)設置最小值和最大值。（2）周期性地更新測量值。（3）該類能夠用于模擬由主流云提供商提供的真實服務 13）Vm模擬由主機組件托管和管理的虛

20、擬機 14）VmAllocationPolicy代表虛擬機監(jiān)視器使用的調(diào)度策略，該策略用于將虛擬機分配給主機 15）VmSheduler由一個主機組件實現(xiàn)，模擬為虛擬機分配處理核所用的策略（空間共享和時間共享） 使用方法：（1）初始化CloudSim包（2）創(chuàng)建數(shù)據(jù)中心（3）創(chuàng)建數(shù)據(jù)中心代理數(shù)據(jù)中心代理負責在云計算中根據(jù)用戶的QoS 要求協(xié)調(diào)用戶及服務供應商和部署服務任務（4）創(chuàng)建虛擬機對虛擬機的參數(shù)進行設置，主要包括ID、用戶ID、MIPS、CPU數(shù)量、內(nèi)存、帶寬、外存、虛擬機監(jiān)控器、調(diào)度策略，并提交給任務代理（5）創(chuàng)建云任務創(chuàng)建指定參數(shù)的云任務，設定任務的用戶ID，并提交給任務代理。在這一

21、步可以設置需要創(chuàng)建的云任務數(shù)量以及任務長度等信息（6）在這一步調(diào)用自定義的任務調(diào)度策略，分配任務到虛擬機（7）啟動仿真（8）在仿真結(jié)束后統(tǒng)計結(jié)果 3、技術應用題：假設有一批海量的數(shù)據(jù)，每個數(shù)據(jù)都是由26個字母組成的字符串，原始的數(shù)據(jù)集合是完全無序的，怎樣通過MapReduce完成排序工作，使其有序（字典序）呢？ 解答：對原始的數(shù)據(jù)進行分割（Split），得到N個不同的數(shù)據(jù)分塊，（做題畫最終的圖就好，三張圖可以融合畫）每一個數(shù)據(jù)分塊都啟動一個Map進行處理。采用桶排序的方法，每個Map中按照首字母將字符串分配到26個不同的桶中，按照首字母將Map中不同桶中的字符串集合放置到相應的Reduce中進

22、行處理。具體來說就是首字母為a的字符串全部放在Reduce1中處理，首字母為b的字符串全部放在Reduce2，以此類推， 4、基于分布式計算程序的Hadoop可以運行于大型計算機集群上，請參照自己的理解與應用經(jīng)歷描述Hadoop集群的體系結(jié)構與方法、安裝配置主要支撐技術平臺等（可以圖形+解釋進行描述）？Hadoop概述： 基于Apache基金會下的一個開源項目，致力于開發(fā)一個可靠的、大規(guī)模的分布式計算框架 用戶可采用簡單的計算模型在計算機集群下對大規(guī)模的數(shù)據(jù)進行分布式處理 體系結(jié)構方法： 在Hadoop部署中，有三種服務器角色，他們分別是客戶端、Masters節(jié)點以及Slave 節(jié)點。Mast

23、er 節(jié)點，Masters 節(jié)點又稱主節(jié)點，主節(jié)點負責監(jiān)控兩個核心功能：大數(shù)據(jù)存儲（HDFS）以及數(shù)據(jù)并行計算（Map Reduce）。其中，Name Node 負責監(jiān)控以及協(xié)調(diào)數(shù)據(jù)存儲（HDFS）的工作，Job Tracker 則負責監(jiān)督以及協(xié)調(diào) Map Reduce 的并行計算。 而Slave 節(jié)點則負責具體的工作以及數(shù)據(jù)存儲。每個 Slave 運行一個 Data Node 和一個 Task Tracker 守護進程。這兩個守護進程負責與 Master 節(jié)點通信。Task Tracker 守護進程與 Job Tracker 相互作用，而 Data Node 守護進程則與 Name Node 相互作用。 上圖是一個典型的 Hadoop 集群架構。這張圖中，Hadoop 集群以機架為單位存在，而每個機架頂部都會有一個交換機通過千兆網(wǎng)（或萬兆網(wǎng)）與外部關聯(lián)。我們通過上行鏈路將所有的機架鏈接在一起形成一個集群。在一個機架中，有些服務器作為 Master 節(jié)點，例如 Name Node等等，而更多的則是 Slave Node。下一個問題表示不懂老師問的啥？我就隨便找了一些答案了。支撐平臺：GNU/Linux是產(chǎn)品開發(fā)和運行的平臺。 Had