網(wǎng)絡計算答案版_第1頁
網(wǎng)絡計算答案版_第2頁
網(wǎng)絡計算答案版_第3頁
網(wǎng)絡計算答案版_第4頁
網(wǎng)絡計算答案版_第5頁
已閱讀5頁，還剩13頁未讀， 繼續(xù)免費閱讀

下載本文檔

版權說明：本文檔由用戶提供并上傳，收益歸屬內容提供方，若內容存在侵權，請進行舉報或認領

文檔簡介

1、學生的課程總評成績由平時成績（占50%）和期末考試成績（50%）兩部分構成。1、平時成績依據(jù)課上小測驗 2次，每次占10%;2、3、4、提交創(chuàng)新性報告2份，每份10%；提交1次小論文，占10%。最后的開卷考試，成績占 50%。網(wǎng)絡計算基本概念分布式對象計算Web計算XMLWeb Services無線與移動計算云計算大數(shù)據(jù)及分析要求：8個主1、請同學們提交2份創(chuàng)新報告，每份不少于 800字，打印簽名及學號。內容以上面 題為目標，自選題目。2、 請同學們提交1份小論文，字數(shù)不少于1500字，打印簽名及學號。內容以上面8個主題 為目標，自選題目，不要與創(chuàng)新報告內容重復。3、 按時參加考試，注意考試時

2、間與地點，考試當天每人交來 3份報告（打印、簽名及學號）。 開卷考試，自帶資料，要求字跡工整，內容詳實，認真書寫。一：將會從以下簡述題中選擇部分。1、闡述分布式核心技術中的分布式計算、并行計算、云計算的基本概念，以及各自的技術 核心特點？分布式計算：將需要巨大計算能力的問題分成許多小部分分布到多臺計算機進行處 理，最后綜合結果。并行計算：同時使用多種計算資源解決計算問題的過程。云計算：云計算是一種商業(yè)計算模型。它將計算任務分布在大量計算機構成的資源 池上，使各種應用系統(tǒng)能夠根據(jù)需要獲取計算力、存儲空間和信息服務。核心特點：（1）（2）概念：（1）分布式計算：需要多臺聯(lián)網(wǎng)的分布在各處的計算機協(xié)同

3、處理。并行的主體是計算機 并行計算：一般而言，指時間或者空間上并行。如流水線技術或強調單計算機多核 處理。并行的主體是處理器。云計算：云計算是上述兩種計算的商業(yè)發(fā)展。關鍵在能夠對云內的基礎設施等資源 （資源池）進行動態(tài)按需分配與管理。2、3、Chubby是Google設計的提供粗粒度鎖服務的一個文件系統(tǒng)，它基于松耦合分布式系統(tǒng),解決了分布的一致性問題。設計目標如下：(1)(2)(3)(4)(5)(6)闡述移動計算的基本概念與技術特點？移動計算與分布式計算有何區(qū)別?概念：移動計算是使得人們可以在任何時間地點以任何方式接入網(wǎng)絡服務的技術集。它使計算機或其它信息智能終端設備在無線環(huán)境下實現(xiàn)數(shù)據(jù)傳輸及

4、資源共享，它的作用是將有用、準確、及時的信息提供給任何時間地點的任何客戶。區(qū)別：與分布計算相比，移動計算具有以下一些主要特點：(1) 移動性：移動計算機在移動過程中可以通過所在無線單元與固定網(wǎng)絡的節(jié)點或其他移 動計算機連接。(2) 網(wǎng)絡條件多樣性：移動計算機在移動過程中所使用的網(wǎng)絡一般是變化的。(3) 頻繁斷接性：由于受電源、無線通信費用、網(wǎng)絡條件等因素的限制，移動計算機是主 動或被動地間連、斷接。,下行鏈路和上行鏈路的通信網(wǎng)絡通信的非對稱性：移動節(jié)點的發(fā)送能力較弱。因此帶寬和代價相差較大。(5) 移動計算機的電源能力有限(6) 可靠性低：這與無線網(wǎng)絡本身的可靠性及移動計算環(huán)境的易受干擾和不安

5、全等因素有 關。闡述Google云計算原理中的 Chubby的設計目標是什么?高可用性和高可靠性；首要目標，在保證這一目標的基礎上再考慮系統(tǒng)的吞吐量和存儲能力；高擴展性；將數(shù)據(jù)存儲在價格較為低廉的RAM，支持大規(guī)模用戶訪問文件支持粗粒度的建議性鎖服務；提供這種服務的根本目的是提高系統(tǒng)的性能 服務信息的直接存儲；可直接存儲包括元數(shù)據(jù)、系統(tǒng)參數(shù)在內的有關服務信息 支持通報機制；客戶可以及時地了解到事件發(fā)生支持緩存機制；通過一致性緩存將常用信息保存在客戶端，避免了頻繁地訪問 主服務器闡述Paxos算法在Chubby中起什么作用？簡述 Paxos算法的原理？作用：Chubby設計者借鑒了 Paxos的

6、兩種解決機制：給協(xié)調者指派序號或限制協(xié)調者可 以選擇的值。原理：1、選擇一副本為協(xié)調者。2、 協(xié)調者從客戶提交的值中選擇一個，accept消息廣播給所有的副本，其他的 副本收到廣播后，選擇接受或者拒絕這個值，并將決定結果反饋。3、協(xié)調者收到大多數(shù)副本接受信息后，認為達到了一致性，接著向相關副本發(fā) 送一個commit消息 。4、5、闡述Google云計算原理中的Bigtable數(shù)據(jù)模型和系統(tǒng)架構？數(shù)據(jù)模型Bigtable是一個分布式多維映射表，表中的數(shù)據(jù)通過一個行關鍵字( Row Key )、 一個列關鍵字(Column Key )以及一個時間戳(Time Stamp)進行索引Bigtable對

7、存儲在其中的數(shù)據(jù)不做任何解析，一律看做字符串 Bigtable的存儲邏輯可以表示為：T stri ng(row:stn ng, colu mn: stri ng, time:i nt64)II|Illk t9“CNN ”“CNN.com ”“ <html> ” _t3 "vhtml> ” 't5 vhtml> "” I<-Tt6"錨點： my.look.ca"com.c nn .www"錨點：cnn ”“內容：”2211 .111系統(tǒng)架構處理數(shù)據(jù)處理數(shù)據(jù)處理數(shù)據(jù)Google WorkQueueGFSChub

8、by負責故障處理及監(jiān)控保存子表數(shù)據(jù)及日志負責元數(shù)據(jù)存儲及 主服務器的選擇Bigtable主要由三個部分組成：客戶端程序庫、一個主服務器和多個子表服務器客戶訪問Bigtable服務時，首先要利用其庫函數(shù)執(zhí)行Open()操作來打開一個鎖(實際上就是獲取了文件目錄)，鎖打開以后客戶端就可以和子表服務器進行通信和許多具有單個主節(jié)點分布式系統(tǒng)一樣，客戶端主要與子表服務器通信，幾乎不 和主服務器進行通信，這使得主服務器的負載大大降低主服務主要進行一些元數(shù)據(jù)操作以及子表服務器之間負載調度問題，實際數(shù)據(jù)是存儲在子表服務器上6、闡述Google云計算原理中的分布式存儲系統(tǒng)Megastore的核心技術是什么？核心

9、技術是復制。簡述如下：Megastore的數(shù)據(jù)復制是通過 paxos進行同步復制的，也就是如果更新一個數(shù)據(jù)，所有 機房都會進行同步更新，因為使用Paxos進行復制，所以不同機房針對同一條數(shù)據(jù)的更新復制到所有機房的更新順序都是一致的，同步復制保證數(shù)據(jù)的實時可見性，采用Paxos算法則保證了所有機房更新的一致性，所以個人認為megastore的更新可能會比較慢，而所有讀都是實時讀（對于不同機房是一致的），因為部署有多個機房，并且數(shù)據(jù)總是最新。7、闡述Google云計算原理中大規(guī)模分布式系統(tǒng)的監(jiān)控基礎架構關鍵技術是實現(xiàn)應用級的透明。對于應用的程序員來說，是不需要知道有跟蹤系統(tǒng)這回事的。如果一個跟蹤系

10、統(tǒng)想生效，就必須需要依賴應用的開發(fā)者主動配合，那么這個跟蹤系統(tǒng)也太脆弱了，Dapper關鍵技術是什么?在應用中植入代碼的 bug或疏忽導致應用出問題，這樣才是無法滿足對跟蹤系統(tǒng)的部署”這個需求。（這一段可以不要）做到這一點需要實現(xiàn)輕量級的核心功能庫和二次抽樣技術。輕量級核心功能庫：將Dapper的核心監(jiān)控實現(xiàn)限制在一個由通用線程（往往由于跟蹤系統(tǒng)"無所不在UbiquitousThreading ）、控制流（Control Flow ）和RPC代碼庫（RPC Library Code ）組成的小規(guī)模庫基 礎上。二次抽樣技術：第一次抽樣一一實踐中，設計人員發(fā)現(xiàn)當抽樣率低至1/1024時也

11、能夠產生足夠多的有效監(jiān)控數(shù)據(jù)，即在1024個請求中抽取1個進行監(jiān)控也是可行的，從而可以捕獲有效數(shù)據(jù)第二次抽樣發(fā)生在數(shù)據(jù)寫入 Bigtable前，具體方法是將監(jiān)控id散列成一個標量z （0< z< 1）,如果某個區(qū)間的z小于事先定義好的匯總抽樣系數(shù)，則保留這個區(qū)間并將它寫入Bigtable，否則丟棄8、闡述Google App Engine提供了哪些服務？Google App Engine的沙盒對開發(fā)人員進行哪些限制？服務：網(wǎng)址獲取、郵件服務、Memcache服務、圖片操作、python程序框架、數(shù)據(jù)庫服務、用戶管理服務等等。限制：（1） 用戶應用程序只能通過Google App E

12、ngine提供的網(wǎng)址抓取 API和電子郵件服務API來訪問互聯(lián)網(wǎng)中其他計算機；只能在標準接口上通過HTTP或HTTPS來進行（2） 應用程序無法對 Google App Engine的文件系統(tǒng)進行寫入操作，只能讀取應用程序代碼上的文件，并且該應用程序必須使用Data Store數(shù)據(jù)庫來存儲應用程序運行期間持續(xù)存在的數(shù)據(jù)（3）應用程序只有在響應網(wǎng)絡請求時才運行，且響應時間必須極短（幾秒之內完成） 同時，請求處理的程序不能在自己的響應發(fā)送后產生子進程或執(zhí)行代碼Google文件系統(tǒng)GFS特點體現(xiàn)9、闡述當前主流分布式文件系統(tǒng)有哪些？各有什么優(yōu)缺點？ 在哪？ 第一問：目前幾個主流的分布式文件系統(tǒng)除GP

13、FS 外,還有Hadoop HDFS、Lustre、FastDFS等。第二問：1.Hado op HDFS優(yōu)點：適合大數(shù)據(jù)處理（支持GB，TB，PB級別的數(shù)據(jù)存儲，支持百萬規(guī)模 以上的文件數(shù)量）-適合批處理（支持離線的批量數(shù)據(jù)處理，支持高吞吐率）-咼容錯性（以數(shù)據(jù)塊存儲，可以保存多個副本，容易實現(xiàn)負載均衡）缺點：-小文件存?。ㄕ加胣ame node大量內存，浪費磁盤空間）-不支持并發(fā)寫入（同一時刻只能有一個進程寫入，不支持隨機修改）2 Lustre支持動態(tài)擴優(yōu)點：是一個基于對象存儲的分布式文件系統(tǒng)，比較成熟，適合大型集群， 展。缺點：它只有兩個元數(shù)據(jù)管理節(jié)點，當系統(tǒng)達到一定的規(guī)模之后，管理節(jié)點

14、 會成為Lustre系統(tǒng)中的瓶頸。3.FastDFS優(yōu)點：以文件為基本存儲單位，解決了大容量存儲的問題。特別適合以文件 為載體的在線服務，簡化文件的存取功能。缺點：難以并行化處理（一個節(jié)點只能處理一個文件，無法同時處理一個文 件）；-難以實現(xiàn)負載均衡（文件大小不同，無法實現(xiàn)負載均衡，用戶需要自 己控制文件大?。┑谌龁枺篏PFS的主要優(yōu)點有以下三點：1）使用分布式鎖管理和大數(shù)據(jù)塊策略支持更大規(guī)模的集群系統(tǒng)，文件系統(tǒng)的令牌管理器為塊、in ode、屬性和目錄項建立細粒度的鎖，第一個獲得鎖的客戶將負責維護相應共 享對象的一致性管理，這減少了元數(shù)據(jù)服務器的負擔；2）擁有多個元數(shù)據(jù)服務器，元數(shù)據(jù)也是分布

15、式，使得元數(shù)據(jù)的管理不再是系統(tǒng)瓶頸；3）令牌管理以字節(jié)作為鎖的最小單位，也就是說除非兩個請求訪問的是同一文件的同一字節(jié)數(shù)據(jù)，對于數(shù)據(jù)的訪問請求永遠不會沖突.10、闡述Map Reduce與傳統(tǒng)的分布式程序設計相比有何優(yōu)點？例舉傳統(tǒng)分布式程序設計的優(yōu)缺點？（真心找不到，當然我也沒怎么理解，感覺傳統(tǒng)的分布式應該改為傳統(tǒng)的集中式， 知道答案的補充一下）（1）通過Map Reduce這個分布式處理框架，能用于處理大規(guī)模數(shù)據(jù)。（2） 能將很多繁瑣的細節(jié)隱藏起來，容錯率高。比如自動并行化、負載均衡和災備管理等,這樣將極大地簡化程序員的開發(fā)工作；（3）Map Reduce的伸縮性非常好；也就是說每增加一臺服

16、務器，其就能將差不多的計算能力接入到集群中，傳統(tǒng)的在伸縮性方面都與Map Reduce相差甚遠。二：將會從以下敘述題中選擇題目解答。1、參照以下 Map Reduce操作執(zhí)行流程圖，請敘述 Map Reduce操作過程?卜 I II forkMaJlerM塊，每塊大概16M64MB （可以通過參數(shù)決定），接著在集群的機器.富卯自襠唱n nduCr.（1）輸入文件分成上執(zhí)行分派處理程序（2） M個Map任務和R個Reduce任務需要分派，Master選擇空閑 Worker來分配這些 Map 或Reduce任務（3） Worker讀取并處理相關輸入塊，Map函數(shù)產生的中間結果key,value對暫

17、時緩沖到內 存（4） 中間結果定時寫到本地硬盤，分區(qū)函數(shù)將其分成R個區(qū)。中間結果在本地硬盤的位置信息將被發(fā)送回 Master，然后Master負責把這些位置信息傳送給Reduce Worker（5） 當Master通知執(zhí)行Reduce的Worker關于中間key,value對的位置時，它調用遠程過程，從Map Worker的本地硬盤上讀取緩沖的中間數(shù)據(jù)。當Reduce Worker讀到所有的中間數(shù)據(jù)，它就使用中間 key進行排序，這樣可使相同key的值都在一起。（6） Reduce Worker根據(jù)每一個唯一中間 key來遍歷所有的排序后的中間數(shù)據(jù)，并且把 key 和相關的中間結果值集合傳遞給

18、用戶定義的Reduce函數(shù)。Reduce函數(shù)的結果寫到一個最終 的輸出文件（7） 當所有的Map任務和Reduce任務都完成的時候，Master激活用戶程序。此時MapReduce 返回用戶程序的調用點2、請參照以下“云計算仿真器cloudsim ”的體系結構，敘述其技術實現(xiàn)及使用方法?用戶代碼用戶請求用戶或數(shù)據(jù)屮心代理CloudSiin用戶接n虛擬機服務仟務單元底擬機云服符云資源技術實現(xiàn):任務m兀執(zhí)行虛擬機管埋半件處理件感器網(wǎng)絡拓撲內匸分配云協(xié)訓器涓息延遲計算帶寬分配數(shù)抓|心C loudSi m檢心模擬引繁1) BwProvisioner用于模擬虛擬機的帶寬分配策略?？梢酝ㄟ^擴展這個類反映其

19、應用需求的變化，策略(基于優(yōu)先級或服務質量)2) CloudCoordinator整合了云數(shù)據(jù)中心，負責周期性地監(jiān)控數(shù)據(jù)中心資源的內部狀態(tài)和執(zhí)行動態(tài)負載均衡的決策3) Cloudlet模擬了云應用服務(如內容分發(fā)、社區(qū)網(wǎng)絡和業(yè)務工作流等) 個預分配的指令長度和其生命周期內所需的數(shù)據(jù)傳輸開銷實現(xiàn)自己的。每一個應用服務都會擁有一4)CloudletScheduler擴展實現(xiàn)了多種策略，用于決定虛擬機內的應用服務如何共享處理器能力。支持兩種調度策略：空間共享(CloudletSchedulerSpaceShared)和時間共享(CloudletSchedulerTimeShared) 策略7) Da

20、tacenterCharacteristics包含了數(shù)據(jù)中心資源的配置信息8)Host模擬如計算機、存儲服務器等物理資源。它封裝了一些重要信息，如內存 處理器內核列表及類型(多核機器)、虛擬機之間共享處理能力的分配策略、內存和帶寬的策略等/存儲器的容量、為虛擬機分配9) NetworkTopology包含模擬網(wǎng)絡行為(延時)的信息。它里面保存了網(wǎng)絡拓撲信息，該信息由 器生成BRITE拓撲生成10) RamProvisioner代表為虛擬機分配主存的策略11)SanStorage模擬了云數(shù)據(jù)中心的存儲區(qū)域網(wǎng)，主要用于存儲大量數(shù)據(jù)，類似于Amazon S3、Azure blobstorage 等1

21、2）Sensor用于監(jiān)控特定的性能該接口的實現(xiàn)必須通過實例化一個能夠被云協(xié)調器使用的傳感器組件， 參數(shù)（能量消耗、資源利用）。該接口定義了如下方法：（1）為性能參數(shù)設置最小值和最大值。（2 ）周期性地更新測量值。（3 ）該類能夠用于模擬由主流云提供商提供的真實服務13）Vm模擬由主機組件托管和管理的虛擬機14）VmAllocationPolicy代表虛擬機監(jiān)視器使用的調度策略，該策略用于將虛擬機分配給主機15）VmSheduler由一個主機組件實現(xiàn)，模擬為虛擬機分配處理核所用的策略（空間共享和時間共享） 使用方法：（1）初始化 CloudSim包（2）創(chuàng)建數(shù)據(jù)中心（3）創(chuàng)建數(shù)據(jù)中心代理數(shù)據(jù)中心

22、代理負責在云計算中根據(jù)用戶的QoS要求協(xié)調用戶及服務供應商和部署服務任務（4）創(chuàng)建虛擬機對虛擬機的參數(shù)進行設置，主要包括ID、用戶ID、MIPS、CPU數(shù)量、內存、帶寬、外存、虛擬機監(jiān)控器、調度策略，并提交給任務代理（5）創(chuàng)建云任務ID,并提交給任務代理。在這一步可以設置需要創(chuàng)建指定參數(shù)的云任務，設定任務的用戶 創(chuàng)建的云任務數(shù)量以及任務長度等信息（6 ）在這一步調用自定義的任務調度策略，分配任務到虛擬機（7 ）啟動仿真（8 ）在仿真結束后統(tǒng)計結果3、技術應用題：假設有一批海量的數(shù)據(jù)，每個數(shù)據(jù)都是由26個字母組成的字符串，原始的數(shù)據(jù)集合是完全無序的，怎樣通過 MapReduce完成排序工作，使其

23、有序（字典序）呢？解答：對原始的數(shù)據(jù)進行分割（Split）,得到N個不同的數(shù)據(jù)分塊，（做題畫最終的圖就好, 三張圖可以融合畫）Split 1:nklklacdcdd gfgdfsdfdfdannnbnbvghSplits*dfgmdlijydf kghfgcxnkilgjgbyotcwgbbSplitN：hjlo snTb hjcvcvxcdhbviivcxef每一個數(shù)據(jù)分塊都啟動一個Map進行處理。采用桶排序的方法，每個字符串分配到26個不同的桶中，Map中按照首字母將Map輸出aaabtazxGWbaasnbzzvvvi26-t 桶nklklacdcddSpliiL. gfgdfsdfdf

24、d+artnnbnb、妙Map IZZYCZajgfTiaz7HgaSplil2：dfjjjndhjydf 聽h 龜cxnkilgjghyotcwgbbMap2bandfbzxkk加個輔zakhuSplighjlolsnvrb hjcvcvxcdlibvnvcKefMapN哉iyfabhju+卜I卜azd 菖hybahrtrbzhyhy26nTi+zzukit按照首字母將 Map中不同桶中的字符串集合放置到相應的Reduce中進行處理。具體來說就是首字母為a的字符串全部放在 Reducel中處理，首字母為 b的字符串全部放在 Reduce2, 以此類推，aaabcaacwDaasnzavjgZ

25、ZVIZ 疋aagfhgbandfbakkzakhuzzjiyfaUijuazdghybahttrbzhyhYReduce!2竹楠RedLice26Reduce2azzbvbsjhbarmacdaabacfdfdbzJighhgjzsactheererrzbyiiireterh H h Hzzkeslizzukit4、基于分布式計算程序的Hadoop可以運行于大型計算機集群上，請參照自己的理解與應用經(jīng)歷描述Hadoop集群的體系結構與方法、安裝配置主要支撐技術平臺等（可以圖形+解釋進行描述）？HadooP 概述：? 基于Apache基金會下的一個開源項目，致力于開發(fā)一個可靠的、大規(guī)模的分布式計

26、算框架? 用戶可采用簡單的計算模型在計算機集群下對大規(guī)模的數(shù)據(jù)進行分布式處理體系結構Hadoop ClusterERAD HEDLUND .±emswitchWorldDM * TTOWt TTUN+ nDN+ TTDNt TTRackMONt TT方法：在HadooP部署中，有三種服務器角色，他們分別是客戶端、Masters節(jié)點以及Slave節(jié)點。Master節(jié)點，Masters節(jié)點又稱主節(jié)點，主節(jié)點負責監(jiān)控兩個核心功能：大數(shù)據(jù)存儲（HDFS ）以及數(shù)據(jù)并行計算（Map Reduce ）。其中，Name Node負責監(jiān)控以及協(xié)調數(shù)據(jù)存儲（HDFS）的工作，Job Tracker則負

27、責監(jiān)督以及協(xié)調Map Reduce的并行計算。而Slave節(jié)點則負責具體的工作以及數(shù)據(jù)存儲。每個Slave運行一個 Data Node和一個 Task Tracker守護進程。這兩個守護進程負責 與 Master節(jié)點通信。Task Tracker守護進程與 Job Tracker相互作用，而 Data Node守護 進程則與Name Node相互作用。上圖是一個典型的HadooP集群架構。這張圖中，Hadoop集群以機架為單位存在，而每個機架頂部都會有一個交換機通過千兆網(wǎng)（或萬兆網(wǎng)）與外部關聯(lián)。我們通過上行鏈路將所有的機架鏈接在一起形成一個集群。在一個機架中，有些服務器作為Master節(jié)點，例如Name Node等等，而更多的則是 Slave Node。下一個問題

溫馨提示

  • 1. 本站所有資源如無特殊說明，都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等，如果需要附件，請聯(lián)系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙，網(wǎng)頁內容里面會有圖紙預覽，若沒有圖紙預覽就沒有圖紙。
  • 4. 未經(jīng)權益所有人同意不得將文件中的內容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間，僅對用戶上傳內容的表現(xiàn)方式做保護處理，對用戶上傳分享的文檔內容本身不做任何修改或編輯，并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容，請與我們聯(lián)系，我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論