《分布式計(jì)算、云計(jì)算與大數(shù)據(jù)》習(xí)題參考解答

《分布式計(jì)算、云計(jì)算與大數(shù)據(jù)》習(xí)題參考解答第1章分布式計(jì)算概述

一、選擇題

1，CD2，ABC3，ABCD4，ACD

二、簡(jiǎn)答題

1，參考1.1.1和節(jié)

2，參考1.1.2節(jié)

3，分布式計(jì)算的核心技術(shù)是進(jìn)程間通信，參考1.3.2節(jié)

4，單播和組播

5，超時(shí)和多線程

三、試驗(yàn)題

1.進(jìn)程A在進(jìn)程B發(fā)送receive前發(fā)起send操作

進(jìn)程A進(jìn)程B

發(fā)出非堵塞send操

作，進(jìn)程A連續(xù)運(yùn)行

發(fā)出堵塞receive操

作，進(jìn)程B被堵塞進(jìn)程B在進(jìn)程A發(fā)起send前發(fā)出receive操作

發(fā)出非堵塞send操作，進(jìn)程A連續(xù)運(yùn)行

發(fā)出堵塞receive操作，進(jìn)程B

被堵塞

收到進(jìn)程A發(fā)送的數(shù)據(jù)，進(jìn)程B被喚醒

2.進(jìn)程A在進(jìn)程B發(fā)送receive前發(fā)起send操作

進(jìn)程A進(jìn)程B

發(fā)出堵塞send操作，

進(jìn)程A被堵塞

發(fā)出堵塞receive操作，進(jìn)程B被堵塞

進(jìn)程B在進(jìn)程A發(fā)起send前發(fā)出receive操作

發(fā)出堵塞send操作，進(jìn)程A被堵塞

發(fā)出堵塞receive操作，進(jìn)程B

被堵塞

收到進(jìn)程A發(fā)送的數(shù)據(jù)，進(jìn)程B

被喚醒

收到進(jìn)程B返回的數(shù)

據(jù)，進(jìn)程A被喚醒

3.1).在供應(yīng)堵塞send操作和堵塞receive操作的通信系統(tǒng)中在供應(yīng)非堵塞send操作和堵塞receive操作的通信系統(tǒng)中2)．P1，P2，P3進(jìn)程間通信的挨次狀態(tài)圖

m1

m1

m2

m2

第2章分布式計(jì)算范型概述

1.消息傳遞，客戶-服務(wù)器，P2P，分布式對(duì)象，網(wǎng)絡(luò)服務(wù)，移動(dòng)代理等

2.分布式應(yīng)用最廣泛最流行的范型是客戶-服務(wù)器范型，參考節(jié)

3.分布式應(yīng)用最基本的范型是消息傳遞模型，參考節(jié)

4.參考節(jié)，P2P應(yīng)用有許多，例如Napster，迅雷，PPS網(wǎng)絡(luò)電視等

5.參考節(jié)

6.參考節(jié)

7.略

8.消息傳遞模式是最基本的分布式計(jì)算范型，適用于大多數(shù)應(yīng)用；客戶-服務(wù)器范型是最

流行的分布式計(jì)算范型，應(yīng)用最為廣泛；P2P范型又稱為對(duì)等結(jié)構(gòu)范型，使得網(wǎng)絡(luò)以最有效率的方式運(yùn)行，適用于各參加者地位公平的網(wǎng)絡(luò)；分布式對(duì)象范型，是抽象化的遠(yuǎn)程調(diào)用，適用于簡(jiǎn)單的分布式計(jì)算應(yīng)用等。

9.略

10.中間件又稱為代理，中間件為參加對(duì)象供應(yīng)內(nèi)容抽象，隱蔽對(duì)象引用，起到中介作用。

11.略

第3章Socket編程與客戶服務(wù)器應(yīng)用開發(fā)

一、填空題

1.數(shù)據(jù)包socket，流式socket

2.無連接方式，面對(duì)連接方式

3.數(shù)據(jù)層，業(yè)務(wù)層，應(yīng)用層

4.迭代服務(wù)器和并發(fā)服務(wù)器

5.有狀態(tài)服務(wù)器和無狀態(tài)服務(wù)器

二、簡(jiǎn)答題

1.API：ApplicationProgrammingInterface,應(yīng)用程序編程接口，是一些預(yù)先定義

的函數(shù)，目的是供應(yīng)應(yīng)用程序與開發(fā)人員基于某軟件或硬件得以訪問一組例程的能

力，而又無需訪問源碼，或理解內(nèi)部工作機(jī)制的細(xì)節(jié)

SocketAPI：套接字應(yīng)用程序編程接口，適用于進(jìn)程間通信的套接字應(yīng)用程序編程

接口

Winsock：Windows下網(wǎng)絡(luò)編程的規(guī)范－WindowsSockets是Windows下得到廣泛應(yīng)

用的、開放的、支持多種協(xié)議的網(wǎng)絡(luò)編程接口。

2.無連接方式將以任意挨次到達(dá)，而有連接方式則以發(fā)送挨次按序到達(dá)

3.setToTimeout設(shè)置為0則表示永無超時(shí)，

4./*

*thisexampleillustratesthebasicmethodforreceivingadatagrampacket

*/

try{

DatagramSocketmySocket=newDatagramSocket(port);

"Waitingforreceivingthedata!");

5.2.3B23.A24.E2

6.E2

7.B2

8.E

29.D30.A

31.A32.BC

二、填空題

4.6.

8.setContentType(Strings)

9.response\addCookie(c)10.靜態(tài)頁面\動(dòng)態(tài)頁面

://

15.gbk16.一對(duì)多/多對(duì)一

三、名詞解釋及解答

1.靜態(tài)網(wǎng)頁是實(shí)際存在的，無需經(jīng)過服務(wù)器的編譯，直接加載到客戶掃瞄器上顯示出來。

2.所謂動(dòng)態(tài)網(wǎng)頁是指網(wǎng)頁文件里包含了程序代碼，通過后臺(tái)數(shù)據(jù)庫與Web服務(wù)器的信息交互，由后臺(tái)數(shù)據(jù)庫供應(yīng)實(shí)時(shí)數(shù)據(jù)更新和數(shù)據(jù)查詢服務(wù)。

3.數(shù)據(jù)和資源共享這兩種方式結(jié)合在一起即成為今日廣泛使用的網(wǎng)絡(luò)數(shù)據(jù)庫（WEB數(shù)據(jù)庫），它是以后臺(tái)（遠(yuǎn)程）數(shù)據(jù)庫為基礎(chǔ)，加上肯定的前臺(tái)（本地計(jì)算機(jī)）程序，通過掃瞄

器完成數(shù)據(jù)存儲(chǔ)、查詢等操作的系統(tǒng)。

4.前者是指令元素、后者是行為元素。jsp:include動(dòng)作和include指令之間的根本性的不同在于它們被調(diào)用的時(shí)間。jsp:include動(dòng)作在懇求期間被激活，而include指令在頁面轉(zhuǎn)換期間被激活。

4.request對(duì)象是從客戶端向服務(wù)器發(fā)出懇求，包括用戶提交的信息以及客戶端的一些信息。客戶端可通過HTML表單或在網(wǎng)頁地址后面供應(yīng)參數(shù)的方法提交數(shù)據(jù)，然后通過request對(duì)象的相關(guān)方法來獵取這些數(shù)據(jù)。request的各種方法主要用來處理客戶端掃瞄器提交的懇求中的各項(xiàng)參數(shù)和選項(xiàng)。

5.JSP的response隱蔽對(duì)象在轉(zhuǎn)換為Servlet之后，對(duì)應(yīng)于HttpServletResponse型態(tài)對(duì)象，HttpServletResponse對(duì)象是有關(guān)于對(duì)客戶端懇求之響應(yīng)，它可以來設(shè)定一些要響應(yīng)的訊息，例如標(biāo)題信息、響應(yīng)狀態(tài)碼等.

7.①跨平臺(tái)

既然JSP是基于Java語言的，那么它就可以使用JavaAPI，所以它也是跨平臺(tái)的，可以應(yīng)用在不同的系統(tǒng)中，如Windows、Linux、Mac和Solaris等正是由于跨平臺(tái)的特性，使得采納JSP技術(shù)開發(fā)的項(xiàng)目可以不加修改地應(yīng)用到任何不同的平臺(tái)上，這也應(yīng)驗(yàn)了Java語言的"一次編寫，處處運(yùn)行"的特點(diǎn)。

②業(yè)務(wù)代碼分別

采納JSP技術(shù)開發(fā)的項(xiàng)目，通常使用HTML語言來設(shè)計(jì)和格式化靜態(tài)頁面的內(nèi)容，而使用JSP標(biāo)簽和Java代碼片段來實(shí)現(xiàn)動(dòng)態(tài)部分。

③組件重用

JSP中可以使用JavaBean編寫業(yè)務(wù)組件，也就是使用一個(gè)JavaBean類封裝業(yè)務(wù)處理代碼或者作為一個(gè)數(shù)據(jù)存儲(chǔ)模型，在JSP頁面甚至整個(gè)項(xiàng)目中都可以重復(fù)使用這個(gè)JavaBean。JavaBean也可以應(yīng)用到其他Java應(yīng)用程序中，包括桌面應(yīng)用程序。

④繼承JavaServlet功能

Servlet是JSP消失之前的主要JavaWeb處理技術(shù)。它接受用戶懇求，在Servlet類中編寫全部Java和HTML代碼，然后通過輸出流把結(jié)果頁面返回給掃瞄器。

⑤預(yù)編譯

預(yù)編譯就是在用戶第一次通過掃瞄器訪問JSP頁面時(shí)，服務(wù)器將對(duì)JSP頁面代碼進(jìn)行編譯，并且僅執(zhí)行一次編譯。編譯好的代碼將被保存，在用戶下一次訪問時(shí)，直接執(zhí)行編譯好的代碼。這樣不僅節(jié)省了服務(wù)器的CPU資源，還大大提升了客戶端的訪問速度。

8.需要Java運(yùn)行環(huán)境和JSP服務(wù)器；JDK即JavaDevelopmentKit，是Java運(yùn)行所必需的環(huán)境包。JSP服務(wù)器有Tomcat/Weblogic/websphere/JBOSS等等。

9.它是軟件系統(tǒng)體系結(jié)構(gòu)，通過它可以充分利用兩端硬件環(huán)境的優(yōu)勢(shì)，將任務(wù)合理安排到Client端和Server端來實(shí)現(xiàn)，降低了系統(tǒng)的通訊開銷。

S結(jié)構(gòu)（Browser/Server，掃瞄器/服務(wù)器模式）,它將系統(tǒng)功能實(shí)現(xiàn)的核心部分集中到服務(wù)器上，簡(jiǎn)化了系統(tǒng)的開發(fā)、維護(hù)和使用?？蛻魴C(jī)上只要安裝一個(gè)掃瞄器（Browser），如NetscapeNavigator或InternetExplorer，服務(wù)器安裝Oracle、Sybase、Informix或SQLServer等數(shù)據(jù)庫。

11.動(dòng)態(tài)網(wǎng)頁語言有JSP、ASP和PHP等等。

JSP（JavaServerPages)是由SunMicrosystems公司提倡、很多公司參加一起建立的一種動(dòng)態(tài)網(wǎng)頁技術(shù)標(biāo)準(zhǔn)。

ASP是ActiveServerPage的縮寫，意為“動(dòng)態(tài)服務(wù)器頁面”。ASP是微軟公司開發(fā)的代替CGI腳本程序的一種應(yīng)用，它可以與數(shù)據(jù)庫和其它程序進(jìn)行交互，是一種簡(jiǎn)潔、便利的編程工具。

PHP，是英文超文本預(yù)處理語言HypertextPreprocessor的縮寫。PHP是一種HTML內(nèi)嵌式的語言，是一種在服務(wù)器端執(zhí)行的嵌入HTML文檔的腳本語言，語言的風(fēng)格有類似于C語言，被廣泛地運(yùn)用。

是一種基于對(duì)象和大事驅(qū)動(dòng)并具有相對(duì)平安性的客戶端腳本語言。同時(shí)也是一種廣泛用于客

戶端Web開發(fā)的腳本語言，常用來給HTML網(wǎng)頁添加動(dòng)態(tài)功能，比如響應(yīng)用戶的各種操作。

是用于保持狀態(tài)的基于Web服務(wù)器的方法。Session允許通過將對(duì)象存儲(chǔ)在Web服務(wù)器的內(nèi)存中在整個(gè)用戶會(huì)話過程中保持任何對(duì)象。

，有時(shí)也用其復(fù)數(shù)形式Cookies，指某些網(wǎng)站為了辨別用戶身份、進(jìn)行session跟蹤而儲(chǔ)存在用戶本地終端上的數(shù)據(jù)（通常經(jīng)過加密）。

15.當(dāng)用戶通過掃瞄器訪問一個(gè)Web站點(diǎn)時(shí)，首先向服務(wù)器發(fā)送一個(gè)連接懇求，懇求內(nèi)容包括服務(wù)器的地址和懇求頁面的路徑。服務(wù)器依據(jù)用戶懇求的路徑以及頁面路徑組合起來查找到相應(yīng)的頁面，然后返回客戶端?？蛻舳嗽谙蚍?wù)器端提交數(shù)據(jù)時(shí)有多種數(shù)據(jù)提交機(jī)制，最常用的是GET方法和POST方法。

16.servlet有良好的生存期的定義，包括加載和實(shí)例化、初始化、處理懇求以及服務(wù)結(jié)束。這個(gè)生存期由接口的init,service和destroy方法表達(dá)。Servlet被服務(wù)器實(shí)例化后，容器運(yùn)行其init方法，懇求到達(dá)時(shí)運(yùn)行其service方法，service方法自動(dòng)派遣

運(yùn)行與懇求對(duì)應(yīng)的doXXX方法（doGet，doPost）等，當(dāng)服務(wù)器打算將實(shí)例銷毀的時(shí)候調(diào)用其destroy方法。

第6章P2P原理與實(shí)踐

1、P2P的基本概念是什么？

答：P2P，即Peer-to-Peer的縮寫，在英語中“Peer”表示“對(duì)等者”和“伙伴”的意思，因此我們常稱它為“點(diǎn)對(duì)點(diǎn)”或者“端對(duì)端”，而學(xué)術(shù)界常稱它為“對(duì)等計(jì)算”。P2P是一種以非集中化方式使用分布式資源來完成一些關(guān)鍵任務(wù)的系統(tǒng)和應(yīng)用。

2、P2P技術(shù)有哪些特點(diǎn)？

答：非中心化、可擴(kuò)展性高、健壯性強(qiáng)、高性價(jià)比、負(fù)載均衡等。

3、說明P2P網(wǎng)絡(luò)有哪幾種拓?fù)浣Y(jié)構(gòu)，并舉出它們的典型應(yīng)用系統(tǒng)。

答：中心化拓?fù)?，?yīng)用：Napster；全分布式非結(jié)構(gòu)化拓?fù)?，?yīng)用：Gnutella；全分布式結(jié)構(gòu)化拓?fù)洌瑧?yīng)用：Chord；半分布式拓?fù)?，?yīng)用：KaZaA。

4、嘗試開發(fā)一個(gè)基于P2P模式的簡(jiǎn)潔的文件傳輸系統(tǒng)。

暫未完成

5、對(duì)于P2P的將來，你有哪些感想？

略

第7章WebServices

1.什么是WebServices？

答：WebServices是基于網(wǎng)絡(luò)、自包含、分布式的模塊化組件；它執(zhí)行特定的任務(wù)，遵守詳細(xì)的技術(shù)規(guī)范，這些技術(shù)規(guī)范使得WebServices能與其他兼容組件進(jìn)行互操作；一般由企業(yè)發(fā)布能完成特定業(yè)務(wù)需求的在線服務(wù)，而其他企業(yè)或應(yīng)用軟件可以通過Internet尋求到自己所需的服務(wù)，并調(diào)用此服務(wù)，以完成特定的需求。

2．WebServices有哪些特點(diǎn)？

答：WebServices具有良好的封裝性、松耦合性、高度可集成性和易于構(gòu)建的特點(diǎn)

3.在哪些應(yīng)用場(chǎng)合中適合使用WebServices方案？

答：WebServices的適用場(chǎng)合有：跨防火墻的通信、應(yīng)用程序集成、B2B的集成和軟件及數(shù)據(jù)的重用。

4.簡(jiǎn)述WebServices的體系架構(gòu)和工作原理。

答：WebServices的體系架構(gòu)可以參見本章圖。在典型狀況下，Web服務(wù)由服務(wù)供應(yīng)者、服務(wù)使用者和注冊(cè)中心三者構(gòu)成。服務(wù)供應(yīng)者托管可通過網(wǎng)絡(luò)訪問特定的軟件模塊，定義WebServices的服務(wù)描述并將服務(wù)發(fā)布到服務(wù)注冊(cè)中心統(tǒng)一名目中；服務(wù)懇求者使用查找操作

從注冊(cè)中心中檢索特定的服務(wù)，然后使用服務(wù)描述與服務(wù)供應(yīng)者進(jìn)行綁定并調(diào)用相應(yīng)的服務(wù)，以進(jìn)行交互。

有哪些特點(diǎn)？

答：可擴(kuò)展性、自描述性、簡(jiǎn)潔性、數(shù)據(jù)的描述與顯示相分別、易于數(shù)據(jù)的交換和共享、易于充分利用數(shù)據(jù)、可用于制造新的語言。

與WebServices是有怎樣的關(guān)系？

答：在WebServices中SOAP、WSDL、UDDI等技術(shù)都是基于XML建立起來的，它是WebServices的基石。正是由于XML具有跨平臺(tái)、跨語言等特性，才使得WebServices也具備這些特性，成為應(yīng)用集成的好幫手。

7.試著使用XML語言描述一個(gè)生活中你熟識(shí)的事物，并畫出該文檔的樹形圖，同時(shí)寫出相應(yīng)的XMLSchema文檔。

解析：

這里我們來描述下某家鞋店的鞋子信息，一雙鞋的信息可以包括品名、價(jià)格、尺碼、類別、顏色、材質(zhì)和產(chǎn)地等。鞋子列表信息如下：

adidas

42

Training

Blue

Leather

India

8.什么是SOAP，它由哪幾個(gè)部分組成？

答：簡(jiǎn)潔對(duì)象訪問協(xié)議（SOAP）是一種基于XML的、輕量級(jí)的、跨平臺(tái)的分布式系統(tǒng)間信息交換協(xié)議。SOAP主要由四個(gè)部分組成，SOAPEnvelope用于定義一個(gè)描述消息中的內(nèi)容、發(fā)送者、接收者、處理者及如何處理的整體表示框架；SOAP編碼規(guī)章定義了一套編碼機(jī)制用于交換應(yīng)用程序定義的數(shù)據(jù)類型的實(shí)例；SOAPRPC表示遠(yuǎn)程過程調(diào)用和應(yīng)答的協(xié)定；SOAP綁定定義了一種使用底層傳輸協(xié)議來完成在節(jié)點(diǎn)間交換SOAP消息的商定。

9.嘗試用SOAPXMLSchema編寫一個(gè)列車時(shí)刻信息的服務(wù)。該SOAP服務(wù)接收三個(gè)參數(shù)：日期、始發(fā)地和終點(diǎn)，返回滿意參數(shù)條件的全部列車信息（如：列車編號(hào)、始發(fā)地、終點(diǎn)、始發(fā)時(shí)間、到達(dá)時(shí)間、票價(jià)和余票等）。

解析：

SOAP懇求消息如下：

上海虹橋

武昌

D3052

10、SOAPWebServices有哪幾種應(yīng)用模型？

答：懇求/響應(yīng)模式、fire-and-forget模式、高級(jí)消息模式、增量解析和處理模式、緩存模式。

11、簡(jiǎn)述WSDL和UDDI。

答：WSDL（WebServicesDescriptionLanguage，Web服務(wù)描述語言）是一種基于XML的、特地用于描述WebServices的語言。通過WSDL可以對(duì)服務(wù)的功能信息、功能參數(shù)的消息類型、協(xié)議綁定信息和特定服務(wù)的地址信息進(jìn)行描述。

UDDI（UniversalDescription、DiscoveryandIntegeration，統(tǒng)一描述、發(fā)覺和集成）是一套基于Web的分布式的WebServices信息注冊(cè)中心的實(shí)現(xiàn)標(biāo)準(zhǔn)規(guī)范，也包含一組訪問協(xié)議的實(shí)現(xiàn)標(biāo)準(zhǔn)，使得企業(yè)能將自身的WebServices注冊(cè)上去，并讓其他企業(yè)能夠發(fā)覺并使用這些服務(wù)，使服務(wù)更簡(jiǎn)單被獵取。為了實(shí)現(xiàn)Web服務(wù)跨平臺(tái)、跨語言和松耦合的特性，UDDI也是以XML為基礎(chǔ)的。UDDI供應(yīng)了一個(gè)全球的、跨平臺(tái)、開發(fā)的框架，企業(yè)可以更具需要發(fā)布服務(wù)產(chǎn)品或業(yè)務(wù)流程到注冊(cè)中心中，以便更多的結(jié)識(shí)更多、更好的合作伙伴，從而拓展企業(yè)的業(yè)務(wù)范圍。

12、試著使用MyEclipse實(shí)現(xiàn)第9題中列車時(shí)刻信息查詢服務(wù)，要求使用JAX-WS開發(fā)SOAP型WebServices。留意，從客戶端傳入始發(fā)地、終點(diǎn)和始發(fā)時(shí)間三個(gè)參數(shù)，服務(wù)返回滿意要求的全部列車時(shí)刻信息。

解析：

（1）創(chuàng)建實(shí)體類Train，含有屬性trainNum（列車編號(hào)）、startPlace（始發(fā)地）、startTime（始發(fā)時(shí)間）、destination（終點(diǎn)）、reachTime（到達(dá)時(shí)間）、price（票價(jià)）、remainder（余票）。的代碼如下：

publicclassTrain{

privateStringtrainNum;quals(startPlace)&&

().equals(destination)&&

().startsWith(time)){

(temp);

}

}

returnresultList;

}

}

（3）完成服務(wù)端的建立后，可以創(chuàng)建客戶端CheckTrainPollingClient。留意，客戶端需要傳入三個(gè)參數(shù)（startPlace、destination和time），且這里采納異步方式。的代碼如下：publicclassCheckTrainPollingClient{

publicstaticvoidmain(Stringargs){

CheckTrainWSServiceservice=newCheckTrainWSService();

CheckTrainWSDelegateport=();

2024/07/182024/07/18quals(tStartPlace)){

(temp);

}

}

returnresultList;

}

quals(tStartPlace)

}

}

returnresultList;

}

quals(tStartPlace)&&

().equals(tDestination)

}

}

returnresultList;

}

}

（3）完成服務(wù)建立，并部署和發(fā)布后，可以啟動(dòng)TestwithRESTWebServicesExplorer測(cè)試服務(wù)。先測(cè)試某站始發(fā)的全部列車信息，如輸入“上海虹橋”，則返回上海虹橋站始發(fā)的全部列車時(shí)刻信息，如下如所示：

接著測(cè)試從“上海虹橋”站到“杭州”站的全部列車時(shí)刻信息，如下圖所示：最終，測(cè)試“2024-07-20”從“廣州”到“深圳”的全部列車信息，如下圖所示：第8章云計(jì)算原理與技術(shù)

略，參考各章節(jié)內(nèi)容

第9章云計(jì)算模擬編程實(shí)踐

略，參考各章節(jié)內(nèi)容

第10章云存儲(chǔ)技術(shù)

1.參考11.1.1

2.參考11.1.2

3.參考11.1.3

4.參考11.1.4

5.參考11.2.1

6.參考

7.參考

8.參考11.2.2

9.參考及其他文獻(xiàn)

第11章大數(shù)據(jù)技術(shù)與實(shí)踐

1.簡(jiǎn)述大數(shù)據(jù)的定義及其它的特征。

答：大數(shù)據(jù)并沒有統(tǒng)一的定義，但是通常它是指所處理的數(shù)據(jù)規(guī)模巨大到無法通過目前主流數(shù)據(jù)庫軟件工具，在可以接受的時(shí)間內(nèi)完成抓取、儲(chǔ)存、管理和分析，并從中提取出人類可以理解的資訊。

4V特征：

第一個(gè)特征Volume是數(shù)據(jù)體量巨大。

其次個(gè)特征Variety：數(shù)據(jù)類型繁多。非結(jié)構(gòu)和半結(jié)構(gòu)數(shù)據(jù)正是大數(shù)據(jù)處理的難點(diǎn)所在。

第三個(gè)特征Velocity：處理速度快，時(shí)效性強(qiáng)。

最終一個(gè)特征是Value：商業(yè)價(jià)值高，但是價(jià)值密度低。單個(gè)數(shù)據(jù)的價(jià)值很低，只有大量數(shù)據(jù)聚合起來處理才能借助歷史數(shù)據(jù)猜測(cè)將來走勢(shì)，體現(xiàn)出大數(shù)據(jù)計(jì)算的價(jià)值所在。

2.思索：HDFS體系結(jié)構(gòu)是否存在其局限性或瓶頸。

采納Master-Slave結(jié)構(gòu)，必定會(huì)存在單點(diǎn)故障問題與NameNode性能瓶頸問題。其他更具體的請(qǐng)讀者補(bǔ)充。

3.HDFS中為什么默認(rèn)副本數(shù)為3？

答：副本數(shù)為3的集群中，將一個(gè)副本保存到本地機(jī)架1的一個(gè)節(jié)點(diǎn)1上，其次個(gè)副本保存到本地機(jī)架的一個(gè)節(jié)點(diǎn)2上，第三個(gè)副本由節(jié)點(diǎn)2傳輸復(fù)制到遠(yuǎn)程機(jī)架2的節(jié)點(diǎn)3上。

把三分之二的副本儲(chǔ)存在本地機(jī)架，把三分之一的副本儲(chǔ)存在遠(yuǎn)程機(jī)架。這樣做既保證了數(shù)據(jù)的牢靠性，又節(jié)約了機(jī)架之間的網(wǎng)絡(luò)帶寬。一整個(gè)機(jī)架崩潰的概率很明顯遠(yuǎn)遠(yuǎn)低于單個(gè)節(jié)點(diǎn)的崩潰概率。一個(gè)機(jī)架崩潰了可以由另一機(jī)架保證數(shù)據(jù)的可用性。

4.HBase是如何實(shí)現(xiàn)隨機(jī)快速存取數(shù)據(jù)的？為什么要HBASE在創(chuàng)建表時(shí)只需要定義列

族，列族是如何存儲(chǔ)的？

隨機(jī)寫入：HBase底層的存儲(chǔ)是采納了一個(gè)keyvalue的文件結(jié)構(gòu)，稱作hfile來實(shí)現(xiàn)的；HBase的隨機(jī)寫入并不是立即寫入HDFS；而是先寫入內(nèi)存memstore,當(dāng)memstore達(dá)到肯定的閥值后才會(huì)寫入HDFS；而且HBase的后臺(tái)合并機(jī)制，將memstore寫入到HDFS的小文件合并成大文件；

隨機(jī)刪除：HBase中刪除數(shù)據(jù)并不是馬上刪除，而只是在數(shù)據(jù)上做好標(biāo)記，然后再下一次合并操作的時(shí)候進(jìn)行清理。

隨機(jī)讀?。篐Base在存儲(chǔ)數(shù)據(jù)時(shí)在一個(gè)hfile中只存儲(chǔ)同一列族的數(shù)據(jù)，并且數(shù)據(jù)時(shí)按Rowkey排序的，因此在讀取數(shù)據(jù)時(shí)只需要依據(jù)Rowkey跳轉(zhuǎn)到指定行就讀取數(shù)據(jù)。HBase特殊擅長(zhǎng)的是對(duì)于同一列族的挨次讀取，所以隨機(jī)小數(shù)據(jù)量讀取雖然可行，但是性能遠(yuǎn)遠(yuǎn)不如挨次讀取。

5.Cassandra中超級(jí)列族與超級(jí)列與HBase中的列族和列有什么區(qū)分和聯(lián)系？

超級(jí)列(supercolumn)是一種特別的列。兩種列都是名/值對(duì)，但是一般列的值是字節(jié)數(shù)組，而超級(jí)列的值是一個(gè)子列的映射。超級(jí)列不能存儲(chǔ)其他的超級(jí)列的映射，即超級(jí)列僅允許使用一層，但是它不限制列的數(shù)量。

超級(jí)列族概念上和一般列族相像，只不過它是超級(jí)列的集合。

6.Cassandra供應(yīng)了怎樣的可供用戶選擇的全都性級(jí)別？

寫全都性

假如是向Cassandra寫數(shù)據(jù)，全都性級(jí)別指定了必需寫多少個(gè)副本勝利后再返回給客戶端應(yīng)用。寫可以使用如下全都性級(jí)別，ANY是最低的全都性(但可用性最高)，ALL是最高的全都性(但可用性最低)，QUORUM是中間的可確保強(qiáng)全都性，可以容忍肯定程度的故障。

ANY至少一個(gè)節(jié)點(diǎn)響應(yīng)寫操作。假如懇求的rowkey對(duì)應(yīng)的全部的副本節(jié)點(diǎn)都停止了，接收到懇求的節(jié)點(diǎn)會(huì)記錄HINT消息和懇求數(shù)據(jù)，然后響應(yīng)寫勝利。在rowkey對(duì)應(yīng)的

全部副本節(jié)點(diǎn)至少有一個(gè)啟動(dòng)之前，全部讀rowkey會(huì)失敗。并且HINT消息只保留一段時(shí)間，假如在這段時(shí)間內(nèi)全部副本節(jié)點(diǎn)還不行用，則數(shù)據(jù)會(huì)丟失。

ONE集群中至少有1個(gè)副本節(jié)點(diǎn)寫勝利。

TWO集群中至少有2個(gè)副本節(jié)點(diǎn)寫勝利。

THREE集群中至少有3個(gè)副本節(jié)點(diǎn)寫勝利。

QUORUM集群中至少有quorum個(gè)副本節(jié)點(diǎn)寫勝利.quorum=(各數(shù)據(jù)中心副本因子之和)/2+1，假如2個(gè)數(shù)據(jù)中心，1個(gè)數(shù)據(jù)中的副本因子3，1個(gè)數(shù)據(jù)中心的副本因子是2，quorum=(3+2)/2+1=3

LOCAL_QUORUM集群中同1個(gè)數(shù)據(jù)中心至少有quorum個(gè)副本節(jié)點(diǎn)寫勝利。quorum=(本數(shù)據(jù)中心副本因子)/2+1，假如接受懇求的節(jié)點(diǎn)所在的數(shù)據(jù)中心的副本因子是2，則quorum=(2)/2+1=2

EACH_QUORUM集群中每個(gè)數(shù)據(jù)中心至少有quorum個(gè)副本節(jié)點(diǎn)寫勝利。quorum計(jì)算同LOCAL_QUORUM。

ALL集群中全部副本節(jié)點(diǎn)寫勝利。

讀全都性

假如是向Cassandra讀數(shù)據(jù)，全都性級(jí)別指定了必需多少個(gè)副本響應(yīng)后再返回給客戶端應(yīng)用結(jié)果。

ONE返回集群最近副本(打算于snitch)的響應(yīng)。

TWO返回集群里2個(gè)最近副本中的最新數(shù)據(jù)。

THREE返回集群里3個(gè)最近副本中的最新數(shù)據(jù)。

QUORUM返回集群里quorum個(gè)副本中的最新數(shù)據(jù)。quorum=(各數(shù)據(jù)中心副本因子之和)/2+1，假如2個(gè)數(shù)據(jù)中心，1個(gè)數(shù)據(jù)中的副本因子3，1個(gè)數(shù)據(jù)中心的副本因子是2，quorum=(3+2)/2+1=3

LOCAL_QUORUM返回集群里當(dāng)前數(shù)據(jù)中心quorum個(gè)副本中的最新數(shù)據(jù)。quorum=(本數(shù)據(jù)中心副本因子)/2+1，假如接受懇求的節(jié)點(diǎn)所在的數(shù)據(jù)中心的副本因子是2，則quorum=(2)/2+1=2

EACH_QUORUM返回集群中每個(gè)數(shù)據(jù)中心至少有quorum個(gè)副本中的最新數(shù)據(jù)。

quorum計(jì)算同LOCAL_QUORUM。

ALL返回集群中全部副本中的最新數(shù)據(jù)。

7.Redis的數(shù)據(jù)類型是怎樣的？是否像HBase一樣是Key-Value形式？

Redis并不是簡(jiǎn)潔的key-value存儲(chǔ)，實(shí)際上他是一個(gè)數(shù)據(jù)結(jié)構(gòu)服務(wù)器，支持不同類型的值。也就是說，你不必僅僅把字符串當(dāng)作鍵所指向的值。

下列這些數(shù)據(jù)類型都可作為值類型。

字符串（string)、列表(list)、集合(set)、有序集合(ortedset)、希表（hash）。

String是最基本的一種數(shù)據(jù)類型，一般的key/value存儲(chǔ)都可以歸為此類。

List類型其實(shí)就是一個(gè)每個(gè)子元素都是String類型的雙向鏈表。

Set是String類型的無序集合。

Sortedset和set一樣也是string類型元素的集合，不同的是每個(gè)元素都會(huì)關(guān)聯(lián)

一個(gè)double類型的score。

Hash是一個(gè)string類型的field和value的映射表.它的添加，刪除操作都是O(1)

（平均）.hash特殊適合用于存儲(chǔ)對(duì)象。

8.Redis供應(yīng)了哪兩種分布式模型？

讀寫分別模型：傳統(tǒng)Master與Slave模式。

數(shù)據(jù)分片模型：將每個(gè)節(jié)點(diǎn)看成都是獨(dú)立的master，然后通過業(yè)務(wù)實(shí)現(xiàn)數(shù)據(jù)分片。

結(jié)合上面兩種模型，可以將每個(gè)master設(shè)計(jì)成由一個(gè)master和多個(gè)slave組成的模型。

9.MongoDB的數(shù)據(jù)組織形式是怎樣的？它的特點(diǎn)與應(yīng)用場(chǎng)景是怎樣的？

MongoDB組織數(shù)據(jù)的方式如下：

Key-Value對(duì)>文檔>集合>數(shù)據(jù)庫

多個(gè)Key-Value對(duì)組織起來形成類似于JSON格式的文檔，多個(gè)文檔組織成為一個(gè)集合，多個(gè)集合組織起來，就形成了數(shù)據(jù)庫（database）。單個(gè)MongoDB實(shí)例可以使用多個(gè)數(shù)據(jù)庫，每個(gè)數(shù)據(jù)庫都是獨(dú)立運(yùn)作的，可以有單獨(dú)的權(quán)限，每個(gè)數(shù)據(jù)庫的數(shù)據(jù)被分開保存在不同的文件里。

適用范圍：

適合實(shí)時(shí)的插入，更新與查詢，并具備應(yīng)用程序?qū)崟r(shí)數(shù)據(jù)存儲(chǔ)所需的復(fù)制及高度伸縮性。

適合作為信息基礎(chǔ)設(shè)施的長(zhǎng)久化緩存層。

適合由數(shù)十或數(shù)百臺(tái)服務(wù)器組成的數(shù)據(jù)庫。由于Mongo已經(jīng)包含對(duì)MapReduce引擎的內(nèi)置支持。

10.名詞解釋：PRAM、BSP、LogP與MapReduce.

PRAM：即并行隨機(jī)存取機(jī),也稱之為SIMD-SM(共享存儲(chǔ)的單指令流多數(shù)據(jù)流)模型,是一種應(yīng)用于并行計(jì)算抽象模型?PRAM模型中,假設(shè)有一組有限或無限個(gè)獨(dú)立的至少擁有簡(jiǎn)潔算數(shù)計(jì)算力量和規(guī)律推斷力量的處理機(jī)，每個(gè)處理機(jī)擁有自己的本地存儲(chǔ)（即寄存器）。并假定存在一個(gè)容量無限大的共享存儲(chǔ)器，這個(gè)存儲(chǔ)器被切分成特定大小的存儲(chǔ)單元。在單位時(shí)間內(nèi)，每個(gè)處理機(jī)都能夠隨機(jī)地訪問任意存儲(chǔ)單元。

BSP：整體同步并行計(jì)算模型(BulkSynchronousParallelComputingModel)，又名大同步模型或BSP模型。在一個(gè)超級(jí)步中，各處理器均執(zhí)行局部操作，并且可以通過選路器接收和發(fā)送消息。

LogP：LogP模型是一種分布存儲(chǔ)器?點(diǎn)對(duì)點(diǎn)通信的多處理器模型?這個(gè)模型說明白由互連網(wǎng)絡(luò)連接起來的計(jì)算機(jī)集群的性能特點(diǎn),但沒有描述網(wǎng)絡(luò)的結(jié)構(gòu)?

MapReduce：MapReduce模型是一種并行編程技術(shù)。它源自函數(shù)式編程理念，并有Google把它應(yīng)用到在分布式計(jì)算環(huán)境上的大規(guī)模數(shù)據(jù)處理中。

11.當(dāng)今流行的大數(shù)據(jù)處理模型MapReduce的數(shù)據(jù)處理過程及其優(yōu)劣勢(shì)。

MapReduce的輸入和輸出都是是一系列的key/value對(duì)。MapReduce運(yùn)行環(huán)境的用戶通過實(shí)現(xiàn)兩個(gè)函數(shù)（Map和Reduce）來表達(dá)自己的算法。Map函數(shù)，通過讀入一系列的key/value對(duì)來輸出一系列的以key/value對(duì)為形式的中間結(jié)果。MapReduce運(yùn)行環(huán)境會(huì)收集這些中間結(jié)果的key/value對(duì)，并依據(jù)key的值進(jìn)行聚合和排序，并將這些key/value對(duì)有序地傳遞給Reduce函數(shù)。同樣由用戶定義的Reduce函數(shù)接收這些中間結(jié)果的key及與其對(duì)應(yīng)的value列表，合并這些value來生成對(duì)應(yīng)key的更小的一個(gè)value集合。通常觸發(fā)一次Reduce函數(shù)會(huì)產(chǎn)生一個(gè)或零個(gè)結(jié)果value。

MapReduce的優(yōu)勢(shì)：

1、移動(dòng)計(jì)算而不是移動(dòng)數(shù)據(jù)，避開了額外的網(wǎng)絡(luò)負(fù)載。

2、任務(wù)之間相互獨(dú)立，讓局部故障可以更簡(jiǎn)單的處理，單個(gè)節(jié)點(diǎn)的故障的話只需要重

啟該節(jié)點(diǎn)任務(wù)即可。

3、抱負(fù)狀態(tài)下MapReduce模型是可線性擴(kuò)展的。

4、MapReduce模型結(jié)構(gòu)簡(jiǎn)潔，終端用戶至少只需編寫Map和Reduce函數(shù)。

6、MapReduce模型的擴(kuò)展性曲線是平坦的。

12.實(shí)際操作搭建編程環(huán)境并編寫簡(jiǎn)潔的調(diào)用HDFS和HBaseAPI的程序，可參考HDFS、

HBase的API文檔。

略

13.實(shí)際操作搭建編程環(huán)境并編寫簡(jiǎn)潔的MapReduce的程序，可參考Hadoop的API文