大數(shù)據(jù)技術(shù)原理與應(yīng)用林子雨版課后習題答案

第二章

1.試述hadoop和谷歌的mapreduce、gfs等技術(shù)之間的關(guān)系

答：Hadoop的核心是分布式文件系統(tǒng)HDFS和MapReduce,HDFS是谷歌文件系

統(tǒng)GFS的開源實現(xiàn)，MapReduces是針對谷歌MapReduce的開源實現(xiàn)。

2.試述Hadoop具有哪些特性。

答：高可靠性，高效性，高可擴展性，高容錯性，成本低，運行在Linux平臺，

支持多種編程語言

3.試述Hadoop在各個領(lǐng)域的應(yīng)用情況。

答：2007年，雅虎在Sunnyvale總部建立了M45---------個包含了4000個處理器

和1.5PB容量的Hadooop集群系統(tǒng)；

Facebook主要將Hadoop平臺用于日志處理.，推薦系統(tǒng)和數(shù)據(jù)倉庫等方面；

百度主要使用Hadoop于日志的存儲和統(tǒng)計、網(wǎng)頁數(shù)據(jù)的分析和挖掘、商業(yè)分析、

在線數(shù)據(jù)反饋、網(wǎng)頁聚類等。

4.試述Hadoop的項目結(jié)構(gòu)以及每個部分的具體功能。

答：

PigChukwaHiveHBase

MapReduceHDFSZookeeper

CommonAvro

Commeon是為Hadoop其他子項目提供支持的常用工具，主要包括文件系統(tǒng)、RPC

和串行化庫

Avro是為Hadoop的子項目，用于數(shù)據(jù)序列化的系統(tǒng)，提供了豐富的數(shù)據(jù)結(jié)構(gòu)類

型、快速可壓縮的二進制數(shù)據(jù)格式、存儲持續(xù)性數(shù)據(jù)的文件集、遠程調(diào)用的功能

和簡單的動態(tài)語言集成功能。

HDFS是lladoop項目的兩個核心之一，它是針對谷歌文件系統(tǒng)的開源實現(xiàn)。

HBase是一個提高可靠性、高性能、可伸縮、實時讀寫、分布式的列式數(shù)據(jù)庫,

一般采用HDFS作為其底層數(shù)據(jù)存儲。

MapReduce是針對谷歌MapReduce的開源實現(xiàn)，月于大規(guī)模數(shù)據(jù)集的并行運算。

Zoookepper是針對谷歌Chubby的一個開源實現(xiàn),是高效和可靠的協(xié)同匚作系統(tǒng),

提供分布式鎖之類的基本服務(wù)，用于構(gòu)建分布式應(yīng)用，減輕分布式應(yīng)用程序所承

擔的協(xié)調(diào)任務(wù)。

Hive是一，個基于Hadoop的數(shù)據(jù)倉庫工具，可以用于對Hadoop文件中的數(shù)據(jù)集

進行數(shù)據(jù)整理、特殊查詢和分布存儲。

Pig是一種數(shù)據(jù)流語言和運行環(huán)境，適合于使用Eadoop和MapReducce平臺上查

詢大型半結(jié)構(gòu)化數(shù)據(jù)集。

Sqoop可以改進數(shù)據(jù)的互操作性，主要用來在II大哦哦哦配合關(guān)系數(shù)據(jù)庫之間交

換數(shù)據(jù)。

Chukwa是一個開源的、用于監(jiān)控大型分布式系統(tǒng)的數(shù)據(jù)收集系統(tǒng)，可以將各種

類型的數(shù)據(jù)收集成適合Hadoop處理的文件，并保存在HDFS中供Hadoop進行各

種MapReduce操作。

第三章

1.試述分布式文件系統(tǒng)設(shè)計的需求。

設(shè)計需求含義HDFS的實現(xiàn)情況

透明性具備訪問透明性、位置透只能提供一定程度的訪

明性、性能、和伸縮透明問透明性，完全支持位置

性透明性、性能和伸縮透明

性

并發(fā)控制客戶端對于文件的讀寫機制非常簡單，任何時候

不應(yīng)該影響其他客戶端都只允許有一個程序?qū)?/p>

對同一個文件的讀寫入某個文件

文件復制一個文件可以擁有不同HDFS采用了多副本機制

位置的多個副本

硬件和操作系統(tǒng)的異構(gòu)可以在不同的操作系統(tǒng)采用Java語言開發(fā)，具

性和計算機上實現(xiàn)同樣的有很好的跨平臺能力

客戶端和服務(wù)端程序

可伸縮性支持節(jié)點的動態(tài)加入或建立在大規(guī)模廉價機器

退出上的分布式文件系統(tǒng)集

群，具有很好的伸縮性

容錯保證文件服務(wù)在客戶端具有多副本機制和故障

或者服務(wù)端出現(xiàn)問題的自動檢測、恢復機制

時候能正常使用

安全保證系統(tǒng)的安全性安全性較弱

2.分布式文件系統(tǒng)是如何實現(xiàn)較高水平擴展的？

分布式文件系統(tǒng)在物理結(jié)構(gòu)上是由計算機集群中的多個節(jié)點構(gòu)成的，這些節(jié)點分

為兩類，一類叫“主節(jié)點”(MasterNode)或者也被稱為“名稱結(jié)點”(NameNode),

另一類叫“從節(jié)點”(SlaveNode)或者也被稱為“數(shù)據(jù)節(jié)點”(DataNode)

3.試述HDFS中的塊和普通文件系統(tǒng)中的塊的區(qū)別。

答：在傳統(tǒng)的文件系統(tǒng)中，為了提高磁盤讀寫效率，一般以數(shù)據(jù)塊為單位，惡如

不是以字節(jié)為單位。

UDI'S中的塊，默認一個塊大小為64MB,而HDFS中的文件會被拆分成多個塊,

每個塊作為獨立的單元進行存儲。HDFS在塊的大小的設(shè)計上明顯要大于普通文

件系統(tǒng)。

4.試述HDFS中的名稱節(jié)點和數(shù)據(jù)節(jié)點的具體功能。

答：名稱節(jié)點負責管理分布式文件系統(tǒng)系統(tǒng)的命名空間，記錄分布式文件系統(tǒng)中

的每個文件中各個塊所在的數(shù)據(jù)節(jié)點的位置信息；

數(shù)據(jù)節(jié)點是分布式文件系統(tǒng)HDFS的工作節(jié)點，負責數(shù)據(jù)的存儲和讀取，會

根據(jù)客戶端或者是名稱節(jié)點的調(diào)度來進行數(shù)據(jù)的存儲和檢索，并向名稱節(jié)點定期

發(fā)送自己所存儲的塊的列表。

hadoopfs-Is〈path〉顯示＜path＞指定的文件的詳細信息

hadoopfs-cat<path>將<path》指定的文件的內(nèi)容輸出到標準輸出

hadoopfs-mkdir<path>創(chuàng)建〈path〉指定的文件夾

hadoopfs-get[-ignorecrc][-crc]<src><localdst>復制<src>指定的文件

到本地文件系統(tǒng)《loca】dst》指定的文件或文件夾。-ignorecrc選項復制CRC校

驗失敗的文件。使用-crc選項復制文件以及CRC信息。

hadoopfs-put<localsrc><dst>從本地文件系統(tǒng)中復制<localsrc》指定的單

個或多個源文件到<dst>指定的目標文件系統(tǒng)中。也支持從標準輸入(stdin)中讀

取輸入寫入目標文件系統(tǒng)。

hadoopfs-rmr<path>刪除<path>指定的文件夾及其的所有文件

第四章

1-試述在Hadoop體系架構(gòu)中HBase與其他組成部分的相互關(guān)系。

答：HBase利用HadoopM叩Reduce來處理HBase中的海量數(shù)據(jù)，實現(xiàn)高

性能計算；利用Zookeeper作為協(xié)同服務(wù),實現(xiàn)穩(wěn)定服務(wù)和失敗恢復；使用

HDFS作為高可靠的底層存儲，利用廉價集群提供海量數(shù)據(jù)存儲能力;Sqoop為

HBase的底層數(shù)據(jù)導入功能,Pig和Hive為HBase提供了高層語言支持,HBase

是BigTable的開源實現(xiàn)。

2.請闡述HBase和BigTable的底層技術(shù)的對應(yīng)關(guān)系

答：

項目BigTableHBase

文件存儲系統(tǒng)GFSHDFS

海量數(shù)據(jù)處理M叩ReduceHadoopMapReduce

協(xié)同服務(wù)管理ChubbyZookeeper

3.請闡述HBase和傳統(tǒng)關(guān)系數(shù)據(jù)庫的區(qū)別

答：

區(qū)別傳統(tǒng)關(guān)系數(shù)據(jù)庫HBase

數(shù)據(jù)類型關(guān)系模型數(shù)據(jù)模型

數(shù)據(jù)操作插入、刪除、更新、查詢、插入、查詢、刪除、清空，

多表連接無法實現(xiàn)表與表之間關(guān)

聯(lián)

存儲模式基于行模式存儲，兀組或基于列存儲，每個列族都

行會被連續(xù)地存儲在磁由幾個文件保存，不同列

盤也中族的文件是分離的

數(shù)據(jù)索引針對不同列構(gòu)建復雜的只有一個行鍵索引

多個索引

數(shù)據(jù)維護用最新的當前值去替換更新操作不會刪除數(shù)據(jù)

記錄中原來的舊值舊的版本，而是生成一個

新的版本

可伸縮性很難實現(xiàn)橫向擴展，縱向輕易地通過在集群中增

擴展的空間也比較有限加或者減少硬件數(shù)量來

實現(xiàn)性能的伸縮

4.HBase有哪些類型的訪問接口？

答:HBase提供了NativeJavaAPI,HBaseShell,ThriftGateway,REST

Gateway,Pig,Hive等訪問接口。

5.請以實例說明HBase數(shù)據(jù)模型。

列限定符

答：

/

Info

1/

NameMajorEmail

201505001LuoMinMathLuo@

201505002LiuJunMathliu@

201505003XieYouMathxie@

1

個個刁\1

you@163.com

單元格

行鍵單元格有兩個時間戳tsi和ts2

每個時間戳對應(yīng)一個數(shù)據(jù)版本

6.分別解釋HBase中行鍵、列鍵和時間戳的概念

Q)行鍵是唯一的，在一個表里只出現(xiàn)一次，否則就是在更新同一行，行鍵可以

是任意的字節(jié)數(shù)組。

(2)列族需要在創(chuàng)建表的時候就定義好，數(shù)量也不宜過多。列族名必須由可打印

字符組成，創(chuàng)建表的時候不需要定義好列。

(3)時間戳,默認由系統(tǒng)指定,用戶也可以顯示設(shè)置。使用不同的時間戳來區(qū)分

不同的版本。

7.請舉個實例來闡述HBase的概念視圖和物理視圖的不同

HBase數(shù)據(jù)概念視圖

行鍵時間戳列族contents歹璇anchor

"n.wwwT5Anchorcnnsi.co

〃m="CNN"

T3Anchormy.look.

ca=z,CNN"

“n.wwwT3Content:html=

U"<html>...w

T2Content:html=

T1Content:html=

"<html>...w

HBase數(shù)據(jù)物理視圖

行鍵時間戳列族anchor

"n.wwwT5Anchorcnnsi.co

〃m="CNN"

T4Anchonmy.look.

ca=HCNN"

行鍵時間戳列族contents

“n.wwwT3Content:html=

〃〃<html>../

T2Content:html=

〃<html>...w

T1Content:html=

在HBase的概念視圖中，一個表可以視為一個稀疏、多維的映射關(guān)系。

在物理視圖中，一個表會按照屬于同一列族的數(shù)據(jù)保存在一起

8.試述HBase各功能組建及其作用

(1)庫函數(shù)：鏈接到每個客戶端；

(2)一個Master主服務(wù)器：主服務(wù)器Master主要負責表和Region的管理工

作；

(3)許多個Region服務(wù)器：Region服務(wù)器是HBase中最核心的模塊，負責

維護分配給自己的Region,并響應(yīng)用戶的讀寫請求

9.請闡述HBase的數(shù)據(jù)分區(qū)機制。

答：HBase采用分區(qū)存儲，一個大的表會被分拆許多個Region,這些Region

會被分發(fā)到不同的服務(wù)器上實現(xiàn)分布式存儲。

10.HBase中的分區(qū)是如何定位的。

通過構(gòu)建的映射表的每個條目包含兩項內(nèi)容，一個是Regionde標識符，另一

個是Region服務(wù)器標識,這個條目就標識Region和Region服務(wù)器之間的對

應(yīng)關(guān)系，從而就可以知道某個Region被保存在哪個Region服務(wù)器中。

11.試述HBase的三層結(jié)構(gòu)中各層次的名稱和作用。

層次名稱作用

第一層Zookeeper記錄了-ROOT-表的位置信息

文件

第二層-ROOT-表記錄了.META.表的Region位置信息

-ROOT-表只能有一個Region。通過-ROOT-表，就可以訪

問.META.表中的數(shù)據(jù)

第三層.META.表記錄了用戶數(shù)據(jù)表的Region位置信息、，.META.表可以有多個

Region,保存了HBase中所有用戶數(shù)據(jù)表的Region位置信息

12.請闡述HBase的三層結(jié)構(gòu)下，客戶端是如何訪問到數(shù)據(jù)的。

答：首先訪問Zookeeper,獲取-ROOT表的位置信息，然后訪問-Root-表，獲

得.MATA.表的信息，接著訪問.MATA.表，找到所需的Region具體位于哪個

Region服務(wù)器，最后才會到該Region服務(wù)器讀取數(shù)據(jù)。

13.試述HBase系統(tǒng)基本架構(gòu)以及每個組成部分的作用。

(1)客戶端

客戶端包含訪問HBase的接口，同時在緩存中維護著已經(jīng)訪問過的Region

位置信息，用來加快后續(xù)數(shù)據(jù)訪問過程

(2)Zookeeper月員務(wù)器

Zookeeper可以幫助選舉出一個Master作為集群的總管，并保證在任何時

刻總有唯一一個Master在運行，這就避免了Master的〃單點失效"問題

(3)Master

主服務(wù)器Master主要負責表和Region的管理工作：管理用戶對表的增加、

刪除、修改、查詢等操作；實現(xiàn)不同Region服務(wù)器之間的負載均衡；在Region

分裂或合并后，負責重新調(diào)整Region的分布;對發(fā)生故障失效的Region報務(wù)

器上的Region進行遷移

(4)Region服務(wù)器

Region服務(wù)器是HBase中最核心的模塊，負責維護分配給自己的Region,

并響應(yīng)用戶的讀寫請求

14.請闡述Region服務(wù)器向HDFS文件系統(tǒng)中讀寫數(shù)據(jù)的基本原理

Region服務(wù)器內(nèi)部管理一系列Region對象和一個HLog文件，其中，HLog

是磁盤上面的記錄文件，它記錄著所有的更新操作。每個Region對象又是由多

個Store組成的，每個Store對象了表中的一個列族的存儲。每個Store又包含

了MemStore和若干個StoreFile,其中，MemStore是在內(nèi)存中的緩存。

15.試述HStore的工作原理

每個Store對應(yīng)了表中的一個列族的存儲。每個Store包括一個MenStore緩

存和若干個StoreFile文件。MenStore是排序的內(nèi)存緩沖區(qū)，當用戶寫入數(shù)據(jù)

時,系統(tǒng)首先把數(shù)據(jù)放入MenStore緩存，當MemStore緩存滿時,就會刷新

到磁盤中的一個StoreFile文件中，當單個StoreFile文件大小超過一定閾值時,

就會觸發(fā)文件分裂操作。

16.試述HLog的工作原理

答：HBase系統(tǒng)為每個Region服務(wù)器配置了一個HLog文件，它是一種預(yù)

寫式日志(WriteAheadLog),用戶更新數(shù)據(jù)必須首先寫入日志后,才能寫入

MemStore緩存，并且，直到MemStore緩存內(nèi)容對應(yīng)的日志已經(jīng)寫入磁盤，

該緩存內(nèi)容才能被刷寫到磁盤。

17.在HBase中，每個Region服務(wù)器維護一個HLog,而不是為每個Region

都單獨維護一個HLog。請說明這種做法的優(yōu)缺點。

優(yōu)點：多個Region對象的更新操作所發(fā)生的日志修改，只需要不斷把日

志記錄追加到單個日志文件中，不需要同時打開、寫入到多個日志文件中。

缺點：如果一個Region服務(wù)器發(fā)生故障，為了恢復其上次的Region對象,

需要將Region服務(wù)器上的對象，需要將Region服務(wù)器上的HLog按照其所屬

的Region對象進行拆分，然后分發(fā)到其他Region服務(wù)器上執(zhí)行恢復操作。

18.當一臺Region服務(wù)器意外終止時，Master如何發(fā)現(xiàn)這種意外終止情況？

為了恢復這臺發(fā)生意外的Region服務(wù)器上的Region,Master應(yīng)該做出哪些處

理（包括如何使用HLog進行恢復）？

Zookeeper會實時監(jiān)測每個Region服務(wù)器的狀態(tài)，當某個Region服務(wù)器

發(fā)生故障時，會通知

ZookeeperMaster0

Master首先會處理該故障Region服務(wù)器上面遺留的HLog文件,這個遺

留的HLog文件中包含了來自多個Region對象的日志記錄。

系統(tǒng)會根據(jù)每條日志記錄所屬的Region對象對HLog數(shù)據(jù)進行拆分,分別

放到相應(yīng)Region對象的目錄下，然后，再將失效的Region重新分配到可用的

Region服務(wù)器中，并把與該Region對象相關(guān)的HLog日志記錄也發(fā)送給相應(yīng)

的Region服務(wù)器。

Region服務(wù)器領(lǐng)取到分配給自己的Region對象以及與之相關(guān)的HLog日

志記錄以后，會重新做一遍日志記錄中的各種操作，把日志記錄中的數(shù)據(jù)寫入到

MemStore緩存中,然后，刷新到磁盤的StoreFile文件中,完成數(shù)據(jù)恢復。

第五章

1.如何準確理解NoSQL的含義？

NoSQL是一種不同于關(guān)系數(shù)據(jù)庫的數(shù)據(jù)庫管理系統(tǒng)設(shè)計方式，是對非關(guān)系型數(shù)據(jù)庫的一類統(tǒng)

稱，它采用的數(shù)據(jù)模型并非傳統(tǒng)關(guān)系數(shù)據(jù)庫的關(guān)系模型，而是類似鍵/值、列族、文檔等非

關(guān)系模型。

2.試述關(guān)系數(shù)據(jù)庫在哪些方面無法滿族Web2.0應(yīng)用的需求。

關(guān)系數(shù)據(jù)庫已經(jīng)無法滿足Web2.0的需求。主要表現(xiàn)在以下幾個方面：

（1）無法滿足海量數(shù)據(jù)的管理需求

（2）無法滿足數(shù)據(jù)高并發(fā)的需求

（3）無法滿足高可?獷展性和高可用性的需求

3.請比較NoSQL數(shù)據(jù)庫和關(guān)系數(shù)據(jù)庫的優(yōu)缺點。

比較標準RDBMSNoSQL備注

數(shù)據(jù)庫原理完全支持部分支持RDBMS有關(guān)系代數(shù)

理論作為基礎(chǔ)

NoSQL沒有統(tǒng)一的理

論基礎(chǔ)

數(shù)據(jù)規(guī)模大超大RDBMS很難實現(xiàn)橫

向擴展，縱向擴展的

空間也比較有限，性

能會隨著數(shù)據(jù)規(guī)模的

增大而降低

NoSQL可以很容易通

過添加更多設(shè)備求支

持更大規(guī)模的數(shù)據(jù)

數(shù)據(jù)庫模式固定靈活RDBMS需要定義數(shù)

據(jù)庫模式，嚴格遵守

數(shù)據(jù)定義和相關(guān)約束

條件

NoSQL不存在數(shù)據(jù)庫

模式，可以自由靈活

定義并存儲各種不同

類型的數(shù)據(jù)

杳詢效率快可以實現(xiàn)高效的簡單RDBMS借助于索引

查詢，但是不具備高機制可以實現(xiàn)快速查

度結(jié)構(gòu)化查詢等特詢（包括記錄查詢和

性，復雜查詢的性能范圍查詢）

不盡人意

很多NoSQL數(shù)據(jù)庫沒

有面向復雜查詢的索

弓1，雖然NoSQL可以

使用M叩Reduce來

加速查詢，但是，在

復雜查詢方面的性能

仍然不如RDBMS

一致性強一致性弱一致性RDBMS嚴格遵守事

務(wù)AQD模型，可以保

證事務(wù)強一致性

很多NoSQL數(shù)據(jù)庫放

松了對事務(wù)ACID四

性的要求，而是遵守

BASE模型，只能保證

最終?致性

數(shù)據(jù)完整性容易實現(xiàn)很難實現(xiàn)任何一個RDBMS都

可以很容易實現(xiàn)數(shù)據(jù)

完整性，比如通過主

鍵或者非空約束來實

現(xiàn)實體完整性，通過

主鍵、外鍵來實現(xiàn)參

照完整性，通過約束

或者觸發(fā)器來實現(xiàn)用

戶自定義完整性

但是，在NoSQL數(shù)據(jù)

庫卻無法實現(xiàn)

擴展性?般好RDBMS很難實現(xiàn)橫

向擴展，縱向擴展的

空間也比較有限

NoSQL在設(shè)計之初就

充分考慮了橫向擴展

的需求，可以很容易

通過添加廉價設(shè)備實

現(xiàn)擴展

可用性好很好RDBMS在任何時候

都以保證數(shù)據(jù)一致性

為優(yōu)先目標，其次才

是優(yōu)化系統(tǒng)性能，隨

著數(shù)據(jù)規(guī)模的增大，

RDBMS為了保證嚴

格的一致性，只能提

供相對較弱的可用性

大多數(shù)NoSQL都能提

供較高的可用性

標準化是否RDBMS已經(jīng)標準化

(SQL)

NoSQL還沒有行業(yè)標

準,不同的NoSQL數(shù)

據(jù)庫都有自己的直詢

語言，很難規(guī)范應(yīng)用

程序接口

StoneBraker認為：

NoSQL缺乏統(tǒng)一查詢

語言，將會花慢

NoSQL發(fā)展

技術(shù)支持高低RDBMS經(jīng)過幾十年

的發(fā)展，已經(jīng)非常成

熟,Oracle等大型廠

商都可以提供很好的

技術(shù)支持

NoSQL在技術(shù)支持方

面仍然處于起步階

段，還不成熟，缺乏

有力的技術(shù)支持

可維護性復雜復雜RDBMS需要專門的

數(shù)據(jù)庫管理員(DBA)

維護

NoSQL數(shù)據(jù)庫雖然沒

有DBMS復雜,也難

以維護

5.試述NoSQL數(shù)據(jù)庫的四大類型

答：鍵值數(shù)據(jù)庫、列族數(shù)據(jù)庫、文檔數(shù)據(jù)庫和圖數(shù)據(jù)庫

6.試述鍵值數(shù)據(jù)庫、列族數(shù)據(jù)庫、文檔數(shù)據(jù)庫和圖數(shù)據(jù)庫的適用場合和優(yōu)缺點。

數(shù)據(jù)庫適用場合優(yōu)點缺點

鍵值數(shù)據(jù)庫通過鍵而是通過值來擴展性好，靈活性好，無法存儲結(jié)構(gòu)化信

查的業(yè)務(wù)大量寫操作時性能高息，條件查詢效率較

低

列族數(shù)據(jù)庫不需要AQD事務(wù)支查找速度快，可擴展功能較少，大都不支

持的情形性強，容易進行分布持強事務(wù)一致性

式擴展，復雜性低

文檔數(shù)據(jù)庫只在相同的文檔上添性能好(高并發(fā))，

加事務(wù)靈活性高，復雜性低，

缺乏統(tǒng)一的查詢語法

數(shù)據(jù)結(jié)構(gòu)靈活

提供嵌入式文檔功

能，將經(jīng)常查詢的數(shù)

據(jù)存儲在同一個文檔

中

既可以根據(jù)鍵來構(gòu)建

索引，也可以根據(jù)內(nèi)

容構(gòu)建索引

圖形數(shù)據(jù)庫具有高度相互關(guān)聯(lián)關(guān)靈活性高，支持復雜復雜性高，只能支持

系的數(shù)據(jù)的圖形算法，可用于一定的數(shù)據(jù)規(guī)模

構(gòu)建復雜的關(guān)系圖譜

7.試述CAP理論的具體含義。

答：所謂的CAP指的是:

C(Consistency)：一致性，是指任何一個讀操作總是能夠讀到之前完成的寫操作的結(jié)果，

也就是在分布式環(huán)境中，多點的數(shù)據(jù)是一致的，或者說，所有節(jié)點在同一時間具有相同的數(shù)

據(jù)

A:(Availability)：可用性，是指快速獲取數(shù)據(jù)，可以在確定的時間內(nèi)返回操作結(jié)果，保證

每個請求不管成功或者失敗都有響應(yīng)；

P(ToleranceofNetworkPartition)：分區(qū)容忍性，是指當出現(xiàn)網(wǎng)絡(luò)分區(qū)的情況時(即系統(tǒng)

中的一部分節(jié)點無法和其他節(jié)點進行通信)，分離的系統(tǒng)也能夠正常運行，也就是說，系統(tǒng)

中任意信息的丟失或失敗不會影響系統(tǒng)的繼續(xù)運作。

8.請舉例說明不同產(chǎn)品在設(shè)計時是如何運用CAP理論的。

A

選擇CP,放棄A

Neo4J,Bigtable,MongoDB,Hbase,Hypertable,Redis

9.試述數(shù)據(jù)庫的ACID四性的含義

1.原子性(Atomicity)

指事務(wù)必須是原子工作單元，對于其數(shù)據(jù)修改，要么全都執(zhí)行，要么全都不執(zhí)行。

2.一致性(consistency)

指事務(wù)在完成時，必須使所有的數(shù)據(jù)都保持一致狀態(tài)。

4.隔離性(Isolation)

指并發(fā)事務(wù)所做的修改必須與其他并發(fā)事務(wù)所做的修改隔離。

5.持久性(Durability)

指事務(wù)完成之后，它對于系統(tǒng)的影響是永久性的，該修改即使出現(xiàn)致命的系統(tǒng)故障也將

一直保持。

10.試述BASE的具體含義

BASE的基本含義是基本可用（BasicallyAvailble）＞軟狀態(tài)（Soft-state）和最終一致性

（Eventualconsistency）

11.請解釋軟狀態(tài)、無狀態(tài)、硬狀態(tài)的具體含義。

“軟狀態(tài)（soft-state）”矩與"硬狀態(tài)（hard-state）”相對應(yīng)的一種提法。數(shù)據(jù)庫保

存的數(shù)據(jù)是“硬狀態(tài)”時，可以保證數(shù)據(jù)一致性，即保證數(shù)據(jù)一直是正確的?！败洜顟B(tài)”是

指狀態(tài)可以有一段時間不司步，具有一定的滯后性。

12.什么是最終一致性？

最終一致性根據(jù)更新數(shù)據(jù)后各進程訪問到數(shù)據(jù)的時間和方式的不同，又可以區(qū)分為：

（1）會話一致性：它把訪問存儲系統(tǒng)的進程放到會話（session）的上下文中，只要會

話還存在，系統(tǒng)就保證“讀己之所寫”一致性。如果由于某些失敗情形令會話終止，就要建

立新的會話，而且系統(tǒng)保證不會延續(xù)到新的會話；

（2）單調(diào)寫一致性：系統(tǒng)保證來自同一個進程的寫操作順序執(zhí)行。系統(tǒng)必須保證這種

程度的一致性，否則就非常難以編程了

（3）單調(diào)讀一致性：如果進程已經(jīng)看到過數(shù)據(jù)對象的某個值，那么任何后續(xù)訪問都不

會返回在那個值之前的值

（4）因果一致性：如果進程A通知進程B它已更新了?個數(shù)據(jù)項，那么進程B的后續(xù)

訪問將獲得A寫入的最新值。而與進程A無因果關(guān)系的進程C的訪問，仍然遵守一般的最

終一致性規(guī)則

（5）“讀己之所寫”一致性：可以視為因果一致性的一個特例。當進程A自己執(zhí)行一

個更新操作之后，它自己總是可以訪問到更新過的值，絕不會看到舊值

13.試述不一致性窗口的含義。

所有后續(xù)的訪問都可以讀取到操作0P寫入的最新值。從0P操作完成到后續(xù)訪問可以最終

讀取到0P寫入的最新值，這之間的時間間隔稱為“不一致性窗口”。

14最終一致性根據(jù)更新數(shù)據(jù)后各進程訪問到數(shù)據(jù)的時間和方式的不同，乂可以分為哪些不

同類型的一致性？

會話一致性、單調(diào)寫一致性、單調(diào)寫一致性、因果一致性和“讀己之所寫”一致性。

14.什么是NewSQL數(shù)據(jù)庫？

NewSQL是對各種新的可擴展、高性能數(shù)據(jù)庫的簡稱，這類數(shù)據(jù)庫不僅具有NoSQL對海

量數(shù)據(jù)的存儲管理能力，還保持了傳統(tǒng)數(shù)據(jù)庫支持ACID和SQL特性。

第八章

1.試述云數(shù)據(jù)庫的概念。

答：云數(shù)據(jù)庫是部署和虛擬化在云計算環(huán)境中的數(shù)據(jù)庫。云數(shù)據(jù)庫是在云計算的大背景下發(fā)

展起來的一種新興的共享基礎(chǔ)架構(gòu)的方法，它極大地增強了數(shù)據(jù)庫的存儲能力，消除了人員、

硬件、軟件的重復配置，讓軟、硬件升級變得更加容易，同時，也虛擬化了許多后端功能。

云數(shù)據(jù)庫具有高可擴展性、高可用性、采用多租形式和支持資源有效分發(fā)等特點。

2.與傳統(tǒng)的軟件使用方式相比，云計算這種模式具有哪些明顯的優(yōu)勢？

R6-1償統(tǒng)的軟件桂用方式和云計算方式的比較

項目傳統(tǒng)方式云計算方式

自已投資建設(shè)機房,搭建硬件平臺.購買軟

換用軟件的方式直接網(wǎng)買云計算廠商的軟件服務(wù)

件在本地安裝________

軟件溶行在云計算廠商服務(wù)器上,用戶在

使用方式本地安裝.本地使用任何6網(wǎng)絡(luò)接人的地方都可以通過⑼絡(luò)使

用軟件服務(wù)

需要一次性支付較大的初期投入成本.包括零成小投入就可以。.即獲得所需的IT資

付費方式建設(shè)機腐、配置硬件,購買各種軟件（Afi源.只需要為所使用的資源付費.多用名

系統(tǒng)、殺毒.業(yè)務(wù)軟件等）付.少用少付,極火廉價

維護成本需要自已花錢聘請々業(yè)技術(shù)人員維護零成本.所有維護1作由云計富廠商負表

需要耗費較長時間建設(shè)機房.購買和安裝調(diào)

贄得rr資源的速度隨時可用,購買服務(wù)后立即可用

H設(shè)備系統(tǒng)

云計算廠商建設(shè)好云計庫服務(wù)平臺后,同

共享方式臼已建設(shè),白希自足

時為眾多用戶揭供服務(wù)

出現(xiàn)病毒、系統(tǒng)粉漬等問題時.需要自己聘

出現(xiàn)任何系統(tǒng)問題時.A計算廠商標會憑

請IT人員其護.很多普通企業(yè)的n?人員技

堆修速度借冗《業(yè)化團隊給出及時響應(yīng),確保云股

術(shù)能力有限.碰到一些問H甚至需要尋找外務(wù)的正商使用

援.通常不能V即解淡

利用率較高,每天都可以為大量用戶提供

利用率較低,投入大盤資金建設(shè)的IT系統(tǒng).

服務(wù)；與存在閑置資源時.云計尊管理系

資源利刖率往往只供企業(yè)自己使用,當企業(yè)不需要那么

統(tǒng)會自動關(guān)閉和退出多余瘠源；當需要增

多n?資源時.就會產(chǎn)生資源浪虎

抑資源時.又會自動啟動和慵人相關(guān)資源

企業(yè)尢論檄遷到哪里一.稱可以通過網(wǎng)絡(luò)玳

當企業(yè)搬家時.原來的&U月設(shè)施就要作廢，新零成本立即徒得右計其服務(wù).因為.資

用戶搬遷時的成本

需要在新她方重新投入較大成本建設(shè)機房源在Z；描,不在用戶端.用戶撮遷不會影

響到IT貨源的分布

企業(yè)自己建設(shè)的IT基珈設(shè)施的服蘇能力通

常是有1:取的.當GW業(yè)務(wù)址突然增加時.云計算廠商可以為企業(yè)提供近乎無限的IT

現(xiàn)有的IT基礎(chǔ)設(shè)施無法立即滿足需求,就資源（存儲和計算等優(yōu)源）,用戶想用多少

賁源可拓展性

需要花費時間和金錢購買和安裝新設(shè)備；當都可以立即獲得.當用戶不使用時.只需

業(yè)務(wù)高峰過去時.多余的設(shè)備就會閑置,造退訂多余資源,不存在任何資源閑置問題

成資源浪拚

3.云數(shù)據(jù)庫有哪些特性?

答：1）動態(tài)可擴展2）高可用性3）較低的使用代價

4）易用性5）高性能6）免維護7）安全

4.試述云數(shù)據(jù)庫的影響。

答：在大數(shù)據(jù)時代，每個企業(yè)幾乎每天都在不斷產(chǎn)生大量的數(shù)據(jù)。企業(yè)類型不同，對于存

儲的需求也千差萬別，而云數(shù)據(jù)庫可以很好地滿足不同企業(yè)的個性化存儲需求。

首先，云數(shù)據(jù)庫可以滿足大企業(yè)的海量數(shù)據(jù)存儲需求。云數(shù)據(jù)庫在當前數(shù)據(jù)爆炸的大數(shù)

據(jù)時代具有廣闊的應(yīng)用前景。傳統(tǒng)的關(guān)系數(shù)據(jù)庫難以水平擴展，相本無法存儲如此海量的數(shù)

據(jù)。因此，具有高可擴展性的云數(shù)據(jù)庫就成為企業(yè)海量數(shù)據(jù)存儲管理的很好選擇。

其次，云數(shù)據(jù)庫可以滿足中小企業(yè)的低成本數(shù)據(jù)存儲需求。中小企業(yè)在IT基礎(chǔ)設(shè)施方

面的投入比較有限，非?？释麖牡谌椒奖?、快捷、廉價地獲得數(shù)據(jù)庫服務(wù)。云數(shù)據(jù)庫采用

多租戶方式同時為多個用戶提供服務(wù)，降低了單個用戶的使用成本，而且用戶使用云數(shù)據(jù)庫

服務(wù)通常按需付費，不會浪費資源造成額外支出，因此，云數(shù)據(jù)庫使用成本很低，對于中小

企業(yè)而言可以大大降低企業(yè)的信息化門檻，讓企業(yè)在付出較低成本的同時，獲得優(yōu)質(zhì)的專業(yè)

級數(shù)據(jù)庫服務(wù)，從而有效提升企業(yè)信息化水平。

另外，云數(shù)據(jù)庫可以滿足企業(yè)動態(tài)變化的數(shù)據(jù)存儲需求。企業(yè)在不同時期需要存儲的數(shù)

據(jù)曷是不斷變化的，有時增加，有時減少。在小規(guī)模應(yīng)用的情況下，系統(tǒng)負載的變化可以由

系統(tǒng)空閑的多余資源來處理，但是，在大規(guī)模應(yīng)用的情況下，傳統(tǒng)的關(guān)系數(shù)據(jù)庫由于其伸縮

性較差，不僅無法滿足應(yīng)用需求，而且會給企業(yè)帶來高昂的存儲成本和管理開銷。而云數(shù)據(jù)

庫的良好伸縮性，可以讓企業(yè)在需求增加時立即獲得數(shù)據(jù)庫能力的提升，在需求減少時立即

釋放多余的數(shù)據(jù)庫能力，較好地滿足企業(yè)的動態(tài)數(shù)據(jù)存儲需求。

5.舉例說明云數(shù)據(jù)庫廠商及其代表性產(chǎn)品。

答：云數(shù)據(jù)庫供應(yīng)商主要分為三類。

1)傳統(tǒng)的數(shù)據(jù)庫廠商,如Teradata、Oracle、IBMDB2和MicrosoftSQLServer等。

2)涉足數(shù)據(jù)庫市場的云供應(yīng)商，如Amazon、Google.YahooL阿里、百度、騰訊等。

3)新興廠商，如IVertica.LongJump和EnterpriseDB等。

表6-3云效據(jù)庫產(chǎn)83

企業(yè)