云計(jì)算及大數(shù)據(jù)技術(shù)課后習(xí)題

云計(jì)算及大數(shù)據(jù)技術(shù)課后習(xí)題云計(jì)算及大數(shù)據(jù)技術(shù)課后習(xí)題云計(jì)算及大數(shù)據(jù)技術(shù)課后習(xí)題第一章云計(jì)算與大數(shù)據(jù)基礎(chǔ)

在信息產(chǎn)業(yè)的發(fā)展歷程中。硬件驅(qū)動力，網(wǎng)絡(luò)驅(qū)動力，作為兩個(gè)重要的內(nèi)在動力在不一樣樣的時(shí)期起重視要的作用

2~5

西摩克雷超級計(jì)算機(jī)之父

約翰麥克錫云計(jì)算之父

蒂姆伯納斯李萬維網(wǎng)發(fā)明人第一個(gè)網(wǎng)頁開發(fā)者

吉姆格雷大數(shù)據(jù)之父

6．MapReduce思想本源LISP語言

7.依照資源封裝層次，云計(jì)算分為Iaaspaassaas三種

教材P2教材P8教材P10第二章云計(jì)算與大數(shù)據(jù)相關(guān)技術(shù)

一致性hash算法原理：

哈希算法是一種從稀有值到親密值范圍的照射方法，在積蓄和計(jì)算定位時(shí)可以被看做是

一種路由算法。經(jīng)過這類路與哦算法文件塊能被唯一的定位到一個(gè)節(jié)點(diǎn)的地址。傳統(tǒng)的hash

算法容錯(cuò)性和擴(kuò)展性都不好，無法有效的適應(yīng)面向數(shù)據(jù)系統(tǒng)節(jié)點(diǎn)的動向變化。意思就是當(dāng)集

群需要增加節(jié)點(diǎn)，傳統(tǒng)的hash算法不簡單檢測到新增加的節(jié)點(diǎn)，此為擴(kuò)展性不好，而一致

hash算法增加一個(gè)節(jié)點(diǎn)只會影響增加的這個(gè)節(jié)點(diǎn)到前一個(gè)節(jié)點(diǎn)之間的數(shù)據(jù)。容錯(cuò)性就是

若是不幸一個(gè)機(jī)器C宕機(jī)了,那么機(jī)器B和C之間的數(shù)據(jù)都會被D執(zhí)行，那么受影響的數(shù)據(jù)可是機(jī)器B和C之間的數(shù)據(jù)。自然，容錯(cuò)性和擴(kuò)展性對于節(jié)點(diǎn)數(shù)很多的集群是比較有意義的，

對于節(jié)點(diǎn)較少的集群憂如這兩個(gè)特點(diǎn)并沒有什么誘惑力。

一致性hash的實(shí)質(zhì)目的就是解決節(jié)點(diǎn)頻頻變化時(shí)的任務(wù)分配問題，一致性hash將整個(gè)

hash值空間組織成一個(gè)虛假圓環(huán)，我們這里假設(shè)某hash函數(shù)H值空間為0~(2^32-1),即32

位無符號整形。下面簡述一下一致性hash的原理：

這是一致性hash的整個(gè)值空間0~(2^32-1)

下一步將各個(gè)服務(wù)器使用Hash進(jìn)行一個(gè)哈希，詳盡可以選擇服務(wù)器的ip或主機(jī)名作為

要點(diǎn)字進(jìn)行哈希，這樣每臺機(jī)器就能確定其在哈希環(huán)上的地址，假設(shè)使用四臺機(jī)器進(jìn)行hash：

將數(shù)據(jù)key使用相同的函數(shù)Hash計(jì)算出哈希值，并確定此數(shù)據(jù)在環(huán)上的地址，今后地址沿環(huán)順時(shí)針“行走”，第一臺遇到的服務(wù)器就是其應(yīng)該定位到的服務(wù)器。

比方我們有ObjectA、ObjectB、ObjectC、ObjectD四個(gè)數(shù)據(jù)對象，經(jīng)過哈希計(jì)算后，在環(huán)空間上的地址以下：

依照一致性哈希算法，數(shù)據(jù)A會被定為到NodeA上，B被定為到NodeB上，C被定為

NodeC上，D被定為到NodeD上

下面我們看看當(dāng)集群機(jī)器比較少的情況

比方系統(tǒng)中只有兩臺服務(wù)器，其環(huán)分布以下，

此時(shí)必然造成大量數(shù)據(jù)集中到NodeA上，而只有很少量會定位到NodeB上。為認(rèn)識決這

種數(shù)據(jù)傾斜問題，一致性哈希算法引入了虛假節(jié)點(diǎn)系統(tǒng)，即對每一個(gè)服務(wù)節(jié)點(diǎn)計(jì)算多個(gè)哈希，

每個(gè)計(jì)算結(jié)果地址都放置一個(gè)此服務(wù)節(jié)點(diǎn)，稱為虛假節(jié)點(diǎn)。詳盡做法可以在服務(wù)器ip或主

機(jī)名的后邊增加編號來實(shí)現(xiàn)。比方上面的情況，可以為每臺服務(wù)器計(jì)算三個(gè)虛假節(jié)點(diǎn)，于是

可以分別計(jì)算“NodeA#1”、“NodeA#2”、“NodeA#3”、“NodeB#1”、“NodeB#2”、“NodeB#3”的哈希值，于是形成六個(gè)虛假節(jié)點(diǎn)：

同時(shí)數(shù)據(jù)定位算法不變，可是多了一步虛假節(jié)點(diǎn)到實(shí)質(zhì)節(jié)點(diǎn)的照射，比方定位到“Node

A#1”、“NodeA#2”、“NodeA#3”三個(gè)虛假節(jié)點(diǎn)的數(shù)據(jù)均定位到NodeA上。這樣就解決

了服務(wù)節(jié)點(diǎn)少時(shí)數(shù)據(jù)傾斜的問題。在實(shí)質(zhì)應(yīng)用中，平時(shí)將虛假節(jié)點(diǎn)數(shù)設(shè)置為32甚至更大，

因此即使很少的服務(wù)節(jié)點(diǎn)也能做到相對均勻的數(shù)據(jù)分布。

2.科學(xué)研究的四個(gè)范式：察看實(shí)驗(yàn)、理論、計(jì)算仿真、數(shù)據(jù)

3.物聯(lián)網(wǎng)產(chǎn)業(yè)鏈分為：表記，感知，辦理，信息傳達(dá)

4.非關(guān)系型數(shù)據(jù)庫分為：

(1)Column-Oriented

面向檢索的列式積蓄，其積蓄構(gòu)造為列式構(gòu)造如：Google的bigtable，apache

的hbase

Key-Value

面向高性能的并發(fā)讀/寫的緩積蓄藏，構(gòu)造近似于Hash表(hash算法真的要好好學(xué)，

用的地方太多了，性能的確也是最高的)，每個(gè)key分別對應(yīng)一個(gè)value，這類數(shù)

據(jù)庫適合用來作為緩存系統(tǒng)使用，比方：MemcacheDB，BerkeleyDB，redis，flare

Document-Oriented

面向海量數(shù)據(jù)接見的文檔積蓄，這類積蓄近似key-value形式，可是value主要以

JSON也許XML等格式進(jìn)行積蓄，比方:mongoDB,CouchDB

第三章虛假化技術(shù)和Goldberg指出：虛假機(jī)擁有同一性，高效性，可控性

2.虛假化技術(shù)從計(jì)算機(jī)系統(tǒng)構(gòu)造層次上可分為以下5類：指令集架構(gòu)級虛假化，硬件抽象

層虛假化，操作系統(tǒng)層虛假化，編程語言上的虛假化，庫函數(shù)虛假化

3.常用的虛假化軟件系統(tǒng)有VirtualBox，VMwareWorkstation，KVM

系統(tǒng)虛假化擁有硬件沒關(guān)性，間隔性，多實(shí)例，，特權(quán)功能等優(yōu)點(diǎn)。

系統(tǒng)虛假化可分為服務(wù)器虛假化桌面虛假化網(wǎng)絡(luò)虛假化

6.服務(wù)器虛假化依照虛假化的部分可分為CPU虛假化，內(nèi)存虛假化，I/O虛假化

什么是廣義虛假化技術(shù)：

答：虛假化技術(shù)是一種邏輯簡化技術(shù)，實(shí)現(xiàn)物理層向邏輯層的變化，對物理層運(yùn)動復(fù)雜性的障蔽，是系統(tǒng)對外運(yùn)動表現(xiàn)出簡單的邏輯運(yùn)行狀態(tài)

虛假化技術(shù)有哪些優(yōu)勢劣勢

優(yōu)勢：1.虛假化技術(shù)可提升資源利用率

供應(yīng)相互間隔，高效的應(yīng)用執(zhí)行環(huán)境

虛假化可以簡化資源和資源管理

虛假化實(shí)現(xiàn)軟件和硬件的分別

劣勢1.可能會使物理計(jì)算機(jī)負(fù)載過重2.升級和保護(hù)引起的安全問題3.物理計(jì)算機(jī)的影響第四章集群系統(tǒng)基礎(chǔ)

1.云計(jì)算領(lǐng)域存在兩個(gè)主要技術(shù)路線，一個(gè)是基于集群技術(shù)的云計(jì)算資源整合技術(shù)，一個(gè)是基于虛假機(jī)的云計(jì)算資源切分技術(shù)2.集群的設(shè)計(jì)要考慮5個(gè)要點(diǎn)的問題是可用性單一系統(tǒng)映像作業(yè)管理并行文件系統(tǒng)高效通信3.傳統(tǒng)的集群系統(tǒng)可以分為高可用性系統(tǒng)負(fù)載均衡高性能虛假化4類。4簡述Beowulf系統(tǒng)的主要特點(diǎn)答：1Beowulf系統(tǒng)平時(shí)由一個(gè)管理節(jié)點(diǎn)和多個(gè)計(jì)算節(jié)點(diǎn)組成2Beowulf系統(tǒng)平時(shí)用最常有的硬件設(shè)備組成3Beowulf系統(tǒng)同城采用哪些廉價(jià)且廣為流傳的軟件5Lustre積蓄系統(tǒng)的組成有MDS，MDT，OSS，OST，Client

簡述面向計(jì)算分布式系統(tǒng)，混雜分布式系統(tǒng)，面向數(shù)據(jù)的分布式系統(tǒng)的實(shí)現(xiàn)系統(tǒng)，剖析三種系統(tǒng)的差異.

面向計(jì)算分布式系統(tǒng)：P59混雜型分布式系統(tǒng)：

別：P64表3中分布式系統(tǒng)的比較

P60

面向數(shù)據(jù)的分布式系統(tǒng)：

P61

剖析區(qū)

第五章MPI-面向計(jì)算的高性能集群技術(shù)

1，什么是MPI

MPI（MessagePassingInterface）信息傳達(dá)接口。它自己不是一個(gè)詳盡的實(shí)現(xiàn)，而可是一

種標(biāo)準(zhǔn)描述。2，MPI支持

FORTRAN77、C

、Fortran90

、

C++

等語言的調(diào)用，能滿足大多數(shù)科學(xué)計(jì)算的應(yīng)用需要。

3，簡述MPICH并行環(huán)境建立的主要步驟。

(1).配置好NFS服務(wù)，實(shí)現(xiàn)所有節(jié)點(diǎn)對主節(jié)點(diǎn)指定文件夾的共享，該文件夾為MPICH的安裝

地址，數(shù)據(jù)和程序的積蓄地址，這樣就可以防備在每個(gè)節(jié)點(diǎn)安裝MPICH，啟動計(jì)算時(shí)也可以

防備每次向各個(gè)節(jié)點(diǎn)發(fā)散程序。

(2).配置好各個(gè)節(jié)點(diǎn)間的互信，這一步就是實(shí)現(xiàn)集群內(nèi)部個(gè)節(jié)點(diǎn)間無密碼接見，因?yàn)镸PICH

在計(jì)算時(shí)需要在各節(jié)點(diǎn)進(jìn)行數(shù)據(jù)交換，集群內(nèi)的節(jié)點(diǎn)應(yīng)用相互相信的節(jié)點(diǎn)。

(3).編譯安裝置置MPICH。

4.著手配置MPI節(jié)點(diǎn)間的ssh無密碼接見。

(1)生成私鑰id_dsa和公鑰

(2)將該密鑰用作認(rèn)證，進(jìn)行接見授權(quán)。

(3)將~/.ssh目錄下的文件復(fù)制到所有節(jié)點(diǎn)。

(4)檢查可否可以直接（不需要密碼）登錄其他節(jié)點(diǎn)。

5，簡述基于蒙特卡羅思想求π值的編程方法，并編寫用MPI程序。

蒙特卡羅方法，又稱為隨機(jī)抽樣或統(tǒng)計(jì)試驗(yàn)方法。

代碼在84

第六章Hadoop-分布式大數(shù)據(jù)系統(tǒng)

1.谷歌三寶：mapreduce，bigtable，gfs

的工作過程:p93

分塊策略:p95

第七章HPCC-面向數(shù)據(jù)的高性能計(jì)算集群系統(tǒng)

1，簡述HPCC的主要特點(diǎn)。

1）興隆靈便的ECL語言，顯著提升了程序員編程的效率。

2）HPCC系統(tǒng)供應(yīng)的Roxie集群供應(yīng)了高效的在線盤問和剖析服務(wù)。

3）ECL程序第一編譯為優(yōu)化的C++，高速性能獲取保證。

4）高效的錯(cuò)誤恢復(fù)和冗余備份系統(tǒng)。

5）牢固和可靠的系統(tǒng)。

6）有對于其他平臺，在較低的系統(tǒng)耗資上實(shí)現(xiàn)了更高的性能。

2，高性能計(jì)算目前可以分為兩類:一類是面向計(jì)算的高性能計(jì)算，另一類是面向數(shù)據(jù)的高性能計(jì)算。3，數(shù)據(jù)密集型集群計(jì)算系統(tǒng)主要有HadoopHPCCStormApacheDrillRapidMinerPentaho4,HPCC系統(tǒng)從整體物理上可以看作在同一個(gè)集群上部署了Thor(數(shù)據(jù)加工辦理平臺)、Roxie(數(shù)據(jù)盤問、剖析和數(shù)據(jù)庫房)兩套集群計(jì)算系統(tǒng)。5，HPCC的系統(tǒng)服務(wù)器包括ECL服務(wù)器、Dali服務(wù)器、Sasha服務(wù)器、DFU服務(wù)器、ESP服務(wù)器6，簡述HPCC平臺數(shù)據(jù)檢索任務(wù)的執(zhí)行過程。(1)加載原始數(shù)據(jù)(2)切分、發(fā)散待辦理的數(shù)據(jù)(3)發(fā)散后原始數(shù)據(jù)的ETL辦理(4)向Roxie集群宣布118

7，熟悉HPC