云計算之HDFS課件

1主要內(nèi)容Hadoop項(xiàng)目簡介HDFS體系結(jié)構(gòu)HDFS關(guān)鍵運(yùn)行機(jī)制HadoopVS.Google（分布式文件系統(tǒng)）HadoopAPIHadoop環(huán)境搭建2Hadoop項(xiàng)目簡介吃水不忘挖井人DougCutting簡介：Lucene（開源的全文檢索包人）、Nutch（開源搜索引擎）、hadoop創(chuàng)始人。曾經(jīng)在是雅虎搜索工程師，后面加入Cloudera,發(fā)展hadoop的企業(yè)級應(yīng)用。一位盜火者，把高深的搜索引擎技術(shù)帶給普通大眾。3Hadoop項(xiàng)目簡介Apache的解決方案Google云計算MapReduceBigTableGFSChubbyGFS-->HDFSMapReduce-->Hadoop

BigTable-->HBase

5

HDFS體系結(jié)構(gòu)

NameNodeMasterDataNodeChunksever6一個名字節(jié)點(diǎn)和多個數(shù)據(jù)節(jié)點(diǎn)數(shù)據(jù)復(fù)制（冗余機(jī)制）

--存放的位置（機(jī)架感知策略）故障檢測--數(shù)據(jù)節(jié)點(diǎn)心跳包（檢測是否宕機(jī)）塊報告（安全模式下檢測）數(shù)據(jù)完整性檢測（校驗(yàn)和比較）--名字節(jié)點(diǎn)（日志文件，鏡像文件）空間回收機(jī)制

HDFS關(guān)鍵運(yùn)行機(jī)制

--保障可靠性的措施7HDFS關(guān)鍵運(yùn)行機(jī)制

--寫文件流程客戶端緩存流水線復(fù)制并發(fā)寫控制流程：1.客戶端把數(shù)據(jù)緩存到本地臨時文件夾2.臨時文件夾數(shù)據(jù)超過64M，客戶端聯(lián)系NameNode，NameNode分配DataNode，DataNode依照客戶端的位置被排列成一個有著最近物理距離和最小的序列3.與序列的第一個數(shù)據(jù)服務(wù)器建立Socket連接，發(fā)送請求頭，然后等待回應(yīng)，依次下傳，客戶端得到回包，流水線建立成功，4.正式發(fā)送數(shù)據(jù)，以4K為大小傳送9HDFSVS.GFS總體架構(gòu)的比較數(shù)據(jù)結(jié)構(gòu)化管理組件：Hbase→BigTable并行計算模型：MapReduce→MapReduce分布式文件系統(tǒng)：HDFS→GFSHadoop缺少分布式鎖服務(wù)ChubbyHBaseMapReduceHDFSBigTableMapReduceGFSHadoop云計算應(yīng)用Google云計算應(yīng)用10HDFSVS.GFSHDFS與GFS比較中心服務(wù)器模式的差異GFS：多臺物理服務(wù)器，選擇一臺對外服務(wù)，損壞時可選擇另外一臺提供服務(wù)HDFS：單一中心服務(wù)器模式，存在單點(diǎn)故障原因：Hadoop缺少分布式鎖服務(wù)11HDFSVS.GFSHDFS與GFS比較子服務(wù)器管理模式差異GFS：ChunkServer在Chubby中獲取獨(dú)占鎖表示其生存狀態(tài)，Master通過輪詢這些獨(dú)占鎖獲知ChunkServer的生存狀態(tài)HDFS：DataNode通過心跳的方式告知NameNode其生存狀態(tài)GFS中，Master損壞時，替補(bǔ)服務(wù)器可以快速獲知ChunkServer的狀態(tài)HDFS中，NameNode損壞后，NameNode恢復(fù)時需要花費(fèi)一段時間獲知DataNode的狀態(tài)在添加數(shù)據(jù)存儲節(jié)點(diǎn)時，GFS的伸縮性較HDFS要好原因：Hadoop缺乏分布式鎖服務(wù)13HDFSVS.GFSHDFS與GFS比較HDFS具備空間回收機(jī)制文件刪除時，僅刪除目錄結(jié)構(gòu)實(shí)際數(shù)據(jù)的刪除在等待一段時間后實(shí)施優(yōu)點(diǎn)：便于恢復(fù)文件14HDFS

API簡單的HDFSAPI：

hdfs.copyFromLocalFile(pathsrcPath,pathdstPath)

上傳本地文件到HDFS的指定位置上eg: 1.Configurationconfig=newConfiguration();

2.hdfs=(config);

3.PathsrcPath=newPath(srcFile);

4.PathdstPath=newPath(dstFile);

5.hdfs.copyFromLocal,dstPath);

hdfs.create(pathpath)

創(chuàng)建HDFS文件 1.Configurationconfig=newConfiguration();

2.hdfs=(config);

3.Pathpath=newPath();

4.FSDataOutputStreamoutputStream=hdfs.create(path);

5.outputStream.write(buff,0,buff.length);15HDFS

API常用的HDFSAPI：hdfs.rename(PathfromPath,PathtoPath) 重命名hdfs文件hdfs.delete(Pathf,Booleanrecursive) 刪除指定HDFS文件hdfs.exists(Pathpath) 檢查指定路徑是否存在

17HDFS

--安防行業(yè)的應(yīng)用前景HDFS存儲相對傳統(tǒng)存儲的優(yōu)勢海量數(shù)據(jù)存儲傳統(tǒng)存儲：海量視頻存儲對硬盤要求過高，不能動態(tài)增加硬盤容量，擴(kuò)展容量方便HDFS存儲：可以動態(tài)增加容量，容量抽象為沒有上限，流式存儲很適合視頻數(shù)據(jù)。18HDFS

--安防行業(yè)的應(yīng)用前景HDFS存儲相對傳統(tǒng)存儲的優(yōu)勢海量數(shù)據(jù)分析傳統(tǒng)存儲：從海量視頻數(shù)據(jù)存儲中分析數(shù)據(jù)基本無法實(shí)現(xiàn)。HDFS存儲：和hadoop另外的MapReduce分布式計算架構(gòu)配合，可以進(jìn)行海量視頻數(shù)據(jù)的分析。19HDFS

--安