【課件】云計(jì)算之HDFS

1主要內(nèi)容Hadoop項(xiàng)目簡介HDFS體系結(jié)構(gòu)HDFS關(guān)鍵運(yùn)行機(jī)制HadoopVS.Google（分布式文件系統(tǒng)）HadoopAPIHadoop環(huán)境搭建1主要內(nèi)容Hadoop項(xiàng)目簡介2Hadoop項(xiàng)目簡介吃水不忘挖井人DougCutting簡介：Lucene（開源的全文檢索包人）、Nutch（開源搜索引擎）、hadoop創(chuàng)始人。曾經(jīng)在是雅虎搜索工程師，后面加入Cloudera,發(fā)展hadoop的企業(yè)級應(yīng)用。一位盜火者，把高深的搜索引擎技術(shù)帶給普通大眾。2Hadoop項(xiàng)目簡介吃水不忘挖井人DougCutting3Hadoop項(xiàng)目簡介Apache的解決方案Google云計(jì)算MapReduceBigTableGFSChubbyGFS-->HDFSMapReduce-->Hadoop

BigTable-->HBase

3Hadoop項(xiàng)目簡介Apache的解決方案Google云計(jì)4HDFS為了做到可靠性（reliability）創(chuàng)建了多份數(shù)據(jù)塊（datablocks）的復(fù)制（replicas），并將它們放置在服務(wù)器群的計(jì)算節(jié)點(diǎn)中（computenodes），MapReduce就可以在它們所在的節(jié)點(diǎn)上處理這些數(shù)據(jù)了。Hadoop項(xiàng)目簡介4HDFS為了做到可靠性（reliability）創(chuàng)建了多份5

HDFS體系結(jié)構(gòu)

NameNodeMasterDataNodeChunksever5

HDFS體系結(jié)構(gòu)

NameNodeMaster6一個名字節(jié)點(diǎn)和多個數(shù)據(jù)節(jié)點(diǎn)數(shù)據(jù)復(fù)制（冗余機(jī)制）

--存放的位置（機(jī)架感知策略）故障檢測--數(shù)據(jù)節(jié)點(diǎn)心跳包（檢測是否宕機(jī)）塊報告（安全模式下檢測）數(shù)據(jù)完整性檢測（校驗(yàn)和比較）--名字節(jié)點(diǎn)（日志文件，鏡像文件）空間回收機(jī)制

HDFS關(guān)鍵運(yùn)行機(jī)制

--保障可靠性的措施6一個名字節(jié)點(diǎn)和多個數(shù)據(jù)節(jié)點(diǎn)HDFS關(guān)鍵運(yùn)行機(jī)制

--保障可7HDFS關(guān)鍵運(yùn)行機(jī)制

--寫文件流程客戶端緩存流水線復(fù)制并發(fā)寫控制流程：1.客戶端把數(shù)據(jù)緩存到本地臨時文件夾2.臨時文件夾數(shù)據(jù)超過64M，客戶端聯(lián)系NameNode，NameNode分配DataNode，DataNode依照客戶端的位置被排列成一個有著最近物理距離和最小的序列3.與序列的第一個數(shù)據(jù)服務(wù)器建立Socket連接，發(fā)送請求頭，然后等待回應(yīng)，依次下傳，客戶端得到回包，流水線建立成功，4.正式發(fā)送數(shù)據(jù)，以4K為大小傳送7HDFS關(guān)鍵運(yùn)行機(jī)制

--寫文件流程客戶端緩存8HDFS關(guān)鍵運(yùn)行機(jī)制

--讀文件流程客戶端聯(lián)系NameNode,得到所有數(shù)據(jù)塊信息，以及數(shù)據(jù)塊對應(yīng)的所有數(shù)據(jù)服務(wù)器的位置信息嘗試從某個數(shù)據(jù)塊對應(yīng)的一組數(shù)據(jù)服務(wù)器中選出一個，進(jìn)行連接（選取算法未加入相對位置的考慮）數(shù)據(jù)被一個包一個包發(fā)送回客戶端，等到整個數(shù)據(jù)塊的數(shù)據(jù)都被讀取完了，就會斷開此鏈接，嘗試連接下一個數(shù)據(jù)塊對應(yīng)的數(shù)據(jù)服務(wù)器，整個流程，依次如此反復(fù)，直到所有想讀的都讀取完了為止8HDFS關(guān)鍵運(yùn)行機(jī)制

--讀文件流程客戶端聯(lián)系NameNo9HDFSVS.GFS總體架構(gòu)的比較數(shù)據(jù)結(jié)構(gòu)化管理組件：Hbase→BigTable并行計(jì)算模型：MapReduce→MapReduce分布式文件系統(tǒng)：HDFS→GFSHadoop缺少分布式鎖服務(wù)ChubbyHBaseMapReduceHDFSBigTableMapReduceGFSHadoop云計(jì)算應(yīng)用Google云計(jì)算應(yīng)用9HDFSVS.GFS總體架構(gòu)的比較HBaseMapRe10HDFSVS.GFSHDFS與GFS比較中心服務(wù)器模式的差異GFS：多臺物理服務(wù)器，選擇一臺對外服務(wù)，損壞時可選擇另外一臺提供服務(wù)HDFS：單一中心服務(wù)器模式，存在單點(diǎn)故障原因：Hadoop缺少分布式鎖服務(wù)10HDFSVS.GFSHDFS與GFS比較11HDFSVS.GFSHDFS與GFS比較子服務(wù)器管理模式差異GFS：ChunkServer在Chubby中獲取獨(dú)占鎖表示其生存狀態(tài)，Master通過輪詢這些獨(dú)占鎖獲知ChunkServer的生存狀態(tài)HDFS：DataNode通過心跳的方式告知NameNode其生存狀態(tài)GFS中，Master損壞時，替補(bǔ)服務(wù)器可以快速獲知ChunkServer的狀態(tài)HDFS中，NameNode損壞后，NameNode恢復(fù)時需要花費(fèi)一段時間獲知DataNode的狀態(tài)在添加數(shù)據(jù)存儲節(jié)點(diǎn)時，GFS的伸縮性較HDFS要好原因：Hadoop缺乏分布式鎖服務(wù)11HDFSVS.GFSHDFS與GFS比較12HDFSVS.GFSHDFS與GFS比較HDFS具備安全模式獲知數(shù)據(jù)塊副本狀態(tài)，若副本不足，則拷貝副本至安全數(shù)目（如3個）GFS不具備安全模式副本損壞處理：API讀取副本失敗時，Master負(fù)責(zé)發(fā)起拷貝任務(wù)12HDFSVS.GFSHDFS與GFS比較13HDFSVS.GFSHDFS與GFS比較HDFS具備空間回收機(jī)制文件刪除時，僅刪除目錄結(jié)構(gòu)實(shí)際數(shù)據(jù)的刪除在等待一段時間后實(shí)施優(yōu)點(diǎn)：便于恢復(fù)文件13HDFSVS.GFSHDFS與GFS比較14HDFS

API簡單的HDFSAPI：

hdfs.copyFromLocalFile(pathsrcPath,pathdstPath)

上傳本地文件到HDFS的指定位置上eg: 1.Configurationconfig=newConfiguration();

2.FileSystemhdfs=FileSystem.get(config);

3.PathsrcPath=newPath(srcFile);

4.PathdstPath=newPath(dstFile);

5.hdfs.copyFromLocalFile(srcPath,dstPath);

hdfs.create(pathpath)

創(chuàng)建HDFS文件 1.Configurationconfig=newConfiguration();

2.FileSystemhdfs=FileSystem.get(config);

3.Pathpath=newPath(fileName);

4.FSDataOutputStreamoutputStream=hdfs.create(path);

5.outputStream.write(buff,0,buff.length);14HDFSAPI簡單的HDFSAPI：15HDFS

API常用的HDFSAPI：hdfs.rename(PathfromPath,PathtoPath) 重命名hdfs文件hdfs.delete(Pathf,Booleanrecursive) 刪除指定HDFS文件hdfs.exists(Pathpath) 檢查指定路徑是否存在

15HDFSAPI16HDFS

--安防行業(yè)的應(yīng)用前景HDFS存儲相對傳統(tǒng)存儲的優(yōu)勢硬盤使用壽命傳統(tǒng)存儲：硬盤每天24小時不停的讀寫，造成壽命銳減。HDFS存儲：多硬盤并行工作，負(fù)載均衡保證不會過度使用硬盤16HDFS--安防行業(yè)的應(yīng)用前景HDFS存儲相對傳統(tǒng)存儲17HDFS

--安防行業(yè)的應(yīng)用前景HDFS存儲相對傳統(tǒng)存儲的優(yōu)勢海量數(shù)據(jù)存儲傳統(tǒng)存儲：海量視頻存儲對硬盤要求過高，不能動態(tài)增加硬盤容量，擴(kuò)展容量方便HDFS存儲：可以動態(tài)增加容量，容量抽象為沒有上限，流式存儲很適合視頻數(shù)據(jù)。17HDFS--安防行業(yè)的應(yīng)用前景HDFS存儲相對傳統(tǒng)存儲18HDFS

--安防行業(yè)的應(yīng)用前景HDFS存儲相對傳統(tǒng)存儲的優(yōu)勢海量數(shù)據(jù)分析傳統(tǒng)存儲：從海量視頻數(shù)據(jù)存儲中分析數(shù)據(jù)基本無法實(shí)現(xiàn)。HDFS存儲：和hadoop另外的MapReduce分布式計(jì)算架構(gòu)配合，可以進(jìn)行海量視頻數(shù)據(jù)的分析。18HDFS--安防行業(yè)的應(yīng)用前景HDFS存儲相對傳統(tǒng)存儲19HDFS

--安防行業(yè)的應(yīng)用前景HDFS存儲的缺點(diǎn)實(shí)際存儲數(shù)據(jù)比應(yīng)存數(shù)據(jù)多傳統(tǒng)存儲：一份數(shù)據(jù)只需要存儲一份。HDFS存儲：一份數(shù)據(jù)需要至少兩份的存儲才能保證容錯設(shè)計(jì)，造成實(shí)際存儲大小比應(yīng)該存儲大小大2倍以上19HDFS--安防行業(yè)的應(yīng)用前景HDFS存儲的缺點(diǎn)20HDFS

--安防行業(yè)的應(yīng)用前景HDFS存儲的缺點(diǎn)Linux系統(tǒng)傳統(tǒng)存儲：和操作系統(tǒng)關(guān)系不大，而且很容易在大家常用的windows上存儲HDFS存儲：現(xiàn)階段只保證在Linux下運(yùn)行穩(wěn)定，windows下不支持hadoop運(yùn)行穩(wěn)定。20HDFS--安防行業(yè)的應(yīng)用前景HDFS存儲的缺點(diǎn)21HDFS

--安防行業(yè)的應(yīng)用前景謝謝!21HDFS--安防行業(yè)的應(yīng)用前景謝謝!22主要內(nèi)容Hadoop項(xiàng)目簡介HDFS體系結(jié)構(gòu)HDFS關(guān)鍵運(yùn)行機(jī)制HadoopVS.Google（分布式文件系統(tǒng)）HadoopAPIHadoop環(huán)境搭建1主要內(nèi)容Hadoop項(xiàng)目簡介23Hadoop項(xiàng)目簡介吃水不忘挖井人DougCutting簡介：Lucene（開源的全文檢索包人）、Nutch（開源搜索引擎）、hadoop創(chuàng)始人。曾經(jīng)在是雅虎搜索工程師，后面加入Cloudera,發(fā)展hadoop的企業(yè)級應(yīng)用。一位盜火者，把高深的搜索引擎技術(shù)帶給普通大眾。2Hadoop項(xiàng)目簡介吃水不忘挖井人DougCutting24Hadoop項(xiàng)目簡介Apache的解決方案Google云計(jì)算MapReduceBigTableGFSChubbyGFS-->HDFSMapReduce-->Hadoop

BigTable-->HBase

3Hadoop項(xiàng)目簡介Apache的解決方案Google云計(jì)25HDFS為了做到可靠性（reliability）創(chuàng)建了多份數(shù)據(jù)塊（datablocks）的復(fù)制（replicas），并將它們放置在服務(wù)器群的計(jì)算節(jié)點(diǎn)中（computenodes），MapReduce就可以在它們所在的節(jié)點(diǎn)上處理這些數(shù)據(jù)了。Hadoop項(xiàng)目簡介4HDFS為了做到可靠性（reliability）創(chuàng)建了多份26

HDFS體系結(jié)構(gòu)

NameNodeMasterDataNodeChunksever5

HDFS體系結(jié)構(gòu)

NameNodeMaster27一個名字節(jié)點(diǎn)和多個數(shù)據(jù)節(jié)點(diǎn)數(shù)據(jù)復(fù)制（冗余機(jī)制）

--存放的位置（機(jī)架感知策略）故障檢測--數(shù)據(jù)節(jié)點(diǎn)心跳包（檢測是否宕機(jī)）塊報告（安全模式下檢測）數(shù)據(jù)完整性檢測（校驗(yàn)和比較）--名字節(jié)點(diǎn)（日志文件，鏡像文件）空間回收機(jī)制

HDFS關(guān)鍵運(yùn)行機(jī)制

--保障可靠性的措施6一個名字節(jié)點(diǎn)和多個數(shù)據(jù)節(jié)點(diǎn)HDFS關(guān)鍵運(yùn)行機(jī)制

--保障可28HDFS關(guān)鍵運(yùn)行機(jī)制

--寫文件流程客戶端緩存流水線復(fù)制并發(fā)寫控制流程：1.客戶端把數(shù)據(jù)緩存到本地臨時文件夾2.臨時文件夾數(shù)據(jù)超過64M，客戶端聯(lián)系NameNode，NameNode分配DataNode，DataNode依照客戶端的位置被排列成一個有著最近物理距離和最小的序列3.與序列的第一個數(shù)據(jù)服務(wù)器建立Socket連接，發(fā)送請求頭，然后等待回應(yīng)，依次下傳，客戶端得到回包，流水線建立成功，4.正式發(fā)送數(shù)據(jù)，以4K為大小傳送7HDFS關(guān)鍵運(yùn)行機(jī)制

--寫文件流程客戶端緩存29HDFS關(guān)鍵運(yùn)行機(jī)制

--讀文件流程客戶端聯(lián)系NameNode,得到所有數(shù)據(jù)塊信息，以及數(shù)據(jù)塊對應(yīng)的所有數(shù)據(jù)服務(wù)器的位置信息嘗試從某個數(shù)據(jù)塊對應(yīng)的一組數(shù)據(jù)服務(wù)器中選出一個，進(jìn)行連接（選取算法未加入相對位置的考慮）數(shù)據(jù)被一個包一個包發(fā)送回客戶端，等到整個數(shù)據(jù)塊的數(shù)據(jù)都被讀取完了，就會斷開此鏈接，嘗試連接下一個數(shù)據(jù)塊對應(yīng)的數(shù)據(jù)服務(wù)器，整個流程，依次如此反復(fù)，直到所有想讀的都讀取完了為止8HDFS關(guān)鍵運(yùn)行機(jī)制

--讀文件流程客戶端聯(lián)系NameNo30HDFSVS.GFS總體架構(gòu)的比較數(shù)據(jù)結(jié)構(gòu)化管理組件：Hbase→BigTable并行計(jì)算模型：MapReduce→MapReduce分布式文件系統(tǒng)：HDFS→GFSHadoop缺少分布式鎖服務(wù)ChubbyHBaseMapReduceHDFSBigTableMapReduceGFSHadoop云計(jì)算應(yīng)用Google云計(jì)算應(yīng)用9HDFSVS.GFS總體架構(gòu)的比較HBaseMapRe31HDFSVS.GFSHDFS與GFS比較中心服務(wù)器模式的差異GFS：多臺物理服務(wù)器，選擇一臺對外服務(wù)，損壞時可選擇另外一臺提供服務(wù)HDFS：單一中心服務(wù)器模式，存在單點(diǎn)故障原因：Hadoop缺少分布式鎖服務(wù)10HDFSVS.GFSHDFS與GFS比較32HDFSVS.GFSHDFS與GFS比較子服務(wù)器管理模式差異GFS：ChunkServer在Chubby中獲取獨(dú)占鎖表示其生存狀態(tài)，Master通過輪詢這些獨(dú)占鎖獲知ChunkServer的生存狀態(tài)HDFS：DataNode通過心跳的方式告知NameNode其生存狀態(tài)GFS中，Master損壞時，替補(bǔ)服務(wù)器可以快速獲知ChunkServer的狀態(tài)HDFS中，NameNode損壞后，NameNode恢復(fù)時需要花費(fèi)一段時間獲知DataNode的狀態(tài)在添加數(shù)據(jù)存儲節(jié)點(diǎn)時，GFS的伸縮性較HDFS要好原因：Hadoop缺乏分布式鎖服務(wù)11HDFSVS.GFSHDFS與GFS比較33HDFSVS.GFSHDFS與GFS比較HDFS具備安全模式獲知數(shù)據(jù)塊副本狀態(tài)，若副本不足，則拷貝副本至安全數(shù)目（如3個）GFS不具備安全模式副本損壞處理：API讀取副本失敗時，Master負(fù)責(zé)發(fā)起拷貝任務(wù)12HDFSVS.GFSHDFS與GFS比較34HDFSVS.GFSHDFS與GFS比較HDFS具備空間回收機(jī)制文件刪除時，僅刪除目錄結(jié)構(gòu)實(shí)際數(shù)據(jù)的刪除在等待一段時間后實(shí)施優(yōu)點(diǎn)：便于恢復(fù)文件13HDFSVS.GFSHDFS與GFS比較35HDFS

API簡單的HDFSAPI：

hdfs.copyFromLocalFile(pathsrcPath,pathdstPath)

上傳本地文件到HDFS的指定位置上eg: 1.Configurationconfig=newConfiguration();

2.FileSystemhdfs=FileSystem.get(config);

3.PathsrcPath=newPath(srcFile);

4.PathdstPath=newPath(dstFile);

5.hdfs.copyFromLocalFile(srcPath,dstPath);

hdfs.create(pathpath)

創(chuàng)建HDFS文件 1.Configurationconfig=newConfiguration();

2.FileSystemhdfs=FileSystem.get(config);

3.Pathpath=newPath(fileName);

4.FSDataOutputStreamoutputStream=hdfs.create(path);

5.outputStream.write(buff,0,buff.length);14HDFSAPI簡單的HDFSAPI：36HDFS

API常用的HDFSAPI：hdfs.rename(PathfromPath,PathtoPath) 重命名hdfs文件hdfs.delete(Pathf,Booleanrecursive) 刪除指定HDFS文件hdfs.exists(Pathpath) 檢查指定路徑是否存在

15HDFSAPI37HDFS

--安防