hadoop大數(shù)據(jù)就業(yè)課程課件代碼二

1、深入淺出Hadoop, Hbase&Storm（新版）講師：明義深入hdfsNameNode和DataNodeHDFS Federation (Hadoop2)NameNode HA (Hadoop2)NameNode和DataNodeHDFS架構(gòu)以及后臺(tái)進(jìn)程介紹HDFS文件讀寫(xiě)流程FSImage和EditLogRack AwarenessHDFS管理常用管理命令Offline Image/Edits Viewer添加和刪除節(jié)點(diǎn)升級(jí)和回滾（balaner）HDFS架構(gòu)HDFS的后臺(tái)服務(wù)（進(jìn)程）讀文件的過(guò)程1, 使用HDFS提供的客戶(hù)端開(kāi)發(fā)庫(kù)Client，向遠(yuǎn)程的Namenode發(fā)起RPC請(qǐng)求；

2、2, Namenode會(huì)視情況返回文件的部分或者全部block列表，對(duì)于每個(gè)block，Namenode都會(huì)返回有該block拷貝的DataNode地址；3, 客戶(hù)端開(kāi)發(fā)庫(kù)Client會(huì)選取離客戶(hù)端最接近的DataNode來(lái)讀取block；如果客戶(hù)端本身就是DataNode,那么將從本地直接獲取數(shù)據(jù).4, 讀取完當(dāng)前block的數(shù)據(jù)后，關(guān)閉與當(dāng)前的DataNode連接，并為讀取下一個(gè)block尋找最佳的DataNode；5, 當(dāng)讀完列表的block后，且文件讀取還沒(méi)有結(jié)束，客戶(hù)端開(kāi)發(fā)庫(kù)會(huì)繼續(xù)向Namenode獲取下一批的block列表。6, 讀取完一個(gè)block都會(huì)進(jìn)行checksum驗(yàn)證，如

3、果讀取datanode時(shí)出現(xiàn)錯(cuò)誤，客戶(hù)端會(huì)通知Namenode，然后再?gòu)南乱粋€(gè)擁有該block拷貝的datanode繼續(xù)讀文件的過(guò)程寫(xiě)文件的過(guò)程1, 使用HDFS提供的客戶(hù)端開(kāi)發(fā)庫(kù)Client，向遠(yuǎn)程的Namenode發(fā)起RPC請(qǐng)求；2, Namenode會(huì)檢查要?jiǎng)?chuàng)建的文件是否已經(jīng)存在，創(chuàng)建者是否有權(quán)限進(jìn)行操作，成功則會(huì)為文件創(chuàng)建一個(gè)記錄，否則會(huì)讓客戶(hù)端拋出異常；3, 當(dāng)客戶(hù)端開(kāi)始寫(xiě)入文件的時(shí)候，開(kāi)發(fā)庫(kù)會(huì)將文件切分成多個(gè)packets，并在內(nèi)部以數(shù)據(jù)隊(duì)列data queue的形式管理這些packets，并向Namenode申請(qǐng)新的blocks，獲取用來(lái)存儲(chǔ)replicas的合適的datanod

4、es列表，列表的大小根據(jù)在Namenode中對(duì)replication的設(shè)置而定。4, 開(kāi)始以pipeline（管道）的形式將packet寫(xiě)入所有的replicas中。開(kāi)發(fā)庫(kù)把packet以流的方式寫(xiě)入第一個(gè)datanode，該datanode把該packet存儲(chǔ)之后，再將其傳遞給在此pipeline中的下一個(gè)datanode，直到最后一個(gè)datanode，這種寫(xiě)數(shù)據(jù)的方式呈流水線的形式。5, 最后一個(gè)datanode成功存儲(chǔ)之后會(huì)返回一個(gè)ack packet，在pipeline里傳遞至客戶(hù)端，在客戶(hù)端的開(kāi)發(fā)庫(kù)內(nèi)部維護(hù)著ack queue，成功收到datanode返回的ack packet后會(huì)從

5、ack queue移除相應(yīng)的packet。6, 如果傳輸過(guò)程中，有某個(gè)datanode出現(xiàn)了故障，那么當(dāng)前的pipeline會(huì)被關(guān)閉，出現(xiàn)故障的datanode會(huì)從當(dāng)前的pipeline中移除，剩余的block會(huì)繼續(xù)剩下的datanode中繼續(xù)以pipeline的形式傳輸，同時(shí)Namenode會(huì)分配一個(gè)新的datanode，保持replicas設(shè)定的數(shù)量。寫(xiě)文件的過(guò)程FSImage和EditLogFSImage和EditLog所有metadata都會(huì)在namenode的內(nèi)存中保存，用來(lái)快速訪問(wèn)對(duì)于寫(xiě)操作，namenode首先寫(xiě)入內(nèi)存和EditLog（append），然后返回客戶(hù)段Seconda

6、ry namenode會(huì)定期合并FSImage和EditLog并且將新的namenode發(fā)回給namenodeHDFS在啟動(dòng)的時(shí)候，namenode會(huì)合并FSImage和EditLogFSImage和EditLogRack Awareness第一個(gè)block副本放在和client所在的node里（如果client不在集群范圍內(nèi)，則這第一個(gè)node是隨機(jī)選取的，系統(tǒng)會(huì)嘗試不選擇哪些太滿(mǎn)或者太忙的node）。第二個(gè)副本放置在與第一個(gè)節(jié)點(diǎn)不同的機(jī)架中的node中（隨機(jī)選擇）。第三個(gè)副本和第二個(gè)在同一個(gè)機(jī)架，隨機(jī)放在不同的node中。Rack Awareness策略常用管理命令Offline Image/Edits Viewer添加和刪除節(jié)點(diǎn)升級(jí)和回滾HDFS管理hadoop-daem