hadoop大數(shù)據(jù)就業(yè)課程課件代碼二

1、深入淺出Hadoop, Hbase&Storm（新版）講師：明義深入hdfsNameNode和DataNodeHDFS Federation (Hadoop2)NameNode HA (Hadoop2)NameNode和DataNodeHDFS架構(gòu)以及后臺進(jìn)程介紹HDFS文件讀寫流程FSImage和EditLogRack AwarenessHDFS管理常用管理命令Offline Image/Edits Viewer添加和刪除節(jié)點升級和回滾（balaner）HDFS架構(gòu)HDFS的后臺服務(wù)（進(jìn)程）讀文件的過程1, 使用HDFS提供的客戶端開發(fā)庫Client，向遠(yuǎn)程的Namenode發(fā)起RPC請求；

2、2, Namenode會視情況返回文件的部分或者全部block列表，對于每個block，Namenode都會返回有該block拷貝的DataNode地址；3, 客戶端開發(fā)庫Client會選取離客戶端最接近的DataNode來讀取block；如果客戶端本身就是DataNode,那么將從本地直接獲取數(shù)據(jù).4, 讀取完當(dāng)前block的數(shù)據(jù)后，關(guān)閉與當(dāng)前的DataNode連接，并為讀取下一個block尋找最佳的DataNode；5, 當(dāng)讀完列表的block后，且文件讀取還沒有結(jié)束，客戶端開發(fā)庫會繼續(xù)向Namenode獲取下一批的block列表。6, 讀取完一個block都會進(jìn)行checksum驗證，如

3、果讀取datanode時出現(xiàn)錯誤，客戶端會通知Namenode，然后再從下一個擁有該block拷貝的datanode繼續(xù)讀文件的過程寫文件的過程1, 使用HDFS提供的客戶端開發(fā)庫Client，向遠(yuǎn)程的Namenode發(fā)起RPC請求；2, Namenode會檢查要創(chuàng)建的文件是否已經(jīng)存在，創(chuàng)建者是否有權(quán)限進(jìn)行操作，成功則會為文件創(chuàng)建一個記錄，否則會讓客戶端拋出異常；3, 當(dāng)客戶端開始寫入文件的時候，開發(fā)庫會將文件切分成多個packets，并在內(nèi)部以數(shù)據(jù)隊列data queue的形式管理這些packets，并向Namenode申請新的blocks，獲取用來存儲replicas的合適的datanod

4、es列表，列表的大小根據(jù)在Namenode中對replication的設(shè)置而定。4, 開始以pipeline（管道）的形式將packet寫入所有的replicas中。開發(fā)庫把packet以流的方式寫入第一個datanode，該datanode把該packet存儲之后，再將其傳遞給在此pipeline中的下一個datanode，直到最后一個datanode，這種寫數(shù)據(jù)的方式呈流水線的形式。5, 最后一個datanode成功存儲之后會返回一個ack packet，在pipeline里傳遞至客戶端，在客戶端的開發(fā)庫內(nèi)部維護著ack queue，成功收到datanode返回的ack packet后會從

5、ack queue移除相應(yīng)的packet。6, 如果傳輸過程中，有某個datanode出現(xiàn)了故障，那么當(dāng)前的pipeline會被關(guān)閉，出現(xiàn)故障的datanode會從當(dāng)前的pipeline中移除，剩余的block會繼續(xù)剩下的datanode中繼續(xù)以pipeline的形式傳輸，同時Namenode會分配一個新的datanode，保持replicas設(shè)定的數(shù)量。寫文件的過程FSImage和EditLogFSImage和EditLog所有metadata都會在namenode的內(nèi)存中保存，用來快速訪問對于寫操作，namenode首先寫入內(nèi)存和EditLog（append），然后返回客戶段Seconda

6、ry namenode會定期合并FSImage和EditLog并且將新的namenode發(fā)回給namenodeHDFS在啟動的時候，namenode會合并FSImage和EditLogFSImage和EditLogRack Awareness第一個block副本放在和client所在的node里（如果client不在集群范圍內(nèi)，則這第一個node是隨機選取的，系統(tǒng)會嘗試不選擇哪些太滿或者太忙的node）。第二個副本放置在與第一個節(jié)點不同的機架中的node中（隨機選擇）。第三個副本和第二個在同一個機架，隨機放在不同的node中。Rack Awareness策略常用管理命令Offline Image/Edits Viewer添加和刪除節(jié)點升級和回滾HDFS管理hadoop-daem