小象學(xué)院hadoop進(jìn)階hdfs基本概念

1、hdfs基本概念xianmOpenPasValue2014/3/22HDFS 源于GFS 一種分布式文件系統(tǒng) 塊式 文件數(shù)據(jù)由寫入或追加寫入，不可更改 Master-Slave結(jié)構(gòu):一個NameNode + 若干DataNode組成22014/3/22時可以多個塊并發(fā)NameNode和DataNodeNameNodeMaster，只有一個節(jié)點(diǎn)管理HDFS的名字空間（NameSpace），文件怎樣分成數(shù)據(jù)塊Blocks，數(shù)據(jù)塊態(tài)DataNodeSlaves，可有多個節(jié)點(diǎn)向NameNode發(fā)送心跳匯報block狀況執(zhí)行讀/寫操作，執(zhí)行NameNode 的副本策略在哪些節(jié)點(diǎn)上，整個分布式文件系統(tǒng)的健

2、康狀32014/3/22NameNode樹狀目錄結(jié)構(gòu)（NameSpace） 分配并每個文件由哪些塊組成，以及每個塊的信息（大小、時間戳等） 將HDFS的文件和目錄元數(shù)據(jù)在一個叫fsimage的文件中，每次保存fsimage之后到下次保存之間的所有hdfs操作，將會記錄在editlog文件中接受DataNode的HeartBeat，DataNode的Block信息 通過HeartBeat的回應(yīng)向DataNode發(fā)送命令，本身不做重量級得工作42014/3/22DataNode數(shù)據(jù)塊：一個塊是一個本地文件 處理數(shù)據(jù)的寫入、 可以配置多個磁盤 允許部分磁盤失敗 根據(jù)剩余空間比例選擇新block的存放

3、位置 定期向NameNode通報自身的block列表、塊的、刪除操作等52014/3/22HDFS操作（寫文件）6Metadata(Name, replicas.) (/home/foo/data,6. .建立/寫文件請求NamenodeDatanode列表Cnt完成寫入AckWriteDatanodesDatanodeswritewritackackrRack2Rack1Cnt62014/3/22eadeBlocksHDFS操作（刪除）6Metadata(Name, replicas.) (/home/foo/data,6. .刪除刪除文件請求NamenodeCnt完成刪除Block InvalidBlock InvalidDatanodesBlock ReportBlock ReportDatanodesRack2Rack162014/3/22刪除Blocks刪除Secondary Namenode與NameNode進(jìn)行通訊，定期將editlog合并到元數(shù)據(jù)文件中，并通知NameNode更