數(shù)據(jù)庫原理與應(yīng)用第4章-03-HBase集群管理課件

1、HBase原理實(shí)現(xiàn)NoSQL數(shù)據(jù)庫原理與應(yīng)用第四章0 3HBase集群管理3.1 運(yùn)維管理-移除RegionServer節(jié)點(diǎn)大數(shù)據(jù)存儲(chǔ)與管理當(dāng)集群由于升級(jí)或更換硬件等原因需要在單臺(tái)機(jī)器上停止守護(hù)進(jìn)程時(shí)，需要確保集群的其他部分正常工作，并且確保從客戶端應(yīng)用來看停用時(shí)間最短。滿足此條件必須把這臺(tái)RegionServer服務(wù)的Region主動(dòng)轉(zhuǎn)移到其他RegionServer上，而不是讓HBase被動(dòng)地對(duì)此RegionServer的下線進(jìn)行反應(yīng)。3.1 運(yùn)維管理-增加RegionServer節(jié)點(diǎn)大數(shù)據(jù)存儲(chǔ)與管理隨著應(yīng)用系統(tǒng)需求的增長(zhǎng)，整個(gè)HBase集群需要進(jìn)行擴(kuò)展，這時(shí)就需要往HBase集群中增加一

2、個(gè)節(jié)點(diǎn)。添加一個(gè)新的RegionServer是運(yùn)行集群的常用操作，首先需要修改conf目錄下的regionserver文件，然后將此文件復(fù)制到集群中所有機(jī)器上，這樣可以使用啟動(dòng)腳本就能夠添加新的服務(wù)器。3.1 運(yùn)維管理-增加Master備份節(jié)點(diǎn)大數(shù)據(jù)存儲(chǔ)與管理為了增加HBase集群的可用性，可以為HBase增加多個(gè)備份Master。當(dāng)Master掛掉后，備份Master可以自動(dòng)接管整個(gè)HBase的集群。3.2 數(shù)據(jù)管理數(shù)據(jù)導(dǎo)出大數(shù)據(jù)存儲(chǔ)與管理在HBase安裝目錄的bin目錄下執(zhí)行hbase org.apache.hadoop.hbase.mapreduce.Export命令，具體參數(shù)如下：ro

3、otlocalhost bin# ./hbase org.apache.hadoop.hbase.mapreduce.ExportERROR: Wrong number of arguments: 0Usage: Export -D * regex pattern or Prefix to filter3.2 數(shù)據(jù)管理數(shù)據(jù)導(dǎo)出大數(shù)據(jù)存儲(chǔ)與管理名字描述tablename準(zhǔn)備導(dǎo)出的表名。outputdir導(dǎo)出數(shù)據(jù)存放在HDFS中的路徑version每列備份的版本數(shù)量，默認(rèn)值為1starttime開始時(shí)間entime掃描所使用的時(shí)間范圍的結(jié)束時(shí)間，regexp/prefix以開始表示該選項(xiàng)被當(dāng)作表達(dá)

4、式類匹配行鍵，否則被當(dāng)作行鍵的前綴表4 Export參數(shù) 3.2 數(shù)據(jù)管理數(shù)據(jù)導(dǎo)入大數(shù)據(jù)存儲(chǔ)與管理在bin目錄下執(zhí)行hbase org.apache.hadoop.hbase.mapreduce.Import命令，具體參數(shù)如下：rootlocalhost bin# ./hbase org.apache.hadoop.hbase.mapreduce.ImportERROR: Wrong number of arguments: 0Usage: Import options 3.2 數(shù)據(jù)管理數(shù)據(jù)遷移大數(shù)據(jù)存儲(chǔ)與管理同樣在bin目錄下運(yùn)行以下命令：具體參數(shù)如下：rootlocalhost#./hba

5、se org.apache.hadoop.hbase.mapreduce.CopyTable Usage: CopyTable general options -starttime=X -endtime=Y -=NEW -peer.adr=ADR 3.3 故障管理大數(shù)據(jù)存儲(chǔ)與管理HBase自帶的工具除了上一節(jié)的提到的數(shù)據(jù)移動(dòng)外還有很多調(diào)試、分析等工具，在HBase的bin目錄下執(zhí)行HBase命令，會(huì)列出它所包含的工具。rootlocalhost bin# ./hbaseUsage: hbase 3.3 故障管理-文件檢測(cè)修復(fù)工具h(yuǎn)bck大數(shù)據(jù)存儲(chǔ)與管理hbck工具用于HBase

6、底層文件系統(tǒng)的檢測(cè)和修復(fù)，它可以檢測(cè)Master、RegionServer內(nèi)存中的狀態(tài)以及HDFS上面數(shù)據(jù)的狀態(tài)之間的一致性，完整性等。執(zhí)行hbck命令使用-h參數(shù)來看下hbck能提供那些功能。rootlocalhost bin# ./hbase hbck hUsage: fsck opts only tables3.3 故障管理-文件查看工具h(yuǎn)file大數(shù)據(jù)存儲(chǔ)與管理HBase提供了查看文件格式HFile的內(nèi)容，它所使用的命令是hfile，具體參數(shù)如下：rootlocalhost bin# ./hbase hfileusage: HFile -a -b -e -f | -r -h -k -m -p -s -v -w 比如像查看文件的內(nèi)容，可以使用