單元7 分布式數(shù)據(jù)庫(kù)HBase部署與應(yīng)用

《大數(shù)據(jù)平臺(tái)部署與運(yùn)維》單元7分布式數(shù)據(jù)庫(kù)HBase部署與應(yīng)用01理解HBase的原理與體系架構(gòu)02掌握HBase偽分布式和完全分布式安裝步驟學(xué)習(xí)目標(biāo)03能夠使用命令操作HBase04能夠監(jiān)控HBase運(yùn)行狀態(tài)任務(wù)7.1搭建偽分布式HBase任務(wù)7.2部署HBase完全分布式集群學(xué)習(xí)任務(wù)任務(wù)7.3HBase集群運(yùn)維任務(wù)7.1搭建偽分布式HBase【任務(wù)場(chǎng)景】經(jīng)理：小張，全球非關(guān)系型數(shù)據(jù)庫(kù)（NoSQL）近幾年保持在30%左右高速增長(zhǎng)，企業(yè)應(yīng)用率越來(lái)越高。Hadoop生態(tài)圈中常用的分布式NoSQL數(shù)據(jù)庫(kù)了解嗎？小張：是Hadoop的數(shù)據(jù)庫(kù)HBase嗎？經(jīng)理：是的，HBase是一個(gè)分布式存儲(chǔ)、數(shù)據(jù)庫(kù)引擎，可以支持千萬(wàn)的QPS（每秒查詢率）、PB級(jí)別的存儲(chǔ)，這些都已經(jīng)在生產(chǎn)環(huán)境驗(yàn)證，并且在很多大公司已經(jīng)驗(yàn)證。特別是阿里、小米、京東、滴滴內(nèi)部都有數(shù)千、上萬(wàn)臺(tái)的HBase集群。咱們公司的業(yè)務(wù)系統(tǒng)數(shù)據(jù)量越來(lái)越多，數(shù)據(jù)存儲(chǔ)和并發(fā)訪問壓力越來(lái)越大，研究一下大公司的基于HBase的解決方案。小張：好的。經(jīng)理：先把HBase安裝部署好。小張：好的，沒問題。任務(wù)7.1搭建偽分布式HBase【任務(wù)布置】HBase的安裝和運(yùn)行需要依賴于JDK和Hadoop，因此必須將HBase安裝操作的基礎(chǔ)環(huán)境提前安裝準(zhǔn)備好，才能進(jìn)行HBase的安裝和操作。本任務(wù)要求在前面已完成安裝部署Hadoop平臺(tái)的master01節(jié)點(diǎn)上，完成HBase偽分布式的安裝和部署，安裝完成后需要啟動(dòng)并訪問HBase。一般在測(cè)試場(chǎng)景下經(jīng)常會(huì)部署單節(jié)點(diǎn)的偽分布式HBase，理解并掌握HBase偽分布式的安裝部署，可以為后續(xù)生產(chǎn)環(huán)境下部署HBase分布式集群打下基礎(chǔ)。任務(wù)7.1搭建偽分布式HBase7.1.1HBase原理HBase，全稱為HadoopDatabase，是一個(gè)高性能、高可靠性、面向列、可伸縮的分布式存儲(chǔ)系統(tǒng)，使用HBase技術(shù)，可以在廉價(jià)PC服務(wù)器上搭建起大規(guī)模結(jié)構(gòu)化存儲(chǔ)集群。HBase是GoogleBigTable的開源實(shí)現(xiàn)，它模仿并提供了基于Google文件系統(tǒng)的BigTable數(shù)據(jù)庫(kù)的所有功能：HBase使用HadoopHDFS作為其文件存儲(chǔ)系統(tǒng)；使用HadoopMapReduce來(lái)處理HBase中的海量數(shù)據(jù)，使用ZooKeeper作為協(xié)同服務(wù)。HBase的設(shè)計(jì)目的是處理非常龐大的表，甚至能使用普通的計(jì)算機(jī)處理超過10億行的、由數(shù)百萬(wàn)列元素組成的數(shù)據(jù)表的數(shù)據(jù)。任務(wù)7.1搭建偽分布式HBaseHBase是Hadoop生態(tài)系統(tǒng)的一個(gè)組成部分，HBase在Hadoop生態(tài)系統(tǒng)的位置如下圖所示：任務(wù)7.1搭建偽分布式HBaseHBASE的特點(diǎn)有：(1)大：一個(gè)表可以有上億行，上百萬(wàn)列。(2)面向列：面向列表（簇）的存儲(chǔ)和權(quán)限控制，列（簇）獨(dú)立檢索。(3)稀疏：對(duì)于為空（NULL）的列，并不占用存儲(chǔ)空間，因此，表可以設(shè)計(jì)的非常稀疏。(4)無(wú)模式：每行都有一個(gè)可排序的主鍵和和任意多的列，列可以根據(jù)需要?jiǎng)討B(tài)的增加，同一張表中不同的行可以截然不同的列。(5)數(shù)據(jù)多版本：每個(gè)單元中的數(shù)據(jù)可以有多個(gè)版本，默認(rèn)情況下版本號(hào)自動(dòng)分配，是單元格插入時(shí)的時(shí)間戳。(6)數(shù)據(jù)類型單一：數(shù)據(jù)都是字符串，無(wú)類型區(qū)別。任務(wù)7.1搭建偽分布式HBaseHBase和傳統(tǒng)關(guān)系數(shù)據(jù)庫(kù)的具體區(qū)別如下：（1）數(shù)據(jù)類型：HBase只有簡(jiǎn)單的字符串類型，所有其他類型都由用戶自己定義，它只保存字符串，而關(guān)系數(shù)據(jù)庫(kù)有豐富的數(shù)據(jù)類型和存儲(chǔ)方式。（2）數(shù)據(jù)操作：HBase只提供很簡(jiǎn)單的插入、查詢、刪除、清空等操作，且HBase的表和表之間是分離的，沒有復(fù)雜的表表間關(guān)系，也沒必要實(shí)現(xiàn)表和表之間的關(guān)聯(lián)等操作，而傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)通常有各種各樣的函數(shù)和連接操作。（3）存儲(chǔ)模式：HBase是基于列存儲(chǔ)的，幾個(gè)文件保存在一個(gè)列族中，不同列族的文件是分離的，而傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)是基于表格結(jié)構(gòu)和行模式保存的。（4）數(shù)據(jù)維護(hù)：HBase的更新其實(shí)不是更新，只是一個(gè)主鍵或者列對(duì)應(yīng)的新版本，其舊有的版本仍然會(huì)保留，所以實(shí)際上只是插入了新的數(shù)據(jù)，而不是傳統(tǒng)關(guān)系數(shù)據(jù)庫(kù)里的替換修改。任務(wù)7.1搭建偽分布式HBase比較項(xiàng)HbaseHDFS寫入方式隨機(jī)寫入僅能追加掃描方式隨機(jī)讀取&小范圍掃描&全表掃描全表掃描&分區(qū)掃描讀寫方式適合隨機(jī)讀寫存儲(chǔ)在HDFS上的數(shù)據(jù)適合只寫或者多次讀取的方式刪除方式指定刪除不支持指定刪除，只能全表刪除SQL性能比HDFS慢4-5倍非常好結(jié)構(gòu)化存儲(chǔ)列族&列較隨意&序列化文件存儲(chǔ)量1PB左右30PB左右數(shù)據(jù)分布表格根據(jù)Regions分布到不同集群中，當(dāng)數(shù)據(jù)增長(zhǎng)時(shí)，會(huì)自動(dòng)分割regions然后重新分布數(shù)據(jù)以分布式方式存儲(chǔ)在集群中的節(jié)點(diǎn)上。數(shù)據(jù)會(huì)被分成塊，然后存儲(chǔ)在HDFS集群中存在的節(jié)點(diǎn)上數(shù)據(jù)存儲(chǔ)所有數(shù)據(jù)都以表，行和列的形式存儲(chǔ)說有數(shù)據(jù)都以小文件的形式存儲(chǔ)，一般文件的大小為64MB數(shù)據(jù)模型基于google的Bigtable模型，該模型使用鍵值對(duì)進(jìn)行存儲(chǔ)HDFS中，使用MapReduce技術(shù)將文件劃分為Key-Value使用場(chǎng)景HBase能夠處理大規(guī)模數(shù)據(jù)，它不適于批次分析，但它可以向Hadoop實(shí)時(shí)地調(diào)用數(shù)據(jù)HDFS最適于執(zhí)行批次分，無(wú)法執(zhí)行實(shí)時(shí)分析HBase和HDFS的對(duì)比如下表所示：任務(wù)7.1搭建偽分布式HBase7.1.2HBase體系架構(gòu)HBase的表結(jié)構(gòu)的設(shè)計(jì)和關(guān)系型數(shù)據(jù)庫(kù)不同，首先，HBase需要為每一張表確定一個(gè)唯一的主鍵rowkey，后續(xù)的查詢操作都基于rowkey進(jìn)行查詢。其次，和關(guān)系型數(shù)據(jù)庫(kù)需要設(shè)計(jì)表中的字段不同，HBase僅需要為表設(shè)計(jì)好列族即可，列族中的列，由插入數(shù)據(jù)的時(shí)候指定即可。

1.HBase數(shù)據(jù)模型HBase是一個(gè)稀疏、多維度、排序的映射表，這張表的索引是行鍵、列族、列限定符和時(shí)間戳每個(gè)值是一個(gè)未經(jīng)解釋的字符串，沒有數(shù)據(jù)類型，用戶在表中存儲(chǔ)數(shù)據(jù)，每一行都有一個(gè)可排序的行鍵和任意多的列。

HBase中執(zhí)行更新操作時(shí)，并不會(huì)刪除數(shù)據(jù)舊的版本，而是生成一個(gè)新的版本，舊有的版本仍然保留（這是和HDFS只允許追加不允許修改的特性相關(guān)的）。任務(wù)7.1搭建偽分布式HBase表：HBase采用表來(lái)組織數(shù)據(jù)，表由行和列組成，列劃分為若干個(gè)列族。行：rowkey保存為字節(jié)數(shù)組，是用來(lái)檢索記錄的主鍵?？梢允侨我庾址?最大長(zhǎng)度是64KB)。存儲(chǔ)時(shí)，數(shù)據(jù)按照Rowkey的字典序(byteorder)排序存儲(chǔ)。設(shè)計(jì)key時(shí)，要充分排序存儲(chǔ)這個(gè)特性，將經(jīng)常一起讀取的行存儲(chǔ)放到一起。(位置相關(guān)性)。列族：由兩部分組成：columnfamily和qualifier。列族是表的schema的一部分(而列不是)，必須在使用表之前定義。列名都以列族作為前綴。例如courses:history，courses:math都屬于courses這個(gè)列族。有關(guān)聯(lián)的數(shù)據(jù)應(yīng)都放在一個(gè)列族里，不然會(huì)降低讀寫效率。目前hbase并不能很好的處理多個(gè)列族，建議最多使用2個(gè)列族。任務(wù)7.1搭建偽分布式HBase列限定符：列族里的數(shù)據(jù)通過列限定符（或列）來(lái)定位。時(shí)間戳：HBase中通過row和columns確定的為一個(gè)存貯單元稱為cell。每個(gè)cell都保存著同一份數(shù)據(jù)的多個(gè)版本。版本通過時(shí)間戳來(lái)索引。時(shí)間戳的類型是64位整型。Cell：在HBase表中，通過行、列族和列限定符確定一個(gè)“單元格”（cell），由{rowkey,column(=<family>+abel>),version}唯一確定的單元。cell中的數(shù)據(jù)是沒有類型的，全部是字節(jié)碼形式存儲(chǔ)。任務(wù)7.1搭建偽分布式HBase2.面向列的存儲(chǔ)結(jié)構(gòu)Hbase概念視圖RowKeyTimeStampColumn"contents:"Column"anchor:"Column"mime:""n.www"t9

"anchor:""CNN"

t8

"anchor:my.look.ca""CNN.com"

t6"<html>c..."

"text/html"t5"<html>b..."

t3"<html>a..."

任務(wù)7.1搭建偽分布式HBaseRowKeyTimeStampColumn"anchor:""n.www"t9"anchor:""CNN"t8"anchor:my.look.ca""CNN.com"RowKeyTimeStampColumn"contents:""n.www"t6"<html>c..."t5"<html>b..."t3"<html>a..."RowKeyTimeStampColumn"mime:""n.www"t6"text/html"Hbase物理視圖樣例任務(wù)7.1搭建偽分布式HBase7.1.3HBase與JDK、Hadoop之間的兼容關(guān)系HBase與JDK的兼容關(guān)系HBase與Hadoop的兼容關(guān)系任務(wù)7.1搭建偽分布式HBase編號(hào)HBase安裝方式特點(diǎn)1獨(dú)立模式（Standalone）單節(jié)點(diǎn)、部署簡(jiǎn)單、使用自帶的ZooKeeper、所有守護(hù)進(jìn)程和ZooKeeper進(jìn)程運(yùn)行在一個(gè)JVM2偽分布式單節(jié)點(diǎn)、使用自帶的ZooKeeper、守護(hù)進(jìn)程和ZooKeeper進(jìn)程獨(dú)立運(yùn)行3完全分布式集群多節(jié)點(diǎn)、使用單獨(dú)搭建ZooKeeper集群、守護(hù)進(jìn)程分布在集群中的所有節(jié)點(diǎn)上HBase部署方式任務(wù)7.1搭建偽分布式HBase7.1.4HBase偽分布式部署基礎(chǔ)編號(hào)軟件基礎(chǔ)版本號(hào)1操作系統(tǒng)CentOS7，主機(jī)名localhost2Java編譯器JDK3偽分布式Hadoop平臺(tái)hadoop任務(wù)7.1搭建偽分布式HBase[任務(wù)實(shí)施]【工作流程】搭建偽分布式HBase的基本工作流程包括：1.下載并解壓HBase安裝包；2.配置環(huán)境變量；3.修改配置文件；4.啟動(dòng)并檢查HBase搭建結(jié)果?！静僮鞑襟E】解壓安裝包：將下載好的HBase安裝包拷貝到CentOS7系統(tǒng)的/usr/local目錄下，然后進(jìn)行解壓，并改為短路徑名，方便后面環(huán)境變量的配置。具體操作命令如下所示：2.配置環(huán)境變量：在/etc/profile文件中配置HBase安裝路徑環(huán)境變量，使得HBase的操作命令在任意目錄下都可以訪問。具體操作如下所示：[root@localhost/]#cd/usr/local[root@localhost/]#tarzxvfhbase-2.2.6-bin.tar.gz[root@localhost/]#mvHBase-2.2.6-binhbase[root@localhost/]#vim/etc/profile#在上面文件中添加以下2行內(nèi)容：exportHBASE_HOME=/usr/local/hbaseexportPATH=$PATH:$HBASE_HOME/bin#運(yùn)行以下命令使環(huán)境變量生效[root@localhost/]#source/etc/profile任務(wù)7.1搭建偽分布式HBase

3.修改HBase安裝路徑下conf目錄下的兩個(gè)配置文件：hbase-env.sh和hbase-site.xml。hbase-env.sh文件中增加以下兩行配置：exportJAVA_HOME=/usr/local/jdk1.8exportHBASE_MANAGES_ZK=trueHBase的運(yùn)行需要依賴JDK，所以在hbase-env.sh文件中配置了JDK的安裝路徑JAVA_HOME，此項(xiàng)配置和要和本機(jī)實(shí)際的JDK安裝路徑保持一致。HBASE_MANAGES_ZK配置項(xiàng)配置為true，表示使用HBase自帶的ZooKepper實(shí)現(xiàn)分布式協(xié)調(diào)服務(wù)，如果使用的是單獨(dú)安裝ZooKeeper，則需要把此配置項(xiàng)改為false。任務(wù)7.1搭建偽分布式HBase<property><name>hbase.rootdir</name><value>hdfs://localhost:9000/hbase</value></property><property> <name>dfs.replication</name> <value>1</value></property><property><name>hbase.cluster.distributed</name><value>true</value></property>base-site.xml文件中幾個(gè)配置項(xiàng)的含義：hbase.rootdir配置的是HBase數(shù)據(jù)在HDFS文件系統(tǒng)下的存儲(chǔ)路徑，這個(gè)目錄是regionserver的共享目錄，用來(lái)持久化HBase。hbase.zookeeper.quorum配置項(xiàng)的含義是ZooKeeper所在節(jié)點(diǎn)的主機(jī)名；dfs.replication配置的是文件存放的副本數(shù)，偽分布式模式下配置為1即可。hbase.cluster.distributed配置項(xiàng)的含義是是否使用集群模式，默認(rèn)情況下此配置項(xiàng)值為false，表示本地模式（Standalone），如果使用偽分布式或完全分布式的話，都需要將此選項(xiàng)值配置為true。hbase-site.xml文件中配置內(nèi)容如下所示：任務(wù)7.1搭建偽分布式HBase4.啟動(dòng)并測(cè)試環(huán)境搭建結(jié)果可以通過start-hbase.sh來(lái)啟動(dòng)HBase終端運(yùn)行jps命令查看運(yùn)行結(jié)果任務(wù)7.1搭建偽分布式HBase任務(wù)7.2部署HBase完全分布式集群學(xué)習(xí)任務(wù)任務(wù)7.3HBase集群運(yùn)維任務(wù)7.2部署HBase分布式集群[任務(wù)情境]【任務(wù)場(chǎng)景】小張：經(jīng)理，HBase的偽分布式環(huán)境我已經(jīng)搭建好了。經(jīng)理：企業(yè)生產(chǎn)環(huán)境下都是用集群環(huán)境，ZooKeeper作為分布式協(xié)調(diào)組件，在HBase集群中扮演著重要的輔助角色，尤其是在確保HBase集群穩(wěn)定性和高可用性方面有重要作用。咱們公司的高可用Hadoop集群中已經(jīng)部署好了ZooKeeper，可以在這個(gè)基礎(chǔ)上盡快把HBase集群部署好。小張：HBase集群需要依賴Hadoop集群來(lái)運(yùn)行。經(jīng)理：是的，盡快搭建起來(lái)。小張：好的，沒問題。任務(wù)7.2部署HBase分布式集群【任務(wù)布置】

在真實(shí)的生產(chǎn)場(chǎng)景下，通常會(huì)使用多個(gè)節(jié)點(diǎn)的HBase集群進(jìn)行分布式數(shù)據(jù)的存儲(chǔ)和管理。在前面Hadoop和ZooKeeper環(huán)境部署的基礎(chǔ)上，能夠進(jìn)行HBase集群的規(guī)劃和安裝部署，為后續(xù)的項(xiàng)目提供操作環(huán)境。本任務(wù)完成3個(gè)節(jié)點(diǎn)的HBase集群設(shè)計(jì)和規(guī)劃，根據(jù)規(guī)劃完成HBase分布式集群的安裝部署。任務(wù)7.2部署HBase分布式集群7.2.1HBase集群規(guī)劃在安裝部署HBase之前首先進(jìn)行集群規(guī)劃，HBase的完全分布式集群環(huán)境架構(gòu)和Hadoop相似，都是主從（master/slave）模式。本任務(wù)以3個(gè)節(jié)點(diǎn)的HBase集群為例演示HBase集群部署過程，集群的規(guī)劃如下表所示：表7-11HBase集群規(guī)劃主機(jī)名節(jié)點(diǎn)環(huán)境用途master01CentOS7、JDK1.8、Hadoop-2.7.3、ZooKeeper-3.4.6主節(jié)點(diǎn)worker01CentOS7、JDK1.8、Hadoop-2.7.3、ZooKeeper-3.4.6從節(jié)點(diǎn)1worker02CentOS7、JDK1.8、Hadoop-2.7.3、ZooKeeper-3.4.6從節(jié)點(diǎn)2任務(wù)7.2部署HBase分布式集群7.2.2HBase主要配置選項(xiàng)及其含義在安裝部署HBase集群過程中，hbase-site.xml中我們根據(jù)需要進(jìn)行了一些參數(shù)配置，HBase的常見的配置項(xiàng)如下表所示，安裝時(shí)可以根據(jù)需要進(jìn)行配置。表7-12HBase主要配置選項(xiàng)及含義名稱含義hbase.rootdir文件系統(tǒng)路徑hbase.cluster.distributed是否集群模式，默認(rèn)為falsehbase.zookeeper.quorumZooKeeper服務(wù)器地址，多個(gè)用逗號(hào)分隔hbase.master.portHBaseMaster綁定的端口，默認(rèn)16000.portHBaseMasterWebUI的端口，-1為不運(yùn)行UI實(shí)例，默認(rèn)16010.bindAddressHBaseMasterWebUI的綁定地址，默認(rèn)hbase.regionserver.portHBaseRegionServer綁定的端口，默認(rèn)16020.portHBaseRegionServerWebUI的端口，-1表示RegionServerUI不運(yùn)行，默認(rèn)16030.bindAddressHBaseRegionServerWebUI的地址，默認(rèn)zookeeper.session.timeoutzookeeper會(huì)話超時(shí)（毫秒），默認(rèn)90000zookeeper.znode.parentZooKeeper中HBase的RootZNode，默認(rèn)/hbase任務(wù)7.2部署HBase分布式集群7.2.3HBase訪問命令HBase集群采用的是主從模式，啟動(dòng)集群時(shí)，只需要在主節(jié)點(diǎn)上執(zhí)行啟動(dòng)命令start-hbase.sh即可啟動(dòng)HBase集群。執(zhí)行start-hbase.sh命令后，首先會(huì)調(diào)用hbase-daemons.sh逐步啟動(dòng)ZooKeeper、Master、RegionServer、master-backup相關(guān)進(jìn)程。啟動(dòng)每個(gè)進(jìn)程時(shí)會(huì)調(diào)用各進(jìn)程相關(guān)的腳本(如regionserver會(huì)調(diào)用regionservers.sh)來(lái)進(jìn)行環(huán)境的配置，并通過ssh遠(yuǎn)程登錄到其他從節(jié)點(diǎn)的機(jī)器上，執(zhí)行hbase-daemon.sh來(lái)啟動(dòng)從節(jié)點(diǎn)上的進(jìn)程。任務(wù)7.2部署HBase分布式集群hbase-daemon.sh腳本的職責(zé)就是啟動(dòng)各個(gè)進(jìn)程，在啟動(dòng)過程中會(huì)先做進(jìn)程判斷，日志滾動(dòng)等準(zhǔn)備，最后執(zhí)行啟動(dòng)命名，逐步的啟動(dòng)各個(gè)節(jié)點(diǎn)上的進(jìn)程。表7-13單獨(dú)啟動(dòng)HBase相關(guān)進(jìn)程的命令命令含義hbase-daemon.shstartmaster單獨(dú)啟動(dòng)一個(gè)HMaster進(jìn)程使用命令hbase-daemon.shstopmaster單獨(dú)停止一個(gè)HMaster進(jìn)程hbase-daemon.shstartregionserver單獨(dú)啟動(dòng)一個(gè)HRegionServer進(jìn)程hbase-daemon.shstopregionserver單獨(dú)停止一個(gè)HRegionServer進(jìn)程任務(wù)7.2部署HBase分布式集群7.2.4基于WebUI監(jiān)控HBase的狀態(tài)HBase為主節(jié)點(diǎn)和從節(jié)點(diǎn)都提供了默認(rèn)的Web瀏覽器訪問的HTTP端口號(hào)。HMaster的HTTP端口號(hào)為16010，HRegionServer的端口號(hào)為16030。需要注意的是，HBase1.0之前的版本主從節(jié)點(diǎn)使用的HTTP端口號(hào)分別是60010和60030，需要注意區(qū)分。如果所有設(shè)置都正確，就能夠通過瀏覽器連接到主節(jié)點(diǎn)查看HMaster的狀態(tài)。訪問方式為：http://主節(jié)點(diǎn)主機(jī)名(或ip):16010即可訪問到頁(yè)面。任務(wù)7.2部署HBase分布式集群[任務(wù)實(shí)施]【工作流程】

部署3個(gè)節(jié)點(diǎn)的完全分布式HBase集群的基本工作流程包括：1.下載并解壓HBase安裝包；2.配置環(huán)境變量；3.修改hbase-env.sh配置文件；4.修改hbase-site.xml文件；5.修改regionsevers文件；6.將HBase安裝包拷貝拷貝到集群其他節(jié)點(diǎn)；7.啟動(dòng)并檢查HBase搭建結(jié)果；8.通過瀏覽器監(jiān)控HBase運(yùn)行狀態(tài)。任務(wù)7.2部署HBase分布式集群【操作步驟】1.在Apache官網(wǎng)下載HBase安裝包，將安裝包拷貝到Linux系統(tǒng)的/usr/local[root@master01/]#cd/usr/local[root@master01/]#tarzxvfhbase-1.4.0-bin.tar.gz[root@master01/]#mvhbase-1.4.0-binhbase//換為短名，方便環(huán)境變量配置exportHBASE_HOME=/usr/local/hbaseexportPATH=$HBASE_HOME/bin:$PATH2.配置環(huán)境變量：在/etc/profile文件中配置HBase路徑。exportJAVA_HOME=/usr/local/jdk1.8#配置jdk安裝路徑exportHBase_MANAGES_ZK=false#配置不使用HBase自帶的ZK3.修改hbase目錄下conf目錄中的hbase-env.sh配置文件，在文件中添加JDK環(huán)境變量配置，

以及配置不使用自帶的ZooKeeper。任務(wù)7.2部署HBase分布式集群4.修改hbase目錄下conf目錄中的hbase-site.xml配置文件。<!—指定hbase在HDFS上的存儲(chǔ)路徑--><property><name>hbase.rootdir</name><value>hdfs://master01:9000/hbase</value></property><!—指定ZooKeeper的地址，多個(gè)地址用逗號(hào)分隔--><property><name>hbase.zookeeper.quorum</name><value>master01,worker01,worker02</value></property><!—指定hbase采用分布式模式--><property><name>hbase.cluster.distributed</name><value>true</value></property>任務(wù)7.2部署HBase分布式集群5.修改hbase目錄下conf目錄中的regionservers文件，在文件中配置從節(jié)點(diǎn)regionserver的地址為worker01和worker02節(jié)點(diǎn)。worker01worker026.將配置好的hbase目錄拷貝到其他兩個(gè)節(jié)點(diǎn)，在終端上執(zhí)行以下兩條命令即可。scp-r/usr/local/hbaseworker01:/usr/localscp-r/usr/local/hbaseworker02:/usr/local7.HBase集群運(yùn)行：執(zhí)行start-hbase.sh命令啟動(dòng)HBase，啟動(dòng)命令執(zhí)行完畢后，使用jps命令檢查各節(jié)點(diǎn)運(yùn)行的的進(jìn)程：主節(jié)點(diǎn)應(yīng)該啟動(dòng)HMaster進(jìn)程，各從節(jié)點(diǎn)應(yīng)啟動(dòng)HRegionServer進(jìn)程。主節(jié)點(diǎn)和從節(jié)點(diǎn)上的進(jìn)程分別如下圖三個(gè)圖所示：主節(jié)點(diǎn)啟動(dòng)的HMaster進(jìn)程Worker01、worker02節(jié)點(diǎn)啟動(dòng)HRegionSserver進(jìn)程任務(wù)7.2部署HBase分布式集群8.使用WebUI監(jiān)控HBase的狀態(tài)在瀏覽器地址欄輸入master01:16010，即可訪問HBase，如左側(cè)圖所示；還可以通過HDFS的WebUI端口號(hào)50070，來(lái)查看HBase在HDFS下的存儲(chǔ)結(jié)構(gòu)，如下圖所示，可以看出HBase在HDFS下的存儲(chǔ)的znode根目錄為/hbase，如右側(cè)圖所示：任務(wù)7.1搭建偽分布式HBase任務(wù)7.2部署HBase完全分布式集群學(xué)習(xí)任務(wù)任務(wù)7.3HBase集群運(yùn)維任務(wù)7.3HBase集群運(yùn)維[任務(wù)情境]【任務(wù)場(chǎng)景】經(jīng)理：HBase集群運(yùn)行起來(lái)了，做業(yè)務(wù)數(shù)據(jù)存儲(chǔ)分析運(yùn)行狀態(tài)如何？小張：最近在用HBase集群時(shí)，各位小伙伴會(huì)遇到RegionServer異常宕機(jī)、業(yè)務(wù)寫入延遲增大甚至無(wú)法寫入等類似問題。經(jīng)理：盡快找到排查和解決這些問題的思路，同時(shí)，重點(diǎn)對(duì)HBase系統(tǒng)中的日志進(jìn)行梳理，對(duì)如何通過監(jiān)控、日志等工具進(jìn)行問題排查進(jìn)行總結(jié)，形成問題排查解決總結(jié)文檔，方便項(xiàng)目組成員盡快具備HBase運(yùn)行維護(hù)的能力。小張：好的，沒問題?！救蝿?wù)布置】

本任務(wù)要求借助工具進(jìn)行HBase運(yùn)行監(jiān)控，通過監(jiān)控、日志等工具進(jìn)行HBase運(yùn)行和應(yīng)用的問題排查，并將問題成功解決掉。任務(wù)