大數(shù)據(jù)與云計算-智能建造技術(shù)專63課件講解

主講人：卓曉波大數(shù)據(jù)與云計算智能建造技術(shù)專業(yè)資源庫知識點有條不紊ZooKeeper工作初探3ZooKeeper接口1ZooKeeper的數(shù)據(jù)模型2ZooKeeper部署ZooKeeper入門Zookeeper擁有一個和分布式的文件系統(tǒng)非常相似的層次命名空間。

Znode是ZooKeeper中數(shù)據(jù)的最小單元，既像文件一樣維護著數(shù)據(jù)、元信息、訪問控制列表、時間戳等數(shù)據(jù)結(jié)構(gòu)，又像目錄一樣可以作為路徑標識的一部分，并可以具有子znode。

用戶對znode具有增、刪、改、查等操作（權(quán)限允許的情況下）。一、ZooKeeper的數(shù)據(jù)模型一、ZooKeeper的數(shù)據(jù)模型每個Znode都有以下三部分組成。Stat：狀態(tài)信息，用于存儲該Znode的版本、權(quán)限、時間戳等信息；Data：實際存儲的數(shù)據(jù)；Children：對子節(jié)點的信息描述；zookeeper的設計主要是用于管理調(diào)度數(shù)據(jù)，而不是用于常規(guī)的數(shù)據(jù)庫和數(shù)據(jù)存儲服務。

每個znode的數(shù)據(jù)大小最大為1M，不過一般情況下，都只會有幾KB。四種類型的Znode節(jié)點，分別對應PERSISTENT_SEQUENTIAL：永久節(jié)點、序列化(Znode的名字后面會自動追加一個不斷增加的序列號)3EPHEMERAL：臨時節(jié)點(生命周期依賴于創(chuàng)建該節(jié)點的會話，當會話結(jié)束的時候，節(jié)點自動刪除，當然也可以手動刪除，另外臨時節(jié)點不能有子節(jié)點。)2PERSISTENT：永久節(jié)點(生命周期不依賴于會話，只有當客戶端顯示刪除的時候，才會被刪除。)1EPHEMERAL_SEQUENTIAL：臨時節(jié)點、序列化4一、ZooKeeper的數(shù)據(jù)模型一、ZooKeeper的數(shù)據(jù)模型Znode的監(jiān)聽器機制ZooKeeper的每個節(jié)點上都有一個Watcher用于監(jiān)控節(jié)點數(shù)據(jù)的變化。當節(jié)點狀態(tài)發(fā)生改變時（Znode新增、刪除、修改）將會觸發(fā)Wahcher所對應的操作。在Watcher被觸發(fā)時，ZooKeeper會向監(jiān)控該節(jié)點的客戶端發(fā)送一條通知說明節(jié)點的變化情況。ZooKeeper可以運行在多種系統(tǒng)平臺上面，下表展示了zk支持的系統(tǒng)平臺。ZooKeeper是用Java編寫的，運行在Java環(huán)境上，因此，在部署zk的機器上需要安裝Java運行環(huán)境。為了正常運行zk，我們需要JRE1.6或者以上的版本。ZooKeeper對于機器的硬件配置沒有太大的要求。例如，在Yahoo!內(nèi)部，ZooKeeper部署的機器其配置通常如下：雙核處理器，2GB內(nèi)存，80GB硬盤。二、ZooKeeper的部署ZooKeeper入門下載安裝zookeeper官網(wǎng)：/

下載地址：

/releases.html二、ZooKeeper的部署bin目錄

zk的可執(zhí)行腳本目錄，包括zk服務進程，zk客戶端等腳本。其中，.sh是Linux環(huán)境下的腳本，.cmd是Windows環(huán)境下的腳本。conf目錄

配置文件目錄。zoo_sample.cfg為樣例配置文件，需要修改為自己的名稱，一般為perties為日志配置文件。lib

zk依賴的包。contrib目錄

一些用于操作zk的工具包。recipes目錄

zk某些用法的代碼示例二、ZooKeeper的部署ZooKeeper可以使用單機模式或集群模式進行部署，下面以集群部署方式進行介紹，部署步驟如下。開啟三臺虛擬機。搭建jdk(參考hadoop集群的搭建，建議搭建在hadoop集群中，它只需要jdk就可以了）。部署規(guī)劃：cSlave0，cSlave1，cSlave2上部署ZooKeeper服務。下載并安裝ZooKeeper將zookeeper-3.4.5-chd5.3.6.tar.gz上傳到虛擬機中解壓ZooKeepertar–xvfzookeeper-3.4.5-chd5.3.6.tar.gz-c/bigdata)對zookeeper目錄進行重命名（mvzookeeper-3.4.5-chd5.3.6.tar.gzzookeeper)二、ZooKeeper的部署在ZooKeeper目錄下創(chuàng)建data目錄Mkdir/bigdata/zookeeper/data/在data目錄中創(chuàng)建myid文件并寫入123touch/bigdata/zookeeper/data/myidEcho123>>/bigdata/zookeeper/data/myid將123寫入myid文件的首行 在/usr/local/zookeeper/conf/目錄下，修改zoo.cfg4.初始化ZooKeeper。二、ZooKeeper的部署配置ZooKeeper，將下述內(nèi)容追加到/etc/zookeeper/conf/zoo.cfg文件中。zoo.cfg是ZooKeeper的配置文檔，其中ZooKeeper間正常交換信息時使用2888端口，選舉領(lǐng)導時使用3888端口。還須注意的是，cSlave0、cSlave1和cSlave2這三臺機器都要執(zhí)行這個操作，即保持整個集群中ZooKeeper配置相同。二、ZooKeeper的部署6.啟動ZooKeeper服務。在每個節(jié)點上(cSlave0,cSlave1,cSlave2)啟動ZooKeeper服務，命令為：zkServer.shstart在每個節(jié)點上(cSlave0,cSlave1,cSlave2)查看ZooKeeper狀態(tài)，命令為：zkServer.shstatus在每個節(jié)點上(cSlave0,cSlave1,cSlave2)查看ZooKeeper狀態(tài)，命令為：zkServer.shstop二、ZooKeeper的部署ZooKeeper主要提供了Shell接口和api編程接口，其中Shell接口提供了管理ZooKeeper最常用的操作，編程接口則更加靈活.三、ZooKeeper的接口ls查看節(jié)點列表命令；用于查看某個路徑下目錄列表。格式：ls、path、#path代表路徑lsls2用于查看某路徑下節(jié)點詳細信息格式：ls2、pathls2create命令用于創(chuàng)建節(jié)點并賦值格式：create、[-s]、[-e]、path、data、acls、-e可選，-s是順序節(jié)點，-e是臨時節(jié)點。data要在此節(jié)點存儲的數(shù)據(jù)create創(chuàng)建節(jié)點命令set命令用于修改節(jié)點存儲的數(shù)據(jù)格式：set、path、dataset更新節(jié)點命令1.Zookeeper常用shell命令三、ZooKeeper的接口get命令用于獲取節(jié)點數(shù)據(jù)和狀態(tài)信息格式：get、path、【watch】，【watch】對節(jié)點進行事件監(jiān)聽get查看節(jié)點命令格式：stat、path、【watch】stat查看節(jié)點狀態(tài)命令delete命令用于刪除某節(jié)點，也可以傳入版本號格式：delete、path、【version】delete刪除節(jié)點命令使用getpath【watch】注冊的監(jiān)聽器，能夠在節(jié)點內(nèi)容發(fā)生改變的時候，向客戶端發(fā)出通知。使用statpath【watch】注冊的監(jiān)聽器，能夠在節(jié)點狀態(tài)發(fā)生改變時，向客戶端發(fā)出通知。使用ls\ls2path【watch】注冊的監(jiān)聽器，能夠監(jiān)聽節(jié)點下所有子節(jié)點的增加和刪除操作。監(jiān)聽器1.Zookeeper常用shell命令三、ZooKeeper的接口ZooeeperAPI共包含五個包，分別為∶

org.apache.zookeeperorg.apache.zookeeper.dataorg.apache.zookeeper.serverorg.apache.zookeeper.server.quorumorg.apache.zookeeper.server.upgrade其中org.apache.zookeeper，包含Zookeeper類，它是編程時最常用的類文件。這個類是Zookeeper客戶端的主要類文件。如果要使用Zookeeper服務，應用程序首先必須創(chuàng)建一個Zooeeper實例，這時就需要使用此類。一旦客戶端和Zookeeper服務端建立起了連接，Zookeeper系統(tǒng)將會給本次連接會話分配一個ID值，并且客戶端將會周期性的向服務器端發(fā)送心跳來維持會話連接。只要連接有效，客戶端就可以使用Zookeeper