Zookeeper技術(shù)平臺(tái)介紹

1、Zookeeper技術(shù)平臺(tái)介紹技術(shù)創(chuàng)新，變革未來內(nèi)容：Zookeeper介紹Zookeeper演示提問解答Zookeeper介紹1、Zookeeper是什么2、Zookeeper總體結(jié)構(gòu)3、Zookeeper數(shù)據(jù)模型4、Zookeeper特點(diǎn)5、Zookeeper功能Zookeeper是什么？Zookeeper是一個(gè)高性能，分布式的，開放源碼的分布式應(yīng)用協(xié)調(diào)服務(wù)。它提供了簡(jiǎn)單原始的功能，分布式應(yīng)用程序可以基于它實(shí)現(xiàn)同步服務(wù)，配置維護(hù)和命名服務(wù)等。它被設(shè)計(jì)為易于編程，使用文件系統(tǒng)目錄樹作為數(shù)據(jù)模型。服務(wù)端跑在java上，提供java和C的客戶端API。Zookeeper總體結(jié)構(gòu)Zookeeper

2、服務(wù)自身組成一個(gè)集群(2n+1個(gè)服務(wù)允許n個(gè)失效)。Zookeeper服務(wù)有兩個(gè)角色，一個(gè)是leader（領(lǐng)導(dǎo)者），負(fù)責(zé)寫服務(wù)和數(shù)據(jù)同步，剩下的是follower（跟隨者），提供讀服務(wù)，leader失效后會(huì)在follower中重新選舉新的leader。1、客戶端可以連接到每個(gè)server，每個(gè)server的數(shù)據(jù)完全相同。2、每個(gè)follower都和leader有連接，接受leader的數(shù)據(jù)更新操作。3、Server記錄事務(wù)日志和快照到持久存儲(chǔ)。4、大多數(shù)server可用，整體服務(wù)就可用。Zookeeper數(shù)據(jù)模型Zookeeper表現(xiàn)為一個(gè)分層的文件系統(tǒng)目錄樹結(jié)構(gòu)（不同于文件系統(tǒng)的是，節(jié)點(diǎn)可以

3、有自己的數(shù)據(jù)，而文件系統(tǒng)中的目錄節(jié)點(diǎn)只有子節(jié)點(diǎn)）。數(shù)據(jù)模型結(jié)構(gòu)圖如下：圓形節(jié)點(diǎn)可以含有子節(jié)點(diǎn)，多邊形節(jié)點(diǎn)不能含有子節(jié)點(diǎn)。一個(gè)節(jié)點(diǎn)對(duì)應(yīng)一個(gè)應(yīng)用，節(jié)點(diǎn)存儲(chǔ)的數(shù)據(jù)就是應(yīng)用需要的配置信息。順序一致性：按照客戶端發(fā)送請(qǐng)求的順序更新數(shù)據(jù)。原子性：更新要么成功，要么失敗，不會(huì)出現(xiàn)部分更新。單一性 ：無論客戶端連接哪個(gè)server，都會(huì)看到同一個(gè)視圖?？煽啃裕阂坏?shù)據(jù)更新成功，將一直保持，直到新的更新。及時(shí)性：客戶端會(huì)在一個(gè)確定的時(shí)間內(nèi)得到最新的數(shù)據(jù)。Zookeeper 特點(diǎn)Zookeeper功能 應(yīng)用配置集中到節(jié)點(diǎn)上，應(yīng)用啟動(dòng)時(shí)主動(dòng)獲取，并在節(jié)點(diǎn)上注冊(cè)一個(gè)watcher，每次配置更新都會(huì)通知到應(yīng)用。1、數(shù)據(jù)

4、發(fā)布與訂閱2、名空間服務(wù) 分布式命名服務(wù)，創(chuàng)建一個(gè)節(jié)點(diǎn)后，節(jié)點(diǎn)的路徑就是全局唯一的，可以作為全局名稱使用。Zookeeper功能 不同的系統(tǒng)都監(jiān)聽同一個(gè)節(jié)點(diǎn)，一旦有了更新，另一個(gè)系統(tǒng)能夠收到通知。3、分布式通知/協(xié)調(diào)4、分布式鎖 Zookeeper能保證數(shù)據(jù)的強(qiáng)一致性，用戶任何時(shí)候都可以相信集群中每個(gè)節(jié)點(diǎn)的數(shù)據(jù)都是相同的。一個(gè)用戶創(chuàng)建一個(gè)節(jié)點(diǎn)作為鎖，另一個(gè)用戶檢測(cè)該節(jié)點(diǎn)，如果存在，代表別的用戶已經(jīng)鎖住，如果不存在，則可以創(chuàng)建一個(gè)節(jié)點(diǎn)，代表擁有一個(gè)鎖。Zookeeper功能 每個(gè)加入集群的機(jī)器都創(chuàng)建一個(gè)節(jié)點(diǎn)，寫入自己的狀態(tài)。監(jiān)控父節(jié)點(diǎn)的用戶會(huì)受到通知，進(jìn)行相應(yīng)的處理。離開時(shí)刪除節(jié)點(diǎn)，監(jiān)控父節(jié)點(diǎn)的

5、用戶同樣會(huì)收到通知。5、集群管理Zookeeper操作演示1、Zookeeper官網(wǎng)下載所需版本的Zookeeper.創(chuàng)建第一個(gè)集群節(jié)點(diǎn)創(chuàng)建數(shù)據(jù)存放路徑創(chuàng)建第二第三個(gè)集群節(jié)點(diǎn)創(chuàng)建zoo.cfg文件配置zoo.cfg文件zookeeper-3.4.8-node1的配置tickTime=2000initLimit=10syncLimit=5clientPort=2181dataDir=/home/elk/zkdemo/zookeeper-3.4.8-node1/dataserver.1=localhost:2887:3887server.2=localhost:2888:3888server.3=

6、localhost:2889:3889配置zoo.cfg文件zookeeper-3.4.8-node2的配置tickTime=2000initLimit=10syncLimit=5clientPort=2182dataDir=/home/elk/zkdemo/zookeeper-3.4.8-node2/dataserver.1=localhost:2887:3887server.2=localhost:2888:3888server.3=localhost:2889:3889配置zoo.cfg文件zookeeper-3.4.8-node3的配置tickTime=2000initLimit=10

7、syncLimit=5clientPort=2183dataDir=/home/elk/zkdemo/zookeeper-3.4.8-node3/dataserver.1=localhost:2887:3887server.2=localhost:2888:3888server.3=localhost:2889:3889tickTime=2000tickTime這個(gè)時(shí)間是作為Zookeeper服務(wù)器之間或客戶端與服務(wù)器之間維持心跳的時(shí)間間隔,也就是每個(gè)tickTime時(shí)間就會(huì)發(fā)送一個(gè)心跳；參數(shù)說明:initLimit=10:initLimit這個(gè)配置項(xiàng)是用來配置Zookeeper接受客戶端（這

8、里所說的客戶端不是用戶連接Zookeeper服務(wù)器的客戶端,而是Zookeeper服務(wù)器集群中連接到Leader的Follower 服務(wù)器）初始化連接時(shí)最長(zhǎng)能忍受多少個(gè)心跳時(shí)間間隔數(shù)。當(dāng)已經(jīng)超過10個(gè)心跳的時(shí)間（也就是tickTime）長(zhǎng)度后 Zookeeper 服務(wù)器還沒有收到客戶端的返回信息,那么表明這個(gè)客戶端連接失敗?？偟臅r(shí)間長(zhǎng)度就是 10*2000=20 秒；參數(shù)說明:syncLimit=5:syncLimit這個(gè)配置項(xiàng)標(biāo)識(shí)Leader與Follower之間發(fā)送消息,請(qǐng)求和應(yīng)答時(shí)間長(zhǎng)度,最長(zhǎng)不能超過多少個(gè)tickTime的時(shí)間長(zhǎng)度,總的時(shí)間長(zhǎng)度就是5*2000=10秒；dataDir=

9、/home/elk/zkdemo/zookeeper-3.4.8-node1/datadataDir顧名思義就是Zookeeper保存數(shù)據(jù)的目錄,默認(rèn)情況下Zookeeper將寫數(shù)據(jù)的日志文件也保存在這個(gè)目錄里；clientPort=2181clientPort這個(gè)端口就是客戶端連接Zookeeper服務(wù)器的端口,Zookeeper會(huì)監(jiān)聽這個(gè)端口接受客戶端的訪問請(qǐng)求；server.1=localhost:2887:3887server.2=localhost:2888:3888server.3=localhost:2889:3889格式server.A=B：C：DA：是一個(gè)數(shù)字,表示這個(gè)是第幾

10、號(hào)服務(wù)器B：是這個(gè)服務(wù)器的ip地址C：第一個(gè)端口用來集群成員的信息交換,表示的是這個(gè)服務(wù)器與集群中的Leader服務(wù)器交換信息的端口；D ：是在leader掛掉時(shí)專門用來進(jìn)行選舉leader所用參數(shù)說明:3、創(chuàng)建ServerID標(biāo)識(shí)除了修改zoo.cfg配置文件,集群模式下還要配置一個(gè)文件myid,這個(gè)文件在dataDir目錄下,這個(gè)文件里面就有一個(gè)數(shù)據(jù)就是A的值,在上面配置文件中zoo.cfg中配置的dataDir路徑中創(chuàng)建myid文件4、啟動(dòng)zookeeper5、檢測(cè)集群是否啟動(dòng)-bash-4.1$ echo stat|nc localhost 2181-bash-4.1$ echo st

11、at|nc localhost 2182-bash-4.1$ echo stat|nc localhost 2183#或者-bash-4.1$ /home/elk/zkdemo/zookeeper-3.4.8-node1/bin/zkCli.sh-bash-4.1$ /home/elk/zkdemo/zookeeper-3.4.8-node2/bin/zkCli.sh-bash-4.1$ /home/elk/zkdemo/zookeeper-3.4.8-node3/bin/zkCli.sh偽集群部署注意事項(xiàng): 在一臺(tái)機(jī)器上部署了3個(gè)server；需要注意的是clientPort這個(gè)端口如果在1臺(tái)機(jī)器上部署多個(gè)server,那么每臺(tái)機(jī)器都要不同的clientPort。比如 se