Storm集群部署詳細(xì)手冊(cè)

1、1、安裝虛擬機(jī)1.1、準(zhǔn)備軟件：1、VMware Workstation 12.zip 虛擬機(jī)軟件2、CentOS-6.5-x86_64-bin-DVD1.iso 64位操作系統(tǒng)1.2、安裝虛擬機(jī)軟件要想成功安裝，務(wù)必刪除掉已有的虛擬機(jī)軟件1.3、安裝操作系統(tǒng)l 運(yùn)行虛擬機(jī)軟件，點(diǎn)擊軟件右上角的文件，選擇新建虛擬機(jī)，會(huì)彈出新建虛擬機(jī)向?qū)ы撁鎙 選擇典型安裝，然后點(diǎn)擊下一步l 選擇客戶端操作系統(tǒng)，務(wù)必選擇“稍后安裝操作系統(tǒng)”，然后點(diǎn)擊下一步l 選擇客戶端操作系統(tǒng)的類型為linux、版本為CentOS 64位，然后點(diǎn)擊下一步l 輸入虛擬機(jī)名稱，并選擇虛擬機(jī)鏡像文件安裝的目錄，然后下一步l 選擇磁盤

2、大小，并選擇鏡像文件存儲(chǔ)的格式，然后點(diǎn)擊下一步l 直接點(diǎn)擊完成l 完成之后，虛擬機(jī)軟件的左側(cè)會(huì)出現(xiàn)你配置的虛擬機(jī)名稱，點(diǎn)擊編輯虛擬機(jī)設(shè)置l 根據(jù)自己的機(jī)器配置信息設(shè)置虛擬機(jī)內(nèi)存大小，一般建議給2G以上l 重要操作：指定虛擬機(jī)啟動(dòng)時(shí)的鏡像文件l 重要操作：指定虛擬機(jī)網(wǎng)絡(luò)類型為NAT，如果已經(jīng)NAT就忽略此步驟l 配置完成之后，點(diǎn)擊確定操作保存配置文件l 啟動(dòng)虛擬機(jī)，選中你的虛擬機(jī)名稱，在右側(cè)的窗口點(diǎn)擊 開啟此虛擬機(jī)l 直接回車，安裝操作系統(tǒng)l 使用鍵盤上的Tab按鍵，選擇Skip，然后點(diǎn)擊回車l 然后一路回車，進(jìn)入以下的頁面，并點(diǎn)擊Next操作l 選擇語言l 選擇鍵盤l 選擇硬盤類型l 選擇 y

3、es discard any data 確定當(dāng)前配置l 輸入hostname 主機(jī)名稱l 選擇時(shí)區(qū)為上海l 輸入操作系統(tǒng)的密碼為8個(gè)1l 輸入密碼之后，點(diǎn)擊下一步，會(huì)提示密碼過于簡單，是否使用，選擇使用l 選擇替換已經(jīng)存在的系統(tǒng)l 將以上配置信息寫入到磁盤l 選擇服務(wù)器類型為Basic Serverl 服務(wù)器會(huì)自動(dòng)安裝，安裝完成之后點(diǎn)擊reboot按鈕即可1.4、配置linux的網(wǎng)卡 新安裝的操作系統(tǒng)，既是使用了橋接的方式，也不一定能夠上網(wǎng)，因?yàn)槊總€(gè)人的網(wǎng)絡(luò)環(huán)境并非一樣的。所以如果你在使用ping 命令，可能會(huì)碰到一下的錯(cuò)誤：    1）ping域名的時(shí)候出現(xiàn)pi

4、ng:unknown host  xxx.xxx    2）ping域名的時(shí)候出現(xiàn)connect: network is unreachable 的問題    以上兩種問題的出現(xiàn)，一般都是ip地址沒有配置好。 下圖的是常用網(wǎng)卡配置的參數(shù)    配置網(wǎng)卡有幾種方式，可以自行百度下，本文是修改網(wǎng)卡的配置文件。    配置文件名稱：vi /etc/sysconfig/network-scripts/ifcfg-eth0 配置完畢之后，重啟網(wǎng)卡 service network restart  

5、0; 1.5、準(zhǔn)備三個(gè)虛擬機(jī)搭建Storm集群重復(fù)步驟1.3和1.4的操作，完成三個(gè)虛擬機(jī)的安裝。1.6、配置集群Hosts   所有的虛擬機(jī)上都需要配置hosts         vi  /etc/hosts            28 storm01 zk01 hadoop01            2

6、9 storm02 zk02 hadoop02            30 storm03 zk03 hadoop031.7、服務(wù)器間免密碼登錄可選配置免密碼登陸，在所有機(jī)器上執(zhí)行以下命令    ssh-keygen -t rsa （四個(gè)回車）    執(zhí)行完這個(gè)命令后，會(huì)生成兩個(gè)文件id_rsa（私鑰）、id_rsa.pub（公鑰）  

7、60; 將公鑰拷貝到要免密登陸的目標(biāo)機(jī)器上    ssh-copy-id 其他機(jī)器的hostname  1.8、關(guān)閉服務(wù)器的防火墻（1） 重啟后永久性生效：開啟：chkconfig iptables on關(guān)閉：chkconfig iptables off（2） 即時(shí)生效，重啟后失效：開啟：service iptables start關(guān)閉：service iptables stop1.9、創(chuàng)建服務(wù)器上的統(tǒng)一工作目錄mkdir /exportmkdir /export/serverschmod 755 -R /export2、配

8、置JDK2.1、查看當(dāng)前系統(tǒng)上是否安裝了JDK    進(jìn)入一個(gè)新的系統(tǒng)，一般來講是沒有安裝過JDK的。但是有些linux的版本會(huì)默認(rèn)安裝openJDK。open JDK實(shí)在oracle公司開源的代碼上進(jìn)行同步開發(fā)并發(fā)布的版本。如果要查看當(dāng)前系統(tǒng)是否已經(jīng)安裝了JDK，可以使用命令：sudo update-alternatives -config java  2.2、下載JDK     由于當(dāng)前系統(tǒng)中并沒有我們需要的oracle JDK，我們需要自己安裝一個(gè)。     先在oracle的網(wǎng)站上尋找JDK的下載

9、地址，然后使用wget命令進(jìn)行下載。或者，你可以將數(shù)據(jù)下載到電腦上，然后上傳到linux上。wget        2.3、解壓安裝包       mv jdk-8u60-linux*   jdk-8u60-linux-x64.tar.gz       tar -zxvf jdk-8u60-linux-x64.tar.gz -C ./install/2.4、配置JDK部署信息到環(huán)境變量        #set jav

10、a env        export JAVA_HOME=/export/servers/jdk        export JRE_HOME=$JAVA_HOME/jre        export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib        export PATH=$JAVA_HOME/bin:$PATH2.5、讓配置信息生效       

11、 source /etc/profile2.6、將oracle JDK 配置成默認(rèn)的JDKupdate-alternatives -install /usr/bin/java java /export/servers/jdk/bin/java 300update-alternatives -install /usr/bin/javac javac /export/servers/jdk/bin/javac 3002.7、產(chǎn)看當(dāng)前機(jī)器的JDK版本 3、安裝zookeeper3.1、下載z

12、ookeeper安裝包，建議下載3.4.5及以上的版本    /dyn/closer.cgi/zookeeper/3.2、下載完畢之后，解壓文件    tar -zxvf zookeeper-3.4.7.tar.gz -C  /export/servers/   cd /export/servers    ln -s zookeeper-3.4.7 zookeeper3.3、修

13、改配置文件     cd  /export/servers/zookeeper/conf     mv zoo_sample.cfg zoo.cfg     vi zoo.cfg  輸入以下內(nèi)容：#基本事件單元，以毫秒為單位。它用來控制心跳和超時(shí)，默認(rèn)情況下最小的會(huì)話超時(shí)時(shí)間為兩倍的 tickTime tickTime=2000#此配置表示，允許 follower （相對(duì)于 leader 而言的“客戶端”）

14、連接并同步到 leader 的初始化連接時(shí)間，它以 tickTime 的倍數(shù)來表示。當(dāng)超過設(shè)置倍數(shù)的 tickTime 時(shí)間，則連接失敗initLimit=10#此配置表示， leader 與 follower 之間發(fā)送消息，請(qǐng)求和應(yīng)答時(shí)間長度。如果 follower 在設(shè)置的時(shí)間內(nèi)不能與 leader 進(jìn)行通信，那么此 follower 將被丟棄syncLimit=5#數(shù)據(jù)目錄. 可以是任意目錄,其中的dataDir目錄和d

15、ataLogDir需要提前建立好#注意 應(yīng)該謹(jǐn)慎地選擇日志存放的位置，使用專用的日志存儲(chǔ)設(shè)備能夠大大地提高系統(tǒng)的性能，如果將日志存儲(chǔ)在比較繁忙的存儲(chǔ)設(shè)備上，那么將會(huì)在很大程度上影響系統(tǒng)的性能。dataDir=/export/servers/data/zookeeper#log目錄, 同樣可以是任意目錄. 如果沒有設(shè)置該參數(shù), 將使用和dataDir相同的設(shè)置，其中的dataDir目錄和dataLogDir需要提前建立好#注意 應(yīng)該謹(jǐn)慎地選擇日志存放的位置，使用專用的日志存儲(chǔ)設(shè)備能夠大大地提高系統(tǒng)的性能，如果將日志存儲(chǔ)在比較繁忙的存儲(chǔ)設(shè)備上，那么

16、將會(huì)在很大程度上影響系統(tǒng)的性能。dataLogDir=/export/servers/logs/zookeeper#監(jiān)聽client連接的端口號(hào).clientPort=2181#這個(gè)操作將限制連接到 ZooKeeper 的客戶端的數(shù)量，限制并發(fā)連接的數(shù)量，它通過 IP 來區(qū)分不同的客戶端。此配置選項(xiàng)可以用來阻止某些類別的 Dos 攻擊。將它設(shè)置為 0 或者忽略而不進(jìn)行設(shè)置將會(huì)取消對(duì)并發(fā)連接的限制。maxClientCnxns=0#最小的會(huì)話超時(shí)時(shí)間以及最大的會(huì)話超時(shí)時(shí)間。#其中，最小的會(huì)話超時(shí)時(shí)間默認(rèn)情況下為

17、60;2 倍的 tickTme 時(shí)間#最大的會(huì)話超時(shí)時(shí)間默認(rèn)情況下為 20 倍的會(huì)話超時(shí)時(shí)間minSessionTimeout=4000maxSessionTimeout=10000#server.X=A:B:C 其中X是一個(gè)數(shù)字, 表示這是第幾號(hào)server. A是該server所在的IP地址. B配置該server和集群中的leader交換消息所使用的端口. C配置選舉leader時(shí)所使用的端口.#在之前設(shè)置的dataDir中新建myid文件, 寫入一個(gè)數(shù)字, 該數(shù)字表示

18、這是第幾號(hào)server. 該數(shù)字必須和zoo.cfg文件中的server.X中的X一一對(duì)應(yīng).server.1=06:2888:3888server.2=07:2888:3888server.3=08:2888:38883.4、創(chuàng)建zk的數(shù)據(jù)目錄和日志目錄    mkdir -p /export/servers/data/zookeeper    mkdir -p /export/servers/logs/zookeeper3.5、在數(shù)據(jù)目錄下創(chuàng)建zk節(jié)點(diǎn)

19、的編號(hào)    在上文中 /export/servers/data/zookeeper 的目錄下，創(chuàng)建myid文件。    myid文件的內(nèi)容，根據(jù)所屬主機(jī)編號(hào)來編寫。    解釋：    創(chuàng)建數(shù)據(jù)目錄,也就是在你zoo.cfg配置文件里dataDir指定的那個(gè)目錄下創(chuàng)建myid文件,并且指定id,改id為你zoo.cfg文件中server.1=localhost:2887:3887中的1.只要在myid頭部寫入1即可.3.6、分發(fā)修改后的安裝文件   scp zoo

20、keeper-3.4.6 hadoop02:/export/servers/   scp zookeeper-3.4.6 hadoop03:/export/servers/3.7、在分發(fā)后的機(jī)器上，執(zhí)行步驟5的操作。    創(chuàng)建數(shù)據(jù)目錄,也就是在你zoo.cfg配置文件里dataDir指定的那個(gè)目錄下創(chuàng)建myid文件,并且指定id,改id為你zoo.cfg文件中server.1=localhost:2887:3887中的1.只要在myid頭部寫入1即可.3.8、在所有 所有 所有機(jī)器上配置環(huán)境變量  &#

21、160;       #set ZK env        export ZK_HOME=/export/servers/zk        export PATH=$ZK_HOME/bin:$PATH 3.9、在所有 所有 所有機(jī)器上讓配置文件生效    source  /etc/profile3.10、啟動(dòng)zk集群   依次在不同的節(jié)點(diǎn)上，輸入zkServers.sh st

22、art   出現(xiàn)錯(cuò)誤后，可參考：3.11、查看zk集群的狀態(tài)    依次在不同的節(jié)點(diǎn)上，輸入zkServers.sh status     只有一個(gè)主節(jié)點(diǎn)，leader  其他都是follow4、安裝storm4.1、下載安裝包wget    /files/1139000006794ECA/4.2、解壓安裝包tar -zxvf apache-storm-0.9.5.tar.gz -C /export/servers/cd /export/serve

23、rs/ln -s apache-storm-0.9.5 storm4.3、修改配置文件mv /export/servers/storm/conf/storm.yaml /export/servers/storm/conf/storm.yaml.bakvi /export/servers/storm/conf/storm.yaml輸入以下內(nèi)容：#指定storm使用的zk集群storm.zookeeper.servers: - "zk01" - "zk02" - "zk03"#指定storm集群中的nimbus節(jié)點(diǎn)所在的服務(wù)器nimbus

24、.host: "storm01"#指定nimbus啟動(dòng)JVM最大可用內(nèi)存大小nimbus.childopts: "-Xmx1024m"#指定supervisor啟動(dòng)JVM最大可用內(nèi)存大小supervisor.childopts: "-Xmx1024m"#指定supervisor節(jié)點(diǎn)上，每個(gè)worker啟動(dòng)JVM最大可用內(nèi)存大小worker.childopts: "-Xmx768m"#指定ui啟動(dòng)JVM最大可用內(nèi)存大小，ui服務(wù)一般與nimbus同在一個(gè)節(jié)點(diǎn)上。ui.childopts: "-Xmx768m

25、"#指定supervisor節(jié)點(diǎn)上，啟動(dòng)worker時(shí)對(duì)應(yīng)的端口號(hào)，每個(gè)端口對(duì)應(yīng)槽，每個(gè)槽位對(duì)應(yīng)一個(gè)workersupervisor.slots.ports: - 6700 - 6701 - 6702 - 67034.4、分發(fā)安裝包scp -r /export/servers/apache-storm-0.9.5 storm02:/export/servers然后分別在各機(jī)器上創(chuàng)建軟連接cd /export/servers/ln -s apache-storm-0.9.5 storm4.5、啟動(dòng)集群l 在nimbus.host所屬的機(jī)器上啟動(dòng) nimbus服務(wù)cd /export/servers/storm/bin/nohup ./storm nimbus &l 在nimbus.host所屬的機(jī)器上啟動(dòng)ui服務(wù)cd /export/servers/storm/bin/nohup ./storm