Windows環(huán)境下Kafka與Zookeeper安裝配置與啟動過程

1、Windows環(huán)境下Kafka與Zookeeper安裝配置與啟動過程1.軟件下載1.1下載jdk1.8.0_601.2 下載zookeeper-3.4.9.tar.gz1.3下載kafka_2.12-.tgz2.環(huán)境準備安裝配置java環(huán)境，配置jdk1.8為操作系統(tǒng)java運行時環(huán)境2.1安裝jdk1.8將網(wǎng)站下載的jdk1.8.0_60壓縮包解壓縮到 c:program filesjava目錄下,如下圖：2.2 配置java環(huán)境如圖在“控制面板-系統(tǒng)和安全-系統(tǒng)”頁，鼠標點擊“高級系統(tǒng)設置”，在彈出的“系統(tǒng)屬性”頁面選擇高級tab頁：點擊“環(huán)境變量”按鈕后，在彈出的環(huán)境變量

2、對話框中點擊“系統(tǒng)變量”欄中的“新建”按鈕，在彈出的“新建系統(tǒng)變量”窗口中輸入如下：點確定確定后，再配置JRE_HOME同時打開一個cmd窗口在其中輸入：SET JAVA_HOME=C:Program FilesJavajdk1.8.0_60SET JRE_HOME=%JAVA_HOME%jreSET CLASSPATH=.;%JAVA_HOME%/lib/dt.jar;%JAVA_HOME%/lib/tools.jar;%JRE_HOME%lib;%JRE_HOME%librt.jar;%JRE_HOME%libjce.jar;%JRE_HOME%libmetadata-extractor-

3、2.4.0-beta-1.jar;%JRE_HOME%libmediautil-1.0.jar;SET Path=%JAVA_HOME%bin;%JAVA_HOME%jrebin;在命令行輸入java -version，輸出如下，表明系統(tǒng)已啟用java配置3.Zookeeper安裝配置3.1 解壓與目錄設計在目錄e:apachezookeeper下解壓文件zookeeper-3.4.9.tar.gz,并將解壓文件夾改名為zk0,復制該文件夾到相同目錄下分別改名為zk1、zk2.3.2在zk0zk1zk2目錄下都創(chuàng)建空文件夾data和logs，如下圖3.2在data目錄中創(chuàng)建文件myid，設置z

4、ookeeper服務器的序號。Myid的內(nèi)容分別為0、1、23.3配置zookeeper的屬性配置zk0zk1zk2目錄下的config/zoo.cfg文件。zk0/config/zoo.cfg文件內(nèi)容為：tickTime=2000initLimit=5syncLimit=2dataDir=E:/Apache/zookeeper/zk0/datadataLogDir=E:/Apache/zookeeper/zk0/logsclientPort=2181server.0=:2888:3888server.1=:2889:3889server.2=127.0.0

5、.1:2890:3890zk1/config/zoo.cfg文件內(nèi)容為：tickTime=2000initLimit=5syncLimit=2dataDir=E:/Apache/zookeeper/zk1/datadataLogDir=E:/Apache/zookeeper/zk1/logsclientPort=2182server.0=:2888:3888server.1=:2889:3889server.2=:2890:3890zk2/config/zoo.cfg文件內(nèi)容為：tickTime=2000initLimit=5syncLim

6、it=2dataDir=E:/Apache/zookeeper/zk2/datadataLogDir=E:/Apache/zookeeper/zk2/logsclientPort=2183server.0=:2888:3888server.1=:2889:3889server.2=:2890:38903.4啟動zookeeper server開三個cmd窗口，依次執(zhí)行如下指令：E:cd E:Apachezookeeperzk0binzkServer.cmdE:cd E:Apachezookeeperzk2binzkServer.cmdE:c

7、d E:Apachezookeeperzk1binzkServer.cmd在三個窗口未同時啟動前，前面開的窗口會報警：三個窗口都啟動后，如下表明zookeeper正常啟動：3.5啟動zkclient測試 zk server新開一個cmd窗口，執(zhí)行如下指令E:cd E:Apachezookeeperzk0binzkCli.cmd -server :2182在新開的windows的cmd窗口執(zhí)行如下命令：create /zk hellocreate /zk/subzkget /zkLs /zk反饋如下：至此，zookeeper安裝完畢4.Kafka安裝配置4.1 目錄配置解壓ka

8、fka_2.12-.tgz的內(nèi)容到E:Apachekafka目錄下，并將文件命名為kafka0,復制該文件夾到相同目錄，命名為kafka1,如圖在這兩個文件夾下創(chuàng)建logs和matrix文件夾，如圖4.2 perties配置修改兩個kafka實例的config/perties文件，內(nèi)容分別如下：kafak0/config/pertiesbroker.id=0port=9092work.threads=2num.io.threads=2socket.send.buffer.bytes=102400socket.recei

9、ve.buffer.bytes=102400socket.request.max.bytes=104857600log.dirs=./logsnum.partitions=2erval.messages=10000erval.ms=1000log.retention.hours=168log.segment.bytes=536870912erval.mins=10zookeeper.connect=:2181,:2182,:2183zookeeper.conn

10、ection.timeout.ms=1000000erval.secs=5kafka.metrics.reporters=kafka.metrics.KafkaCSVMetricsReporterkafka.csv.metrics.dir=E:/Apache/kafka/kafka0/matrixkafka.csv.metrics.reporter.enabled=falsekafak1/config/pertiesbroker.id=1port=9093work.threads=2num.io.threads=2socke

11、t.send.buffer.bytes=102400socket.receive.buffer.bytes=102400socket.request.max.bytes=104857600log.dirs=./logsnum.partitions=2erval.messages=10000erval.ms=1000log.retention.hours=168log.segment.bytes=536870912erval.mins=10zookeeper.connect=:2181,127.0

12、.0.1:2182,:2183zookeeper.connection.timeout.ms=1000000erval.secs=5kafka.metrics.reporters=kafka.metrics.KafkaCSVMetricsReporterkafka.csv.metrics.dir=E:/Apache/kafka/kafka1/matrixkafka.csv.metrics.reporter.enabled=false4.3 啟動kafka server在新開的windows的cmd窗口執(zhí)行如下命令：E:cd E

13、:Apachekafkakafka1.binwindowskafka-server-start.bat .perties在新開的windows的cmd窗口執(zhí)行如下命令：E:cd E:Apachekafkakafka0.binwindowskafka-server-start.bat .perties4.4 創(chuàng)建主題創(chuàng)建主題，命名為“test2”，replication factor=2（因為2個Kafka服務器在運行）。如果集群中所運行的Kafka服務器不止2個，可以相應增加replication-factor，從而提高數(shù)據(jù)可用性

14、和系統(tǒng)容錯性。在新開的windows的cmd窗口執(zhí)行如下命令：E:cd E:Apachekafkakafka0binwindowskafka-topics.bat -create -zookeeper :2181,:2182,:2183 -replication-factor 2 -partitions 2 -topic test24.5啟動producer在新開的windows的cmd窗口執(zhí)行如下命令：E:cd E:Apachekafkakafka0binwindowskafka-console-producer.bat -broker-list :9092,:9093 -topic test24.6 啟動consumer在新