實訓(xùn)15 Kafka集群部署

實訓(xùn)6.3Kafka集群部署1.實訓(xùn)目的通過本實訓(xùn)，了解Kafka的基本概念，理解Kafka工作原理，安裝部署Kafka集群。2.實訓(xùn)內(nèi)容本實訓(xùn)通過安裝和配置Kafka，學(xué)會執(zhí)行Kafka，并且校驗集群是否搭建成功。3.實訓(xùn)要求以小組為單元進(jìn)行實訓(xùn)，每小組5人，小組自協(xié)商選一位組長，由組長安排和分配實訓(xùn)任務(wù)，具體參考實訓(xùn)操作環(huán)節(jié)。小組成員需確保ZooKeeper集群是否安裝準(zhǔn)確。4.準(zhǔn)備知識（1）Kafka概念趣解①Producer：生產(chǎn)者，就是它來生產(chǎn)“雞蛋”的。②Consumer：消費(fèi)者，生出的“雞蛋”它來消費(fèi)。③Topic：把它理解為標(biāo)簽，生產(chǎn)者每生產(chǎn)出來一個雞蛋就貼上一個標(biāo)簽（Topic），消費(fèi)者可不是誰生產(chǎn)的“雞蛋”都吃的，這樣不同的生產(chǎn)者生產(chǎn)出來的“雞蛋”，消費(fèi)者就可以選擇性的“吃”了。④Broker：就是籃子了。⑤Partition：Partition是物理上的概念，每個Topic包含一個或多個Partition。⑥ConsumerGroup：每個Consumer屬于一個特定的ConsumerGroup（可為每個Consumer指定groupname，若不指定groupname，則屬于默認(rèn)的group）如果從技術(shù)角度，Topic標(biāo)簽實際就是隊列，生產(chǎn)者把所有“雞蛋（消息）”都放到對應(yīng)的隊列里了，消費(fèi)者到指定的隊列里取。5.實訓(xùn)步驟（1）安裝和配置Kafka①將kafka_2.13-3.3.1.tgz壓縮包上傳至master節(jié)點的/root/package目錄下。②解壓kafka_2.13-3.3.1.tgz，這里解壓在/root/package目錄下：cd/root/packagetar-zxvfkafka_2.13-3.3.1.tgz-C/opt/software/（2）配置Kafka①配置環(huán)境變量：vim/etc/profile添加以下內(nèi)容：exportKAFKA_HOME=/opt/software/kafka_2.13-3.3.1exportPATH=$PATH:$KAFKA_HOME/bin使配置生效：source/etc/profile②修改Kafka的配置文件($KAFKA_HOME/config)：cd/opt/software/kafka_2.13-3.3.1/configvimperties修改ZooKeeper的連接節(jié)點，將文件中zookeeper.connect=localhost:2181的localhost，修改為安裝ZooKeeper的三臺節(jié)點，即master、slave1、slave2，主機(jī)名后面加上端口號，三臺節(jié)點用逗號進(jìn)行隔開。如圖6-31所示。zookeeper.connect=master:2181,slave1:2181,slave2:2181圖6-31修改ZooKeeper的連接節(jié)點修改日志路徑為。如圖6-32所示。log.dirs=/opt/software/kafka_2.13-3.3.1/tmp/kafka-logs圖6-32修改ZooKeeper日志路徑（3）復(fù)制master的Kafka到slave1、slave2在master中執(zhí)行：~/shell/scp_call.sh/opt/software/kafka_2.13-3.3.1（4）配置slave1、slave2的Kafka配置文件①配置slave1的配置文件（修改broker.id）新打開一個終端，登錄slave1并執(zhí)行vim/opt/software/kafka_2.13-3.3.1/config/pertiesbroker.id=1②配置slave2的配置文件（修改broker.id）新打開一個終端，登錄slave2并執(zhí)行vim/opt/software/kafka_2.13-3.3.1/config/pertiesbroker.id=2③拷貝master節(jié)點的環(huán)境變量到slave1和slave2在master中執(zhí)行~/shell/scp_call.sh/etc/profile分別在slave1和slave2節(jié)點中執(zhí)行以下命令，使配置生效：source/etc/profile（5）校驗Kafka①啟動Kafka 需確保master、slave1、slave2的ZooKeeper已啟動，如未啟動則用下面指令啟動（執(zhí)行jps，有QuorumPeerMain進(jìn)程則表示已啟動）：zkServer.shstart ZooKeeper啟動后，分別在master、slave1、slave2上執(zhí)行以下命令啟動Kafka：kafka-server-start.sh-daemon$KAFKA_HOME/config/perties 執(zhí)行后查看進(jìn)程情況，發(fā)現(xiàn)三個節(jié)點都啟動了Kafka進(jìn)程。如圖