實訓15 Kafka集群部署

實訓6.3Kafka集群部署1.實訓目的通過本實訓，了解Kafka的基本概念，理解Kafka工作原理，安裝部署Kafka集群。2.實訓內(nèi)容本實訓通過安裝和配置Kafka，學會執(zhí)行Kafka，并且校驗集群是否搭建成功。3.實訓要求以小組為單元進行實訓，每小組5人，小組自協(xié)商選一位組長，由組長安排和分配實訓任務，具體參考實訓操作環(huán)節(jié)。小組成員需確保ZooKeeper集群是否安裝準確。4.準備知識（1）Kafka概念趣解①Producer：生產(chǎn)者，就是它來生產(chǎn)“雞蛋”的。②Consumer：消費者，生出的“雞蛋”它來消費。③Topic：把它理解為標簽，生產(chǎn)者每生產(chǎn)出來一個雞蛋就貼上一個標簽（Topic），消費者可不是誰生產(chǎn)的“雞蛋”都吃的，這樣不同的生產(chǎn)者生產(chǎn)出來的“雞蛋”，消費者就可以選擇性的“吃”了。④Broker：就是籃子了。⑤Partition：Partition是物理上的概念，每個Topic包含一個或多個Partition。⑥ConsumerGroup：每個Consumer屬于一個特定的ConsumerGroup（可為每個Consumer指定groupname，若不指定groupname，則屬于默認的group）如果從技術角度，Topic標簽實際就是隊列，生產(chǎn)者把所有“雞蛋（消息）”都放到對應的隊列里了，消費者到指定的隊列里取。5.實訓步驟（1）安裝和配置Kafka①將kafka_2.13-3.3.1.tgz壓縮包上傳至master節(jié)點的/root/package目錄下。②解壓kafka_2.13-3.3.1.tgz，這里解壓在/root/package目錄下：cd/root/packagetar-zxvfkafka_2.13-3.3.1.tgz-C/opt/software/（2）配置Kafka①配置環(huán)境變量：vim/etc/profile添加以下內(nèi)容：exportKAFKA_HOME=/opt/software/kafka_2.13-3.3.1exportPATH=$PATH:$KAFKA_HOME/bin使配置生效：source/etc/profile②修改Kafka的配置文件($KAFKA_HOME/config)：cd/opt/software/kafka_2.13-3.3.1/configvimperties修改ZooKeeper的連接節(jié)點，將文件中zookeeper.connect=localhost:2181的localhost，修改為安裝ZooKeeper的三臺節(jié)點，即master、slave1、slave2，主機名后面加上端口號，三臺節(jié)點用逗號進行隔開。如圖6-31所示。zookeeper.connect=master:2181,slave1:2181,slave2:2181圖6-31修改ZooKeeper的連接節(jié)點修改日志路徑為。如圖6-32所示。log.dirs=/opt/software/kafka_2.13-3.3.1/tmp/kafka-logs圖6-32修改ZooKeeper日志路徑（3）復制master的Kafka到slave1、slave2在master中執(zhí)行：~/shell/scp_call.sh/opt/software/kafka_2.13-3.3.1（4）配置slave1、slave2的Kafka配置文件①配置slave1的配置文件（修改broker.id）新打開一個終端，登錄slave1并執(zhí)行vim/opt/software/kafka_2.13-3.3.1/config/pertiesbroker.id=1②配置slave2的配置文件（修改broker.id）新打開一個終端，登錄slave2并執(zhí)行vim/opt/software/kafka_2.13-3.3.1/config/pertiesbroker.id=2③拷貝master節(jié)點的環(huán)境變量到slave1和slave2在master中執(zhí)行~/shell/scp_call.sh/etc/profile分別在slave1和slave2節(jié)點中執(zhí)行以下命令，使配置生效：source/etc/profile（5）校驗Kafka①啟動Kafka 需確保master、slave1、slave2的ZooKeeper已啟動，如未啟動則用下面指令啟動（執(zhí)行jps，有QuorumPeerMain進程則表示已啟動）：zkServer.shstart ZooKeeper啟動后，分別在master、slave1、slave2上執(zhí)行以下命令啟動Kafka：kafka-server-start.sh-daemon$KAFKA_HOME/config/perties 執(zhí)行后查看進程情況，發(fā)現(xiàn)三個節(jié)點都啟動了Kafka進程。如圖