實訓(xùn)13 Flume的安裝與部署

實訓(xùn)6.1Flume的安裝與部署1.實訓(xùn)目的通過本實訓(xùn)理解Flume的概念、理解Flume的特點與結(jié)構(gòu)、認(rèn)識并了解Telnet的用途。2.實訓(xùn)內(nèi)容通過本實訓(xùn)，學(xué)會安裝Flume和Telnet的安裝與部署。3.實訓(xùn)要求以小組為單元進行實訓(xùn)，每小組5人，小組自協(xié)商選一位組長，由組長安排和分配實訓(xùn)任務(wù)，具體參考實訓(xùn)操作環(huán)節(jié)。小組成員較簡單，不需要特殊的要求，確保JDK安裝完成與有簡單的Linux基礎(chǔ)就行。4.準(zhǔn)備知識（1）Telnet簡介是TCP/IP協(xié)議族中的一員，屬于應(yīng)用層協(xié)議，是Internet遠程登錄服務(wù)器的標(biāo)準(zhǔn)協(xié)議和主要方式。Telnet服務(wù)屬于典型的客戶機/服務(wù)器模型，當(dāng)用Telnet登錄遠程計算機的時候，實際上啟動了兩個程序：運行在本地計算機的Telnet客戶端程序；運行在登錄的遠程計算機上的Telnet服務(wù)程序。（2）Telnet的意義①建立與遠程主機的TCP連接。默認(rèn)端口為23號端口，如果遠程主機上的Telnet服務(wù)器軟件一直在這個端口上偵聽到連接請求，則這個連接便會建立起來。②以終端方式為用戶提供人機界面。③將用戶輸入的信息通過Telnet協(xié)議傳送給遠程主機。④接受遠程主機發(fā)送來的信息，并經(jīng)過適當(dāng)?shù)霓D(zhuǎn)換顯示在用戶計算機的屏幕上。5.實訓(xùn)步驟（1）安裝和配置Flume①安裝包準(zhǔn)備將apache-flume-1.10.1-bin.tar.gz壓縮包上傳至master節(jié)點的/root/package目錄下。解壓apache-flume-1.10.1-bin.tar.gz，這里解壓到/opt/software目錄下：cd/root/packagetar-zxvfapache-flume-1.10.1-bin.tar.gz-C/opt/software/②配置Flume配置環(huán)境變量：vim/etc/profile添加以下內(nèi)容：exportFLUME_HOME=/opt/software/apache-flume-1.10.1-binexportPATH=$PATH:$FLUME_HOME/bin使配置生效：source/etc/profile修改Flume的配置文件($FLUME_HOME/conf)：cd/opt/software/apache-flume-1.10.1-bin/confcpflume-env.sh.templateflume-env.shvimflume-env.sh添加JAVA_HOME的配置。如圖6-17所示。exportJAVA_HOME=/opt/software/jdk1.8.0_161③校驗Flumeflume-ngversion 可以查看到Flume的版本，則表示Flume已經(jīng)安裝成功。結(jié)果如圖6-18所示。圖6-18查看Flume版本號（2）安裝Telnet①安裝準(zhǔn)備新建文件夾telnet并上傳三個文件mkdir-p/root/package/telnetA.xinetd-2.3.14-39.el6_4.x86_64.rpmB.telnet-0.17-47.el6.x86_64.rpmC.telnet-server-0.17-47.el6.x86_64.rpm②按順序依次進行安裝安裝xinetd-2.3.14-39.el6_4.x86_64.rpm：cd/root/package/telnetrpm-ivhxinetd-2.3.14-39.el6_4.x86_64.rpm安裝telnet-0.17-47.el6.x86_64.rpm：rpm-ivhtelnet-0.17-47.el6.x86_64.rpm安裝telnet-server-0.17-47.el6.x86_64.rpm：rpm-ivhtelnet-server-0.17-47.el6.x86_64.rpm安裝結(jié)果如圖6-19所示。圖6-19安裝結(jié)果顯示示意圖查看是否安裝rpm-qtelnetrpm-qtelnet-server 顯示已經(jīng)安裝。如圖6-20所示。圖6-20查看安裝結(jié)果③配置Telnet將disable項的yes修改為no。如圖6-21所示。vim/etc/xinetd.d/telnet圖6-21修改參數(shù)重啟服務(wù)systemctlrestartxinetd ④測試Telnet此時在$FLUME_HOME/conf目錄下編寫一個Flume配置文件，cd/opt/software/apache-flume-1.10.1-bin/confvimexample.conf添加內(nèi)容如下：a1.sources=r1a1.sinks=k1a1.channels=c1a1.sources.r1.type=netcata1.sources.r1.bind=localhosta1.sources.r1.port=44444a1.sinks.k1.type=loggera1.channels.c1.type=memorya1.sources.r1.channels=c1a1.sinks.k1.channel=c1使用以下命令運行一個agent實例：flume-ngagent--conf$FLUME_HOME/conf--conf-file$FLUME_HOME/conf/example.conf--namea1-Dflume.root.logger=INFO,console此agent實例啟動后將會監(jiān)聽44444端口。顯示效果，如圖6-22所示。圖6-22啟動agent實例測試44444端口是否可以連通此時，重新打開一個終端，執(zhí)行以下命令。如出現(xiàn)圖6-23所示的效果，則表示可以連通。telnetlocalhost44444圖6-23測試44444端口是否可以連通此時可以繼續(xù)在此終端向44444端口發(fā)送內(nèi)容。比如此處輸入hadoop和bigdata，按回車鍵則可以發(fā)送內(nèi)容。如圖6-24所示。圖6-24向44444端口發(fā)送內(nèi)容此時返回啟動agent的終端，可以看到Flume采集過來的數(shù)據(jù)。如圖6-25所示。圖6-25查看Flume采集到的內(nèi)容6.