《大數(shù)據(jù)技術(shù)實(shí)戰(zhàn)案例教程》課件實(shí)驗(yàn)指導(dǎo)書-實(shí)驗(yàn)6Flume實(shí)戰(zhàn)

《大數(shù)據(jù)技術(shù)實(shí)戰(zhàn)案例教程》實(shí)驗(yàn)指導(dǎo)書實(shí)驗(yàn)6Flume實(shí)戰(zhàn)編寫者：徐魯輝實(shí)驗(yàn)6Flume實(shí)戰(zhàn)6.1實(shí)驗(yàn)?zāi)康?.理解Flume體系架構(gòu)及Source、Sink、Channel功能。2.理解Flume部署要點(diǎn)包括運(yùn)行環(huán)境、運(yùn)行模式、配置文件flume-env.sh。3.熟練掌握在Linux環(huán)境下部署Flume，靈活編寫Agent屬性文件和使用FlumeShell命令進(jìn)行實(shí)時(shí)日志收集。6.2實(shí)驗(yàn)環(huán)境本實(shí)驗(yàn)所需的軟件環(huán)境Linux操作系統(tǒng)、Java環(huán)境、Flume安裝包。6.3實(shí)驗(yàn)內(nèi)容1.規(guī)劃Flume。2.安裝和配置Flume。3.驗(yàn)證Flume。4.編寫Agent屬性文件，并使用FlumeShell命令進(jìn)行實(shí)時(shí)日志收集。6.4實(shí)驗(yàn)原理6.4.1初識FlumeFlume是Cloudera開發(fā)的實(shí)時(shí)日志收集系統(tǒng)，受到了業(yè)界的認(rèn)可和廣泛使用，于2009年7月開源，后成為Apache的頂級項(xiàng)目之一。Flume采用Java語言編寫，致力于解決大量日志流數(shù)據(jù)的遷移問題，它可以高效地收集、聚合和移動(dòng)海量日志，是一個(gè)純粹為流式數(shù)據(jù)遷移而產(chǎn)生的分布式服務(wù)。Flume支持在日志系統(tǒng)中定制各類數(shù)據(jù)發(fā)送方，用于收集數(shù)據(jù)，同時(shí)Flume提供對數(shù)據(jù)進(jìn)行簡單處理，并寫到各類數(shù)據(jù)接收方。Flume具有基于數(shù)據(jù)流的簡單靈活的架構(gòu)、高可靠性機(jī)制、故障轉(zhuǎn)移和恢復(fù)機(jī)制，它使用一個(gè)簡單的可擴(kuò)展數(shù)據(jù)模型，允許在線分析應(yīng)用程序。Flume目前有兩種版本，0.9.x和1.x。第一代指0.9.x版本，隸屬于Cloudera，稱為FlumeOG（OriginalGeneration），隨著Flume功能的不斷擴(kuò)展，其代碼工程臃腫、核心組件設(shè)計(jì)不合理、核心配置不標(biāo)準(zhǔn)等缺點(diǎn)一一暴露出來，尤其是在FlumeOG最后一個(gè)發(fā)行版本0.94.0中，日志傳輸不穩(wěn)定的現(xiàn)象尤為嚴(yán)重。為了解決這些問題，2011年10月Cloudera重構(gòu)了Flume的核心組件、核心配置和代碼架構(gòu)，形成1.x版本，重構(gòu)后的版本統(tǒng)稱為FlumeNG（NextGeneration），即第二代Flume，并將Flume貢獻(xiàn)給了Apache，ClouderaFlume改名為ApacheFlume。Flume變成一種更純粹的流數(shù)據(jù)傳輸工具。6.4.2Flume體系架構(gòu)ApacheFlume由一組以分布式拓?fù)浣Y(jié)構(gòu)相互連接的Agent（代理）構(gòu)成，F(xiàn)lumeAgent是由持續(xù)運(yùn)行的Source（數(shù)據(jù)來源）、Sink（數(shù)據(jù)目標(biāo)）以及Channel（用于連接Source和Sink）三個(gè)Java進(jìn)程構(gòu)成。Flume的Source產(chǎn)生事件，并將其傳送給Channel，Channel存儲(chǔ)這些事件直至轉(zhuǎn)發(fā)給Sink，可以把Source-Channel-Sink的組合看作是Flume的基本構(gòu)件。ApacheFlume的體系架構(gòu)如圖6-1所示。AgentHDFSSourceChannelSinkWebServer圖6-1AgentHDFSSourceChannelSinkWebServerFlume處理數(shù)據(jù)的最小單元是Event，一個(gè)Agent代表一個(gè)Flume進(jìn)程，一個(gè)Agent=Source+Channel+Sink，F(xiàn)lume可以進(jìn)行各種組合選型。Flume提供了大量內(nèi)置的Source、Channel和Sink類型，它們的簡單介紹如表6-1所示，關(guān)于這些組件配置和使用的更多信息，請參考Flume用戶指南，網(wǎng)址/releases/content/1.9.0/FlumeUserGuide.html。表6-1Flume內(nèi)置Source、Channel和Sink類型類型組件描述SourceAvro監(jiān)聽由AvroSink或FlumeSDK通過AvroRPC發(fā)送的事件所抵達(dá)的端口Exec運(yùn)行一個(gè)Unix命令，并把從標(biāo)準(zhǔn)輸出上讀取的行轉(zhuǎn)換為事件。請注意，此類Source不能保證事件被傳遞到Channel，更好的選擇可以參考SpoolingDirectorySource或FlumeSDKHTTP監(jiān)聽一個(gè)端口，并使用可插拔句柄把HTTP請求轉(zhuǎn)換為事件JMS讀取來自JMSQueue或Topic的消息并將其轉(zhuǎn)換為事件Kafka是ApacheKafka的消費(fèi)者，讀取來自KafkaTopic的消息Legacy允許Flume1.xAgent接收來自Flume0.9.4的Agent的事件NetCat監(jiān)聽一個(gè)端口，并把每行文本轉(zhuǎn)換為一個(gè)事件SequenceGenerator依據(jù)增量計(jì)數(shù)器來不斷生成事件Scribe另一種收集系統(tǒng)。要采用現(xiàn)有的Scribe，F(xiàn)lume應(yīng)該使用基于Thrift的ScribeSource和兼容的傳輸協(xié)議SpoolingDirectory按行讀取保存在文件緩沖目錄中的文件，并將其轉(zhuǎn)換為事件Syslog從日志中讀取行，并將其轉(zhuǎn)換為事件Taildir該Source不能用于WindowsThrift監(jiān)聽由ThriftSink或FlumeSDK通過ThriftRPC發(fā)送的事件所抵達(dá)的端口Twitter1%firehose通過StreamingAPI連接到1%的樣本Twitter信息流并下載這些tweet，并將tweet轉(zhuǎn)換為事件Custom用戶自定義SourceSinkAvro通過AvroRPC發(fā)送事件到一個(gè)AvroSourceElasticSearchSink使用Logstash格式將事件寫到Elasticsearch集群FileRoll將事件寫到本地文件系統(tǒng)HBase使用某種序列化工具將事件寫到HBaseHDFS以文本、序列文件將事件寫到HDFSHive以分割文本或JSON格式將事件寫到HiveHTTP從Channel獲取事件，并使用HTTPPOST請求發(fā)送事件到遠(yuǎn)程服務(wù)IRC將事件發(fā)送給IRC通道Kafka導(dǎo)出數(shù)據(jù)到一個(gè)KafkaTopicKiteDataset將事件寫到KiteDatasetLogger使用INFO級別把事件內(nèi)容輸出到日志MorphlineSolrSink從Flume事件提取數(shù)據(jù)并轉(zhuǎn)換，在ApacheSolr服務(wù)端實(shí)時(shí)加載Null丟棄所有事件Thrift通過ThriftRPC發(fā)送事件到ThriftSourceCustom用戶自定義SinkChannelMemory將事件存儲(chǔ)在一個(gè)內(nèi)存隊(duì)列中JDBC將事件存儲(chǔ)在數(shù)據(jù)庫中（嵌入式Derby）Kafka將事件存儲(chǔ)在Kafka集群中File將事件存儲(chǔ)在一個(gè)本地文件系統(tǒng)上的事務(wù)日志中SpillableMemory將事件存儲(chǔ)在內(nèi)存緩存中或者磁盤上，內(nèi)存緩存作為主要存儲(chǔ)，磁盤則是接收溢出時(shí)的事件PseudoTransaction只用于單元測試，不用于生產(chǎn)環(huán)境Flume允許表中不同類型的Source、Channel和Sink自由組合，組合方式基于用戶設(shè)置的配置文件，非常靈活。例如，Channel可以把事件暫存在內(nèi)存里，也可以持久化到本地硬盤上；Sink可以把日志寫入HDFS、HBase、ElasticSearch甚至是另外一個(gè)Source等。Flume支持用戶建立多級流，也就是說多個(gè)Agent可以協(xié)同工作。6.4.3Flume部署要點(diǎn)1.Flume運(yùn)行環(huán)境運(yùn)行Flume所需要的系統(tǒng)環(huán)境包括操作系統(tǒng)和Java環(huán)境兩部分。1）操作系統(tǒng)Flume支持不同平臺(tái)，在當(dāng)前絕大多數(shù)主流的操作系統(tǒng)上都能夠運(yùn)行，例如Linux、Windows、MacOSX等。編者采用的操作系統(tǒng)為Linux發(fā)行版CentOS7。2）Java環(huán)境Flume采用Java語言編寫，因此它的運(yùn)行環(huán)境需要Java環(huán)境的支持，F(xiàn)lume1.9.0需要Java1.8及以上版本支持。編者采用的Java為OracleJDK1.8。另外，需要為Source、Channel、Sink配置足夠的內(nèi)存和為Channel、Sink配置足夠的磁盤，還需要設(shè)置Agent監(jiān)控目錄的讀寫權(quán)限。2.Flume運(yùn)行模式Flume支持單機(jī)模式和集群模式。單機(jī)模式就是在單個(gè)服務(wù)器上部署Flume，現(xiàn)實(shí)生產(chǎn)中采用的多為集群模式，即在多臺(tái)服務(wù)器上部署Flume，例如某網(wǎng)站有多臺(tái)Web服務(wù)器分?jǐn)傆脩粼L問壓力，且用戶訪問網(wǎng)站產(chǎn)生的日志數(shù)據(jù)需要寫入Web服務(wù)器，為了分析網(wǎng)站用戶行為，需要通過Flume將用戶日志數(shù)據(jù)采集到大數(shù)據(jù)平臺(tái)，每臺(tái)Web服務(wù)器都需部署Flume采集服務(wù)，若每臺(tái)Flume采集服務(wù)直接將數(shù)據(jù)寫入大數(shù)據(jù)平臺(tái)，會(huì)造成很大的I/O壓力，為減少大數(shù)據(jù)平臺(tái)壓力，需要增加Flume聚合層對來自采集節(jié)點(diǎn)的數(shù)據(jù)進(jìn)行聚合，這樣Flume采集層、聚合層就共同形成了Flume集群。編者采用單機(jī)模式。3.Flume配置文件Flume啟動(dòng)時(shí)，默認(rèn)讀取$FLUME_HOME/conf/flume-env.sh文件，該文件用于配置Flume的運(yùn)行參數(shù)。Flume安裝后，在安裝目錄下有一個(gè)示例配置文件flume-env-template.sh，該模板中已有JAVA_HOME等配置項(xiàng)的注釋行，F(xiàn)lume的基本配置很簡單，添加Java安裝路徑即可。6.4.4FlumeShell常用命令FlumeShell命令的語法格式如下所示：flume-ng<command>[options]...通過命令“flume-nghelp”來查看flume-ng命令使用方法，具體如下所示。[xuluhui@master~]$flume-nghelpUsage:/usr/local/flume-1.9.0/bin/flume-ng<command>[options]...commands:help displaythishelptextagent runaFlumeagentavro-client runanavroFlumeclientversion showFlumeversioninfoglobaloptions:--conf,-c<conf> useconfigsin<conf>directory--classpath,-C<cp> appendtotheclasspath--dryrun,-d donotactuallystartFlume,justprintthecommand--plugins-path<dirs> colon-separatedlistofplugins.ddirectories.Seetheplugins.dsectionintheuserguideformoredetails.Default:$FLUME_HOME/plugins.d-Dproperty=value setsaJavasystempropertyvalue-Xproperty=value setsaJava-Xoptionagentoptions:--name,-n<name> thenameofthisagent(required)--conf-file,-f<file> specifyaconfigfile(requiredif-zmissing)--zkConnString,-z<str> specifytheZooKeeperconnectiontouse(requiredif-fmissing)--zkBasePath,-p<path> specifythebasepathinZooKeeperforagentconfigs--no-reload-conf donotreloadconfigfileifchanged--help,-h displayhelptextavro-clientoptions:--rpcProps,-P<file> RPCclientpropertiesfilewithserverconnectionparams--host,-H<host> hostnametowhicheventswillbesent--port,-p<port> portoftheavrosource--dirname<dir> directorytostreamtoavrosource--filename,-F<file> textfiletostreamtoavrosource(default:stdinput)--headerFile,-R<file> Filecontainingeventheadersaskey/valuepairsoneachnewline--help,-h displayhelptext其中，通用選項(xiàng)—“--conf”或者“-c”用于指定Flume通用配置，例如環(huán)境設(shè)置。命令“flume-ngagent”的選項(xiàng)“--name”或者“-n”必須指定，其用于指定代理的名稱，一個(gè)Flume屬性文件可以定義多個(gè)代理，因此必須指明運(yùn)行的是哪一個(gè)代理，選項(xiàng)“--conf-file”或者“-f”用于指定Flume屬性文件。命令“flume-ngavro-client”的選項(xiàng)“--rpcProps”或者“--host”和“--port”必須指定。使用命令“flume-ngagent”之前，需要在$FLUME_HOME/conf下創(chuàng)建Agent屬性文件，該屬性文件內(nèi)容的一般格式如下所示。#Namethecomponentsonthisagentagent1.sources=source1agent1.sinks=sink1agent1.channels=channel1#Describe/configurethesourceagent1.sources.source1.type=XXX#Describethesinkagent1.sinks.sink1.type=XXX#Useachannelwhichbufferseventsinfileagent1.channels.channel1.type=XXX#Bindthesourceandsinktothechannelagent1.sources.source1.channels=channel1agent1.sinks.sink1.channel=channel1上述屬性文件中，只定義了一個(gè)FlumeAgent，其名稱為agent1，agent1中運(yùn)行一個(gè)Source即source1、一個(gè)Sink即sink1和一個(gè)Channel即channel1。接下來分別定義了source1、sink1、channel1的屬性。最后，定義Source、Sink連接Channel的屬性，本例的source1連接channel1，sink1連接channel1。讀者請注意，Source的屬性是“channels”（復(fù)數(shù)），Sink的屬性是“channel”（單數(shù)），這是因?yàn)橐粋€(gè)Source可以向一個(gè)以上的Channel輸送數(shù)據(jù)，而一個(gè)Sink只能吸納來自一個(gè)Channel的數(shù)據(jù)。另外，一個(gè)Channel可以向多個(gè)Sink輸入數(shù)據(jù)。6.5實(shí)驗(yàn)步驟6.5.1規(guī)劃Flume1.Flume部署規(guī)劃Flume支持集群模式和單機(jī)模式。這里采用單機(jī)模式，因此安裝Flume僅需要1臺(tái)機(jī)器，需要操作系統(tǒng)、Java環(huán)境作為支撐。本實(shí)驗(yàn)擬將Flume運(yùn)行在Linux上，在主機(jī)名為master的機(jī)器上安裝Flume。具體Flume規(guī)劃表如表6-2所示。表6-2Flume部署規(guī)劃表主機(jī)名IP地址運(yùn)行服務(wù)軟硬件配置master30根據(jù)Source、Sink、Channel的屬性部署組件和啟動(dòng)相應(yīng)服務(wù)內(nèi)存：4GCPU：1個(gè)2核硬盤：40G操作系統(tǒng)：CentOS7.6.1810Java：OracleJDK8u191Flume：Flume1.9.0Eclipse：EclipseIDE2018-09forJavaDevelopers2.軟件選擇本實(shí)驗(yàn)部署Flume所使用各種軟件的名稱、版本、發(fā)布日期及下載地址如表6-3所示。表6-3本實(shí)驗(yàn)部署Flume使用的軟件名稱、版本、發(fā)布日期及下載地址軟件名稱軟件版本發(fā)布日期下載地址VMwareWorkstationProVMwareWorkstation14.5.7ProforWindows2017年6月22日/products/workstation-pro.htmlCentOSCentOS7.6.18102018年11月26日/download/JavaOracleJDK8u1912018年10月16日/technetwork/java/javase/downloads/index.htmlFlumeFlume1.9.02019年1月8日/download.html由于實(shí)驗(yàn)1已完成VMwareWorkstationPro、CentOS、Java的安裝，故本實(shí)驗(yàn)直接從安裝Flume開始講述。6.5.2安裝和配置Flume1.初始軟硬件環(huán)境準(zhǔn)備（1）準(zhǔn)備機(jī)器，安裝操作系統(tǒng)，編者使用CentOSLinux7。請讀者參見教材實(shí)驗(yàn)1。（2）安裝和配置Java，編者使用OracleJDK8u191。請讀者參見教材實(shí)驗(yàn)1。（3）部署所需組件，例如MySQL、HBase、Hive、Avro、Kafka、Scribe、Elasticsearch等，此步可選，要根據(jù)實(shí)際需要解決的問題決定部署哪些組件和啟動(dòng)服務(wù)，請讀者參見其他實(shí)驗(yàn)指導(dǎo)書或者查閱其它資料。2.獲取FlumeFlume官方下載地址為/download.html，編者選用的Flume版本是2019年1月8日發(fā)布的Flume1.9.0，其安裝包文件apache-flume-1.9.0-bin.tar.gz例如存放在master機(jī)器的/home/xuluhui/Downloads中。3.安裝FlumeFlume支持集群模式和單機(jī)模式，編者采用單機(jī)模式，在master一臺(tái)機(jī)器上安裝，以下所有步驟均在master一臺(tái)機(jī)器上完成。切換到root，解壓apache-flume-1.9.0-bin.tar.gz到安裝目錄如/usr/local下，使用命令如下所示。[xuluhui@master~]$suroot[root@masterxuluhui]#cd/usr/local[root@masterlocal]#tar-zxvf/home/xuluhui/Downloads/apache-flume-1.9.0-bin.tar.gz默認(rèn)解壓后的Flume目錄為“apache-flume-1.9.0-bin”，名字過長，編者為了方便，將此目錄重命名為“flume-1.9.0”，使用命令如下所示。[root@masterlocal]#mvapache-flume-1.9.0-binflume-1.9.0注意，讀者可以不用重命名Flume安裝目錄，采用默認(rèn)目錄名，但請注意，后續(xù)步驟中關(guān)于Flume安裝目錄的設(shè)置與此步驟保持一致。4.配置Flume安裝Flume后，在$FLUME_HOME/conf中有一個(gè)示例配置文件flume-env.sh.template，F(xiàn)lume啟動(dòng)時(shí)，默認(rèn)讀取$FLUME_HOME/conf/flume-env.sh文件，該文件用于配置Flume的運(yùn)行參數(shù)。1）復(fù)制模板配置文件flume-env.sh.template為flume-env.sh使用命令“cp”將Flume示例配置文件flume-env-template.sh復(fù)制并重命名為flume-env.sh。使用如下命令完成，假設(shè)當(dāng)前目錄為“/usr/local/flume-1.9.0”。[root@masterlocal]#cdflume-1.9.0[root@masterflume-1.9.0]#cpconf/flume-env.sh.templateconf/flume-env.sh2）修改配置文件flume-env.sh讀者可以發(fā)現(xiàn)，模板中已有JAVA_HOME等配置項(xiàng)的注釋行，使用命令“vimconf/flume-env.sh”修改Flume配置文件，添加Java安裝路徑，修改后的配置文件flume-env.sh內(nèi)容如下所示。exportJAVA_HOME=/usr/java/jdk1.8.0_1915.設(shè)置$FLUME_HOME目錄屬主為了在普通用戶下使用Flume，將$FLUME_HOME目錄屬主設(shè)置為Linux普通用戶例如xuluhui，使用以下命令完成。[root@masterflume-1.9.0]#chown-Rxuluhui/usr/local/flume-1.9.06.在系統(tǒng)配置文件目錄/etc/profile.d下新建flume.sh使用“vim/etc/profile.d/flume.sh”命令在/etc/profile.d文件夾下新建文件flume.sh，添加如下內(nèi)容。exportFLUME_HOME=/usr/local/flume-1.9.0exportPATH=$FLUME_HOME/bin:$PATH其次，重啟機(jī)器，使之生效。此步驟可省略，之所以將$FLUME_HOME/bin加入到系統(tǒng)環(huán)境變量PATH中，是因?yàn)楫?dāng)輸入Flume命令時(shí)，無需再切換到$FLUME_HOME/bin，這樣使用起來會(huì)更加方便，否則會(huì)出現(xiàn)錯(cuò)誤信息“bash:****:commandnotfound...”。6.5.3驗(yàn)證Flume切換到普通用戶例如xuluhui下，可以使用命令“flume-ngversion”來查看Flume版本，進(jìn)而達(dá)到測試Flume是否安裝成功的目的。命令運(yùn)行效果如圖6-2所示，從圖6-2中可以看出，F(xiàn)lume安裝成功。圖6-2驗(yàn)證Flume6.5.4使用Flume【案例6-1】使用Flume實(shí)現(xiàn)以下功能：監(jiān)視本地服務(wù)器上的指定目錄，每當(dāng)該目錄中有新文件出現(xiàn)時(shí)，就把該文件采集到HDFS中。其中，新增文件由手工完成。在本案例中，F(xiàn)lume僅運(yùn)行一個(gè)Source-Channel-Sink組合，Source類型是SpoolingDirectory，Channel類型是Memory，Sink類型是HDFS，即SpoolingDirectorySource-MemoryChannel-HDFSSink。整個(gè)系統(tǒng)如圖6-3所示。FlumeAgentFlumeAgent文件事件事件/tmp/spooldirSpoolingDirectorySourceMemoryChannelHDFSSink本地文件系統(tǒng)agent2source2channel2sink2/flume/events/%y-%m-%d/%H%M/HDFS文件系統(tǒng)文件圖6-3通過MemoryChannel連接的SpoolingDirectorySource和HDFSSink的FlumeAgent（1）創(chuàng)建Agent屬性文件在$FLUME_HOME/conf下創(chuàng)建Agent屬性文件perties，使用如下命令完成。[xuluhui@master~]$cd/usr/local/flume-1.9.0[xuluhui@masterflume-1.9.0]$vimconf/perties然后在perties文件中寫入以下內(nèi)容。#Namethecomponentsonthisagentagent2.sources=source2agent2.sinks=sink2agent2.channels=channel2#Describe/configurethesourceagent2.sources.source2.type=spooldiragent2.sources.source2.spoolDir=/tmp/spooldiragent2.sources.source2.fileHeader=true#不能向監(jiān)控目錄中新增同名文件#Describethesinkagent2.sinks.sink2.type=hdfsagent2.sinks.sink2.hdfs.path=/flume/events/%y-%m-%d/%H%M/agent2.sinks.sink2.hdfs.filePrefix=events-agent2.sinks.sink2.hdfs.round=trueagent2.sinks.sink2.hdfs.roundValue=10agent2.sinks.sink2.hdfs.roundUnit=minuteagent2.sinks.sink2.hdfs.rollInterval=3agent2.sinks.sink2.hdfs.rollSize=20agent2.sinks.sink2.hdfs.rollCount=5agent2.sinks.sink2.hdfs.batchSize=1agent2.sinks.sink2.hdfs.useLocalTimeStamp=true#生成的文件類型，默認(rèn)是Sequencefile，DataStream則為普通文本agent2.sinks.sink2.hdfs.fileType=DataStream#Useachannelwhichbufferseventsinfileagent2.channels.channel2.type=memoryagent2.channels.channel2.capacity=1000agent2.channels.channel2.transactionCapacity=100#Bindthesourceandsinktothechannelagent2.sources.source2.channels=channel2agent2.sinks.sink2.channel=channel2本案例中source2的類型是“spooldir”，它是一個(gè)SpoolingDirectorySource，用于監(jiān)視緩沖目錄中的新增文件，source2的緩沖目錄是“/tmp/spooldir”；sink2的類型是“hdfs”，它是一個(gè)HDFSSink，用于將事件以文本、序列文件形式寫到HDFS中；channel2的類型是“memory”，它是一個(gè)MemoryChannel，用于將事件存儲(chǔ)在一個(gè)內(nèi)存隊(duì)列中。（2）啟動(dòng)FlumeAgent在啟動(dòng)FlumeAgent前，首先打開第一個(gè)終端，切換到root下在本地文件系統(tǒng)上創(chuàng)建一個(gè)待監(jiān)視的緩沖目錄“/tmp/spooldir”，使用如下命令完成。[root@masterxuluhui]$mkdir/tmp/spooldir其次，在root下將緩沖目錄“/tmp/spooldir”的屬主賦予給Flume普通用戶如xuluhui，使用如下命令完成。[root@masterxuluhui]$chown-Rxuluhui/