e709.flume日志收集系統(tǒng)3課件

Hadoop大數(shù)據(jù)解決方案進(jìn)階應(yīng)用Hadoop講師：迪倫（北風(fēng)網(wǎng)）Flume日志收集系統(tǒng)(3)日志收集系統(tǒng)對(duì)比FlumeNG架構(gòu)FlumeNG核心概念課程目標(biāo)日志收集系統(tǒng)對(duì)比Flume

OG存在的問題FlumeOG代碼工程臃腫核心組件設(shè)計(jì)不合理核心配置不標(biāo)準(zhǔn)尤其是在FlumeOG的最后一個(gè)發(fā)行版本0.94.0中，日志傳輸不穩(wěn)定的現(xiàn)象尤為嚴(yán)重Flume

NG特點(diǎn)NG只有一種角色的節(jié)點(diǎn)：代理節(jié)點(diǎn)（agent）沒有collector、master節(jié)點(diǎn)。這是核心組件最核心的變化去除了physicalnodes、logicalnodes的概念和相關(guān)內(nèi)容agent節(jié)點(diǎn)的組成也發(fā)生了變化，脫離了zookeeperFlume

NG架構(gòu)Flume

NG架構(gòu)的優(yōu)勢(shì)NG在核心組件上進(jìn)行了大規(guī)模的調(diào)整大大降低了對(duì)用戶的要求。如用戶無(wú)需大家ZooKeeper集群用戶也不再糾結(jié)于OG中的模糊概念有利于Flume和其他技術(shù)、hadoop周邊組件的整合在功能上更加強(qiáng)大、可擴(kuò)展性更高FlumeNG核心概念EventClientAgentSourceChannelSink其他組件：Interceptor、ChannelSelector、SinkProcessorEventEvent是Flume數(shù)據(jù)傳輸?shù)幕締卧狥lume以事件的形式將數(shù)據(jù)從源頭傳送到最終的目的Event由可選的header和載有數(shù)據(jù)的一個(gè)bytearray構(gòu)成載有的數(shù)據(jù)對(duì)flume是不透明的Header是容納了key-value字符串對(duì)的無(wú)序集合，key在集合內(nèi)是唯一的。Header可以在上下文路由中使用擴(kuò)展ClientClient是一個(gè)將原始log包裝成events并且發(fā)送它們到一個(gè)或多個(gè)agent的實(shí)體。目的是從數(shù)據(jù)源系統(tǒng)中解耦Flume在flume的拓?fù)浣Y(jié)構(gòu)中不是必須的Client實(shí)例Flumelog4jAppender可以使用ClientSDK(org.apache.flume.api)定制特定的ClientAgent一個(gè)Agent包含Source,Channel,Sink和其他組件它利用這些組件將events從一個(gè)節(jié)點(diǎn)傳輸?shù)搅硪粋€(gè)節(jié)點(diǎn)或最終目的agent是flume流的基礎(chǔ)部分flume為這些組件提供了配置、生命周期管理、監(jiān)控支持Agent之SourceSource負(fù)責(zé)接收event或通過特殊機(jī)制產(chǎn)生event，并將events批量的放到一個(gè)或多個(gè)Channel。包含event驅(qū)動(dòng)和輪詢2種類型不同類型的Source:與系統(tǒng)集成的Source:Syslog,Netcat自動(dòng)生成事件的Source:Exec用于Agent和Agent之間通信的IPCSource: