2023學(xué)年完整公開課版flume的基本概念

Flume的基本概念主要內(nèi)容2Flume的基本概念Flume的特性3一、Flume的基本概念4Flume的概念Flume最早是Cludera提供的日志收集系統(tǒng)，后被納入成為Apache中一個(gè)子項(xiàng)目，F(xiàn)lume支持在日志系統(tǒng)中指定各類數(shù)據(jù)發(fā)送方,用于收集數(shù)據(jù)Flume是一個(gè)高可用的、高可靠的、魯棒性、分布式的海量日志采取、聚合和傳輸系統(tǒng)，它將各個(gè)服務(wù)器的數(shù)據(jù)收集匯總并發(fā)送到指定的位置（如HDFS中）

5二、Flume的特性6Flume特性1.可靠性2.可恢復(fù)性3.可擴(kuò)展性3.可管理性71.可靠性當(dāng)節(jié)點(diǎn)出現(xiàn)故障時(shí)，日志能夠被傳送到其他節(jié)點(diǎn)上而不會丟失，F(xiàn)lume提供了三種級別的可靠性保障，從強(qiáng)到弱依次分別為：end-to-end（收到數(shù)據(jù)agent首先將event寫到磁盤上，當(dāng)數(shù)據(jù)傳送成功后，再刪除；如果數(shù)據(jù)發(fā)送失敗，可以重新發(fā)送。）Storeonfailure（這也是scribe采用的策略，當(dāng)數(shù)據(jù)接收方crash時(shí)，將數(shù)據(jù)寫到本地，待恢復(fù)后，繼續(xù)發(fā)送）Besteffort（數(shù)據(jù)發(fā)送到接收方后，不會進(jìn)行確認(rèn)）82.可恢復(fù)性Sink通道可以用內(nèi)存或文件的方式實(shí)現(xiàn)：內(nèi)存：速度快但不可恢復(fù)文件：速度略慢但具有可恢復(fù)性93.可擴(kuò)展性Flume采用了三層架構(gòu)，分別為agent，collector和storage，每一層均可以水平擴(kuò)展。其中，所有agent和collector由master統(tǒng)一管理，這使得系統(tǒng)容易監(jiān)控和維護(hù)，且master允許有多個(gè)（使用ZooKeeper進(jìn)行管理和負(fù)載均衡），這就避免了單點(diǎn)故障問題104.可管理性所有agent和colletor由master統(tǒng)一管理，這使得系統(tǒng)便于維護(hù)多master情況，F(xiàn)lume利用Zookeeper和gossip，保證動態(tài)配置數(shù)據(jù)的一致性用戶可以在master上查看各個(gè)數(shù)據(jù)源或者數(shù)據(jù)流執(zhí)行情況，且可以對各個(gè)數(shù)據(jù)源配置和動態(tài)加載Flume提供了