日志分析平臺(tái)建設(shè)方案

日志分析平臺(tái)建設(shè)方案目錄TOC\o"1-5"\h\z\o"CurrentDocument"現(xiàn)狀和需求 1\o"CurrentDocument"現(xiàn)狀與問題 1\o"CurrentDocument"需求說明與分析 1\o"CurrentDocument"建設(shè)目標(biāo) 1系統(tǒng)設(shè)計(jì) 2\o"CurrentDocument"技術(shù)選型 2\o"CurrentDocument"系統(tǒng)架構(gòu) 2\o"CurrentDocument"架構(gòu)圖 2\o"CurrentDocument"架構(gòu)分析 2\o"CurrentDocument"系統(tǒng)介紹 2\o"CurrentDocument"實(shí)施方案 3\o"CurrentDocument"系統(tǒng)配置 3\o"CurrentDocument"軟件 3\o"CurrentDocument"硬件 3\o"CurrentDocument"系統(tǒng)搭建 3現(xiàn)狀和需求（一）現(xiàn)狀與問題日志文件分散在各個(gè)應(yīng)用服務(wù)器，開發(fā)人員必須遠(yuǎn)程登錄才能查看日志，不利于服務(wù)器安全管控，加大生產(chǎn)服務(wù)器的風(fēng)險(xiǎn)；服務(wù)器上各項(xiàng)目日志配置很隨意,文件分布雜亂，沒有統(tǒng)一的規(guī)范和管理；日志文件占用服務(wù)器大量的硬盤空間，如不及時(shí)清理會(huì)發(fā)生硬盤占滿，影響系統(tǒng)的正常運(yùn)行;對(duì)于超過百兆的日志文件根本沒法打開和關(guān)鍵字搜索，不利于問題的快速定位和排查；集群和分布式的系統(tǒng)需要查看多個(gè)服務(wù)器的日志日志保存的時(shí)間不統(tǒng)一，不能長時(shí)間保存日志（二）需求說明與分析不需要開發(fā)人員登錄生產(chǎn)服務(wù)器就能查看日志；統(tǒng)一規(guī)范日志的配置和輸出格式；實(shí)時(shí)的將日志文件從服務(wù)器中遷出；提供日志的檢索和統(tǒng)計(jì)分析的平臺(tái)；建設(shè)目標(biāo)搭建支持高并發(fā)高可靠的日志分析平臺(tái),方便開發(fā)人員快速的檢索日志，排查問題,同時(shí)提供友好的分析和統(tǒng)計(jì)的界面。系統(tǒng)設(shè)計(jì)（一）技術(shù)選型針對(duì)這些問題，為了提供分布式的實(shí)時(shí)日志搜集和分析的監(jiān)控系統(tǒng)，我們采用了業(yè)界通用的日志數(shù)據(jù)管理解決方案-它主要包括Elasticsearch、Logstash和Kibana三個(gè)系統(tǒng)。通常，業(yè)界把這套方案簡稱為ELK,取三個(gè)系統(tǒng)的首字母。調(diào)研了ELK技術(shù)棧，發(fā)現(xiàn)新一代的logstash-forward即Filebeat使用了golang性能超logstash，部署簡單，占用資源少，可以很方便的和logstash和ES對(duì)接，作為日志文件采集組件。所以決定使用ELK+Filebeat的架構(gòu)進(jìn)行平臺(tái)搭建.為了支持日志的高并發(fā)和高可靠需要進(jìn)了消息隊(duì)列（MQ）,這里選擇了kafka，相對(duì)其他消息中間件，kafka有支持大并發(fā)，快速持久化等優(yōu)點(diǎn)，而且ELK+Filebeat對(duì)kafka的兼容性也很好。最終，我們采用Elasticsearch+Logstash+Kibana+Filebeat+Kafka+Zookeeper的架構(gòu)搭建日志分析平臺(tái)。（二）系統(tǒng)架構(gòu)架構(gòu)圖架構(gòu)分析第一層、數(shù)據(jù)采集層最左邊的是業(yè)務(wù)服務(wù)器集群，上面安裝了"后5021做日志采集，同時(shí)把采集的日志分別發(fā)送給兩個(gè)logstash服務(wù)。第二層、數(shù)據(jù)處理層,數(shù)據(jù)緩存層logstash服務(wù)把接受到的日志經(jīng)過格式處理，轉(zhuǎn)存到本地的kafkabroker+zookeeper集群中。第三層、數(shù)據(jù)轉(zhuǎn)發(fā)層這個(gè)單獨(dú)的Logstash節(jié)點(diǎn)會(huì)實(shí)時(shí)去kafkabroker集群拉數(shù)據(jù)，轉(zhuǎn)發(fā)至ESDataNode。第四層、數(shù)據(jù)持久化存儲(chǔ)ESDataNode會(huì)把收到的數(shù)據(jù)，寫磁盤，建索引庫。第五層、數(shù)據(jù)檢索,數(shù)據(jù)展示ESMaster+Kibana主要協(xié)調(diào)ES集群，處理數(shù)據(jù)檢索請(qǐng)求，數(shù)據(jù)展示。（三）系統(tǒng)介紹Elasticsearch:分布式搜索和分析引擎，具有高可伸縮、高可靠和易管理等特點(diǎn)。基于ApacheLucene構(gòu)建，能對(duì)大容量的數(shù)據(jù)進(jìn)行接近實(shí)時(shí)的存儲(chǔ)、搜索和分析操作。通常被用作某些應(yīng)用的基礎(chǔ)搜索引擎，使其具有復(fù)雜的搜索功能；Logstash:數(shù)據(jù)收集額外處理和數(shù)據(jù)引擎。它支持動(dòng)態(tài)的從各種數(shù)據(jù)源搜集數(shù)據(jù),并對(duì)數(shù)據(jù)進(jìn)行過濾、分析、豐富、統(tǒng)一格式等操作，然后存儲(chǔ)到用戶指定的位置；Kibana:數(shù)據(jù)分析和可視化平臺(tái)。通常與Elasticsearch配合使用，對(duì)其中數(shù)據(jù)進(jìn)行搜索、分析和以統(tǒng)計(jì)圖表的方式展示；Filebeat:ELK協(xié)議棧的新成員在需要采集日志數(shù)據(jù)的server上安裝Filebeat,并指定日志目錄或日志文件后，F(xiàn)ilebeat就能讀取數(shù)據(jù)，迅速發(fā)送到Logstash進(jìn)行解析亦或直接發(fā)送到Elasticsearch進(jìn)行集中式存儲(chǔ)和分析。Kafka:數(shù)據(jù)緩沖隊(duì)列。作為消息隊(duì)列解耦了處理過程，同時(shí)提高了可擴(kuò)展性.具有峰值處理能力，使用消息隊(duì)列能夠使關(guān)鍵組件頂住突發(fā)的訪問壓力,而不會(huì)因?yàn)橥话l(fā)的超負(fù)荷的請(qǐng)求而完全崩潰。Zookeeper：是一種在分布式系統(tǒng)中被廣泛用來作為：分布式狀態(tài)管理、分布式協(xié)調(diào)管理、分布式配置管理、和分布式鎖服務(wù)的集群。kafka增加和減少服務(wù)器都會(huì)在Zookeeper節(jié)點(diǎn)上觸發(fā)相應(yīng)的事件kafka系統(tǒng)會(huì)捕獲這些事件，進(jìn)行新一輪的負(fù)載均衡，客戶端也會(huì)捕獲這些事件來進(jìn)行新一輪的處理。四、實(shí)施方案（一）系統(tǒng)配置軟件Elasticsearch—6。0.0logstash—6.0.0kibana—6。0.0filebeat—6。0。0JDK1.8Kafka_2。121。1.0Zoopkeepe