日志分析平臺建設方案

日志分析平臺建設方案目錄TOC\o"1-5"\h\z\o"CurrentDocument"現(xiàn)狀和需求 1\o"CurrentDocument"現(xiàn)狀與問題 1\o"CurrentDocument"需求說明與分析 1\o"CurrentDocument"建設目標 1系統(tǒng)設計 2\o"CurrentDocument"技術選型 2\o"CurrentDocument"系統(tǒng)架構 2\o"CurrentDocument"架構圖 2\o"CurrentDocument"架構分析 2\o"CurrentDocument"系統(tǒng)介紹 2\o"CurrentDocument"實施方案 3\o"CurrentDocument"系統(tǒng)配置 3\o"CurrentDocument"軟件 3\o"CurrentDocument"硬件 3\o"CurrentDocument"系統(tǒng)搭建 3現(xiàn)狀和需求（一）現(xiàn)狀與問題日志文件分散在各個應用服務器，開發(fā)人員必須遠程登錄才能查看日志，不利于服務器安全管控，加大生產服務器的風險；服務器上各項目日志配置很隨意,文件分布雜亂，沒有統(tǒng)一的規(guī)范和管理；日志文件占用服務器大量的硬盤空間，如不及時清理會發(fā)生硬盤占滿，影響系統(tǒng)的正常運行;對于超過百兆的日志文件根本沒法打開和關鍵字搜索，不利于問題的快速定位和排查；集群和分布式的系統(tǒng)需要查看多個服務器的日志日志保存的時間不統(tǒng)一，不能長時間保存日志（二）需求說明與分析不需要開發(fā)人員登錄生產服務器就能查看日志；統(tǒng)一規(guī)范日志的配置和輸出格式；實時的將日志文件從服務器中遷出；提供日志的檢索和統(tǒng)計分析的平臺；建設目標搭建支持高并發(fā)高可靠的日志分析平臺,方便開發(fā)人員快速的檢索日志，排查問題,同時提供友好的分析和統(tǒng)計的界面。系統(tǒng)設計（一）技術選型針對這些問題，為了提供分布式的實時日志搜集和分析的監(jiān)控系統(tǒng)，我們采用了業(yè)界通用的日志數(shù)據(jù)管理解決方案-它主要包括Elasticsearch、Logstash和Kibana三個系統(tǒng)。通常，業(yè)界把這套方案簡稱為ELK,取三個系統(tǒng)的首字母。調研了ELK技術棧，發(fā)現(xiàn)新一代的logstash-forward即Filebeat使用了golang性能超logstash，部署簡單，占用資源少，可以很方便的和logstash和ES對接，作為日志文件采集組件。所以決定使用ELK+Filebeat的架構進行平臺搭建.為了支持日志的高并發(fā)和高可靠需要進了消息隊列（MQ）,這里選擇了kafka，相對其他消息中間件，kafka有支持大并發(fā)，快速持久化等優(yōu)點，而且ELK+Filebeat對kafka的兼容性也很好。最終，我們采用Elasticsearch+Logstash+Kibana+Filebeat+Kafka+Zookeeper的架構搭建日志分析平臺。（二）系統(tǒng)架構架構圖架構分析第一層、數(shù)據(jù)采集層最左邊的是業(yè)務服務器集群，上面安裝了"后5021做日志采集，同時把采集的日志分別發(fā)送給兩個logstash服務。第二層、數(shù)據(jù)處理層,數(shù)據(jù)緩存層logstash服務把接受到的日志經過格式處理，轉存到本地的kafkabroker+zookeeper集群中。第三層、數(shù)據(jù)轉發(fā)層這個單獨的Logstash節(jié)點會實時去kafkabroker集群拉數(shù)據(jù)，轉發(fā)至ESDataNode。第四層、數(shù)據(jù)持久化存儲ESDataNode會把收到的數(shù)據(jù)，寫磁盤，建索引庫。第五層、數(shù)據(jù)檢索,數(shù)據(jù)展示ESMaster+Kibana主要協(xié)調ES集群，處理數(shù)據(jù)檢索請求，數(shù)據(jù)展示。（三）系統(tǒng)介紹Elasticsearch:分布式搜索和分析引擎，具有高可伸縮、高可靠和易管理等特點?；贏pacheLucene構建，能對大容量的數(shù)據(jù)進行接近實時的存儲、搜索和分析操作。通常被用作某些應用的基礎搜索引擎，使其具有復雜的搜索功能；Logstash:數(shù)據(jù)收集額外處理和數(shù)據(jù)引擎。它支持動態(tài)的從各種數(shù)據(jù)源搜集數(shù)據(jù),并對數(shù)據(jù)進行過濾、分析、豐富、統(tǒng)一格式等操作，然后存儲到用戶指定的位置；Kibana:數(shù)據(jù)分析和可視化平臺。通常與Elasticsearch配合使用，對其中數(shù)據(jù)進行搜索、分析和以統(tǒng)計圖表的方式展示；Filebeat:ELK協(xié)議棧的新成員在需要采集日志數(shù)據(jù)的server上安裝Filebeat,并指定日志目錄或日志文件后，F(xiàn)ilebeat就能讀取數(shù)據(jù)，迅速發(fā)送到Logstash進行解析亦或直接發(fā)送到Elasticsearch進行集中式存儲和分析。Kafka:數(shù)據(jù)緩沖隊列。作為消息隊列解耦了處理過程，同時提高了可擴展性.具有峰值處理能力，使用消息隊列能夠使關鍵組件頂住突發(fā)的訪問壓力,而不會因為突發(fā)的超負荷的請求而完全崩潰。Zookeeper：是一種在分布式系統(tǒng)中被廣泛用來作為：分布式狀態(tài)管理、分布式協(xié)調管理、分布式配置管理、和分布式鎖服務的集群。kafka增加和減少服務器都會在Zookeeper節(jié)點上觸發(fā)相應的事件kafka系統(tǒng)會捕獲這些事件，進行新一輪的負載均衡，客戶端也會捕獲這些事件來進行新一輪的處理。四、實施方案（一）系統(tǒng)配置軟件Elasticsearch—6。0.0logstash—6.0.0kibana—6。0.0filebeat—6。0。0JDK1.8Kafka_2。121。1.0Zoopkeepe