大數(shù)據(jù)云計(jì)算 公開(kāi)課ELK大型日志分析系統(tǒng)

ELK日志分析系統(tǒng)20:30開(kāi)始

講師：君臨天下12月26日周末班12月21日全日制班歡迎您的到來(lái)！需要代碼、PPT、視頻等資料請(qǐng)加以下幾位老師QQ：賈老師：1786418286何老師：1926106490詹老師：2805048645討論技術(shù)可以加入以下QQ群：172599077,156927834春節(jié)前最后一期班級(jí)16年1月1日學(xué)費(fèi)上調(diào)，提前報(bào)名預(yù)訂座位，不管何時(shí)過(guò)來(lái)學(xué)習(xí)費(fèi)用以報(bào)名時(shí)費(fèi)用為準(zhǔn)。年后開(kāi)班時(shí)間2016.2.26日脫產(chǎn)班2016.3.12日周末班2016.3.19日線上周末班ELK日志分析系統(tǒng)系統(tǒng)維護(hù)軟件開(kāi)發(fā)軟件工作日志分析ELK日志分析系統(tǒng)一般日志分析遇到的問(wèn)題：日志太多不好定位異常通過(guò)日志分析一些數(shù)據(jù)（如pv、uv）的時(shí)候過(guò)程太麻煩思考：有沒(méi)有一種框架以最少的開(kāi)發(fā)，得到最靈活的日志分析功能？ELK日志分析系統(tǒng)ELK就是一套完整的日志分析系統(tǒng)ELK=Logstash+Elasticsearch+Kibana統(tǒng)一官網(wǎng)https://www.elastic.co/productsELK日志分析系統(tǒng)ELK日志分析系統(tǒng)Logstash用于處理傳入的日志，負(fù)責(zé)收集、過(guò)濾和寫(xiě)出日志安裝Logstash下載解壓即完成Logstash的hallowordELK日志分析系統(tǒng)Logstash的輸入標(biāo)準(zhǔn)輸入文件輸入TCP輸入Syslog輸入Collectd輸入ELK日志分析系統(tǒng)Logstash的過(guò)濾器配置Date時(shí)間處理Grok正則捕獲GeoIP地址查詢Json編解碼……ELK日志分析系統(tǒng)Logstash的輸出elasticserch發(fā)送到email保存為文件輸出到HDFS標(biāo)準(zhǔn)輸出TCP發(fā)送數(shù)據(jù)……ELK日志分析系統(tǒng)Logstash的配置文件以花括號(hào)來(lái)分塊輸出配置Input塊過(guò)濾器配置Filter輸出配置outputELK日志分析系統(tǒng)Logstash的配置文件ELK日志分析系統(tǒng)Logstash的配置文件input

{

file

{

#通過(guò)Input配置，從文件中讀取數(shù)據(jù)。

path

=>

"/tmp/access_log"

#日志文件位置

start_position

=>

"beginning"

#是否從頭部開(kāi)始讀取。

#Logstash啟動(dòng)后，會(huì)在系統(tǒng)中記錄一個(gè)隱藏文件，記錄處理過(guò)的行號(hào)，

#當(dāng)進(jìn)行掛掉，重新啟動(dòng)后，根據(jù)該行號(hào)記錄續(xù)讀。

#所以start_position只會(huì)生效一次。

}

}

ELK日志分析系統(tǒng)Logstash的配置文件filter

{

if

[path]

=~

"access"

{#當(dāng)路徑包含access時(shí)，才會(huì)執(zhí)行以下處理邏輯

mutate

{

replace

=>

{

"type"

=>

"apache_access"

}

}

grok

{

match

=>

{

"message"

=>

"%{COMBINEDAPACHELOG}"

}

}

}else

if

[path]

=~

"error"

{

#IF-ElSE

配置方式。

mutate

{

replace

=>

{

type

=>

"apache_error"

}

}

#使用Mutate

替換type的值為“apache_error”

}

else

{

mutate

{

replace

=>

{

type

=>

"random_logs"

}

}

}

date

{

match

=>

[

"timestamp"

,

"dd/MMM/yyyy:HH:mm:ss

Z"

]

}

}

ELK日志分析系統(tǒng)Logstash的配置文件output

{

elasticsearch

{

host

=>

localhost

}

stdout

{

codec

=>

rubydebug

}

}

ELK日志分析系統(tǒng)Grok正則捕獲基于正則表達(dá)式的匹配，完全支持正則表達(dá)式增加了一百多個(gè)內(nèi)置變量調(diào)用%{USER：user}匹配上的內(nèi)容放變量中ELK日志分析系統(tǒng)Grok匹配上的內(nèi)容放變量中，那么原消息呢？答案是也存在可以用remove_field或者overwrite來(lái)重寫(xiě)message，比如Overwrite=>[“message”]ELK日志分析系統(tǒng)Date將日志中的時(shí)間字符串轉(zhuǎn)成默認(rèn)的LogStash的Timestamp對(duì)象轉(zhuǎn)存到@timestamp不使用的話默認(rèn)是logstash讀取該日志的時(shí)間ELK日志分析系統(tǒng)geoip免費(fèi)的IP地址歸類查詢庫(kù)，可以根據(jù)ip地址查詢對(duì)應(yīng)地域的信息，包括國(guó)別，省市，經(jīng)緯度等ELK日志分析系統(tǒng)Logstash支持的操作符ELK日志分析系統(tǒng)Logstash支持的操作符ELK日志分析系統(tǒng)Logstash常用輸入輸出輸入：日志文件，redis，kafka，指定端口輸出：Elasticsearch，hdfs，redis，kafkaELK日志分析系統(tǒng)elasticsearch用于將導(dǎo)入數(shù)據(jù)建立動(dòng)態(tài)倒排索引，建立磁盤(pán)緩存，提供磁盤(pán)同步控制，達(dá)到準(zhǔn)實(shí)時(shí)檢索ELK日志分析系統(tǒng)Elasticsearch數(shù)據(jù)流向思考：寫(xiě)入的數(shù)據(jù)是如何變成elasticsearch里面可以被檢索和聚合的索引內(nèi)容呢？ELK日志分析系統(tǒng)Elasticsearch數(shù)據(jù)流向動(dòng)態(tài)更新lucene索引，規(guī)則：新收到的數(shù)據(jù)寫(xiě)入到新的索引文件里面步驟：每次生成的倒排索引叫一個(gè)段（segment）然后另外使用一個(gè)commit文件記錄索引內(nèi)所有的segment，生成segment的數(shù)據(jù)來(lái)源是內(nèi)存bufferELK日志分析系統(tǒng)默認(rèn)每隔一秒刷一次到文件系統(tǒng)緩存，文件系統(tǒng)緩存再到磁盤(pán)，可以調(diào)用/_refresh手動(dòng)刷新ELK日志分析系統(tǒng)思考：既然每隔一秒只是寫(xiě)到文件系統(tǒng)緩存，辣么最后一步寫(xiě)到實(shí)際磁盤(pán)是什么來(lái)控制的？如果中甲出現(xiàn)主機(jī)錯(cuò)誤、硬件故障等異常，數(shù)據(jù)會(huì)不會(huì)丟失呢？ELK日志分析系統(tǒng)Translog提供磁盤(pán)同步控制數(shù)據(jù)寫(xiě)入內(nèi)存buffer同時(shí)記錄了一個(gè)translog日志ELK日志分析系統(tǒng)Translog提供磁盤(pán)同步控制等到commit文件更新的時(shí)候，translog才清空，這一步叫做flush，默認(rèn)每半小時(shí)刷新一次，也可以手動(dòng)調(diào)用也可以通過(guò)配置index.translog.flush_threshold_ops參數(shù)，控制每多少條刷新一次ELK日志分析系統(tǒng)Segment

merge獨(dú)立線程做merge工作ELK日志分析系統(tǒng)Segment

merge可以通過(guò)indices.store.throttle.max_bytes_per_sec設(shè)置調(diào)整速度限制，比如SSD可以調(diào)整到100mb線程數(shù)公式Math.min（3,Runtime.getRuntime().availableProcessors()/2）也可以調(diào)整index.merge.scheduler.max_thread_count來(lái)配