基于ELK的Packetbeat和watcher數(shù)據(jù)監(jiān)控V1.0

1、ElasticSearch特點ElasticSearch 是一個基于Apache Lucene的開源數(shù)據(jù)搜索引擎，它的 特點有： ?實時：可以進行實時的數(shù)據(jù)搜索和分析 ?分布式：分布式文件存儲，并將每個字段都編入索引 ?RESTful API：對外提供一系列基于JAVA和HTTP的API，用于索引、查 詢、修改大多數(shù)配置 ?JSON：輸入輸出格式為JSON，快捷方便 ?多租戶：可根據(jù)不同用途分索引，同時操作多個索引ElasticSearch使用案例?維基百科使用 Elasticsearch 來進行全文搜索并高亮顯示關(guān)鍵詞，以及提供 search-as-you-type、did-you-mean

2、等搜索建議功能。 ?英國衛(wèi)報使用 Elasticsearch 來處理訪客日志，以便能將公眾對不同文章的 反應實時地反饋給各位編輯。 ?StackOverflow 將全文搜索與地理位置和相關(guān)信息進行結(jié)合，以提供morelike-this相關(guān)問題的展現(xiàn)。 ?GitHub 使用 Elasticsearch 來檢索超過1300億行代碼。 ?每天，Goldman Sachs 使用它來處理5TB數(shù)據(jù)的索引，還有很多投行使用 它來分析股票市場的變動。ElasticSearch安裝ES的安裝很簡單，可參考官網(wǎng) https:/www.elastic.co/guide/en/elasticsearch/refer

3、ence/c urrent/_installation.html 服務啟動后測試下是否運行正常：ElasticSearch插件安裝ES插件，來查看集群狀態(tài)、查看數(shù)據(jù)信息等。 head插件： elasticsearch/bin# ./plugin install mobz/elasticsearch-head Kopf插件： elasticsearch/bin# ./plugin install lmenezes/elasticsearch-kopfLogstrash簡介Logstash是一個接收，處理，轉(zhuǎn)發(fā)日志的工具，由Jruby語言編寫，并運行在Java 虛擬機上。 在Logstrash的生

4、態(tài)系統(tǒng)中主要分為4大組件： ?Shipper：日志收集者。負責監(jiān)控本地日志文件的變化，及時把日志文件的最新 內(nèi)容收集起來，輸出到Redis暫存。 ?Broker and Indexer：接受并索引化事件 ?Search and Storage：允許對時間進行搜索和存儲 ?Web Interface：基于WEB的展示頁面Logstrash簡介Logstash使用管道方式進行日志的搜集處理和輸出。主要做3件事： ?Collect：數(shù)據(jù)輸入 ?Enrich：數(shù)據(jù)加工，如過濾，改寫等 ?Transport：數(shù)據(jù)輸出Kibana介紹Kibana 是一個使用 Apache 開源協(xié)議，基于瀏覽器的 Elas

5、ticsearch 分析和搜索儀 表板。Kibana安裝配置Kibana安裝比較簡單，可參考官網(wǎng)https:/www.elastic.co/downloads/kibana默認情況下，Kibana 會連接運行在 localhost 的 Elasticsearch。要連接其他 Elasticsearch 實例，修改kibana.yml 里的 Elasticsearch URL，然后重啟 Kibana。 從 Kibana 訪問 Elasticsearch 索引的配置方法1.配置包含時間戳的索引：可以 用來做基于時間的處理 2.索引定期生成且索引名中包含 時間戳：提高搜索性能，Kibana 會至搜索

6、你指定的時間范圍內(nèi)的 索引。Kibana-Discover在 Discover 頁交互式探索數(shù)據(jù)。你可以訪問到所匹配的索引模式的每個索引的每 條記錄。你可以提交過濾搜索請求，然后查看文檔數(shù) 據(jù)。你還可以看到匹配搜 索請求的文檔總數(shù)，獲取字段值的統(tǒng)計情況。如果索引模式配置了時間字段，文 檔的時序分布情況會在頁面頂部以柱狀圖的形式展示出來。Kibana-Discover在 Discover 頁提交一個搜索，你就可以搜索匹配當前索引模式的索引數(shù)據(jù)了。 可以直接輸入簡單的請求字符串，也就是用 Lucene query syntax，也可以用完整 的基于 JSON 的 Elasticsearch Que

7、ry DSL。 ?簡單文本搜索：直接輸入文本字符串 ?搜索特定字段中的值：格式：字段名:值 ?搜索值的范圍：格式：字段名:【start_value TO end_value】 ?指定復雜搜索標準：使用布爾操作符 AND，OR，NOTkibana-Visualize你可以用 Visualize 頁來設(shè)計可視化?？梢员４婵梢暬蛘吆喜⒌?dashboard 里。 創(chuàng)建一個新的可視化： 第一步：選擇一個可視化的類型：區(qū)塊圖、折線圖等 第二步：選擇數(shù)據(jù)源：可以選擇新建或者讀取一個已保存的搜索，作為你可 視化的數(shù)據(jù)源。 第三步：可視化編輯器kibana-Visualize-區(qū)塊圖Y軸是數(shù)值維度，有以下聚

8、合可用Count:返回元素的計數(shù) Average：返回一個數(shù)值字段的平均值 Sum：返回一個數(shù)值字段的總和 Median：返回一個數(shù)值字段的中間值 Min：返回一個數(shù)值字段的最小值 Max：返回一個數(shù)值字段的最大值 Unique Count：返回一個數(shù)值字段的去重數(shù)值 Percentiles：返回一個數(shù)值字段的百分比分布圖形的 X 軸是buckets 維度，指明從你的數(shù)據(jù)集中將要檢索什么信息，支持以下聚合Date Histogram:基于時間的展示 Histogram：基于數(shù)值字段創(chuàng)建，指定數(shù)值間隔 Range：基于數(shù)值字段創(chuàng)建，指定一系列區(qū)間 Date Range：基于時間創(chuàng)建，指定時間區(qū)間

9、 IPv4 Range：基于IPv4創(chuàng)建，指定IPv4區(qū)間 Terms：展示一個字段的元素值 Filters：添加過濾器 Significant Terms：展示實驗性聚合結(jié)果kibana-Visualize-區(qū)塊圖kibana-Visualize-區(qū)塊圖kibana-Visualize-折線圖kibana-Visualize-表格數(shù)據(jù)定義metrics表格列，定義 buckets 來切割表格成行kibana-Visualize-Metric為你選擇的聚合顯示一個單獨的數(shù)字kibana-Visualize-餅圖餅圖的分片大小通過 metrics 聚合定義。這個維度可以支持以下聚合：Count:

10、返回元素的計數(shù) Sum：返回一個數(shù)值字段的總和 Unique Count：返回一個數(shù)值字段的去重數(shù)值buckets 聚合指明從你的數(shù)據(jù)集中將要檢索什么信息。kibana-Visualize-餅圖kibana-Visualize-豎條圖kibana-Visualize-地圖地圖顯示一個由圓圈覆蓋著的地理區(qū)域。這些圓圈則是由你 指定的 buckets 控制地圖使用 Geohash 聚合作為他們的初始 化聚合。從下拉菜單中選擇一個坐標字 段。Precision 滑動條設(shè)置圓圈在地圖上 顯示的顆粒度大小。 一旦你定義好了一個 X 軸聚合。你可以 繼續(xù)定義子聚合來完善可視化效果。kibana-Dashb

11、oard一個 Kibana dashboard 能讓你自由排列一組已保存的可視化。然后你可以保存這 個儀表板，用來分享或者重載。 簡單的儀表板：用戶可以對儀表板做多樣化操作： 1.添加可視化到儀表板 2.保存儀表板 3.加載已保存的儀表板 4.定義儀表板元素 5.移動容器 6.改變?nèi)萜鞔笮?7.刪除容器 8.修改可視化 9.分享儀表板并嵌入到其他用戶 的儀表板中ELK 套裝logstash agent 監(jiān)控并過濾日志，將過濾后的日志內(nèi)容發(fā)給redis(只 處理隊列不做存儲)，logstash index將日志收集在一起交給全文搜 索服務ElasticSearch ，通過Kibana 結(jié)合自定義

12、搜索進行頁面展示提綱? ELK基礎(chǔ)知識 ? Packetbeat知識介紹 ? Watcher知識介紹? 業(yè)內(nèi)大數(shù)據(jù)分析系統(tǒng)調(diào)研幾種beats在生產(chǎn)環(huán)境中，數(shù)據(jù)搜索需求會更復雜一些，通過logstash寫正則，實在是個 費時費勁的事。而beats就比較簡單高效。beats是一個代理，將不同類型的數(shù)據(jù)發(fā)送到elasticsearch。beats可以直接將數(shù) 據(jù)發(fā)送到elasticsearch，也可以通過logstash將數(shù)據(jù)發(fā)送elasticsearch。 beats有三個典型的例子：Filebeat、Topbeat、Packetbeat。 ?Filebeat：用來收集日志 ?Topbeat：用來

13、收集系統(tǒng)基礎(chǔ)設(shè)置數(shù)據(jù)，如cpu、內(nèi)存、每個進程的統(tǒng)計信息 ?Winlogbeat：監(jiān)控windows下面的日志信息 ?Packetbeat：是一個網(wǎng)絡(luò)包分析工具，統(tǒng)計收集網(wǎng)絡(luò)信息。Packetbeat介紹Packetbeat是網(wǎng)絡(luò)協(xié)議抓包和處理的一個框架，用來嗅探和分析網(wǎng)絡(luò)流量， 關(guān)聯(lián)他們到事物，并且使用 Elasticsearch 來分析，然后進行點對點查詢。Packetbeat的安裝很簡單，可參考官網(wǎng)https:/www.elastic.co/downloads/beats/packetbeat 配置文件： /etc/packetbeat/packetbeat.yml在ES中加載Packe

14、tbeat索引模板，執(zhí)行命令curl -XPUT 'http:/localhost:9200/_template/packetbeat' d/etc/packetbeat/packetbeat.template.json啟動Packetbeat： sudo /etc/init.d/packetbeat startPacketbeat協(xié)議目前支持了常見的一些協(xié)議：ICMP、DNS、HTTP、MySQL、PostgreSQL Redis、Thrift-RPC、MongoDB、Memcache，也可進行協(xié)議的擴展。在文件/etc/packetbeat/packetbeat.yml 中

15、可以注釋某協(xié)議以禁用該協(xié)議， 如果使用任何非標準的端口，也可 進行添加。否則，為默認端口。協(xié)議擴展開發(fā)可參考： https:/www.elastic.co/guide/en/beats/packetbeat/current/ new-protocol.html Packetbeat介紹Packetbeat在kibana中的視圖展示：基于Packetbeat創(chuàng)建TCP等協(xié)議可視化圖表Packetbeat安裝好后界面展示的是基于HTTP的應用層數(shù)據(jù)分析展示，在discover 頁面，可以看到Packetbeat提供的解析字段：transport和type可以獲取到udp、tcp、icmp、dns協(xié)

16、 議數(shù)據(jù)，因此在創(chuàng)建繪圖時可根據(jù)這兩個字段帥 選出并展示基礎(chǔ)協(xié)議。具體方法可查看kibana章 節(jié)基于Packetbeat創(chuàng)建TCP等協(xié)議可視化圖表小結(jié)：由于目前Packetbeat中可添加的字段有 限，繪制可視化圖標展示也較粗糙，沒有延 遲、重傳、地圖、鏈接分析等相關(guān)統(tǒng)計提綱? ELK基礎(chǔ)知識 ? Packetbeat知識介紹 ? Watcher知識介紹? 業(yè)內(nèi)大數(shù)據(jù)分析系統(tǒng)調(diào)研Watcher介紹Watcher是Elasticsearch的一個插件，提供警報和通知，并可定義基于數(shù)據(jù)的 變化簡單地定義一個條件，觸發(fā)指定條件后Watcher會執(zhí)行相關(guān)的警報和通 知。幾大功能特點： 1.根據(jù)ES數(shù)

17、據(jù)的變化自動觸發(fā)通知 如異常登錄失敗、應用程序響應時間高于平均值，或者發(fā)生意外錯誤時發(fā)送通知。 2.主動監(jiān)控Elasticsearch集群 對接Watcher與Marvel服務?？梢员O(jiān)控集群狀態(tài)，如節(jié)點加入或離開集群，查詢高峰， 內(nèi)存使用率太高時候可以發(fā)送通知。 3.自定義通知 可以輕松設(shè)置電子郵件通知，也可以既集成到第三方的監(jiān)控服務，如通過Watcher發(fā) 送警報給Nagios，PagerDuty等 4.分析歷史記錄 可以在Kibana服務中查詢Watcher的歷史觸發(fā)記錄,支持嵌套或者多級的通知 5.高可用支持 Watcher作為ElasticSearch集群的一部分運行，能夠很好的應對部

18、分硬件和網(wǎng)絡(luò)故障。Watcher案例介紹監(jiān)控錯誤數(shù)據(jù)案例，每10秒搜索一次數(shù)據(jù)，發(fā)現(xiàn)錯誤后，記錄一 條錯誤記錄。配置流程： 1.設(shè)置定時器和輸入源(錯誤數(shù)據(jù)的查詢條件) 2.設(shè)置觸發(fā)條件（是否查詢到了錯誤數(shù)據(jù)） 3.設(shè)置觸發(fā)動作(發(fā)現(xiàn)錯誤后執(zhí)行Action)Watcher案例介紹監(jiān)控ElasticSearch集群狀態(tài)：每10秒檢測一次集群狀態(tài)，如果集群狀態(tài)錯 誤，則發(fā)送郵件給運維Watcher在kibana上的監(jiān)控當一個Watcher被觸發(fā)后，watch_record文件被創(chuàng)建且添加到watcher歷史索引中，名 稱形式為watch_history-YYYY.MM.dd，可以像其他Elasti

19、csearch索引一樣，搜索 watcher歷史，在Kibana中監(jiān)控和可視化watch的執(zhí)行情況。 在Kibana中配置監(jiān)控watches：Watcher在kibana上的監(jiān)控通過kibana監(jiān)控Watcher的歷史數(shù)據(jù)提綱? ELK基礎(chǔ)知識 ? Packetbeat知識介紹 ? Watcher知識介紹? 業(yè)內(nèi)大數(shù)據(jù)分析系統(tǒng)調(diào)研業(yè)內(nèi)大數(shù)據(jù)分析系統(tǒng)調(diào)研開源數(shù)據(jù)分析系統(tǒng)（Moloch、haka、bro、 beats）云利來iMAPRiverbed SteelCentral AppResponseIP、HTTP、TCP、UDP、 DHCP、ICMP等BigSwitch自帶分 析系統(tǒng)DHCP、DNS

20、、ICMP協(xié) 議字 段 解 析IP、HTTP、DNS、IP Address、 TCP、UDP、HTTP、DNS Hostname、SSH、IRC、 SSL/TLS、DHCP、ICMP、 MySQL、PostgreSQL、Redis、 Thrift-RPC、MongoDB、 Memcache byte、byte_in、byte_out、 client_ip、client_port、 client_proc、connection_id、 source.ip，dest.ip，dest.ipv6， direction，type（thrift、http、 mysql、pgsql、mongodb、 red

21、is、dns、flow）， transport，responsetime， port，source.port，dest.port， ip，， dns.response_code，dns.id， icmp_id，method，status， _bytes_total 支持告警，但需后臺腳本或api 執(zhí)行創(chuàng)建 bit、in_bit、out_bit、 retransmit、 server_latency、 client_latency、protocol、 protocol_dport、byte、 packet、sip、dip、 p_oo_oder、out_packe

22、t、 in_packet、syn_receive、 province、city、dport、 t_gt400、t_flow、status、 domain、url、t_fail、 retname、address、 TCP延遲告警，TCP重傳告 警，HTTP延遲告警， HTTP狀態(tài)告警、DDoSamqp-tcp、gre、webmhttps-tcp、ssdp-udp、 mpc-lifenet-udp、MSWBT-SRV-TCP、 NETBIOS-NS-UDP、 mysql-tcp、limnr-udp、 vrrp、netbios-dgm-udp （應用），payload （server、client）

23、、 packet throughput、 response time、packet loss、connect failed 提供告警且?guī)椭焖俣ㄎ痪W(wǎng) 絡(luò)性能問題的關(guān)鍵dhcprequest、dhcppack、 chaddr、ciaddr、cname、 yiaddr、dhcpoptions、 leasetime、hops、xid、 dnsmessge、clientip、 serverName、qnamelist、 eventtype、alias、 policyname、sHost、 dHost、ipAddr、 macAddr告 警業(yè)內(nèi)大數(shù)據(jù)分析系統(tǒng)調(diào)研開源數(shù)據(jù)分析系統(tǒng)（Moloch、haka、b

24、ro、 beats）云利來iMAPRiverbed SteelCentral AppResponse外部IP、內(nèi)部IP、吞吐量、 連接請求數(shù)（客戶端、服務 器）、服務響應時間、往返 時間、應用組、IP協(xié)議、成 員IP、IP會話、子網(wǎng)、業(yè)務 組、互聯(lián)網(wǎng)服務提供商自治 域、目的自治域、VLAN、 監(jiān)控接口組、語音視頻利用、 頁面利用率、頁面性能、網(wǎng) 絡(luò)性能（丟包、包重傳率、 往返時間、重傳時延、重傳 率、）、WEB應用（頁面 數(shù)量、頁面大小、頁面時間 等）、每個應用流量所對應 的IP、RTCC響應時間區(qū)分 表內(nèi)包含的一些參數(shù)展示， 能分析出是網(wǎng)絡(luò)問題是服務 器端還是客戶端的問題BigSwitch自帶分 析系統(tǒng)sFlow（源端口和目的端口 采集的