海量日志實(shí)時(shí)搜索

1、海量日志實(shí)時(shí)搜索分析 提綱 ? 日志的應(yīng)用場(chǎng)景 ? 過去的做法 ? 現(xiàn)在的做法 ? 日志搜索引擎 ? 日志易產(chǎn)品架構(gòu) 日志：時(shí)間序列機(jī)器數(shù)據(jù) ? 帶時(shí)間戳的機(jī)器數(shù)據(jù) ? IT 系統(tǒng)信息 ? 服務(wù)器 ? 網(wǎng)絡(luò)設(shè)備 ? 操作系統(tǒng) ? 應(yīng)用軟件 ? 用戶信息 ? 用戶行為 ? 物聯(lián)網(wǎng)各種傳感器信息 ? 日志反映的是事實(shí)數(shù)據(jù) ? 深度解析LinkedIn大數(shù)據(jù)平臺(tái)（http:/ 一條 Apache Access 日志 ? 43 - - 15/Apr/2015:00:27:19 +0800 “POST /report HTTP/1.1” 200 21 “https:/ “Moz

2、illa/5.0 (Windows NT 6.1; WOW64; rv:37.0) Gecko/20100101 Firefox/37.0” “74” 0.005 0.001 ? 字段： -? Client IP: 43 -? Timestamp: 15/Apr/2015:00:27:19 +0800 -? Method: POST -? URI: /report -? Version: HTTP/1.1 -? Status: 200 -? Bytes: 21 -? Referrer: https:/ -? User Agent: Mozilla/

3、5.0 (Windows NT 6.1; WOW64; rv:37.0) Gecko/20100101 Firefox/37.0 -? X-Forward: 74 -? Request_time: 0.005 -? Upstream_request_time:0.001 應(yīng)用場(chǎng)景 ?運(yùn)維監(jiān)控 ? Application Performance Monitoring (APM) ? IT Operation Analytics (ITOA) ? 安全審計(jì) ? Security Information Event Management (SIEM) ? 合規(guī)審計(jì) ? 發(fā)現(xiàn) AP

4、T (Advanced Persistent Threat) ? 用戶數(shù)據(jù)統(tǒng)計(jì)分析 ? 物聯(lián)網(wǎng) ? Nest Lab 采集的智能恒溫器數(shù)據(jù)使用 Splunk 來分析 過去的做法 ? 日志沒有集中處理 ? 登陸每一臺(tái)服務(wù)器，使用腳本命令或程序查看 ? 日志被刪除 ? 磁盤滿了刪日志 ? 黑客刪除日志，抹除入侵痕跡 ? 日志只做事后追查 ? 沒有實(shí)時(shí)監(jiān)控、分析 ? 使用數(shù)據(jù)庫存儲(chǔ)日志 ? 無法適應(yīng)TB級(jí)海量日志 ? 數(shù)據(jù)庫的schema無法適應(yīng)千變?nèi)f化的日志格式 ? 無法提供全文檢索 ? Complex Event Processing (CEP) ? 難以處理大數(shù)據(jù)量 現(xiàn)在的做法 ? Hadoo

5、p ? 批處理，不夠及時(shí) ? 查詢慢 ? 可作基于日志的用戶數(shù)據(jù)離線挖掘，無法做 OLAP (On Line Analytic Processing) ? Storm ? 歷史久，停止開發(fā) ? 任務(wù)調(diào)度差 ? Spark ? 生態(tài)圈完整 ? DataBricks 專門支持 ? Storm vs. Spark Streaming ? Storm 是真正的流式處理，Spark Streaming 是 mini-batch ? Exactly Once vs. At Least Once ? 延時(shí)與吞吐率的取舍 ? Hadoop/Storm/Spark都只是一個(gè)開發(fā)框架，不是拿來即用的產(chǎn)品 對(duì)日志實(shí)

6、時(shí)搜索、分析 ?日志實(shí)時(shí)搜索引擎 ?快：日志從產(chǎn)生到搜索分析出結(jié)果只有幾秒的延時(shí) ?大：每天處理 TB 級(jí)的日志量 ?靈活： Google for IT， 可搜索、分析任何日志 ?Splunk ?ELK (Elasticsearch/Logstash/Kibana) 日志3.0： 實(shí)時(shí)搜索引擎 日志2.0： Hadoop 或 NoSQL ?需要開發(fā)成本 ?批處理，實(shí)時(shí)性差 ?不支持全文檢索 日志1.0： 數(shù)據(jù)庫 ?固定的schema無法適應(yīng) 任意日志格式 ?無法處理大數(shù)據(jù)量 日志管理系統(tǒng)的進(jìn)化 Splunk ?用準(zhǔn)實(shí)時(shí)搜索的方法來分析日志 功能非常豐富 ?Search Processing L

7、anguage ? 類似 Linux 命令，支持管道，子查詢等功能 ?Gartner report (2014/7/18) ?Splunk在日志檢索時(shí)抽取日志的關(guān)鍵字段，檢索速度慢 ?Splunk按每天處理的日志量收費(fèi)，價(jià)格較貴 Splunk 與 棱鏡門 ELK ?三個(gè)獨(dú)立的開源套件 ?一些著名互聯(lián)網(wǎng)公司對(duì) ELK 做二次開發(fā)，使用過百臺(tái)的 ELK 集群分析日志 ?存在問題 ?運(yùn)維管理不方便，三個(gè)獨(dú)立系統(tǒng)，沒有統(tǒng)一部署、管理工具 ?統(tǒng)計(jì)、分析功能有限 ?告警功能、權(quán)限管理功能、自監(jiān)控功能收費(fèi) 日志易 ?日志搜索分析平臺(tái) ? ?企業(yè)部署版 ?SaaS 版 ?每天500MB日志處理免費(fèi) 日志易架構(gòu) 日志易功能 ?搜索 ?告警 ?統(tǒng)計(jì) ? 事務(wù)關(guān)聯(lián) ?配置解析規(guī)則，識(shí)別任何日志 ?安全攻擊自動(dòng)識(shí)別 ?開放API，對(duì)接第三方系統(tǒng) ?高性能、可擴(kuò)展分布式架構(gòu) ? 10萬 EPS (Event Per Second), 每天TB級(jí)日志 日志易 vs. Splunk ?Splunk ? 日志進(jìn)入系統(tǒng)時(shí)不抽取關(guān)鍵字段，直接做索引，在檢索時(shí)抽取關(guān)鍵字段 ? 靈活、索引文件小，但檢索延時(shí)大 ?日志易 ? 日志進(jìn)入系統(tǒng)時(shí)就抽取關(guān)鍵字