大數(shù)據(jù)應(yīng)用-系統(tǒng)監(jiān)控與日志分析

1、大數(shù)據(jù)應(yīng)用大數(shù)據(jù)應(yīng)用-系統(tǒng)監(jiān)控與日志分系統(tǒng)監(jiān)控與日志分析析5/3/2022目錄 網(wǎng)易有道簡(jiǎn)介 在線服務(wù)監(jiān)控 離線日志分析5/3/2022有道的發(fā)起者是一群執(zhí)著于搜索技術(shù)的年輕人，我們發(fā)現(xiàn)中文網(wǎng)絡(luò)中的搜索還遠(yuǎn)未達(dá)到理想，所以希望通過(guò)我們現(xiàn)在和將來(lái)的努力，把設(shè)想中的服務(wù)一點(diǎn)點(diǎn)變成現(xiàn)實(shí)，分享給大家使用，讓你更快一秒更快一秒找到想要的好東西。 關(guān)于有道5/3/2022有道產(chǎn)品 搜索類(lèi)5/3/2022有道產(chǎn)品 翻譯類(lèi) 其他產(chǎn)品5/3/2022在線監(jiān)控與離線分析5/3/2022設(shè)計(jì)原則 不影響正常服務(wù) 水表不能把水堵了 通用性 如果不夠通用5/3/20225/3/2022目錄 有道產(chǎn)品簡(jiǎn)介 在線服務(wù)監(jiān)控

2、離線日志分析5/3/2022在線服務(wù)監(jiān)控 訪問(wèn)控制系統(tǒng) 性能監(jiān)控系統(tǒng) 異常報(bào)警系統(tǒng)5/3/2022訪問(wèn)控制系統(tǒng) 主要目的：防止非用戶抓取 沖擊系統(tǒng)服務(wù) 影響訪問(wèn)統(tǒng)計(jì) 非法使用數(shù)據(jù) 挑戰(zhàn) 靈活的控制規(guī)則 減小對(duì)產(chǎn)品服務(wù)的影響5/3/2022訪問(wèn)控制規(guī)則 過(guò)濾規(guī)則 Key: Header字段，parameter Key: 正則表達(dá)式 例子： Ip=123.45.*, agent=“firefox.*” 頻度控制 統(tǒng)計(jì)時(shí)間（span） 次數(shù)的閾值（threshold） 例子： span:3600000 threshold:10005/3/2022訪問(wèn)控制系統(tǒng) 總體結(jié)構(gòu) 旁路統(tǒng)計(jì) 規(guī)則封禁 訪問(wèn)控制服

3、務(wù)器 維護(hù)規(guī)則庫(kù) 按規(guī)則進(jìn)行統(tǒng)計(jì) 為產(chǎn)品生成封禁列表 產(chǎn)品服務(wù)端 轉(zhuǎn)發(fā)請(qǐng)求 同步封禁列表 實(shí)施訪問(wèn)控制5/3/2022訪問(wèn)控制系統(tǒng)5/3/2022性能監(jiān)控系統(tǒng) 功能：實(shí)時(shí)統(tǒng)計(jì)服務(wù)中的性能參數(shù) 如處理時(shí)間、吞吐率等 特點(diǎn) 通用性 集中的數(shù)據(jù)分析與存儲(chǔ) 直觀的展現(xiàn)方式5/3/2022性能監(jiān)控的需求 通用性 各種產(chǎn)品不同的需求 自定的統(tǒng)計(jì)量 不同的編程語(yǔ)言 性能要求 減小對(duì)產(chǎn)品服務(wù)的影響 大數(shù)據(jù)量的分析與存儲(chǔ)5/3/2022監(jiān)控系統(tǒng)的設(shè)計(jì) 松耦合 通過(guò)日志文件交換數(shù)據(jù) 文本格式 自定義統(tǒng)計(jì)量 的三元組 大數(shù)據(jù)量 多分辨率壓縮存儲(chǔ)5/3/2022監(jiān)控系統(tǒng)結(jié)構(gòu)圖5/3/20225/3/20225/3/2

4、022異常報(bào)警系統(tǒng) 功能 自動(dòng)篩查日志中的Exception 發(fā)現(xiàn)問(wèn)題自動(dòng)發(fā)信報(bào)警 優(yōu)點(diǎn) 通用性強(qiáng) 使用簡(jiǎn)單5/3/2022目錄 有道產(chǎn)品簡(jiǎn)介 在線服務(wù)監(jiān)控 離線日志分析5/3/2022離線日志統(tǒng)計(jì) 主要的目的 用戶使用習(xí)慣 用戶對(duì)產(chǎn)品的好感度 系統(tǒng)運(yùn)行狀態(tài) 市場(chǎng)推廣情況5/3/2022日志收集 集中的日志服務(wù)器 產(chǎn)品的服務(wù)器是分布式的，需要統(tǒng)一分析 所有產(chǎn)品公用，降低運(yùn)營(yíng)復(fù)雜度 大數(shù)據(jù)量存儲(chǔ) 服務(wù)器建立本地緩存 最終保存在分布式文件系統(tǒng)中 壓縮存儲(chǔ) 防止日志丟失 支持備份服務(wù)器 分布式文件系統(tǒng)保證可靠性5/3/2022日志收集系統(tǒng)5/3/2022日志分析 主要的挑戰(zhàn) 超大數(shù)據(jù)量 運(yùn)算時(shí)間的要

5、求 組合統(tǒng)計(jì) 解決方法 分布式計(jì)算5/3/2022分布式分析程序5/3/2022常規(guī)統(tǒng)計(jì) 訪問(wèn)量 時(shí)間 地域 用戶 新用戶：推廣與傳播的效果 老用戶：真正使用這個(gè)產(chǎn)品 功能切換 頁(yè)面切換 產(chǎn)品切換5/3/2022一些有意思的統(tǒng)計(jì)規(guī)律 周末與非周末 什么時(shí)候流量更大？5/3/2022周末與非周末工具（網(wǎng)頁(yè)搜索、海量詞典）vs 娛樂(lè)（視頻搜索、音樂(lè)搜索）平時(shí)需要工具，周末需要娛樂(lè)平時(shí)需要工具，周末需要娛樂(lè)5/3/2022一些有意思的統(tǒng)計(jì)規(guī)律 不同的時(shí)段訪問(wèn)有區(qū)別嗎？ 搜索和吃飯的關(guān)系？5/3/2022工具 vs 娛樂(lè)白天需要工具，晚上需要放松白天需要工具，晚上需要放松5/3/2022公網(wǎng) vs 教育網(wǎng)白領(lǐng)和中小學(xué)生要早睡，大學(xué)生都是夜貓子白領(lǐng)和中小學(xué)生要早睡，大學(xué)生都是夜貓子5/3/2022更多的分析 有道閱讀的12個(gè)有趣的發(fā)現(xiàn) 訂閱博客范圍，新老各有地盤(pán) 職業(yè)和閱讀習(xí)慣 閱讀真的變成快餐了 明