大數(shù)據(jù)應用系統(tǒng)監(jiān)控與日志

大數(shù)據(jù)應用-系統(tǒng)監(jiān)控與日志分析1/13/2023目錄網易有道簡介在線服務監(jiān)控離線日志分析1/13/2023有道的發(fā)起者是一群執(zhí)著于搜索技術的年輕人，我們發(fā)現(xiàn)中文網絡中的搜索還遠未達到理想，所以希望通過我們現(xiàn)在和將來的努力，把設想中的服務一點點變成現(xiàn)實，分享給大家使用，讓你更快一秒找到想要的好東西。關于有道1/13/2023有道產品搜索類1/13/2023有道產品翻譯類其他產品1/13/2023在線監(jiān)控與離線分析1/13/2023設計原則不影響正常服務水表不能把水堵了通用性如果不夠通用…1/13/20231/13/2023目錄有道產品簡介在線服務監(jiān)控離線日志分析1/13/2023在線服務監(jiān)控訪問控制系統(tǒng)性能監(jiān)控系統(tǒng)異常報警系統(tǒng)12/31/2022訪問控制制系統(tǒng)主要目的的：防止止非用戶戶抓取沖擊系統(tǒng)統(tǒng)服務影響訪問問統(tǒng)計非法使用用數(shù)據(jù)挑戰(zhàn)靈活的控控制規(guī)則則減小對產產品服務務的影響響12/31/2022訪問控制規(guī)則則過濾規(guī)則Key:Header字段，parameterKey:正則表達式例子：Ip=123\.45\..*,agent=“firefox.*”頻度控制統(tǒng)計時間（span）次數(shù)的閾值（（threshold）例子：span:3600000threshold:100012/31/2022訪問控制系系統(tǒng)總體結構旁路統(tǒng)計規(guī)則封禁訪問控制服服務器維護規(guī)則庫庫按規(guī)則進行行統(tǒng)計為產品生成成封禁列表表產品服務端端轉發(fā)請求同步封禁列列表實施訪問控控制12/31/2022訪問控制系系統(tǒng)12/31/2022性能監(jiān)控系系統(tǒng)功能：實時時統(tǒng)計服務務中的性能能參數(shù)如處理時間間、吞吐率率等特點通用性集中的數(shù)據(jù)據(jù)分析與存存儲直觀的展現(xiàn)現(xiàn)方式12/31/2022性能監(jiān)控的的需求通用性各種產品不不同的需求求自定的統(tǒng)計計量不同的編程程語言性能要求減小對產品品服務的影影響大數(shù)據(jù)量的的分析與存存儲12/31/2022監(jiān)控系統(tǒng)的的設計松耦合通過日志文文件交換數(shù)數(shù)據(jù)文本格式自定義統(tǒng)計計量<產品名,變量名,取值>的三元組大數(shù)據(jù)量多分辨率壓壓縮存儲12/31/2022監(jiān)控控系系統(tǒng)統(tǒng)結結構構圖圖12/31/202212/31/202212/31/2022異常常報報警警系系統(tǒng)統(tǒng)功能能自動動篩篩查查日日志志中中的的Exception發(fā)現(xiàn)現(xiàn)問問題題自自動動發(fā)發(fā)信信報報警警優(yōu)點點通用用性性強強使用用簡簡單單12/31/2022目錄錄有道道產產品品簡簡介介在線線服服務務監(jiān)監(jiān)控控離線線日日志志分分析析12/31/2022離線日志統(tǒng)計計主要的目的用戶使用習慣慣用戶對產品的的好感度系統(tǒng)運行狀態(tài)態(tài)市場推廣情況況12/31/2022日志收集集中的日志服服務器產品的服務器器是分布式的的，需要統(tǒng)一一分析所有產品公用用，降低運營營復雜度大數(shù)據(jù)量存儲儲服務器建立本本地緩存最終保存在分分布式文件系系統(tǒng)中壓縮存儲防止日志丟失失支持備份服務務器分布式文件系系統(tǒng)保證可靠靠性12/31/2022日志收集系統(tǒng)統(tǒng)12/31/2022日志分析主要的挑戰(zhàn)超大數(shù)據(jù)量運算時間的要要求組合統(tǒng)計解決方法分布式計算12/31/2022分布式分析程程序12/31/2022常規(guī)統(tǒng)統(tǒng)計訪問量量時間地域用戶新用戶戶：推推廣與與傳播播的效效果老用戶戶：真真正使使用這這個產產品功能切切換頁面切切換產品切切換12/31/2022一些有有意思思的統(tǒng)統(tǒng)計規(guī)規(guī)律周末與與非周周末什么時時候流流量更更大？？12/31/2022周末與與非周周末工具（（網頁頁搜索索、海海量詞詞典））vs娛樂（（視頻頻搜索索、音音樂搜搜索））平時需需要工工具，，周末末需要要娛樂樂12/31/2022一些有有意思思的統(tǒng)統(tǒng)計規(guī)規(guī)律不同的的時段段訪問問有區(qū)區(qū)別嗎嗎？搜索和和吃飯飯的關關系？？12/31/2022工具vs娛樂白天需需要工工具，，晚上上需要要放松松12/31/2022公網vs教育網網白領和和中小小學生生要早早睡，，大學學生都都是夜夜貓子子12/31/2022更多的分析析《有道閱讀的的12個有趣的發(fā)發(fā)現(xiàn)》訂閱博客范范圍，新老老各有地盤盤職業(yè)和閱讀讀習慣閱讀真的變變成快餐了了明星博客，，各領風騷騷三兩天大