大數(shù)據(jù)應(yīng)用系統(tǒng)監(jiān)控與日志分析

大數(shù)據(jù)運(yùn)用-系統(tǒng)監(jiān)控與日志分析1/7/2024目錄網(wǎng)易有道簡介在線效力監(jiān)控離線日志分析1/7/2024有道的發(fā)起者是一群執(zhí)著于搜索技術(shù)的年輕人，我們發(fā)現(xiàn)中文網(wǎng)絡(luò)中的搜索還遠(yuǎn)未到達(dá)理想，所以希望經(jīng)過我們?nèi)缃窈臀磥淼呐?，把想象中的效力一點(diǎn)點(diǎn)變成現(xiàn)實，分享給大家運(yùn)用，讓他更快一秒找到想要的好東西。關(guān)于有道1/7/2024有道產(chǎn)品搜索類1/7/2024有道產(chǎn)品翻譯類其他產(chǎn)品1/7/2024在線監(jiān)控與離線分析1/7/2024設(shè)計原那么不影響正常效力水表不能把水堵了通用性假設(shè)不夠通用…1/7/20241/7/2024目錄有道產(chǎn)品簡介在線效力監(jiān)控離線日志分析1/7/2024在線效力監(jiān)控訪問控制系統(tǒng)性能監(jiān)控系統(tǒng)異常報警系統(tǒng)1/7/2024訪問控制系統(tǒng)主要目的：防止非用戶抓取沖擊系統(tǒng)效力影響訪問統(tǒng)計非法運(yùn)用數(shù)據(jù)挑戰(zhàn)靈敏的控制規(guī)那么減小對產(chǎn)品效力的影響1/7/2024訪問控制規(guī)那么過濾規(guī)那么Key:Header字段，parameterKey:正那么表達(dá)式例子：Ip=123\.45\..*,agent=“firefox.*〞頻度控制統(tǒng)計時間〔span〕次數(shù)的閾值〔threshold〕例子：span:3600000threshold:10001/7/2024訪問控制系統(tǒng)總體構(gòu)造旁路統(tǒng)計規(guī)那么封禁訪問控制效力器維護(hù)規(guī)那么庫按規(guī)那么進(jìn)展統(tǒng)計為產(chǎn)品生成封禁列表產(chǎn)品效力端轉(zhuǎn)發(fā)懇求同步封禁列表實施訪問控制1/7/2024訪問控制系統(tǒng)1/7/2024性能監(jiān)控系統(tǒng)功能：實時統(tǒng)計效力中的性能參數(shù)如處置時間、吞吐率等特點(diǎn)通用性集中的數(shù)據(jù)分析與存儲直觀的展現(xiàn)方式1/7/2024性能監(jiān)控的需求通用性各種產(chǎn)品不同的需求自定的統(tǒng)計量不同的編程言語性能要求減小對產(chǎn)品效力的影響大數(shù)據(jù)量的分析與存儲1/7/2024監(jiān)控系統(tǒng)的設(shè)計松耦合經(jīng)過日志文件交換數(shù)據(jù)文本格式自定義統(tǒng)計量<產(chǎn)品名,變量名,取值>的三元組大數(shù)據(jù)量多分辨率緊縮存儲1/7/2024監(jiān)控系統(tǒng)構(gòu)造圖1/7/20241/7/20241/7/2024異常報警系統(tǒng)功能自動篩查日志中的Exception發(fā)現(xiàn)問題自動發(fā)信報警優(yōu)點(diǎn)通用性強(qiáng)運(yùn)用簡單1/7/2024目錄有道產(chǎn)品簡介在線效力監(jiān)控離線日志分析1/7/2024離線日志統(tǒng)計主要的目的用戶運(yùn)用習(xí)慣用戶對產(chǎn)品的好感度系統(tǒng)運(yùn)轉(zhuǎn)形狀市場推行情況1/7/2024日志搜集集中的日志效力器產(chǎn)品的效力器是分布式的，需求一致分析一切產(chǎn)品公用，降低運(yùn)營復(fù)雜度大數(shù)據(jù)量存儲效力器建立本地緩存最終保管在分布式文件系統(tǒng)中緊縮存儲防止日志喪失支持備份效力器分布式文件系統(tǒng)保證可靠性1/7/2024日志搜集系統(tǒng)1/7/2024日志分析主要的挑戰(zhàn)超大數(shù)據(jù)量運(yùn)算時間的要求組合統(tǒng)計處理方法分布式計算1/7/2024分布式分析程序1/7/2024常規(guī)統(tǒng)計訪問量時間地域用戶新用戶：推行與傳播的效果老用戶：真正運(yùn)用這個產(chǎn)品功能切換頁面切換產(chǎn)品切換1/7/2024一些有意思的統(tǒng)計規(guī)律周末與非周末什么時候流量更大？1/7/2024周末與非周末工具〔網(wǎng)頁搜索、海量詞典〕vs文娛〔視頻搜索、音樂搜索〕平常需求工具，周末需求文娛1/7/2024一些有意思的統(tǒng)計規(guī)律不同的時段訪問有區(qū)別嗎？搜索和吃飯的關(guān)系？1/7/2024工具vs文娛白天需求工具，晚上需求放松1/7/2024公網(wǎng)vs教育網(wǎng)白領(lǐng)和中小學(xué)生要早睡，大學(xué)生都是夜貓子1/7/2024更多的分析<有道閱讀的12個有趣的發(fā)現(xiàn)>訂閱博客范圍，新老各有地盤職業(yè)和閱讀習(xí)慣閱讀真的變成快餐了明星博客