新浪微博穩(wěn)定性經(jīng)驗談

新浪微博穩(wěn)定性經(jīng)驗談洪小軍

@XiaoJunHong邀請嘉賓：唐福林@唐福林新浪微博@微博平臺架構(gòu)新浪微博穩(wěn)定性經(jīng)驗談什么是穩(wěn)定的系統(tǒng)？少出問題快速解決清楚系統(tǒng)健康狀況趨勢新浪微博穩(wěn)定性經(jīng)驗談影響穩(wěn)定性的因素依賴的資源、服務異常網(wǎng)絡、硬件故障流量突增代碼bug各種“坑”…….新浪微博穩(wěn)定性經(jīng)驗談存在不可避免的影響穩(wěn)定性的因素，但是又需要保證系統(tǒng)的穩(wěn)定性，怎么做到？新浪微博穩(wěn)定性經(jīng)驗談構(gòu)建穩(wěn)定的系統(tǒng)？少出問題：DesignForFailure快速解決清楚系統(tǒng)健康狀況趨勢新浪微博穩(wěn)定性經(jīng)驗談DesignForFailure分層隔離（分離核心和非核心接口、服務化等）SLA保證（資源、服務等各層面保證）保證代碼質(zhì)量（最佳設(shè)計模式、測試、CodeReview）容災設(shè)計（多IDC、多點部署）容量規(guī)劃（保持一定富余）完善的監(jiān)控報警機制（異常監(jiān)測及其流量增長預警等）灰度發(fā)布……新浪微博穩(wěn)定性經(jīng)驗談分層隔離–分層模型waDNS七層（Nginx、Varnish…）應用層（Tomcat、Jetty…）服務層中間件資源層（Cache、Storage…）新浪微博穩(wěn)定性經(jīng)驗談分層隔離–隔離目標和原則保證異常出現(xiàn)時影響范圍可控按主要接入方隔離按業(yè)務隔離按功能核心程度隔離新浪微博穩(wěn)定性經(jīng)驗談分層隔離–隔離方式物理隔離|邏輯隔離讀寫隔離DNS七層應用層服務層|中間件資源層隔離成本低中中中高新浪微博穩(wěn)定性經(jīng)驗談SLA保證服務提供方：服務對外的SLA承諾服務消費方：對依賴資源或服務的SLA要求新浪微博穩(wěn)定性經(jīng)驗談SLA保證–超時控制依賴的資源或服務超時控制異步調(diào)用超時控制新浪微博穩(wěn)定性經(jīng)驗談SLA保證–謹慎重試異常場景下重試可能導致系統(tǒng)持續(xù)惡化對于寫入場景存在數(shù)據(jù)重入風險新浪微博穩(wěn)定性經(jīng)驗談SLA保證–容量規(guī)劃每季度至少一次例行性評估重大活動前容量評估監(jiān)控系統(tǒng)黃色預警日常30%以上冗余資源或系統(tǒng)架構(gòu)調(diào)整時需要重點關(guān)注新浪微博穩(wěn)定性經(jīng)驗談SLA保證–

Failover策略服務降級：保核心功能快速失?。罕ＷC不卡死流量限制：保正常請求新浪微博穩(wěn)定性經(jīng)驗談SLA保證超時控制謹慎重試容量規(guī)劃Failover策略新浪微博穩(wěn)定性經(jīng)驗談不能保證系統(tǒng)方方面面都能自動Failover，但是又需要保證系統(tǒng)的穩(wěn)定性，怎么做到？新浪微博穩(wěn)定性經(jīng)驗談構(gòu)建穩(wěn)定的系統(tǒng)？少出問題：DesignForFailure快速解決：容災預案清楚系統(tǒng)健康狀況趨勢新浪微博穩(wěn)定性經(jīng)驗談容災預案IDC容災（切換到其它IDC）限流（拒絕超出或異常的請求）降級（降級有問題資源、保核心功能）緊急快速擴容……新浪微博穩(wěn)定性經(jīng)驗談所做這些都是有效的嗎？是否有遺漏？在測試環(huán)境下已經(jīng)做了充分測試！線上呢？等待異常出現(xiàn)時來驗證系統(tǒng)是否經(jīng)得起考驗？OR新浪微博穩(wěn)定性經(jīng)驗談在線容災演練–Touchstone系統(tǒng)確認碰撞時安全氣囊是否開啟（DesignForFailure）事后有應對措施（容災預案）保證影響在預期可控的范圍之內(nèi)！新浪微博穩(wěn)定性經(jīng)驗談構(gòu)建穩(wěn)定的系統(tǒng)？少出問題：DesignForFailure快速解決：容災預案清楚系統(tǒng)健康狀況趨勢：在線容災演練新浪微博穩(wěn)定性經(jīng)驗談Touchstone系統(tǒng)介紹引流線上真實流量異常場景搭建和模擬容災預案預演驗證系統(tǒng)運行穩(wěn)定性狀況ResourceServerClient新浪微博穩(wěn)定性經(jīng)驗談引流線上真實流量通過tcpcopy引流線上真實流量到演練服務器圖片來源：tcpcopy官方文檔新浪微博穩(wěn)定性經(jīng)驗談異常場景搭建和模擬資源提供方搭建真實異常場景使用linuxtc模擬依賴資源和服務異常場景接口字節(jié)碼形式注入sleep代碼模擬接口慢的場景ResourceServerClient123新浪微博穩(wěn)定性經(jīng)驗談容災預案預演模擬異常的場景運維人員做相應預案操作驗證系統(tǒng)運行穩(wěn)定性狀況新浪微博穩(wěn)定性經(jīng)驗談怎么判斷系統(tǒng)是穩(wěn)定的？接口層面分析返回碼中4xx、5xx等比例響應時間是否在正常范圍內(nèi)是否滿足SLA要求返回包大?。ㄝo助手段）日志分析（輔助手段）……最終用戶層面前端頁面展示新浪微博穩(wěn)定性經(jīng)驗談Touchstone系統(tǒng)–實時數(shù)據(jù)展示新浪微博穩(wěn)定性經(jīng)驗談Touchstone系統(tǒng)–報表輸出新浪微博穩(wěn)定性經(jīng)驗談通過輸出的異常數(shù)據(jù)，怎么分析系統(tǒng)問題點？新浪微博穩(wěn)定性經(jīng)驗談異常影響程度疊加放大描述：某組資源延遲400ms，但是接口整體持續(xù)延遲2s串行化操作？新浪微博穩(wěn)定性經(jīng)驗談功能相關(guān)的接口同時受到影響描述：某資源異常，依賴此資源的功能都受較大影響依賴性的影響！思考：分層隔離中被隔離開的功能是否受到影響？是否存在非核心資源影響核心功能的情況？期望的SLA保證是否都生效？新浪微博穩(wěn)定性經(jīng)驗談大范圍大量接口受到影響描述：某資源異常時，tomcat中大量接口出現(xiàn)503系統(tǒng)過載？容器保護策略失效？新浪微博穩(wěn)定性經(jīng)驗談某個接口的所有請求都受到影響描述：某個存儲節(jié)點異常，依賴此存儲的接口全部受到影響資源單點部署？只有一套slave？新浪微博穩(wěn)定性經(jīng)驗談穩(wěn)定性演練系統(tǒng)輸出系統(tǒng)穩(wěn)定性狀況系統(tǒng)優(yōu)化改進建議切實有效的處理預案新浪微博穩(wěn)定性經(jīng)驗談保證系統(tǒng)一直處于穩(wěn)定狀態(tài)新系