曹振團(tuán)美團(tuán)外賣系統(tǒng)架構(gòu)演進(jìn)與穩(wěn)定性經(jīng)驗(yàn)談原版

1、美團(tuán)外賣系統(tǒng)架構(gòu)演進(jìn)與系統(tǒng)性經(jīng)驗(yàn)談目錄個人簡介美團(tuán)外賣業(yè)務(wù)發(fā)展歷程技術(shù)體系架構(gòu)演進(jìn)外賣業(yè)務(wù)性的系統(tǒng)性的處理原則個人簡介北緯通信新美大移動增值服務(wù)創(chuàng)新業(yè)務(wù)探索美團(tuán)外賣架構(gòu)組2006.72011.22011.32013.52013.5網(wǎng)易網(wǎng)易庫網(wǎng)易應(yīng)用網(wǎng)易目錄個人簡介美團(tuán)外賣業(yè)務(wù)發(fā)展歷程技術(shù)體系架構(gòu)演進(jìn)外賣業(yè)務(wù)性的系統(tǒng)性的處理原則美團(tuán)外賣業(yè)務(wù)發(fā)展歷程擴(kuò)展中擴(kuò)展中美團(tuán)外賣業(yè)務(wù)發(fā)展歷程供給側(cè)1000w日額過億新LOGO400w美團(tuán)專送全國啟動300w在線支付APP占90%200wWEB上線業(yè)務(wù)MVP?2013/112014/112015/052015/122016/05目錄個人簡介美團(tuán)外賣業(yè)務(wù)發(fā)展歷程

2、技術(shù)體系架構(gòu)演進(jìn)外賣業(yè)務(wù)性的系統(tǒng)性的處理原則技術(shù)體系架構(gòu)演進(jìn)業(yè)務(wù)起步：MVP階段üüü驗(yàn)證需求尋找和需求的切合點(diǎn)點(diǎn)餐->網(wǎng)絡(luò)點(diǎn)餐技術(shù)架構(gòu)：1.0dbwaimaiüüü快速開發(fā)功能快速調(diào)整流程快速發(fā)布上線技術(shù)體系架構(gòu)演進(jìn)業(yè)務(wù)起步：規(guī)?；疉ppI版WebPCApp打印機(jī)ü 尋找規(guī)?；臉I(yè)務(wù)ü 提高運(yùn)營效率形態(tài)dbwaimaimaster/slave技術(shù)架構(gòu)：2.0üüü快速開發(fā)多個業(yè)務(wù)系統(tǒng)復(fù)用工具庫Util：http 復(fù)用業(yè)務(wù)庫合同審核上單MQ訂單商家技術(shù)體系架構(gòu)演進(jìn)業(yè)務(wù)增長

3、2;üüüüü校園市場全國開展白領(lǐng)市場開拓美團(tuán)專送啟動平臺活動增加用戶激增訂單激增技術(shù)架構(gòu)：3.0üüüü系統(tǒng)級容錯服務(wù)化重構(gòu)中間件分庫分表Native H5外賣App 美團(tuán)App 點(diǎn)評App外賣商家層層接口層服務(wù)層MTThrift訂單商品商家.基礎(chǔ)層中間件MQ KVESNginx灰度APIOpenWebAtlasDBDatabus異構(gòu)DB技術(shù)體系架構(gòu)演進(jìn)問題üüü耦合相互影響容錯差演進(jìn)之路üüüüü服務(wù)化中間件KV數(shù)據(jù)總線異

4、步化目錄個人簡介美團(tuán)外賣業(yè)務(wù)發(fā)展歷程技術(shù)體系架構(gòu)演進(jìn)外賣業(yè)務(wù)性的系統(tǒng)性的處理原則外賣業(yè)務(wù)性的業(yè)務(wù)特點(diǎn)：高峰集中在中午、晚上飯點(diǎn)，爆發(fā)快系統(tǒng)：，一旦發(fā)生故障損失較大外賣業(yè)務(wù)性的業(yè)務(wù)特點(diǎn)：服務(wù)鏈條長系統(tǒng)：依賴復(fù)雜用戶瀏覽下單支付商家接單騎手配送中已送達(dá)用戶評價(jià)結(jié)算外賣業(yè)務(wù)性的業(yè)務(wù)特點(diǎn)：發(fā)展快技術(shù)：開發(fā)迭代快發(fā)版頻繁引入bug，性風(fēng)險(xiǎn)項(xiàng)目周期短架構(gòu)優(yōu)化排不上期技術(shù)欠債難度大指標(biāo)覆蓋全規(guī)則變化快目錄個人簡介美團(tuán)外賣業(yè)務(wù)發(fā)展歷程技術(shù)體系架構(gòu)演進(jìn)外賣業(yè)務(wù)性的系統(tǒng)性的處理原則系統(tǒng)性的處理原則99.99%系統(tǒng)可用性訂單可用性系統(tǒng)性的處理原則事故處理日常運(yùn)行性架構(gòu)設(shè)計(jì)及時(shí)止損保護(hù)用戶體驗(yàn)例行梳理和巡檢力保關(guān)鍵路

5、徑99.99%全鏈路在線壓測事前預(yù)警事后總結(jié)性能大盤根本分析業(yè)務(wù)大盤影響損失核算健康分析重構(gòu)系統(tǒng)系統(tǒng)性的處理原則日常運(yùn)行 >>性架構(gòu)設(shè)計(jì)小做ü 服務(wù)專一性WEBAPIü的功能拆分為的服務(wù)TaskMessageCenter依賴性原則üüü只依賴的服務(wù)QueryManage讀寫將易變的部分拆分超時(shí)中斷抱歉，您選的商家運(yùn)力不足，請選擇其他商家 下單。失??！服務(wù)器異常！ null別看了，啥也沒保障用戶體驗(yàn)的容錯設(shè)計(jì)üüü異常情況下客戶端的呈現(xiàn)客戶端配合限流客戶端配合降級系統(tǒng)性的處理原則日常運(yùn)行>>例

6、行性巡檢靜態(tài)梳理定位üüü按場景Review關(guān)鍵鏈路調(diào)用放大情況梳理banner降低“”，假場景用戶RankAPI專項(xiàng)梳理üüüDB健康Reivew，大表，慢讀寫QPS，出軌，綠帽子降級方案演練POI指標(biāo)巡檢頻道定位üüü性能大盤：不要放過尖刺業(yè)務(wù)大盤：報(bào)錯大盤：定位系統(tǒng)性的處理原則日常運(yùn)行 >>全鏈路在線壓測線上壓測üüüNginx分組ThriftRPC 分組摘掉機(jī)器流量錄制全鏈路壓測üüüüü讀流量回放寫事務(wù)模

7、擬流量染色異步階梯加壓告警自動終止壓測目標(biāo)ü 排查性能瓶頸，上探系統(tǒng)容量，驗(yàn)證降級機(jī)制ü 驗(yàn)證響應(yīng)機(jī)制 & 指導(dǎo)設(shè)定警戒行動線系統(tǒng)系統(tǒng)性的處理原則事前預(yù)警性能大盤üüüüCPU Idle DB讀、寫QPSTP90 響應(yīng)時(shí)間超時(shí)率Kafka業(yè)務(wù)ü 業(yè)務(wù)大盤ü 腳健康分析ü 指標(biāo)變化趨勢系統(tǒng)性的處理原則事故處理及時(shí)止損üüüü！ 分流啟動降級預(yù)案限流保護(hù)用戶體驗(yàn)ü 客戶端配合降級應(yīng)用力保關(guān)鍵路徑ü 非關(guān)鍵路徑模塊降級APP客戶端啟動限流接收請

8、求請求令牌流控API：jar生獲取令牌策成熔略K添加令牌斷EY本地令牌日志處理請求拒絕請求系統(tǒng)性的處理原則事故總結(jié)10：00收到DB CPU 高的根本ü 5whys分析10：20收到服務(wù)A接口超警10：23DBA定位分析10：25xx同學(xué)服務(wù)損失核算10：34服務(wù)恢復(fù)ü 損失的訂單IncidentReviews - Ask the key questions:What wentwrong?we have detected it sooner? we have prevented it?How How How Howcould could系統(tǒng)&流程改進(jìn)can we p

9、revent this class of problem inthe future?üüü系統(tǒng)改進(jìn)流程改進(jìn)開發(fā)紅線can we improve our behavior for next time?系統(tǒng)性的處理原則力保關(guān)鍵路徑多種接單方式APPPC打印機(jī)推單接單配送進(jìn)店下單派單用戶附近商家基礎(chǔ)數(shù)據(jù)服務(wù)行為數(shù)據(jù)收集離線/實(shí)時(shí)數(shù)據(jù)計(jì)算特征抽取與機(jī)器學(xué)習(xí)實(shí)時(shí)數(shù)據(jù)收集平臺挖掘平臺模型訓(xùn)練商業(yè)分析/運(yùn)營/BI搜索引擎策略引擎調(diào)度引擎線上廣告系統(tǒng)GIS路徑規(guī)劃騎手服務(wù)個性化推薦RANK騎手調(diào)度中心配送實(shí)時(shí)跟蹤系統(tǒng)活動計(jì)算引擎訂單中心風(fēng)控策略門店商品中心門店運(yùn)營/容器管理支付平

10、臺系統(tǒng)性的處理原則預(yù)案建設(shè)性能是功能的一部分上下游的超時(shí)約定。是功能的一部分容錯處理：超時(shí)，冪等，重試。用戶體驗(yàn)是一個完整的過程用戶端，商家端的體驗(yàn)保障。系統(tǒng)性的處理原則系統(tǒng)性的處理原則性的護(hù)航者：SOP。每一步操作都是經(jīng)過認(rèn)真思考的。需求管理項(xiàng)目開發(fā)測試發(fā)布上線故障處理 Task追蹤 大功能設(shè)計(jì)Review 技術(shù)方案變更Review 上下游依賴變化Review 分支管理 代碼交叉Review 代碼靜態(tài)檢查 代碼規(guī)范 日志規(guī)范 引入第工具、JAR包SOP 依賴外部服務(wù)SOP 數(shù)據(jù)庫遷移/ 拆分SOP 測試環(huán)境使用規(guī)范 RD完成冒煙測試 回歸關(guān)鍵路徑及主要版本 項(xiàng)目提測流程規(guī)范 線上壓測流程 新

11、業(yè)務(wù)上線SOP 線上發(fā)布SOP 線上灰度SOP 數(shù)據(jù)庫線上操作SOP 線上容量調(diào)整SOP 驗(yàn)證業(yè)務(wù)效果 業(yè)務(wù)指標(biāo) 系統(tǒng)Dashboard 第一時(shí)間想上級反饋 及時(shí) 業(yè)務(wù)方：問題，影響范圍，解決方案，預(yù)計(jì)恢復(fù)時(shí)間 線上服務(wù)降級SOP系統(tǒng)性的處理原則將流程自動化進(jìn)行到底。21基本發(fā)布內(nèi)容發(fā)布者3發(fā)布步驟多系統(tǒng)協(xié)同步驟45發(fā)布前驗(yàn)證關(guān)鍵業(yè)務(wù)流程測試新功能測試 SQL Review代碼Review影響預(yù)估對下游的影響評估對上游的影響評估自身負(fù)載變化評估措施的版本號步驟108發(fā)布后驗(yàn)證日志,報(bào)錯數(shù)性能指標(biāo)關(guān)鍵流程回歸新功能測試697完成效果分析灰度策略按城市按功能 按百分比發(fā)布總結(jié)可以改進(jìn)的點(diǎn)casestudy降級方案降