如何利用應(yīng)用自己的數(shù)據(jù)來保證系統(tǒng)的穩(wěn)定

1、容量規(guī)劃與保護(hù)1大綱容量規(guī)劃 需要哪些數(shù)據(jù)單機(jī)容量依賴容量容量保護(hù)Web server 層面代碼層面 2容量歷程淘寶某應(yīng)用某機(jī)房機(jī)器變化走勢(shì)圖3機(jī)器預(yù)算經(jīng)驗(yàn)應(yīng)用能不能支撐？不知道經(jīng)驗(yàn)結(jié)果如果遇到突發(fā)事件（全國哀悼日）流量突然上漲。應(yīng)用支撐不住了就需要緊急加機(jī)器，加多少也不清楚，反正能加多少是多少，所有人都高度緊張。容量歷程4問題一：不知道應(yīng)用到底能支撐多少量問題二：只能根據(jù)現(xiàn)在的訪問量、load等評(píng)估系統(tǒng)情況問題三：應(yīng)用的機(jī)器基本上不會(huì)被下掉，導(dǎo)致非常大的浪費(fèi)。問題四：沒有統(tǒng)一的，可量化的容量模型容量歷程5容量歷程6容量規(guī)范容量水位水位=(流量QPS/性能QPS)*100%流量QPS單機(jī)流量Q

2、PS集群流量QPS性能QPS單機(jī)性能QPS集群性能QPS=機(jī)器數(shù)*單機(jī)性能QPS7容量規(guī)范通過容量水位來確定機(jī)器的增減安全水位(標(biāo)準(zhǔn)水位)危險(xiǎn)水位加機(jī)器水位減機(jī)器水位8容量規(guī)范水位線9容量實(shí)施需要獲取到應(yīng)用的真實(shí)性能數(shù)據(jù)需要獲取應(yīng)用的流量數(shù)據(jù)容量計(jì)算公式依賴容量計(jì)算公式10容量規(guī)范實(shí)施性能數(shù)據(jù)流量數(shù)據(jù)容量計(jì)算依賴容量計(jì)算11某應(yīng)用線上壓測(cè)結(jié)果某應(yīng)用線下壓測(cè)結(jié)果257537Load 4.5 cpu 30%左右性能數(shù)據(jù)12正式環(huán)境來實(shí)施性能壓測(cè)性能獲取方式優(yōu)點(diǎn)真實(shí)流量真實(shí)環(huán)境真實(shí)性能數(shù)據(jù)缺點(diǎn)危險(xiǎn)線上壓測(cè)原則不是為了壓測(cè)應(yīng)用極限負(fù)載而是獲取應(yīng)用穩(wěn)定的最高負(fù)載13線上壓測(cè)分流模式通過將多臺(tái)的機(jī)器流量匯

3、聚到一臺(tái)機(jī)器上負(fù)載均衡App configserver日志回放模式通過讀取web server 日志，并將日志中的get 請(qǐng)求重新請(qǐng)求道某個(gè)機(jī)器上帶cookie的不帶cookie應(yīng)用訪問類型非登錄讀應(yīng)用登錄讀應(yīng)用寫應(yīng)用14淘寶架構(gòu)15線上壓測(cè)架構(gòu)16例子一-分流模式17例子二-分流模式18例子三-日志回放模式19容量規(guī)劃壓測(cè)操作可控性隨時(shí)可以手動(dòng)或自動(dòng)進(jìn)行隨時(shí)可以停止過程可視完善的保護(hù)機(jī)制數(shù)據(jù)監(jiān)控采集完善的監(jiān)控閥值設(shè)置異常的保護(hù)機(jī)制20容量規(guī)范實(shí)施流量數(shù)據(jù)性能數(shù)據(jù)容量計(jì)算依賴容量計(jì)算21容量規(guī)劃流量QPS通過統(tǒng)計(jì)web server日志，獲取應(yīng)用的單機(jī)流量QPS和集群QPS。注意: 使用的是高

4、峰期的平均QPS。不同的應(yīng)用高峰期時(shí)段不盡相同，根據(jù)實(shí)際情況來設(shè)置。為什么不直接用最大值？這個(gè)主要是考慮到流量的波動(dòng)性，平均值使容量水位更加穩(wěn)定22容量規(guī)范實(shí)施容量計(jì)算性能數(shù)據(jù)流量數(shù)據(jù)依賴容量計(jì)算23容量計(jì)算實(shí)現(xiàn)原理：通過當(dāng)前的應(yīng)用機(jī)器數(shù)與性能QPS的乘積獲取到應(yīng)用整個(gè)集群的可以承受的最大流量。在與當(dāng)前集群流量QPS的比較就能計(jì)算出需要的機(jī)器數(shù)量計(jì)算公式：系統(tǒng)水位 =流量qps/性能qps理論機(jī)器數(shù) = 集群流量qps/性能qps安全機(jī)器數(shù)=理論機(jī)器數(shù) /安全水位24容量計(jì)算例子: 性能QPS 100 機(jī)器數(shù)量 20臺(tái)集群穩(wěn)定負(fù)載能力 = 100*20=2000預(yù)計(jì)雙十一流量 = 20000水

5、位= 1000%理論機(jī)器數(shù)= 200臺(tái)安全機(jī)器數(shù)量=200/安全水位=200/40%=500臺(tái)活動(dòng)場景一日常場景二實(shí)際流量= 2000 理論機(jī)器數(shù)= 20臺(tái)安全機(jī)器數(shù)量=20/安全水位=20/40%=50臺(tái)雙機(jī)房部署-安全水位為40%應(yīng)用已經(jīng)在危險(xiǎn)的邊緣需要馬上加30臺(tái)為了雙十一安全 機(jī)器數(shù)需要加到500臺(tái)才行水位= 100% 25容量規(guī)劃26容量規(guī)范實(shí)施依賴容量計(jì)算性能數(shù)據(jù)流量數(shù)據(jù)容量計(jì)算27依賴容量28依賴容量29依賴容量30關(guān)系直接依賴、間接依賴依賴之間的調(diào)用量依賴之間的強(qiáng)弱依賴容量31依賴容量調(diào)用軌跡Eagleeye記錄應(yīng)用程序完成一次調(diào)用需要走過的所有依賴應(yīng)用的信息32數(shù)據(jù)統(tǒng)計(jì)依賴容

6、量33依賴容量34轉(zhuǎn)化率refer*依賴容量3536最終執(zhí)行路徑下的容量情況createOrderForTaobao3738限流降級(jí)限流： 超過自身容量范圍之外的流量暫時(shí)拒絕訪問降級(jí)： 在自身容量不足的情況下 將某些非關(guān)鍵路徑上的請(qǐng)求調(diào)用暫時(shí)關(guān)閉，并將這些容量留給更加重要的系統(tǒng)將自身執(zhí)行路徑上某些不影響業(yè)務(wù)的調(diào)用暫時(shí)關(guān)閉增加自身容量39限流降級(jí)作用范圍Web ServerServlet 容器40限流降級(jí)職責(zé)分工TMD針對(duì)集群流量防御，面向集群的流量暴漲。優(yōu)點(diǎn)：可以根據(jù)集群統(tǒng)計(jì)分析數(shù)據(jù)，并作出對(duì)應(yīng)的決策。缺點(diǎn)：需要有一個(gè)數(shù)據(jù)分析過程，無法做到瞬間響應(yīng)。只能作用于Http 請(qǐng)求Stable Switch針對(duì)機(jī)器單體的流量防御優(yōu)點(diǎn)： 在流量瞬間暴漲情況下，立即作出限流反