服務治理的技術演進之路

1、服務治理在貓眼娛樂的技術演進之路錄outline01020304貓眼業(yè)務臨的難點微服務穩(wěn)定性保障微服務架構演進未來規(guī)劃與探索錄outline01020304貓眼業(yè)務臨的難點微服務穩(wěn)定性保障微服務架構演進未來規(guī)劃與探索服務治理的關鍵要素系統(tǒng)：確保服務能夠按照業(yè)務愿景進運和演進：確保在之上作的程師能夠取得最的舒適感系統(tǒng)人多語業(yè)務耦合爬惡意流量業(yè)務洪峰常柔性系統(tǒng)穩(wěn)定性人效貓眼在該領域臨的主要難點數(shù)千萬DAU百億級調百萬級QPS2017年春節(jié)檔Redis千兆卡打滿帶來的嚴重影響向貓眼過千的服務，中間件動輒半年以上的版本升級周期舉個栗錄outline01020304貓眼業(yè)務臨的難點微服務穩(wěn)定性保障微服務

2、架構演進未來規(guī)劃與探索可治理在貓眼的落地理論架構壓測試故障演練容量評估預案設置限流熔斷降級報警整體復盤專項優(yōu)化故障前故障中故障后向故障全命周期進治理 樂觀與悲觀并濟流量下的概率性故障可治理在實際產中的難點與挑戰(zhàn)如何擺脫黑盒運營 的困境？如何解決快速恢 復導致雪崩？如何無侵入故障 注入？如何應對秒殺的挑 戰(zhàn)？Client Side vs Server Side？如何避免有術無 道的困局？禹 - 可治理中動化的限流、熔斷、降級、隔離、演練、監(jiān)控報警的站式可性保障案禹 - 可治理中預測與模型共享帶來的0延時體驗輕接使運維升級成本下降70%以上性能的極致優(yōu)化，RT在9us策略復率90%以上禹 - 系統(tǒng)

3、架構無延時輕接入高性能低成本惡意流量檔期來臨演唱會搶票禹 - 限流 - 臨的場景惡意流量2016檔期洪峰2017-2018促銷/秒殺活動2018演出百萬QPS秒殺2019精細化為名單內容特征持續(xù)洪峰限流客戶端限流降級預案單機限流持續(xù)洪峰限流單機限流瞬時洪峰限流Set化策略引擎 任意維度組合 滑動窗計數(shù)特征庫積累 去噪預測算法 按時批量緩沖 就近多維度緩存 然窗計數(shù)控四化權衡動態(tài)Ratelimiter流量打平多級組合與降級分析同步化1234禹 - 限流 - 洪峰下準確與實時的場應對Tips階段精細化過濾快速熔斷階梯錯誤標準自定 恢復義更可靠的錯誤 率判斷禹 - 熔斷 - 快速熔斷與階梯恢復禹 -

4、 演練 - 多維打通型演練余次數(shù)百次故障注覆蓋所有核鏈路發(fā)現(xiàn)近百個問題，含數(shù)個P0級問題整合壓測與 故障演練預案演練不 影響線上演練全生命 周期管理灰度鏈路常 規(guī)化演練秒級流量探 測多維度圖表自動巡檢流量預觀察禹 - 監(jiān)控 - 精細化運營錄outline01020304貓眼業(yè)務臨的難點微服務穩(wěn)定性保障微服務架構演進未來規(guī)劃與探索HAProxyNginxTengineDubboThriftGrpcServicemesh微服務架構演進 - 如何提升效中心式治理融合式 分散治理貼合式 分散治理有節(jié)制、可插拔、半貼合式的中治理服務格在貓眼的落地理論架構Servicemesh在產環(huán)境應的難點與挑戰(zhàn)控制板

5、的邊界如何切割？能下沉帶來新的單體應問題如何解決？對業(yè)務進程零侵現(xiàn)實嗎？交付質量如何保障？性能和資源開銷不可忽視如何最程度保障可性？盤古 - 服務治理中下代的服務連接、注冊、發(fā)現(xiàn)、中間件管理的站式解決案盤古 - 服務治理中盤古 - 數(shù)據(jù)平架構ResourceStarterTransporterConnectionListenerEventLoopTransportSessionAccept FilterReadWrite FilterProtocolStreamReceiverStreamStreamSenderRouterMatcherLoadBalancerClusterStreamRou

6、terStreamReceiver FilterStreamSender FilterFailoverConnManagerHolderDuplex DefenderHotRestartXDSMetricsBuer ManagementPool ManagementSPIFrameworkServerAdminPicker盤古 - 控制平的切割與優(yōu)化遙測下沉，限流接建流控，解決性能問題服務注冊與發(fā)現(xiàn)整合，提供完整解決案配置型平MMCP協(xié)議快速接，Pilot零成本數(shù)據(jù)型平和普通應致性對待，踐Pet&Cow理論:DWFK8Q:DWFK3XVK3DVVWKURXJK3RUWDO$SSOLFDWLRQ

7、 $3RUWDO$SSOLFDWLRQ %7UDFH3RUWDO3RUWDO2FHDQXV5HJLVWU$WKHQD$WKHQD5HJLVWU5HJLVWU&RQJ6HUYHU5HJLVWU5HJLVWU0HWD6HUYLFH;6 $3,;6 5RXWHU;6 0DSSLQJ;6 $GDSWHU3LORWIPC65543.53.3322.11.71.310.90.70.60.50.50.406000100001500020000tcpudsudsmmap盤古 - 性能優(yōu)化9.69.81010.210.410.610.81110010005000QPS-延時500直連Servicemesh異步S

8、tream通訊模型協(xié)程、字節(jié)、對象資源池化COW & CAS鎖化設計Payload后置Header+Body復時間輪單例化處理IPC優(yōu)化探索壓測：0.1ms，灰度：0.5ms穩(wěn)定性：99.9998%CPU：0.8876%MEM: 30.67M研框架RT最較TCP/UDS提升30%盤古 - 全的可性保障CA/PA狀態(tài)機驅動平滑發(fā)布雙注冊中結合平滑發(fā)布?；?、流量防御、兜底直連多維度灰度、鍵回滾類Eureka我保護Mesh經(jīng)常性發(fā)布業(yè)務應發(fā)布Mesh宕機業(yè)務灰度注冊中絡分區(qū)注冊中不可多級緩存場景策略&$&3$33LORW$WKHQD3LORW3LORW$WKHQD5HJLVWU6.6.盤古 - CI/CD閉環(huán)建設場景初始化智能調度預熱、梯度、探頂指標動采集壓測報告動成復雜拓撲、隨機、概率事件請求響應包體伸縮、重啟、宕機流量規(guī)模自動化 性能測試自動化 混沌測試盤古 - 數(shù)據(jù)平“服務化”三層切割頭尾合井自由拼裝