Kafka集群應用實踐與技術演進之路

1、技術創(chuàng)新，變革未來Kafka集群應用實踐與技術演進之路目錄業(yè)務背景技術演進 未來規(guī)劃目錄業(yè)務背景場景 集群 規(guī)模技術演進 未來規(guī)劃業(yè)務場景集群場景在線集群在線服務消息中間件集群場景LOG集群1.日志收集與傳輸?shù)谋镜鼐彺?.面向重要的實時消費與數(shù)據(jù)處理。集群場景離線集群1.日志的最終匯聚點，數(shù) 據(jù)dump到Hadoop集群 離線建倉與處理2. 面向次重要的實時消費 與數(shù)據(jù)處理業(yè)務場景集群場景在線集群在線服務消息中間件LOG集群1.日志收集與傳輸?shù)谋?地緩存2.面向重要的實時消費 與數(shù)據(jù)處理離線集群1.日志的最終匯聚點， 數(shù)據(jù)dump到Hadoop 集群2. 面向次重要的實時消 費與數(shù)據(jù)處理集群拆

2、分：服務質(zhì)量保障規(guī)模4萬億+日處理 消息數(shù)1億日消息 峰值4P/20P總流量1T/4T帶寬峰 值(bps)30+集群數(shù)12000Topic20萬Topic Partition2000機器數(shù)目錄業(yè)務背景技術演進演進時間線 技術改進剖析未來規(guī)劃技術演進時間線多集群建設2017.7可用性改造2017.12資源管理平臺建設2018.4Cache改造2018.820192017.10平滑擴容2018.2Mirror集群化建設2018.6資源隔離2018.11消費智能限速支持業(yè)務快發(fā)展保障業(yè)務穩(wěn)定可維護性提升，提高效率精細化打磨：穩(wěn)定性、流控、性能容量優(yōu)化技術演進時間線多集群建設2017.7可用性改造20

3、17.12資源管理平臺建設2018.4Cache改造2018.820192017.10平滑擴容2018.2Mirror集群化建設2018.6資源隔離2018.11消費智能限速平滑擴容213平滑擴容為什么一定要從partition最初offset開始遷移數(shù)據(jù)呢？原有擴容流程問題：數(shù)據(jù)遷移從Partition最初的offset開始,觸發(fā)讀 盤，物理資源大量消耗 = produce延遲增高且 抖動；擴容不平滑平滑擴容解決思路：從最新offset開始遷移同步一定時間，保障所有consumer都已經(jīng) 跟上/jira/browse/KAFKA-8328技術演進時間線多集群建設2017.7可用性改造2017

4、.12資源管理平臺建設2018.4Cache改造2018.820192017.10平滑擴容2018.2Mirror集群化建設2018.6資源隔離2018.11消費智能限速Mirror集群化MirrorMaker主要問題：靜態(tài)管理，運維成本高，易出錯mirror的topic（1000+）mirror的機器列表變更操作導致正在運行的數(shù)據(jù)Mirror 整體斷流增減topic增減機器Mirror集群化KReplicator是基于UReplicator的改進版本 UReplicator： /uber/uReplicatorMirror集群化Controller：動態(tài)管理topic、worker節(jié)點的增減

5、Topic partition的分配策略（變更時支持局部partition的遷移）檢測worker異常，并重新分配KReplicator worker：支持動態(tài)增加或者減少topic partition執(zhí)行mirror任務（一個worker支持多個源到多個 目標集群的傳輸）執(zhí)行dump到HDFS的任務ZooKeeper：協(xié)調(diào)controller與worker的交互KReplicator是基于UReplicator的改進版本 UReplicator： /uber/uReplicatorMirror服務集群化管理：減低運維，避免出錯，支持快速調(diào)整，應對突增流量技術演進時間線多集群建設2017.7可

6、用性改造2017.12資源管理平臺建設2018.4Cache改造2018.820192017.10平滑擴容2018.2Mirror集群化建設2018.6資源隔離2018.11消費智能限速資源隔離問題1. 不同業(yè)務線topic缺少物理隔 離，會相互影響資源隔離問題1.不同業(yè)務線topic缺少物理隔 離，會相互影響解決思路：Broker級別物理隔離創(chuàng)建Topic遷移TP宕機恢復流程資源隔離問題1.不同業(yè)務線topic缺少物理隔 離，會相互影響解決思路：Broker級別物理隔離創(chuàng)建Topic遷移TP宕機恢復流程問題2. Kafka Rpc隊列缺少隔離，一 旦某個topic處理慢，會導致所有請求han

7、g住資源隔離問題1.不同業(yè)務線topic缺少物理隔 離，會相互影響解決思路：Broker級別物理隔離創(chuàng)建Topic遷移TP宕機恢復流程問題2. Kafka Rpc隊列缺少隔離，一 旦某個topic處理慢，會導致所有請求hang住解決思路：多RPC隊列，進行隔離技術演進時間線多集群建設2017.7可用性改造2017.12資源管理平臺建設2018.4Cache改造2018.820192017.10平滑擴容2018.2Mirror集群化建設2018.6資源隔離2018.11消費智能限速Cache改造Kafka高性能依賴page cache，但page cache不可控，主要問題：Consumer的l

8、ag讀會對page cache產(chǎn)生污染Cache改造Kafka高性能依賴page cache，但page cache不可控，主要問題：Consumer的lag讀會對page cache產(chǎn)生污染Follower也會占用page cache的空間，從而產(chǎn)生污染Kafka服務自己維護數(shù)據(jù)cache：嚴格按照時間順序cache控制follower的數(shù)據(jù)不進入cacheCache改造Cache改造Cache改造環(huán)境：5個Broker；一個topic（150Partiton+3副本）壓力：Mirror數(shù)據(jù)到topic上；150個consumer，總體lag 450w讀數(shù)據(jù)結論：Cache版本可以緩存更多數(shù)據(jù)在內(nèi)存中Cache版本的性能會更好Cache改造寫入操作同步寫內(nèi)存，異步刷磁盤，延遲更穩(wěn)定！技術演進時間線多集群建設2017.7可用性改造2017.12資源管理平臺建設2018.4Cache改造2018.820192017.10平滑擴容2018.2Mirror集群化建設2018.6資源隔離2018.11消費智能限速消費智能限速問題：如何解決comsumer lag后讀盤導致producer寫入受阻問題？思路：當磁