3-1-阿里巴巴實(shí)時(shí)計(jì)算平臺(tái) JStorm Turbo-封仲淹（紀(jì)君祥）

阿里巴巴實(shí)時(shí)計(jì)算平臺(tái)JStormTurbo 11?ApacheStormPMC(管理委員會(huì)成員)?中國最早的Storm團(tuán)隊(duì)?Storm0.5.1/0.5.4/0.6.0/0.6.2/0.7.0/0.7.1?Jstorm0.7.1/0.9.0/0.9.1/0.9.2/0.9.3/0.9.3.1/0.9.4/0.9.4.1/0.9.5/0.9.5.1/0.9.6/0.9.6.1/0.9.6.2/0.9.6.3/0.9.7/0.9.7.1/0.9.7.2/0.9.8/0.9.8.1/2.0.4/2.1.0/2.1.1?公司職責(zé):應(yīng)用開發(fā)?Jstorm平臺(tái)開發(fā)?jstorm/storm技術(shù)支持維所有集群222145214533332323145jstorm最大的5個(gè)業(yè)務(wù)方(每日流入1.81PB)145Alimamabasecamp／精準(zhǔn)定向/Eagleye&Tlogeagleye鏈路分析，監(jiān)控調(diào)用鏈Tlog，實(shí)時(shí)分析日志，產(chǎn)生系統(tǒng)監(jiān)控報(bào)表Nut&velocitySDRCOceanbaserc監(jiān)控／oceanbase指標(biāo)監(jiān)控mmonitor445523231451452145214533662323145145772145214533：輕量化(單元化)：jstorm-on-yarn,一個(gè)物理集群上部署多個(gè)邏輯集群Jstorm-on-docker:集團(tuán)測(cè)試機(jī)器上劃小資源給jstorm，8821452145339913451345221101111345134522?提高穩(wěn)定性全新監(jiān)控系統(tǒng)?限流控制?資源隔離?NimbusHA(中央控制器HA)?超大規(guī)模部署(突破Storm不能超過400臺(tái)上限)?TopologyMaster1121345134522?WordCount:是storm的5~6倍，比flink快10%~20%22134513452.多級(jí)batch機(jī)制5.在spout內(nèi)部讀寫分離6.解決disruptor和spout空數(shù)據(jù)cpu空跑問題.1131345134522?Exactly-once/window消息支持?優(yōu)雅關(guān)閉?動(dòng)態(tài)加載配置／擴(kuò)容／重啟?多netty策略1142213451345用戶管理應(yīng)用管理集群管理監(jiān)控1152213451345TwitterHeronAlibabaJStorm類似storm-on-mesosjstorm-on-yarnApp-masterTopologyMasterTopologyMasterBackPressureBackpressureVIZ/HeronTracker是Storm0.8.2的10倍，但只是fieldgrouping場(chǎng)景Storm0.8.2的10倍多，不僅是filedgroup，如果是localshuffle，會(huì)超過20倍的提升116221345134511721452145331182145321453?幫社區(qū)重寫storm2.0?Jstorm-on-yarn／jstorm-on-docker調(diào)優(yōu)?提升開發(fā)效率?Exactly-once框架性能優(yōu)化?業(yè)務(wù)window機(jī)制1192145214533景2202145FlinkDataStreamStorm／jstormSparkstreaming32145Flink