行業(yè)報告-阿里技術(shù)沙龍

（Longda

Feng）大綱特性Question

and

Answer.Jstorm概敘&

流式計算為什么開發(fā)JstormAlibaba現(xiàn)狀A(yù)libabaJStorm團(tuán)隊(duì)是國內(nèi)最早開始使用storm的團(tuán)隊(duì)歷經(jīng)storm

0.5.1/0.5.4/0.6.0/0.6.2/0.7.0/0.7.1Jstorm

0.7.1/0.9.0/0.9.1/0.9.2一條龍服務(wù)應(yīng)用開發(fā)平臺開發(fā)系統(tǒng)運(yùn)維（LongdaFeng）AlibabaAli300臺機(jī)器左右消息量7000億條年底2000臺機(jī)器左右（LongdaFeng）AlibabaJstorm

是一個分布式實(shí)時計算引擎類似HadoopMR用戶按照規(guī)定的編程規(guī)范實(shí)現(xiàn)一個任務(wù)，將任務(wù)放到Jstorm上，Jstorm就將任務(wù)7

*

24

小時調(diào)度起來Jstorm

比Storm

更穩(wěn)定，功能更強(qiáng)大，更快。Storm上跑的程序可以一行代碼不變運(yùn)行在Jstorm上（LongdaFeng）Alibaba基于消息的流水線處理系統(tǒng)（LongdaFeng）Alibaba開發(fā)非常迅速，容易上手，只要遵守Topology，Spout，Bolt的編程規(guī)范即可開發(fā)出一個擴(kuò)展性極好的應(yīng)用，底層rpc，worker之間冗余，數(shù)據(jù)分流之類的操作，開發(fā)者完全不用考慮。（LongdaFeng）Alibaba擴(kuò)展性極好當(dāng)一級處理單元速度，直接配置一下并發(fā)數(shù)，即可線性擴(kuò)展性能（LongdaFeng）Alibaba健壯當(dāng)worker失效或機(jī)器出現(xiàn)故障時，自動分配新的worker替換失效worker調(diào)度器Nimbus

采用主從備份，支持熱切（LongdaFeng）Alibaba準(zhǔn)確采用Acker機(jī)制，保證數(shù)據(jù)不丟失。采用事務(wù)機(jī)制，保證數(shù)據(jù)準(zhǔn)確性（LongdaFeng）Alibaba適合無狀態(tài)計算處理單元處理的數(shù)據(jù)均來自input

Tuple，不含有額外依賴數(shù)據(jù)。場景：日志分析管道系統(tǒng)消息轉(zhuǎn)化器統(tǒng)計分析器（LongdaFeng）Alibaba阿里擁有自己的實(shí)時計算引擎類似于hadoop

中的MR開源storm響應(yīng)太慢開源社區(qū)的速度完全跟不上Ali的需求降低未來運(yùn)維成本提供

技術(shù)支持，加快

業(yè)務(wù)響應(yīng)速度（LongdaFeng）一些需求，無法定制化現(xiàn)有storm調(diào)度太簡單Storm

任務(wù)分配不平衡RPC

OOM一直沒有解決太簡單對ZK

頻繁。。。Alibaba現(xiàn)有Storm（LongdaFeng），1000+的物理機(jī)上運(yùn)行著CDO

300+支付寶200+B2B

50+阿里

50

+共享事業(yè)群200+其他Alibaba在整個Storm一淘200+（LongdaFeng）AlibabaNimbus

實(shí)現(xiàn)HA當(dāng)一臺nimbus掛了，自動熱切到備份nimbus（LongdaFeng）Alibaba原生Storm

RPCZeromq使用堆外內(nèi)存，導(dǎo)致OS

內(nèi)存不夠Netty

導(dǎo)致OOMJStorm底層RPC

采用netty+disruptor保證發(fā)送速度和接受速度是匹配的（LongdaFeng）Alibaba現(xiàn)有Storm（0.9.0

已經(jīng)fix）添加supervisor時，會觸發(fā)任務(wù)rebalanceSupervisor

shutdown時，觸發(fā)任務(wù)rebalance提交新任務(wù)時，當(dāng)worker數(shù)不夠時，觸發(fā)其他任務(wù)做rebalance上敘問題不會在Jstorm中發(fā)生（LongdaFeng）Alibaba新上線的任務(wù)不會沖擊老的任務(wù)新調(diào)度從cpu，memory，disk，net

四個角度對任務(wù)進(jìn)行分配，已經(jīng)分配好的新任務(wù)，無需去搶占老任務(wù)的cpu，memory，disk和net（LongdaFeng）AlibabaSupervisor主線程Spout/Bolt

的open/prepare所有IO,序列化，反序列化（LongdaFeng）Alibaba減少對ZK的

量：去掉大量無用的watchtask的心跳時間延長一倍Task心跳檢測無需全ZK掃描（LongdaFeng）Alibaba徹底解決了storm

任務(wù)分配不均衡問題從4個維度進(jìn)行任務(wù)分配：CPUMemoryDiskNet（LongdaFeng）Alibaba默認(rèn)一個task，一個cpu

slot當(dāng)task消耗

的cpu時，可以申請cpu

slot。需求：解決新上線的任務(wù)去搶占老任務(wù)的cpu。一淘有些task

起很多線程，單task消耗太多cpu（LongdaFeng）Alibaba默認(rèn)一個task，一個memory

slot當(dāng)task需要

內(nèi)存時，可以申請

內(nèi)存slot需求：在海狗項(xiàng)目中，solr

task

需要8G內(nèi)存，而且其他任務(wù)2G

就夠了（LongdaFeng）Alibaba默認(rèn)task，不申請disk

slot當(dāng)task

磁盤IO較重時，可以申請disk

slot需求：海狗/實(shí)時同步項(xiàng)目中，task有較重的本地磁盤讀寫操作（LongdaFeng）Alibaba可以強(qiáng)制某個component的task運(yùn)行在不同的節(jié)點(diǎn)上需求：聚石塔，海狗項(xiàng)目，某些task提供web

service服務(wù)，為了端口不

，因此必須強(qiáng)制這些task運(yùn)行在不同節(jié)點(diǎn)上（LongdaFeng）Alibaba可以強(qiáng)制topology運(yùn)行在單獨(dú)一個節(jié)點(diǎn)上需求：節(jié)省網(wǎng)絡(luò)帶寬Tlog中大量小topology，為了減少網(wǎng)絡(luò)開銷，強(qiáng)制任務(wù)分配到一個節(jié)點(diǎn)上（LongdaFeng）Alibaba可以自定義任務(wù)分配提前預(yù)約任務(wù)分配到哪臺機(jī)器上，哪個端口，多少個cpu

slot，多少內(nèi)存，是否申請磁盤需求：海狗項(xiàng)目中，部分task期望分配到某些節(jié)點(diǎn)上（LongdaFeng）Alibaba可以預(yù)約上一次成功運(yùn)行時的任務(wù)分配上次task分配了什么資源，這次還是使用這些資源需求：CDO

很多任務(wù)期待重啟后，仍使用老的節(jié)點(diǎn)，端口（LongdaFeng）Alibaba不同部門，使用不同的組名每個組有自己的Quato不同組的資源采用cgroups

硬（LongdaFeng）Alibaba解決應(yīng)用的類和Jstorm的類發(fā)生應(yīng)用的類在自己的類空間中需求：Log4j，

Logbak當(dāng)應(yīng)用

Hive時，使用thrift9，

與jstormthrift7（LongdaFeng）AlibabaWorker

全流水線模式Spout

nextTuple和ack/fail運(yùn)行在不同線程需求：EagleEye中，在nextTuple做sleep和wait操作不會block

ack/fail

動作（LongdaFeng）Alibaba底層使用ZeroMq，

比storm

0%底層使用netty時，和storm快10%，并且穩(wěn)定非常多（LongdaFeng）Alibaba（LongdaFeng）Alibaba（Longda

Feng）Alibaba（LongdaFeng）Alibaba（LongdaFeng）AlibabaZeromq

減少一次內(nèi)存拷貝增加反序列化線程重寫采樣代碼，大幅減少采樣影響優(yōu)化ack代碼優(yōu)化緩沖map性能Jav