實例講解grouping策略及并發(fā)度

Storm流計算從入門到精通—技術篇講師：Cloudy（北風網(wǎng)版權所有)7、實例講解Grouping策略及并發(fā)度讀文件案例的問題思考Spout數(shù)據(jù)源：Message

queueMQ、Db、文件直接流數(shù)據(jù)源：MQ從db只能讀配置文件Log文件增量數(shù)據(jù)：1、讀出內(nèi)容寫入MQ，2、Storm處理

Spout讀文件：學習用，其他無用讀文件：1、分布式應用無法讀；2、spout開并發(fā)會重復讀stream

grouping就是用來定義一個stream應該如果分配給Bolts上面的多個Executors(多線程，并發(fā)度)注：不是一個spout或bolt

emit到多個bolt（廣播方式）。storm里面有6種類型的stream

grouping。單線程下均等同于All

GroupingShuffle

Grouping輪詢，平均分配。隨機派發(fā)stream里面的tuple，保證每個bolt接收到的tuple數(shù)目相同。Non

Grouping:無分組，這種分組和Shuffle

grouping是一樣的效果，多線程下不平均分配。Fields

Grouping：按Field分組，比如按word來分組，具有同樣word的tuple會被分到相同的Bolts，而不同的word則會被分配到不同的Bolts。作用：1、過濾，從源端（Spout或上一級Bolt）多輸出Fields中選擇某些Field2、相同的tuple會分發(fā)給同一個Executer或task處理典型場景：去重操作、JoinStream

grouping

策略All

Grouping：廣播發(fā)送，對于每一個tuple，所有的Bolts都會收到。Global

Grouping:

全局分組，這個tuple被分配到storm中的一個bolt的其中一個task。再具體一點就是分配給id值最低的那個task。適合場景：想象不到。Direct

Grouping:

直接分組，這是一種比較特別的分組方法，用這種分組意味著消息的發(fā)送者決定由消息接收者的哪個task處理這個消息。只有被聲明為DirectStream的消息流可以聲明這種分組方法。而且這種消息tuple必須使用emitDirect方法來發(fā)射。消息處理者可以通過TopologyContext來或者處理它的消息的taskid(OutputCollector.emit方法也會返回taskid)Stream

grouping

策略并發(fā)度場景分析：單線程下：加減乘除，和任何處理類Operate，匯總多線程下：1、局部加減乘除2、做處理類Operate，如split3、持久化，如入DB以WordCountTopology.java

為例講解？并且在高并發(fā)下完成思考題：如何計算