流式計算框架分享ppt課件

1、流式計算框架分享,PART TWO 主流流式計算框架,PART ONE 流式計算定義和特點(diǎn),PART FOUR Spark Streaming和Storm介紹,PART THREE 流式計算框架技術(shù)路線,內(nèi)容 簡介,1,PART ONE,流式計算定義和特點(diǎn),流式計算是針對連續(xù)不斷，且無法控制數(shù)據(jù)流速的計算場景設(shè)計出的計算模型，常見的場景有搜索引擎、在線廣告等,數(shù)據(jù)不止，計算不停 無穩(wěn)態(tài)數(shù)據(jù)，計算隨數(shù)據(jù)變化 不可控，計算速度隨數(shù)據(jù)速度變化,定義,特點(diǎn),2,PART ONE,主流流式計算框架,數(shù)據(jù)傳輸層 Flume：Cloudera開源項(xiàng)目 數(shù)據(jù)計算層 Spark Streaming：Apache

2、 Spark子項(xiàng)目 Storm：Apache頂級項(xiàng)目 S4：Yahoo原型產(chǎn)品，未發(fā)布 Elastic Search：Apche頂級項(xiàng)目，最流行的搜索引擎 數(shù)據(jù)應(yīng)用層 Splunk：商業(yè)軟件，機(jī)器日志分析引擎 Druid：大數(shù)據(jù)實(shí)時查詢和分析的高容錯、高性能開源分布式系統(tǒng),主流流式計算框架,3,PART ONE,流式計算模型技術(shù)路線,技術(shù)路線,4,PART ONE,Spark Streaming和Storm,計算模型：D-Stream模型 優(yōu)勢： 編程原語豐富，編程簡單 框架封裝層級較高，封裝性好 可以共用批處理處理邏輯，兼容性好 基于Spark，可以無縫內(nèi)嵌Spark其他子項(xiàng)目，如Spark

3、 Sql，Mlib等 劣勢： 調(diào)度耗時較大，不適合做實(shí)時性要求很高的需求 穩(wěn)定性相對較差 機(jī)器性能消耗較大,計算模型：Actors模型 優(yōu)勢： 框架簡單，學(xué)習(xí)成本低 實(shí)時性很好，可以提供毫秒級延遲 穩(wěn)定性很好，框架比較成熟 劣勢： 編程成本較高 框架處理邏輯和批處理完全不一樣，無法公用代碼 框架Debug較為復(fù)雜,應(yīng)用場景： 日志處理 社交網(wǎng)站消息更新 推薦系統(tǒng) 運(yùn)維報警 配套框架： HBase HDFS Redis 關(guān)系型數(shù)據(jù)庫 Kafka,應(yīng)用場景： 金融反欺詐，反洗錢 在線廣告投放 配套框架： HBase Redis 關(guān)系型數(shù)據(jù)庫 Kafka,PPT模板： PPT素材： PPT背景： PPT圖表： PPT下載： PPT教程： 資料下載： 范文下載： 試卷下載： 教案下載： PPT論壇： PPT課件： 語文課件： 數(shù)學(xué)課件：