消息中間件在大型分布式系統(tǒng)的應(yīng)用

1、消息中間件在大型分布式系統(tǒng)的(鋒寒)淘寶網(wǎng)2011-11-261個(gè)人簡(jiǎn)介2008年至今 淘寶網(wǎng)技術(shù)專(zhuān)家負(fù)責(zé)消息中間件的研發(fā)之前在Ericsson和金蝶中間件工作感興趣領(lǐng)域：并發(fā)和網(wǎng)絡(luò)編程大型分布式系統(tǒng)的構(gòu)建海量數(shù)據(jù)的分析和處理微博：2Outline淘寶消息中間件概覽消息中間件應(yīng)用場(chǎng)景分布式事務(wù)數(shù)據(jù)復(fù)制日志同步delay queue廣播通知總結(jié)3消息中間件應(yīng)用程序或組件之間的一種通訊方式可靠性異步松散耦合發(fā)送者和接收者不必了解對(duì)方，只需要認(rèn)識(shí)消息發(fā)送者和接收者不必同時(shí)在線(xiàn)4Messaging ModelsPoint-to-Point (PTP)每個(gè)消息只有一個(gè)消費(fèi)者發(fā)送者和接收者沒(méi)有時(shí)間依賴(lài)接收

2、者確認(rèn)消息處理成功Publish/Subscribe每個(gè)消息可以有多個(gè)訂閱者客戶(hù)端只有訂閱后才能收到消息5淘寶消息中間件NotifyPush模式，消息存儲(chǔ)轉(zhuǎn)發(fā)支持分布式事務(wù)訂閱者集群支持多種安全級(jí)別的存儲(chǔ)6淘寶消息中間件Metamorphosis開(kāi)源MQ-kafka的Java版本消息都是持久的，保存在磁盤(pán)客戶(hù)端pull，利用sendfile系統(tǒng)調(diào)用，零拷貝吞吐量第一支持消息順序7淘寶消息中間件Broker: Shared nothing architecture發(fā)布者、訂閱者都支持集群PublisherPublisherPublisherBrokerBrokerSubscriberSubscr

3、iberSubscriber集群集群集群ConfigServerZooKeeper8Notify分布式事務(wù)通用的消息中間件支持XA分布式事務(wù)優(yōu)點(diǎn)跨越多個(gè)資源ACID的保證編程模型簡(jiǎn)單一致缺點(diǎn)性能和可用性都不高故障難于恢復(fù)9Notify分布式事務(wù)PublisherBrokerStorageT1發(fā)送half消息T3業(yè)務(wù)操作T4提交/回滾T2存儲(chǔ)half消息T5 提交:更新數(shù)據(jù)庫(kù) 標(biāo)識(shí)消息可發(fā)送回滾：刪除消息S1定期檢查未提交的消息S2提交/回滾本地事務(wù)域本地事務(wù)域業(yè)務(wù)操作S3 提交:更新數(shù)據(jù)庫(kù) 標(biāo)識(shí)消息可發(fā)送回滾：刪除消息10Notify訂閱者集群訂閱者集群：消息的一個(gè)邏輯上的訂閱者是有多個(gè)物理節(jié)

4、點(diǎn)組成的一個(gè)集群BrokerPublisherA1A2A3應(yīng)用AB1B2B3應(yīng)用B11Notify消息存儲(chǔ)多種安全級(jí)別的存儲(chǔ)FileOracle+小型機(jī)+存儲(chǔ)MySQLMySQL + Replication同步寫(xiě)入兩個(gè)存儲(chǔ)節(jié)點(diǎn)支持存儲(chǔ)節(jié)點(diǎn)的動(dòng)態(tài)變化12Meta跟kafka有什么不同?用java替換scalaConsumer API沒(méi)有采用kafka的stream方式，而是同時(shí)實(shí)現(xiàn)同步獲取和異步訂閱兩種方式存儲(chǔ)結(jié)構(gòu)上采用自定義結(jié)構(gòu)，更簡(jiǎn)潔緊湊客戶(hù)端的連接復(fù)用實(shí)現(xiàn)HA復(fù)制實(shí)現(xiàn)發(fā)送的軟負(fù)載支持本地和XA事務(wù)支持http協(xié)議數(shù)據(jù)遷移、擴(kuò)容對(duì)用戶(hù)透明13Outline淘寶消息中間件概覽消息中間件應(yīng)用場(chǎng)景

5、分布式事務(wù)數(shù)據(jù)復(fù)制日志同步delay queue廣播通知總結(jié)14場(chǎng)景（一）分布式事務(wù)為面向服務(wù)架構(gòu)（SOA）提供分布式事務(wù)支持保證全局?jǐn)?shù)據(jù)的一致性交易中心Broker商品管理物流CRM付款成功消息storestorestorestore15場(chǎng)景（二）數(shù)據(jù)復(fù)制利用消息中間件將數(shù)據(jù)從源頭復(fù)制到多個(gè)目的地滿(mǎn)足搜索、離線(xiàn)分析和分表規(guī)則變化等需求DBDB SyncbinlogBrokerSearchhadoopDB16場(chǎng)景（三）日志同步應(yīng)用通過(guò)可靠異步方式將日志同步到消息中間件可以對(duì)日志做實(shí)時(shí)或離線(xiàn)分析BrokerAppAppAppHBaseStormAppApp17場(chǎng)景（四）delay queue把消息中間件當(dāng)做可靠的延遲隊(duì)列分布式環(huán)境下的定時(shí)器BrokerPublisherSubscriberrecover延遲投遞18場(chǎng)景（五）廣播通知可靠的集群內(nèi)廣播通知用于通知cache失效等事件BrokerAppApp