大型移動(dòng)APP開發(fā)之服務(wù)器端MQ技術(shù)選型

1、MQ技術(shù)選 型消息中間件 的 傳遞模式一般有兩種 傳遞模型：點(diǎn)對(duì)點(diǎn)模型 （ PTP）和發(fā)布 - 訂閱模型（ Pub/Sub ）。1. 點(diǎn)對(duì)點(diǎn)模型 （ PTP）點(diǎn)對(duì)點(diǎn)模型 用于消息生 產(chǎn)者和消息 消費(fèi)者之間 點(diǎn) 到點(diǎn)的通 信。消息生產(chǎn)者 將消息發(fā)動(dòng) 到由某個(gè)名 字 標(biāo)識(shí)的特 定消費(fèi) 者。這個(gè)名字實(shí) 際上對(duì)應(yīng)于 消息服務(wù)中 的 一個(gè)隊(duì)列 （），在消息傳動(dòng) 給 消費(fèi)者之 前它被存儲(chǔ) 在這個(gè)隊(duì)列 中。隊(duì)列可以是 持久的，以保證在消 息服務(wù)出現(xiàn) 故障時(shí)仍然 能夠傳遞消 息。2. 發(fā)布 -訂閱模型（ Pub/Sub ）發(fā)布-訂閱模型用 稱為主題（）的內(nèi)容分層 結(jié)構(gòu)代替了 PTP模型中的惟一目 的地，發(fā)送應(yīng)

2、用程 序發(fā)布自己 的消息，指出消息描 述的是有關(guān) 分層結(jié)構(gòu)中 的 一個(gè)主題 的信息。希望接收這 些消息的應(yīng) 用程序訂閱 了 這個(gè)主題 。訂閱包含子 主 題的分層 結(jié)構(gòu)中的主 題的訂閱者 可以接收該 主題和其子 主題發(fā)表的 所 有消息。下圖展示了 發(fā)布和訂閱 模 型：多個(gè)應(yīng)用程 序 可以就一 個(gè) 主題發(fā)布 和訂閱消息 ，而應(yīng)用程序 對(duì)其他人仍 然是匿名的 。MOM ge Orie，面向消息的 中間件）起著代理（r ）的作用，將一個(gè)主題 已發(fā)表的消 息路由給該主題的所有 訂閱者。常見消息協(xié) 議協(xié)議，col ，是流文本定 向消息協(xié)議 ，是一種為 OM 設(shè)計(jì) 的簡單文本協(xié)議。它提供了一 個(gè)可互操作 的

3、連接格式 ，允許 MP 客戶端與任意 OMP 消息 代理r）進(jìn)行交互，類似于enWi e （一種二進(jìn)制 協(xié)議 ）。由于其設(shè)計(jì) 簡單，很容易開發(fā) 客戶端，因此在多種 語言和多種 平臺(tái)上得到 廣泛應(yīng)用。其中最流行 的 P消息代理 是 eMQ。協(xié)議工作于 TCP 協(xié)議 之上，使用了下列 命令：* SEND 發(fā)送RIBE 訂閱E 退訂開始T 提交取消* ACK 確認(rèn)斷開AMQP協(xié)議AMQ，P 即col ，高級(jí)消息隊(duì) 列 協(xié)議，是應(yīng)用層協(xié) 議的一個(gè)開 放 標(biāo)準(zhǔn)，為面向消息 的中間件設(shè) 計(jì) 。AMQP的主要特征是 面向消息、隊(duì)列、路由(包括點(diǎn)對(duì)點(diǎn) 和發(fā)布/ 訂閱)、可靠性、安全。AMQP在消息提供者 和客

4、戶端的 行為進(jìn)行了 強(qiáng)制規(guī)定，使得不同賣 商之間真正 實(shí)現(xiàn)了互操 作 能力。 JMS是早期消息中間件進(jìn)行標(biāo)準(zhǔn)化的一個(gè)嘗試，它僅僅是在 API 級(jí)進(jìn)行了規(guī)范，離創(chuàng)建互操 作能力還差很遠(yuǎn)。與 JMS不同，AMQP是一個(gè) e 級(jí)的協(xié)議 ，它描述了在 網(wǎng)絡(luò)上傳輸 的數(shù)據(jù)的格 式，以字節(jié)為流 。因此任何遵 守此數(shù)據(jù) 格 式的工具，其創(chuàng)建和解 釋消息，都能與其他 兼容工具進(jìn) 行互操作。AMQP的實(shí)現(xiàn)有：MQ等。常 見消息中 間件產(chǎn)品e MQe MQ 是一個(gè) 基 于ced 發(fā)布，開放源碼的 JMS 產(chǎn)品。 其特點(diǎn)為：1) 提供點(diǎn)到點(diǎn) 消息模式和 發(fā)布/ 訂閱消息模 式；2) 支持ss、imo 等開 源應(yīng)用服

5、務(wù) 器，支持 ing 框架的消息驅(qū)動(dòng) ；3) 新增了一個(gè) P2P 傳輸層，可以用于創(chuàng) 建可靠的 2P JMS 網(wǎng)絡(luò)連接；4) 擁有消息持 久化、事務(wù)、集群支持等 JMS 基 礎(chǔ)設(shè) 施服務(wù)。tQent: t q/2.2.14.Fina -.htmlt Q是一個(gè)支持集群和 多種協(xié)議，可嵌入、高性能的異 步消息系統(tǒng)。tQ完全支持 JMS，tQ不但支持.1API 同時(shí)也定義屬于自己的消息 API ，這可以最大 限度的提升tQ的性能 和靈活性。在不久的將 來更多的 協(xié)議將被支持。t Q擁有超高的性能，t Q在持久化消息方面 的性能可以 輕易的超于 其它常見的非持久化消 息引擎的性 能。當(dāng)然，t Q的非持

6、 久化消息的 性能會(huì)表 現(xiàn)的更好！t Q完全使 用，純 的設(shè)計(jì)讓Q可以盡可 能少的以來 第三方的包 。從設(shè)計(jì)模式來說，tQ這樣的設(shè)計(jì)入侵性也最小。t Q既可以獨(dú)立運(yùn)行，也可以與其 它 應(yīng)用程序服 務(wù)器集成使 用。tQ擁有完善的錯(cuò)誤處理機(jī)制，t Q提供服務(wù)器復(fù)制和 故障自動(dòng)轉(zhuǎn)移功能，該功能可以消除消息丟失或多個(gè)重 復(fù)信息導(dǎo)致服務(wù)器出錯(cuò)。H t Q提供了靈活的集群 功能，通過創(chuàng)建Q集群，您可以享受 到到消息的 負(fù)載均衡帶來的性能提 升。您也可以通過集群，組成一個(gè)全球性的消息 網(wǎng)絡(luò)。您也可以靈 活的配置消 息路由。t Q擁有強(qiáng)大的管理功 能。t Q提供了大量的管理 API 和監(jiān)控服務(wù)器。它可以無 縫

7、的與應(yīng)用程序服務(wù)器整合，并共同工作 在一個(gè) 環(huán) 境中eMQ 和 Q 的比較：特點(diǎn)t Q2.0GAeMQ5.3.0客戶端語言Java，Java,C#,C 等 1.1,jms1.2應(yīng)用協(xié)議on,XMPP,AMQP支持的 傳 送協(xié) 議TCP,SSL,HTTP等-, JXTA 等監(jiān)測(cè) 消 息支持支持使用 erts （排他和非排 他 ）可虛擬目標(biāo)隊(duì)列，鏡像隊(duì)列（隊(duì)列自 動(dòng)復(fù)消息目 標(biāo)隊(duì) 列的分類以使用 過濾相匹配消 息被轉(zhuǎn) 移制）和復(fù)合目的 地隊(duì) 列1.發(fā)布消息通 過廣播（ UDP組播）1. 發(fā)送消息通 過廣播（ UDP組播或者零配或固定客 戶端和服 務(wù)端置）或者固定的 客戶端和服 務(wù)端。2. 支持 負(fù)

8、載 均衡2. 支持 負(fù)載均衡3. 消息的重分 發(fā)：發(fā)送前，配置3. 容錯(cuò)機(jī)制（ ver）: 主備服務(wù)器無消費(fèi)者對(duì)消息的 重新分發(fā)的參（每一個(gè)主服 務(wù)器只有一 個(gè)備 服務(wù) 器）集群數(shù)。4. 靜態(tài)或者 動(dòng)態(tài)的發(fā)布。4.容錯(cuò)機(jī)制（ver ）:主備服5. 針對(duì) 消息的 r 的重分 發(fā)。務(wù)器 （每一個(gè)主服 務(wù)器只能有 一6. 高可用性：從主服 務(wù)器 異步日志到 備 份個(gè)冷 備份服務(wù)器）服 務(wù)器 （快），或者通 過 DBC通過共享5. 高可用性：異步日志復(fù) 制從主文件系 統(tǒng)存儲(chǔ)（慢）或者共享存 儲(chǔ) （有沒到備 （快）或者通 過共享文件系有需要 復(fù)制）統(tǒng)的共享存 儲(chǔ)（有沒有需要 復(fù)JMX監(jiān)控和管理JMS到

9、MS的 i dge 的方 式在集群中消 息組和排他 性消 費(fèi)。性能（e）測(cè)試 工具持久化安全Blob 和消 息的支持調(diào)度傳遞（ ery ）消息 轉(zhuǎn)換 （xml 轉(zhuǎn)換 為對(duì) 象）異步 發(fā) 送e優(yōu)化生產(chǎn)者流程控制慢消費(fèi)消息 的處理攔截器架構(gòu)通配符的支 持（ ard ）的支持重新 傳遞 策略 消息優(yōu)先級(jí)和權(quán)重的 設(shè)置 命令代理AMQP支持SOAP協(xié)議 Web服務(wù)的支持JEE應(yīng)用服務(wù)整合超時(shí) 消息的 目 標(biāo)地址檢查重復(fù)的 消息集群中服 務(wù)端的負(fù)載 均衡制） 支持，包含一個(gè) eb 控制臺(tái) 支持， HQ到 和 HQ到任 何.1 的服務(wù)器。一次只能提 供 一次，并保 證 在 Q到es. 支持MS 壓力 測(cè)試

10、僅支持異步 日志系 統(tǒng)（ al ），提供兩種方 式：1. Java NIOAIO（ 僅支持 nux2.6 以上的版 本） 身份驗(yàn)證和授權(quán)的 AS的配置 文 件中定義。7中不同的 權(quán)限。 支持 支持 支持，但是 僅僅 在HQ和e 之間 。支持前置 dge 支持（ 僅僅 在 ndow） 支持 支持，在包一 級(jí)傳入的數(shù)據(jù) 庫捕 獲支持不支持 延遲交還和DLQ 不支持 不支持 不支持 不支持 支持，使用 RA 支持 支持 支持支持支持r 的性能 測(cè)試 支持多種方 式：B（比較好的可 擴(kuò)展性，更短的恢 復(fù)時(shí)間。）2.AMQ消息存 儲(chǔ)（快） 3.JDBC數(shù)據(jù)庫（比 較慢）JAAS的身份驗(yàn)證和配置文件授 權(quán)

11、。3 中不 同的 權(quán)限（ 讀，寫，管理） 支持 支持（使用 支持（其中 案） 支持 批量 支持（ 僅僅 在 支持 支持，使用一個(gè) 攔截器棧捕獲 傳入的消息支持 支持 DLQ，丟 失的消息 將 無法在交 付。 支持支持在 Q4.2 以上 支持 支持，使用che Axis 和CXF支持，使用 RA 不支持 不支持 支持）i ng 提供 具體的 實(shí)現(xiàn) 方dge，異步消息 傳 遞 ndow）支持，自 動(dòng)故障 轉(zhuǎn)移和應(yīng)用管理客戶端容錯(cuò)機(jī)制ver)模式支持，隨機(jī)和循 環(huán)使用故障 轉(zhuǎn)移協(xié)議Vm傳輸支持支持對(duì) Aja 的支持未知支持客戶端負(fù)載 均衡(e) 支持(隨機(jī)和循 環(huán) )不支持對(duì) ng 的支持tMQy

12、出名的 g 寫成，tMQ 是由 t 提供的一個(gè) AMQP 的開源實(shí)現(xiàn) ，由以高性能 、健壯以及因此也是繼 承了這些優(yōu) 點(diǎn)AMQP 里的兩個(gè)主 要組件： nge 和 ，綠色的 X 就是 nge ，紅色的是 ，這兩者都在 r 端，又稱作 r ，這部分是 tMQ 實(shí)現(xiàn)的，而藍(lán)色的則 是 客戶端，通常有cer 和 mer 兩種類型：AMQP 有四個(gè)非常 重要的概念 ：虛擬機(jī)al host) ，交換機(jī)nge) ，隊(duì)列)和綁定(binding) 。虛擬機(jī) : 通常是應(yīng)用 的外在邊界 ，我們可以為 不同的虛擬 機(jī)分配訪問 權(quán) 限。虛擬機(jī)可持 有多個(gè)交換 機(jī)、隊(duì)列和 綁定 。交換機(jī) : 從連接通道 el)接收

13、消息，并按照特定 的 路由規(guī)則 發(fā)送給隊(duì)列 。隊(duì)列: 消息最終的 存儲(chǔ)容器，直到消費(fèi)客 戶端 mer) 將其取走。綁定 : 也就是所謂 的路由規(guī)則 ，告訴交換機(jī) 將何種類型 的消息發(fā)送 到某個(gè)隊(duì)列 中。 通常的操作 流程是 :(1) 消費(fèi)者 : 創(chuàng)建信息通 道 。(2) 消費(fèi)者 : 定義消息隊(duì) 列 。(3) 消費(fèi)者 : 定義特定類 型 的交換機(jī) 。(4) 消費(fèi)者 : 設(shè)定綁定規(guī) 則 (包括交換機(jī) 名 稱、隊(duì)列名稱以 及路由鍵 )。(5) 消費(fèi)者 : 等待消息。(6) 生產(chǎn)者 : 創(chuàng)建消息。(7) 生產(chǎn)者 : 將消息投遞給信息通道 (注明接收交換機(jī)名稱和路由鍵)。(8) 交換機(jī): 獲取消息，依據(jù)

14、交換機(jī) 類型決定是否匹配路由規(guī)則 (如需匹配，則對(duì)比消息 路由鍵和綁定路由 鍵)。(9) 消費(fèi)者 : 獲取并處理消息，發(fā)送反饋。(10) 結(jié)束: 關(guān)閉通道和連接。隊(duì)列定義參數(shù):sive: 僅創(chuàng)建者可以使用的私有隊(duì)列，斷開后自動(dòng) 刪除。e: 當(dāng)所有消費(fèi)客戶端連接斷開后，是否自動(dòng)刪 除隊(duì)列。交換機(jī)定義參數(shù):type: 交換機(jī)類型，包括 t 和 。e: 當(dāng)所有綁定隊(duì)列都不再使用時(shí)，是否自動(dòng)刪 除該交換機(jī)。 如所定義隊(duì)列和交換機(jī)已存在， are 和 e 將直接使用，不會(huì)拋出異 常。交換機(jī)類型 :t: 不處理路由鍵，將消息廣播給綁定到該交換機(jī)的所有隊(duì)列。t: 處理路由鍵，對(duì)消息路徑進(jìn)行全文匹配。消息路由

15、鍵 “ ” 只能匹配 “ ” 綁定，不 匹配“ ”這類綁定。: 處理路由鍵，按模式匹配路由鍵。模式符號(hào) “#”表 示一個(gè)或多個(gè)單詞， ” ”僅 匹配一個(gè) 單詞。如 “#” 可匹配 “ ”，但“”只 匹配 “ ”。通過 ing 配置來實(shí)現(xiàn)異步接收消息類是用于發(fā)送消息的類。實(shí)現(xiàn)如下Java 代 碼..2.13.getmq;tlate;ctelate;c voider i) ge = + # + i;nge 的名 稱為，的名稱為r Send(ge);ln(發(fā)送第 + i +個(gè)消息成功！內(nèi)容為：eueeue,ge);16.r17.ges);18.ln( 發(fā)

16、送第 + i + 個(gè)消息成功！內(nèi)容為：ges);19.20.21.c voidlate) 22.this .late;23.24.25. t + # + i;14.15.8.rty name=ame9.rty name=ord10.11.bean id=dmin12.=13.r-arg ref=14.15.bean id=late16.=17.r-arg ref=18.19.bean id=20.=21.rty name=22.24.g 的配置文件如下： -Java 代 碼1.on= 1.0 ing= UTF-82. =3. :xsi= http:/www.w4. tion=5. - nce-

17、 3.0.xsd ory host /= /= /nry /t.core. late ry r-arglate late /25.對(duì)于發(fā)送消息的程序自己可以實(shí)現(xiàn)。面來看看接受消息的程序如下er 類用于接收消息的處理類，如下Java 代 碼1.getmq;2.3.t java.util.Date;4.5.Heller 6.c voidg text) 7.ln(ved: + text);8.9.ln( newDate();10.11.g 的配置文件如下：tmq.xmlJava 代 碼1. 2.3.:xsi=nce4.tion=http:/www.spri5.6.ory 8.r-=host /9.r

18、ty name=ame = /10.rty name=ord =9.nlate 20.r-arg ref=ryr-arg5.ruc -=r-arg4.-=r -arg8.40.-= tr -arg4.46.-=0 ref=r -arg47.-=1 ref=r -arg48.-=2 =.#r-arg6.58.r-arg ref=er/59.rty name=d=agerty60.rty name=r ref=rrty61.6

19、2.63.65.rty name=Name=rty66.rty name=ry ref=ryrty67.rty name= ref=rty68.69.70.官網(wǎng)： /和itMQ，就好比inx 和 e，sh 和uid。簡單、輕量級(jí)、高性能、易使用等特點(diǎn)，以及優(yōu)先級(jí)、多隊(duì)列、持久化、分布式容錯(cuò) 、超時(shí)控制等特性。設(shè)計(jì)思想高性能離不開異步，異步離不開隊(duì)列，而其內(nèi)部都是mer 模式的原理應(yīng)用，一個(gè)高性能、輕量級(jí)的分布式內(nèi)存隊(duì)列系統(tǒng)，最初設(shè)計(jì)的高容量 b 應(yīng)用系統(tǒng)的頁面訪問延遲，支持過有 .5 on 用戶的目的是想通過后臺(tái)異步執(zhí)行耗時(shí)的任務(wù)來降低s 應(yīng)用。后來開源，現(xiàn)在有k大規(guī)模部署和使用，每天處理百萬

20、級(jí)任務(wù)是典型的類 ched 設(shè)計(jì)，協(xié)議和使用方式都是同樣的風(fēng)格核心概念設(shè)計(jì)里面的核心概念：job 一個(gè)需要異步處理的任務(wù)，是 d中的基本單元，需要放在一個(gè) 中。tube一個(gè)有名的任務(wù)隊(duì)列，用來存儲(chǔ)統(tǒng) 一類型的 ob，是ucer 和 mer 操作的對(duì)象。cerJob 的生 產(chǎn)者，通過命令來將一 個(gè) job 放到 一個(gè) be 中。merJob 的消 費(fèi)者，通過e 命令來 獲取 job 或改 變 的狀態(tài)。Job 生命 周 期中一個(gè) b的生命周 期如圖 2所示。一個(gè) 有 D四種狀 態(tài)。當(dāng)ucer 直接 put 一個(gè) job 時(shí)，job 就處于 Y 狀態(tài)，等待 來處理，如果選擇延 遲 put，job 就

21、先 到Y(jié)ED狀 態(tài)， 等待時(shí)間過 后 才遷移到狀 態(tài)。mer 獲取 了當(dāng)前 ADY 的 ob 后，該 job 的 狀態(tài)就遷移 到RVED ，這樣其他的 mer 就不能 再操作該 job。當(dāng)umer 完成 該 后，可以選擇 se 或者 ury操作； e之后， job 從系統(tǒng)消亡，之后不能再 獲??； se操作可以重新把該 job 狀態(tài)遷移回 ADY（也 可以延遲該 狀態(tài)遷移操 作），使其他的e r可以繼續(xù)獲取和執(zhí) 行該；有意思的是 bury 操作，可以把該 ob休眠，等到需要的 時(shí)候，再將休 眠的 kick 回 狀態(tài)，也可以 D 狀態(tài)的 ob。正是有這些 有趣的操作 和狀態(tài)，才可 以基于此做出很多

22、意思的應(yīng)用 ，比如要實(shí)現(xiàn) 一個(gè)循環(huán)隊(duì) 列，就可以將 ED狀態(tài)的 job 休眠掉，等沒有 ADY狀態(tài) 的 job 時(shí)再將 IED 狀態(tài)的 job 一次性 k回 DY 狀態(tài)。ycle:e VED *poof*特性優(yōu)先級(jí)支持 0到 *32 的優(yōu)先級(jí)，值越小，優(yōu)先級(jí)越高 ，默認(rèn)優(yōu)先級(jí) 為持久化分布式容錯(cuò)分布式設(shè)計(jì) 和類似， 各個(gè) ver 之間并 不知道彼 此的存在，都是通過來實(shí)現(xiàn)分布 式以及根據(jù)tube 名 稱去特定獲取 ?？梢酝ㄟ^ 態(tài)。將 job 及其 狀態(tài)記錄 到文件里面 ，在d 下次啟 動(dòng)時(shí)可以通過 讀取 log 來恢 復(fù)之前的 ob 及狀rve 操作 設(shè)置了時(shí)間，如果該r 執(zhí)行。kd 來自 動(dòng)

23、刪除空 be。Tube 是在被引 ed 或者ied job ）并且沒有客 戶端引超時(shí)控制為了防止某 個(gè) umer 長時(shí) 間占用任 務(wù)但不能處 理 的情況，為r不能在指 定時(shí)間內(nèi)完 成 job ，job將被遷移回 ADY 狀態(tài)，供其他 不足沒有提供刪 除一個(gè) be的操作 ，只能將 be的 b依次刪除，并讓 用到 時(shí)按需創(chuàng)建 的。如果一個(gè) ube 空了 （也就是說不 包含任何 用，該 將被刪除。不支持客戶 端認(rèn)證機(jī)制 （開發(fā)者將應(yīng) 用場(chǎng)景定位 在 局域網(wǎng)）talk 協(xié)議talk協(xié)議是 使用 II編碼方式 運(yùn)行在 p之上的。整個(gè)協(xié)議是 由客戶端主 動(dòng)發(fā)起 p連接，發(fā)送命令和 數(shù) 據(jù)，等待響應(yīng)，然后關(guān)閉連 接來進(jìn)行通信的。對(duì)于每一個(gè) 連接，服務(wù)嚴(yán)格按