kafka對比其他消息服務(wù)

kafka性能測試掌握kafka與其他消息服務(wù)的對比

一、測試環(huán)境介紹

二、生產(chǎn)者測試

三、生產(chǎn)者性能較好原因

四、消費者測試

五、消費者性能較好原因兩臺Linux機器，每臺機器的配置為8核2GHz、16GB內(nèi)存，6個磁盤使用RAID10。兩臺機器通過1GB網(wǎng)絡(luò)連接。一臺機器作為代理，另一臺作為生產(chǎn)者或者消費者。1.測試環(huán)境對每個系統(tǒng)，運行一個生產(chǎn)者，總共發(fā)布1000萬條消息，每條消息200字節(jié)。Kafka生產(chǎn)者以1和50批量方式發(fā)送消息。ActiveMQ和RabbitMQ似乎沒有簡單的辦法來批量發(fā)送消息，LinkedIn假定它的批量值為1。結(jié)果如下圖所示：

2.生產(chǎn)者測試Kafka性能要好很多的主要原因包括：Kafka不等待代理的確認(rèn)，以代理能處理的最快速度發(fā)送消息。Kafka有更高效的存儲格式。平均而言，Kafka每條消息有9字節(jié)的開銷，而ActiveMQ有144字節(jié)。其原因是JMS所需的沉重消息頭，以及維護各種索引結(jié)構(gòu)的開銷。LinkedIn注意到ActiveMQ一個最忙的線程大部分時間都在存取B-Tree以維護消息元數(shù)據(jù)和狀態(tài)。

3.生產(chǎn)者性能較好原因為了做消費者測試，LinkedIn使用一個消費者獲取總共1000萬條消息。LinkedIn讓所有系統(tǒng)每次讀取請求都預(yù)獲取大約相同數(shù)量的數(shù)據(jù)，最多1000條消息或者200KB。對ActiveMQ和RabbitMQ，LinkedIn設(shè)置消費者確認(rèn)模型為自動。結(jié)果如圖所示。4.消費者測試Kafka性能要好很多的主要原因包括：1.Kafka有更高效的存儲格式，在Kafka中，從代理傳輸?shù)较M者的字節(jié)更少。2.ActiveMQ和RabbitMQ兩個容器中的代理必須維護每個消息的傳輸狀態(tài)。LinkedIn團隊注意到其中一個ActiveMQ線程在測試過程中，一直在將KahaDB頁寫入磁盤。與此相反，Kafka代理沒有磁盤寫入動作。最后，Kafka通過使用sendfileAPI降低了傳輸開銷。Kafka性能要好很多的主要原因包括：Kafka有更高效的存儲格式，在Kafka中，從代理傳輸?shù)较M者的字節(jié)更少。ActiveMQ和RabbitMQ兩個容器中的代理必須維護每個消息的傳輸狀態(tài)。LinkedIn團隊注意到其中一個ActiveMQ線程在測試過程中，一直在將KahaDB頁寫入磁盤。與此相反，Kafka代理沒有磁盤寫入動作。最后，Kafka通過使用sendfileAPI降低了傳輸開銷。5.消費者性能較好原因kafka是一個分布式消息隊列。具有高性能、持久化、多副