Ceph BlueStore與FileStore性能對(duì)比分析

1、 Ceph BlueStore 與 FileStore 性能對(duì)比分析BlueStore是Ceph的新存儲(chǔ)引擎，是社區(qū)版的默認(rèn)配置。 BlueStore性能參數(shù)不包含在我們當(dāng)前的Micron Accelerated Ceph存儲(chǔ)解決方案參考架構(gòu)中，因?yàn)镽ed Hat Ceph 3.0目前不支持它。 本文在Ceph參考架構(gòu)硬件上對(duì)社區(qū)版Ceph Luminous（12.2.4）進(jìn)行了性能測(cè)試，并將結(jié)果與同樣硬件環(huán)境的RHCS 3.0中實(shí)現(xiàn)的FileStore性能進(jìn)行比較。4KB隨機(jī)寫入IOPS性能提高18，平均延遲降低15，尾延遲降低99.99高達(dá)80。 使用BlueStore，在較高的隊(duì)列深度下

2、，4KB隨機(jī)讀取性能更好。該解決方案針對(duì)塊性能進(jìn)行了優(yōu)化。 使用Linux中的Rados Block Driver進(jìn)行隨機(jī)小塊測(cè)試，在雙插槽存儲(chǔ)節(jié)點(diǎn)中使鉑金級(jí)8168 Intel Purley處理器滿負(fù)荷運(yùn)行。每個(gè)存儲(chǔ)節(jié)點(diǎn)有10個(gè)驅(qū)動(dòng)器，該架構(gòu)具有232TB的可用存儲(chǔ)容量，可通過添加額外的1U存儲(chǔ)節(jié)點(diǎn)進(jìn)行擴(kuò)展。參考設(shè)計(jì) - 硬件測(cè)試結(jié)果和分析Ceph測(cè)試方法Red Hat Ceph Storage 3.0（12.2.1）配置了FileStore，每個(gè)Micron 9200MAX NVMe SSD有2個(gè)OSD。 每個(gè)OSD使用20GB日志。Ceph Luminous Community（12.2

3、.4）配置了BlueStore，每個(gè)Micron 9200MAX NVMe SSD有2個(gè)OSD。 RocksDB和WAL數(shù)據(jù)與數(shù)據(jù)存儲(chǔ)在同一分區(qū)中。在這兩種配置中，每個(gè)存儲(chǔ)節(jié)點(diǎn)有10個(gè)驅(qū)動(dòng)器，每個(gè)驅(qū)動(dòng)器有2個(gè)OSD，總共80個(gè)OSD，可用容量為232TB。測(cè)試的Ceph存儲(chǔ)池是使用8192個(gè)pg和2副本創(chuàng)建的。 使用100個(gè)RBD快文件（每個(gè)75GB）測(cè)試性能，在2副本存儲(chǔ)池上提供7.5TB數(shù)據(jù)，總數(shù)據(jù)為15TB。使用FIO針對(duì)Rados Block Driver測(cè)試4KB隨機(jī)塊性能。 我們?cè)谒袦y(cè)試中都受CPU限制，即使每個(gè)存儲(chǔ)節(jié)點(diǎn)使用2x Intel 8168 CPU也是如此。RBD FIO 4KB隨機(jī)寫性能：FileStore與BlueStoreBlueStore的IOPS增加約18，平均延遲減少約15。使用BlueStore，在更高的FIO客戶端數(shù)量下，Ceph的尾延遲也大大減少。 在100個(gè)客戶端，尾延遲減少了4.3倍。 在較低的客戶端數(shù)量下，BlueStore的尾延遲高于FileStore，因?yàn)锽lueStore正在推動(dòng)更高的性能。RBD FIO 4KB隨機(jī)讀取性能：FileStore與BlueStoreFileStore和BlueStore之間的4K