2Ceph存儲(chǔ)系統(tǒng)簡(jiǎn)介·

Ceph存儲(chǔ)系統(tǒng)簡(jiǎn)介，1華云數(shù)據(jù)集團(tuán)承建廣州超算中心云計(jì)算平臺(tái)項(xiàng)目，利用天河二號(hào)服務(wù)器來(lái)搭建512個(gè)節(jié)點(diǎn)規(guī)模的云計(jì)算服務(wù)平臺(tái)，保證云平臺(tái)的高可靠性和高穩(wěn)定性，并按超算中心要求對(duì)外提供運(yùn)營(yíng)服務(wù)，支撐超算中心各業(yè)務(wù)系統(tǒng)的運(yùn)行。整個(gè)超算中心云平臺(tái)架構(gòu)中，我們采用Ceph存儲(chǔ)作為云平臺(tái)的后端存儲(chǔ)。本節(jié)主要學(xué)習(xí)Ceph存儲(chǔ)系統(tǒng)簡(jiǎn)介、核心組件、架構(gòu)。任務(wù)描述目錄Ceph存儲(chǔ)系統(tǒng)簡(jiǎn)介Ceph的架構(gòu)Ceph的核心組件2Ceph存儲(chǔ)系統(tǒng)簡(jiǎn)介3Ceph是一個(gè)可靠地、自動(dòng)重均衡、自動(dòng)恢復(fù)的分布式存儲(chǔ)系統(tǒng)，根據(jù)場(chǎng)景劃分可以將Ceph分為三大塊，分別是對(duì)象存儲(chǔ)、塊設(shè)備存儲(chǔ)和文件系統(tǒng)服務(wù)。在虛擬化領(lǐng)域里，比較常用到的是Ceph的塊設(shè)備存儲(chǔ)，比如在OpenStack項(xiàng)目里，Ceph的塊設(shè)備存儲(chǔ)可以對(duì)接OpenStack的cinder后端存儲(chǔ)、Glance的鏡像存儲(chǔ)和虛擬機(jī)的數(shù)據(jù)存儲(chǔ)，比較直觀的是Ceph集群可以提供一個(gè)raw格式的塊存儲(chǔ)來(lái)作為虛擬機(jī)實(shí)例的硬盤。Ceph相比其它存儲(chǔ)的優(yōu)勢(shì)點(diǎn)在于它不單單是存儲(chǔ)，同時(shí)還充分利用了存儲(chǔ)節(jié)點(diǎn)上的計(jì)算能力，在存儲(chǔ)每一個(gè)數(shù)據(jù)時(shí)，都會(huì)通過(guò)計(jì)算得出該數(shù)據(jù)存儲(chǔ)的位置，盡量將數(shù)據(jù)分布均衡，同時(shí)由于Ceph的良好設(shè)計(jì)，采用了CRUSH算法、HASH環(huán)等方法，使得它不存在傳統(tǒng)的單點(diǎn)故障的問(wèn)題，且隨著規(guī)模的擴(kuò)大性能并不會(huì)受到影響。Ceph的核心組件4Ceph的核心組件包括CephOSD、CephMonitor和CephMDS。CephOSD：OSD的英文全稱是ObjectStorageDevice，它的主要功能是存儲(chǔ)數(shù)據(jù)、復(fù)制數(shù)據(jù)、平衡數(shù)據(jù)、恢復(fù)數(shù)據(jù)等，與其它OSD間進(jìn)行心跳檢查等，并將一些變化情況上報(bào)給CephMonitor。一般情況下一塊硬盤對(duì)應(yīng)一個(gè)OSD，由OSD來(lái)對(duì)硬盤存儲(chǔ)進(jìn)行管理，當(dāng)然一個(gè)分區(qū)也可以成為一個(gè)OSD。CephOSD的架構(gòu)實(shí)現(xiàn)由物理磁盤驅(qū)動(dòng)器、Linux文件系統(tǒng)和CephOSD服務(wù)組成，對(duì)于CephOSDDeamon而言，Linux文件系統(tǒng)顯性的支持了其拓展性，一般Linux文件系統(tǒng)有好幾種，比如有BTRFS、XFS、Ext4等，BTRFS雖然有很多優(yōu)點(diǎn)特性，但現(xiàn)在還沒達(dá)到生產(chǎn)環(huán)境所需的穩(wěn)定性，一般比較推薦使用XFS。Ceph的核心組件5Ceph的核心組件包括CephOSD、CephMonitor和CephMDS。CephMonitor：監(jiān)視器，負(fù)責(zé)監(jiān)視Ceph集群，維護(hù)Ceph集群的健康狀態(tài)，同時(shí)維護(hù)著Ceph集群中的各種Map圖，比如OSDMap、MonitorMap、PGMap和CRUSHMap，這些Map統(tǒng)稱為ClusterMap，ClusterMap是RADOS的關(guān)鍵數(shù)據(jù)結(jié)構(gòu)，管理集群中的所有成員、關(guān)系、屬性等信息以及數(shù)據(jù)的分發(fā)，比如當(dāng)用戶需要存儲(chǔ)數(shù)據(jù)到Ceph集群時(shí)，OSD需要先通過(guò)Monitor獲取最新的Map圖，然后根據(jù)Map圖和objectid等計(jì)算出數(shù)據(jù)最終存儲(chǔ)的位置。CephMDS：全稱是CephMetaDataServer，主要保存的文件系統(tǒng)服務(wù)的元數(shù)據(jù)，但對(duì)象存儲(chǔ)和塊存儲(chǔ)設(shè)備是不需要使用該服務(wù)的。Ceph的架構(gòu)6Ceph的系統(tǒng)架構(gòu)由三個(gè)層次組成：最底層也是最核心的部分是RADOS對(duì)象存儲(chǔ)系統(tǒng)；第二層是librados庫(kù)層；最上層對(duì)應(yīng)著Ceph不同形式的存儲(chǔ)接口實(shí)現(xiàn)。RADOS對(duì)象存儲(chǔ)系統(tǒng)（可靠的、自組織的、可自動(dòng)修復(fù)、自我管理的分布式對(duì)象存儲(chǔ)系統(tǒng)）librados（訪問(wèn)RADOS對(duì)象存儲(chǔ)系統(tǒng)的庫(kù)，支持C/C++/Java/Python/Ruby/PHP）應(yīng)用直接訪問(wèn)RADOS對(duì)象存儲(chǔ)系統(tǒng)

S3/Swift塊存儲(chǔ)接口物理機(jī)/虛機(jī)

文件系統(tǒng)接口Libecephfs庫(kù)/posix接口radosgwlibrbd元數(shù)據(jù)服務(wù)器（MD5）數(shù)據(jù)元數(shù)據(jù)Ceph的架構(gòu)7最底層基于RADOS（reliable，autonomous，distributedobjectstore），其內(nèi)部包括ceph-osd后臺(tái)服務(wù)進(jìn)程和ceph-mon監(jiān)控進(jìn)程。中間層librados庫(kù)用于本地或者遠(yuǎn)程通過(guò)網(wǎng)絡(luò)訪問(wèn)R