OpenStack存儲(chǔ)管理功能介紹

1、OpenStack存儲(chǔ)管理功能介紹技術(shù)創(chuàng)新，變革未來(lái)OpenStack提供多種類型的存儲(chǔ)服務(wù)，用戶可以根據(jù)業(yè)務(wù)需求，自由選擇存儲(chǔ)服務(wù)。本章節(jié)重點(diǎn)介紹OpenStack中的塊存儲(chǔ)服務(wù)Cinder，簡(jiǎn)單介紹對(duì)象存儲(chǔ)服務(wù)Swift。本章節(jié)分為兩個(gè)部分：理論和實(shí)驗(yàn)理論部分主要講解Cinder作用、架構(gòu)、工作原理和流程，Swift作用和架構(gòu)。實(shí)驗(yàn)部分重點(diǎn)鍛煉學(xué)員Cinder日常運(yùn)維操作，幫助學(xué)員理論聯(lián)系實(shí)際，真正掌握Cinder 。學(xué)完本課程后，您將能夠：描述OpenStack不同存儲(chǔ)類型描述Cinder作用描述Cinder架構(gòu)描述Cinder工作流程描述Swift作用描述Swift架構(gòu)具備Cinder

2、日常運(yùn)維能力OpenStack存儲(chǔ)概述塊存儲(chǔ)Cinder對(duì)象存儲(chǔ)SwiftOpenStack有哪些存儲(chǔ)類型？OpenStack中的存儲(chǔ)可以分為兩類：目前OpenStack支持三種類型的持久性存儲(chǔ)：塊存儲(chǔ)、對(duì)象存儲(chǔ)和文件系統(tǒng)存儲(chǔ)。Ephemeral Storage，臨時(shí)存儲(chǔ)如果只部署了Nova服務(wù)，則默認(rèn)分配給虛擬機(jī)的磁盤是臨時(shí)的，當(dāng)虛擬機(jī)終止后，存儲(chǔ)空間也會(huì)被釋放。默認(rèn)情況下，臨時(shí)存儲(chǔ)以文件形式放置在計(jì)算節(jié)點(diǎn)的本地磁盤上。Persistent Storage，持久性存儲(chǔ)持久化存儲(chǔ)設(shè)備的生命周期獨(dú)立于任何其他系統(tǒng)設(shè)備或資源，存儲(chǔ)的數(shù)據(jù)一直可用，無(wú)論虛擬機(jī)是否運(yùn)行。當(dāng)虛擬機(jī)終止后，持久性存儲(chǔ)上的數(shù)

3、據(jù)仍然可用。OpenStack持久化存儲(chǔ)簡(jiǎn)介Manila文件存儲(chǔ)操作對(duì)象是文件和文件夾，在存儲(chǔ)系統(tǒng)上增加了文件系統(tǒng)，再通過(guò)NFS或CIFS協(xié)議進(jìn)行訪問(wèn)。Swift對(duì)象存儲(chǔ)操作對(duì)象是對(duì)象(object)，一個(gè)對(duì)象名稱就是一個(gè)域名地址，可以直接通過(guò)REST API的方式訪問(wèn)對(duì)象。因Manila目前使用較少，本章節(jié)只重點(diǎn)介紹Cinder和Swift。Cinder塊存儲(chǔ)操作對(duì)象是磁盤，直接掛載到主機(jī)，一般用于主機(jī)的直接存儲(chǔ)空間和數(shù)據(jù)庫(kù)應(yīng)用，DAS和SAN都可以提供塊存儲(chǔ)。OpenStack存儲(chǔ)類型對(duì)比用途訪問(wèn)方式訪問(wèn)客戶端管理服務(wù)數(shù)據(jù)生命周期存儲(chǔ)設(shè)備容量典型使用案例臨時(shí)存儲(chǔ)運(yùn)行操作系統(tǒng)和提供啟動(dòng)空間通

4、過(guò)文件系統(tǒng)訪問(wèn)虛擬機(jī)Nova虛擬機(jī)終止管理員配置的Flavor指定容量虛擬機(jī)中第一塊磁盤10GB，第二塊磁盤20GB塊存儲(chǔ)為虛擬機(jī)添加額外的持久化存儲(chǔ)塊設(shè)備被分區(qū)、格式化后掛載訪問(wèn)（例如 /dev/vdc）虛擬機(jī)Cinder被用戶刪除用戶創(chuàng)建時(shí)指定1 TB磁盤對(duì)象存儲(chǔ)存儲(chǔ)海量數(shù)據(jù)，包括虛擬機(jī)映像REST API任何客戶端Swift被用戶刪除可用物理存儲(chǔ)空間和數(shù)據(jù)副本數(shù)量10s TB級(jí)數(shù)據(jù)集存儲(chǔ)共享文件系統(tǒng)存儲(chǔ)為虛擬機(jī)添加額外的持久化存儲(chǔ)共享文件系統(tǒng)存儲(chǔ)被分區(qū)、格式化后掛載訪問(wèn)（例如 /dev/vdc）虛擬機(jī)Manila被用戶刪除用戶創(chuàng)建時(shí)指定擴(kuò)容時(shí)指定用戶配額指定管理員指定容量NFS討論：如何

5、選擇不同OpenStack存儲(chǔ)？請(qǐng)討論或思考如下場(chǎng)景中，如何選擇合適的OpenStack存儲(chǔ)？場(chǎng)景一測(cè)試OpenStack虛擬機(jī)發(fā)放功能，測(cè)試完即刪除虛擬機(jī)場(chǎng)景二OpenStack生產(chǎn)環(huán)境中的虛擬機(jī)，需保證虛擬機(jī)數(shù)據(jù)長(zhǎng)期保存場(chǎng)景三存放OpenStack中的Glance鏡像文件OpenStack存儲(chǔ)概述塊存儲(chǔ)CinderCinder簡(jiǎn)介Cinder架構(gòu)Cinder組件詳細(xì)講解Cinder典型工作流程OpenStack動(dòng)手實(shí)驗(yàn)： Cinder操作對(duì)象存儲(chǔ)SwiftOpenStack塊存儲(chǔ)服務(wù)是什么？CINDER塊存儲(chǔ)服務(wù)首次出現(xiàn)在OpenStack的“Folsom” 版本中。簡(jiǎn)介Cinder提供塊

6、存儲(chǔ)服務(wù)，為虛擬機(jī)實(shí)例提供持久化存儲(chǔ)。Cinder調(diào)用不同存儲(chǔ)接口驅(qū)動(dòng)，將存儲(chǔ)設(shè)備轉(zhuǎn)化成塊存儲(chǔ)池，用戶無(wú)需了解存儲(chǔ)實(shí)際部署的位置或設(shè)備類型。依賴的OpenStack服務(wù)KeystoneCinder在OpenStack中的位置和作用source: OpenStack存儲(chǔ)概述塊存儲(chǔ)CinderCinder簡(jiǎn)介Cinder架構(gòu)Cinder組件詳細(xì)講解Cinder典型工作流程OpenStack動(dòng)手實(shí)驗(yàn)： Cinder操作對(duì)象存儲(chǔ)SwiftCinder架構(gòu)cinder-apicinder-schedulercinder-volumecinder-backupDBcinder clientRESTMess

7、age Queue Message Queue Message Queue Cinder架構(gòu)說(shuō)明cinder-apicinder-schedulercinder-volumecinder-volumecinder-volumeSAN StorageLogical volumeSAN volume-driverLVMvolume-driverCephvolume-driverCeph Storage存儲(chǔ)模塊對(duì)外的服務(wù)接口，接收并轉(zhuǎn)發(fā)外部請(qǐng)求到不同的cinder組件進(jìn)行處理調(diào)度選擇合適的主機(jī)進(jìn)行創(chuàng)卷等操作執(zhí)行卷、快照相關(guān)的業(yè)務(wù)，通過(guò)調(diào)用不同的driver管理不同的存儲(chǔ)后端DBCinder架構(gòu)部署：

8、以SAN存儲(chǔ)為例Cinder-api，Cinder-Scheduler，Cinder-Volume可以選擇部署到一個(gè)節(jié)點(diǎn)上，也可以分別部署。API采用AA模式，Haproxy作為L(zhǎng)B，分發(fā)請(qǐng)求到多個(gè)Cinder API。Scheduer也采用AA模式，有rabbitmq以負(fù)載均衡模式向3個(gè)節(jié)點(diǎn)分發(fā)任務(wù)，并同時(shí)從rabbitqmq收取Cinder volume上報(bào)的能力信息，調(diào)度時(shí)，scheduler通過(guò)在DB中預(yù)留資源從而保證數(shù)據(jù)一致性。Cinder Volume也采用AA模式，同時(shí)上報(bào)同一個(gè)backend容量和能力信息，并同時(shí)接受請(qǐng)求進(jìn)行處理。RabbitMQ，支持主備或集群。MySQL，支

9、持主備或集群。Cinder-APICinder-SchedulerRabbitMQMySQLCinder-VolumeCinder-APICinder-APICinder-SchedulerCinder-SchedulerCinder-VolumeCinder-VolumeRabbitMQHAproxySANMySQLOpenStack存儲(chǔ)概述塊存儲(chǔ)CinderCinder簡(jiǎn)介Cinder架構(gòu)Cinder組件詳細(xì)講解Cinder典型工作流程OpenStack動(dòng)手實(shí)驗(yàn)： Cinder操作對(duì)象存儲(chǔ)SwiftCinder組件 - APICinder API對(duì)外提供REST API，對(duì)操作需求進(jìn)行解析

10、，并調(diào)用處理方法：卷create/delete/list/show快照create/delete/list/show卷attach/detach (Nova調(diào)用)其他:Volume types QuotasBackupsCinder組件 - SchedulerCinder scheduler負(fù)責(zé)收集后端上報(bào)的容量、能力信息，根據(jù)設(shè)定的算法完成卷到指定cinder-volume的調(diào)度。Cinder scheduler通過(guò)過(guò)濾和稱權(quán)，篩選出合適的后端：1. 列出所有后端2. 根據(jù)后端的能力進(jìn)行篩選3. 根據(jù)權(quán)重給后端排序4. 返回最合適的后端Cinder組件 - VolumeCinder volu

11、me多節(jié)點(diǎn)部署，使用不同的配置文件、接入不同的后端設(shè)備，由各存儲(chǔ)廠商插入Driver代碼與設(shè)備交互，完成設(shè)備容量和能力信息收集、卷操作等。Cinder PluginsSoftware BasedFile system basedDFSNFSBlock basedHardware BasedFibre ChanneliSCSINFSGlusterFS，RBD(Ceph)通過(guò)NFS支持NAS存儲(chǔ)通過(guò)LVM支持本地存儲(chǔ)通過(guò)添加不同廠商的Drivers支持不同類型和型號(hào)的商業(yè)存儲(chǔ)設(shè)備，例如華為存儲(chǔ)、IBM存儲(chǔ)、EMC存儲(chǔ)等OpenStack存儲(chǔ)概述塊存儲(chǔ)CinderCinder簡(jiǎn)介Cinder架構(gòu)Ci

12、nder組件詳細(xì)講解Cinder典型工作流程OpenStack動(dòng)手實(shí)驗(yàn)： Cinder操作對(duì)象存儲(chǔ)SwiftCinder-APICinder-ScheduleCinder-Volume創(chuàng)建卷讀取調(diào)度算法，過(guò)濾并選擇最優(yōu)的HOST定期上報(bào)后端狀態(tài)創(chuàng)建卷類型Cinder Driver/Backend定期查詢陣列信息將請(qǐng)求發(fā)送到對(duì)應(yīng)的后端請(qǐng)求陣列后端創(chuàng)建指定的卷Cinder創(chuàng)建卷流程請(qǐng)求Scheduler創(chuàng)建卷Cinder-volume: 會(huì)定期收集底層后端的容量等信息，并通知Scheduler更新內(nèi)存中的Backend信息。Create volumeScheduler節(jié)點(diǎn)API節(jié)點(diǎn)Cinder創(chuàng)建

13、卷流程 - Cinder APICinder API檢查參數(shù)合法性(用戶輸入，權(quán)限，資源是否存在等)。準(zhǔn)備創(chuàng)建的參數(shù)字典，預(yù)留和提交配額。在數(shù)據(jù)庫(kù)中創(chuàng)建對(duì)應(yīng)的數(shù)據(jù)記錄。通過(guò)消息隊(duì)列將請(qǐng)求和參數(shù)發(fā)送到SchedulerVolumeControllerCinder-Volume(API)callCinder-Schedule（Manager）callRPCCinder-Schedule(rpcapi)Create volumeVolume節(jié)點(diǎn)Scheduler節(jié)點(diǎn)Cinder-Schedule（Manager）Cinder-Volume(Manager)Cinder-Volume(rpcapi)c

14、allRPCCinder創(chuàng)建卷流程 - Cinder SchedulerCinder Scheduler服務(wù)提取接收到的請(qǐng)求參數(shù)通過(guò)配置的filter和輸入?yún)?shù)對(duì)后端進(jìn)行過(guò)濾Availability_zone_filterCapacity_filterCapabilities_filterAffinity_filter(SameBackendFilter/DifferentBackendFilter)Weigher計(jì)算后端進(jìn)行權(quán)重CapacityWeigher/AllocatedCapacityWeigherChanceWeigherGoodnessWeigher.選取最優(yōu)的Backend并通

15、過(guò)消息隊(duì)列將請(qǐng)求發(fā)送到指定的后端Create volumeVolume節(jié)點(diǎn)Cinder-Volume（Manager）backendVolume DrivercallxxxCinder創(chuàng)建卷流程 - Cinder VolumeCinder Volume服務(wù)提取接收到的請(qǐng)求參數(shù)調(diào)用對(duì)應(yīng)的Driver在后端創(chuàng)建實(shí)際的卷使用Driver返回的模型更新數(shù)據(jù)庫(kù)中的記錄Create volumeCinder掛載卷流程掛卷流程： 掛卷是通過(guò)Nova和Cinder的配合最終將遠(yuǎn)端的卷連接到虛擬機(jī)所在的Host節(jié)點(diǎn)上，并最終通過(guò)虛擬機(jī)管理程序映射到內(nèi)部的虛擬機(jī)中。Storage ControllerNovaVM

16、/dev/vdaKVMiSCSIinitiatorCinderiSCSItarget支持多種協(xié)議(例如 FC, NFS)Persistent volume controlPersistent volume dataOpenStack存儲(chǔ)概述塊存儲(chǔ)CinderCinder簡(jiǎn)介Cinder架構(gòu)Cinder組件詳細(xì)講解Cinder典型工作流程OpenStack動(dòng)手實(shí)驗(yàn)： Cinder操作對(duì)象存儲(chǔ)SwiftCinder主要操作Volume: 塊設(shè)備卷，提供創(chuàng)建，刪除，擴(kuò)容，掛載/卸載等功能。Snapshot: 針對(duì)于塊設(shè)備卷的快照創(chuàng)建，刪除, 回滾等功能。Backup: 提供對(duì)塊設(shè)備卷的備份，恢復(fù)能力

17、。Cinder主要操作主要三個(gè)資源:功能分類功能 功能分類功能 卷操作create快照操作snapshot-createdeletesnapshot-deleteshowsnapshot-listrenamesnapshot-renameupload-to-imagesnapshot-reset-stateextendsnapshot-showforce-deletesnapshot-metadatalistsnapshot-metadata-showmigratesnapshot-metadata-update-all reset-state備份操作backup-createrate-lim

18、itsbackup-deleteretypebackup-listset-bootablebackup-restoremanagebackup-showunmanagebackup-export metadatabackup-export 動(dòng)手實(shí)驗(yàn)：Cinder操作命令help卷類型管理卷QoS管理卷管理OpenStack存儲(chǔ)概述塊存儲(chǔ)Cinder對(duì)象存儲(chǔ)SwiftSwift簡(jiǎn)介Swift架構(gòu)對(duì)象存儲(chǔ)服務(wù)是什么？SWIFT對(duì)象存儲(chǔ)服務(wù)首次出現(xiàn)在OpenStack的“Austin” 版本中。簡(jiǎn)介Swift提供高度可用、分布式、最終一致的對(duì)象存儲(chǔ)服務(wù)。Swift可以高效、安全且廉價(jià)地存儲(chǔ)大量數(shù)據(jù)。

19、Swift非常適合存儲(chǔ)需要彈性擴(kuò)展的非結(jié)構(gòu)化數(shù)據(jù)。依賴的OpenStack服務(wù)為其他OpenStack服務(wù)提供對(duì)象存儲(chǔ)服務(wù)。Swift在OpenStack中的位置source: Swift在OpenStack中的作用Swift并不是文件系統(tǒng)或者實(shí)時(shí)的數(shù)據(jù)存儲(chǔ)系統(tǒng)，它稱為對(duì)象存儲(chǔ)，用于永久類型的靜態(tài)數(shù)據(jù)的長(zhǎng)期存儲(chǔ)，這些數(shù)據(jù)可以檢索、調(diào)整，必要時(shí)進(jìn)行更新。最適合存儲(chǔ)的數(shù)據(jù)類型的例子是虛擬機(jī)鏡像、圖片存儲(chǔ)、郵件存儲(chǔ)和存檔備份。因?yàn)闆](méi)有中心單元或主控結(jié)點(diǎn)，Swift提供了更強(qiáng)的擴(kuò)展性、冗余和持久性。VMNovaCinderSwiftGlanceProvides imagesProvisionsProv

20、ides volumes forBackups volumes inStores images inSwift特點(diǎn)Swift特點(diǎn)極高的數(shù)據(jù)持久性完全對(duì)稱的系統(tǒng)架構(gòu)可擴(kuò)展性強(qiáng)無(wú)單點(diǎn)故障Swift應(yīng)用場(chǎng)景鏡像存儲(chǔ)后端在OpenStack中與鏡像服務(wù)Glance結(jié)合，為其存儲(chǔ)鏡像文件。靜態(tài)數(shù)據(jù)存儲(chǔ)由于Swift的擴(kuò)展能力，適合存儲(chǔ)日志文件和數(shù)據(jù)備份倉(cāng)庫(kù)。OpenStack存儲(chǔ)概述塊存儲(chǔ)Cinder對(duì)象存儲(chǔ)SwiftSwift簡(jiǎn)介Swift架構(gòu)對(duì)象存儲(chǔ)服務(wù)的架構(gòu) 完全對(duì)稱、面向資源的分布式系統(tǒng)架構(gòu)設(shè)計(jì)API(Swift Proxy)-Account-Container-Object-Account-C

21、ontainer-Object-Account-Container-Object-Account-Container-Object-Account-Container-Object-Account-Container-ObjectStorage networkReplication networkSwift組件Proxy Server對(duì)外提供對(duì)象服務(wù) API，由于采用無(wú)狀態(tài)的 REST 請(qǐng)求協(xié)議，可以進(jìn)行橫向擴(kuò)展來(lái)均衡負(fù)載。Account Server提供賬戶元數(shù)據(jù)和統(tǒng)計(jì)信息，并維護(hù)所含容器列表的服務(wù)，每個(gè)賬戶的信息被存儲(chǔ)在一個(gè) SQLite 數(shù)據(jù)庫(kù)中。Container Server提供容器元數(shù)據(jù)和統(tǒng)計(jì)信息，并維護(hù)所含對(duì)象列表的服務(wù)，每個(gè)容器的信息也存儲(chǔ)在一個(gè) SQLite 數(shù)據(jù)庫(kù)中。Swift組件Object Server提供對(duì)象元數(shù)據(jù)和內(nèi)容服務(wù)，每個(gè)對(duì)象的內(nèi)容會(huì)以文件的形式存儲(chǔ)在文件系統(tǒng)中，元數(shù)據(jù)會(huì)作為文件屬性來(lái)存儲(chǔ)，建議采用支持?jǐn)U展屬性的 XFS 文件系統(tǒng)。Replicator檢測(cè)本地分區(qū)副本和遠(yuǎn)程副本是否一致，發(fā)現(xiàn)不一致時(shí)會(huì)采用推式（Push）更新遠(yuǎn)程副本，并且確保被標(biāo)記刪除的對(duì)象