儲(chǔ)存虛擬化軟體技術(shù)剖析

1、儲(chǔ)存虛擬化軟體技術(shù)剖析author蕭宇廷下載幅案由於虛擬化及分散式檔案系統(tǒng)等軟體技術(shù)之進(jìn)步，除傳統(tǒng)儲(chǔ)存大廠外，新興的虛擬化及雲(yún)端 產(chǎn)業(yè)應(yīng)用在應(yīng)對(duì)軟體定義儲(chǔ)存之議題時(shí)，也有各自的做法。隨著企業(yè)大量使用虛擬化在他們 的運(yùn)算環(huán)境，資料量大量成長(zhǎng)，管理難度同時(shí)也大幅增加，各虛擬化廠商們自然開(kāi)始思考是 否能將更多的功能透過(guò)其虛擬化的平臺(tái)來(lái)實(shí)現(xiàn)，vmware ,就是其中一個(gè)最顯著的例子。在 觀察其軟體定義的資料中心整體方案布局，雖然仍以運(yùn)算虛擬化產(chǎn)品為其主要的運(yùn)作基礎(chǔ)， 其功能延伸到了網(wǎng)路虛擬化及儲(chǔ)存虛擬化以及私有雲(yún)管理等面向o其中在儲(chǔ)存虛擬化推出的 vmware virtual san(vsan),便是

2、一套在虛擬管理平臺(tái)上融合儲(chǔ)存管理軟體，可針對(duì)安裝 在伺服器上的ssd快閃記憶體及硬碟等進(jìn)行抽象化及集中化。如此一來(lái)便可在vsphere虛 擬化作業(yè)環(huán)境中，構(gòu)建由軟體定義的共用儲(chǔ)存空間。本文就目前業(yè)界的幾個(gè)主要軟體及服務(wù) 供應(yīng)商提出的軟體定義儲(chǔ)存方案進(jìn)行討論及分析。本文主要將談到下列幾種軟體定義的儲(chǔ)存方案：由虛擬化平臺(tái)(hypervisor)提供的虛擬化儲(chǔ)存 於虛擬化作業(yè)環(huán)境中，利用虛擬化平臺(tái)(vmware , openstack等)提供的api或功能模組， 將儲(chǔ)存控制功能附加到虛擬化管理平臺(tái)中，進(jìn)一步管理附加在實(shí)體伺服器上的儲(chǔ)存空間，提 供儲(chǔ)存管理能力。2. 基於分散式檔案系統(tǒng)衍生的軟體方案以

3、軟體形式建構(gòu)在分散式檔案系統(tǒng)上，為許多開(kāi)源平臺(tái)所使用，其中以sun的zfs為市場(chǎng) 上常見(jiàn)的產(chǎn)品所採(cǎi)用，另外還包含如redhat之ceph及hadoop之hdfs等。3. 其他軟體方案如emc之scalelo等，則是利用虛擬機(jī)方式建構(gòu)一組組的虛擬儲(chǔ)存伺服器(通常以三臺(tái)為 一組)提供類(lèi)似儲(chǔ)存設(shè)備之功能及可靠度，而公有雲(yún)供應(yīng)商如amazon之s3以及dropbox 等則為利用物件方式(object)儲(chǔ)存而非常見(jiàn)的block或檔案形式。以下對(duì)以上三種軟體定義儲(chǔ)存進(jìn)行分析及比較。一、由虛擬化平臺(tái)(hypervisor)提供的虛擬化儲(chǔ)存vmware在vsphere 5.5中首次引入了 virtual sa

4、n技術(shù)，邁出儲(chǔ)存虛擬的第一步。vsan 將vsphere叢集中的主機(jī)磁碟聚集起來(lái)，然後創(chuàng)建一個(gè)分散式的共用儲(chǔ)存空間，可在vcenter中快速調(diào)配儲(chǔ)存空間，作為虛擬化管理和佈署的一部分。vsan儲(chǔ)存虛擬層位於應(yīng)用程式和基礎(chǔ)架構(gòu)之間的交會(huì)處，可平衡應(yīng)用程式所需要的所有it 資源，包括運(yùn)算、記憶體、網(wǎng)路和儲(chǔ)存空間，以滿(mǎn)足虛擬化應(yīng)用程式的需求、做出智慧的配 置決定，並將其最佳化。在vmware sds模式中，控制平臺(tái)可扮演應(yīng)用程式和基礎(chǔ)架構(gòu)之 間的橋樑，在不同的儲(chǔ)存層之間提供標(biāo)準(zhǔn)化的管理及自動(dòng)化。透過(guò)sds ,由軟體政策完全 控制邏輯實(shí)體，提供自動(dòng)化大規(guī)模佈建，並能動(dòng)態(tài)控制虛擬機(jī)服務(wù)層級(jí)，確保應(yīng)用程式

5、在生 命週期內(nèi)的法規(guī)符合性。vmware透過(guò)政策式儲(chǔ)存管理方式實(shí)作原則導(dǎo)向控制，利用vsphere virtual volumes管理 外部?jī)?chǔ)存裝置（san跟nas）,或透過(guò)virtual san管理x86儲(chǔ)存裝置。policy-driven control planex86 serversvsancloud objectstoragesan / nasvsphere virtual volumes圖 一 vmware sds 架構(gòu)與 vsan / wols 應(yīng)用vmware vsan混合磁碟系統(tǒng)利用整合本機(jī)固態(tài)硬碟作為快取，同時(shí)結(jié)合本地硬碟的叢集式 資料儲(chǔ)存，提供具備性能及可靠度的儲(chǔ)存平臺(tái)。

6、在vsan環(huán)境中至少需要配置三臺(tái)esxi 主機(jī)以形成一個(gè)vmware vsan群組。所有主機(jī)均透過(guò)專(zhuān)用的10g網(wǎng)路進(jìn)行資料同步。所有主機(jī)均需要配備硬碟及ssd ,固態(tài)硬碟可優(yōu)化主機(jī)的儲(chǔ)存效率，每臺(tái)主機(jī)最多可形成5個(gè)本地磁碟群組，每個(gè)本機(jī)群組只能一個(gè)ssd ,但最多可以有7顆硬碟。virtual san scale up圖二 vsan之硬碟配置模式vsan運(yùn)作架構(gòu)也支援scale-out機(jī)制，除了最初組成的vsan cluster至少必須有三臺(tái)主 機(jī)之外，後續(xù)儲(chǔ)存空間不足時(shí)就可以逐臺(tái)擴(kuò)充，在6.0的版本將可擴(kuò)充至64個(gè)node且支 援全ssd儲(chǔ)存空間。通過(guò)vsan物件儲(chǔ)存檔案系統(tǒng)(osfs),所

7、有主機(jī)上的vmfs volume可以合併為一個(gè)大的資料空間，並可根據(jù)每個(gè)vmdk創(chuàng)建不同的虛擬機(jī)儲(chǔ)存策略。二、基於分散式檔案系統(tǒng)衍生的軟體儲(chǔ)存方案1. zfszfs的開(kāi)放儲(chǔ)存架構(gòu)，比如併入oracle的sun microsystems solaris zfs ,也算軟體定義 儲(chǔ)存的先驅(qū)，而在眾多開(kāi)源zfs檔案系統(tǒng)衍生的產(chǎn)品中，nexentastor算其中代表性的產(chǎn) 品，可以純軟體型式安裝，也透過(guò)oem方式讓許多廠商以伺服器搭載nexentastor自製儲(chǔ) 存設(shè)備。nexentastor是一套具備共享儲(chǔ)存管理等功能的儲(chǔ)存軟體，系統(tǒng)核心是開(kāi)源的opensolaris, 底層由zfs負(fù)責(zé)磁碟管理，結(jié)

8、合儲(chǔ)存池概念後可統(tǒng)一管理與配置，也能搭配不同功能模組 提供附加應(yīng)用。由於採(cǎi)用純軟體部署所以有一定的硬體選擇彈性，但要特別注意由於底層採(cǎi)用較少見(jiàn)的opensolaris許多裝置未必支援，所以在選擇硬體時(shí)需注意周邊設(shè)備是否支援。client tiernexentaunified storager=i叵jnexentastor 架構(gòu)由於採(cǎi)用copy-on-write寫(xiě)入機(jī)制，在snapshot時(shí)會(huì)造成一定效能負(fù)擔(dān)，使用時(shí)必須謹(jǐn)慎， 此外內(nèi)建進(jìn)階功能包括：重複資料刪除、壓縮、thin provisioning. ssd第2層快取以及針 對(duì)檔案層應(yīng)用的容量配額與空間保留。相較於其他幾種儲(chǔ)存伺服器軟體，由

9、於底層採(cǎi)用zfs ,檔案系統(tǒng)能藉此輕易獲得許多儲(chǔ)存 應(yīng)用功能，但相對(duì)地其開(kāi)源特性也造成額外在維護(hù)或開(kāi)發(fā)上的負(fù)擔(dān)。2. red hat相較於vmware推出於其虛擬平臺(tái)中專(zhuān)屬的vsan , red hat則是併購(gòu)了 ceph分佈式儲(chǔ)存系統(tǒng)廠商inktank ,並整合原本旗下之glusterfs儲(chǔ)存產(chǎn)品。ceph是在openstack上的一個(gè)具擴(kuò)展性之開(kāi)源軟體定義儲(chǔ)存系統(tǒng)。ceph以單一軟體平臺(tái)提供block.檔案和物件三種儲(chǔ)存方式： object :有原生 api 支援 openstack swifto block :支援精簡(jiǎn)配置、快照、克隆。 file : posix介面，支援快照。(2) c

10、eph同時(shí)也是分散式檔案系統(tǒng)，具以下特點(diǎn)：高擴(kuò)展性：使用普通x86伺服器，支援10到1000臺(tái)伺服器，可擴(kuò)充到pb等級(jí)。高可靠性：無(wú)單點(diǎn)故障，多資料副本，自動(dòng)管理，自動(dòng)修復(fù)。高性能：資料分佈平均，不需要中繼伺服器即支援objects和block storage。ceph底層有兩個(gè)組成元件： osd : object storage device ,提供儲(chǔ)存資源給前端服務(wù)。 monitor:監(jiān)控並維護(hù)整個(gè)ceph群組的狀態(tài)。btrfs xfs ext4ceph之組成元件ceph中每筆資料計(jì)算hash值後轉(zhuǎn)存到所對(duì)應(yīng)的pg邏輯資料群組中，再由pg對(duì)映到一 組osd , osd的個(gè)數(shù)由整個(gè)pool中

11、規(guī)劃的副本數(shù)(failure domain)決定，第一個(gè)osd是primary ,剩下的都是 replicasofile(imobjectspgshash(oid) & r11 11 i 1i 1 i 1 i i廠 1 i l1osdscrush(pgid)->(grouped by failure domain)圖五ceph之分散式資料架構(gòu)圖由此可見(jiàn)ceph可提供良好的橫向擴(kuò)充以及可靠度，並支援以物件、block以及檔案等儲(chǔ)存 模式，功能性最廣泛，目前以純軟體方式提供但未來(lái)可能將與硬體廠商一同推岀硬體產(chǎn)品。3. hdfshdfs架構(gòu)(hadoop distributed fil

12、e system)為hadoop專(zhuān)用的分佈式檔案系統(tǒng)，其設(shè)計(jì)乃基于google的file system ,它解決了許多分布式檔案系統(tǒng)遇到的問(wèn)題： 能存放極大的資料最，hdfs能夠?qū)①Y料平均散布在大量伺服器上，與其他分佈式 檔案系統(tǒng)（如zfs ）相比，hdfs能夠存放更大且更多的檔案。能更可靠的保存資料，hdfs使用即時(shí)資料副本方式同時(shí)保留三份以上資料。hdfs也具備分散式檔案系統(tǒng)的特點(diǎn)：高擴(kuò)展性：使用普通x86伺服器，支援到pb等級(jí)以上資料量。高可靠性：無(wú)單點(diǎn)故障，多資料副本。高性能：資料分佈最平均，效能最好。hdfs設(shè)計(jì)概念為：以平均機(jī)率方式將資料分散儲(chǔ)存在hdfs資料儲(chǔ)存單元datanod

13、e中以 提高存取效率,hdfs的資料至少都會(huì)有3份replication副本存放於不同主機(jī)上，在hadoop 把檔案寫(xiě)入時(shí)會(huì)把檔案切割成固定大小的block分散存到不同的datanode中，而由於每個(gè) 檔案都是跨實(shí)體存放，因此可視為一個(gè)分散式邏輯化的虛擬檔案系統(tǒng)，namenode則扮演linux檔案系統(tǒng)中inode的角色，因此它知道組成某個(gè)檔案的所有block位在哪些datanode中。圖六hdfs之各元件結(jié)構(gòu)圖hdfs最大的特性之一就是對(duì)副本位置的優(yōu)化,這對(duì)其可靠性和性能非常重要。複製block副本時(shí)namenode會(huì)做相關(guān)的所有決定,同時(shí)每3秒接收各datanode的heartbeat以及

14、block monitor以確保整體功能運(yùn)作正常，同時(shí)驗(yàn)證datanode上block列表與namenode 中的紀(jì)錄是否一致，另外為提昇hdfs存取效能尤其是讀取速度，hdfs在存資料時(shí)必須 將資料根據(jù)機(jī)率性平均分佈在所有cluster的datanode硬碟中，存取時(shí)就可以平行分散以 提高整體效能。在開(kāi)放式的分散儲(chǔ)存及檔案系統(tǒng)中，zfs是相對(duì)簡(jiǎn)單的方案，也較為適合一般企業(yè)客戶(hù)所 使用，但因其先天的侷限性，在企業(yè)中關(guān)鍵應(yīng)用的使用率並不是太高。而就ceph及hdfs 來(lái)說(shuō)，其性能在單一主機(jī)情況下雖不如傳統(tǒng)的磁碟陣列，因?yàn)檫@兩者的i/o路徑較為複雜， 導(dǎo)致效率下降。但同時(shí)其優(yōu)勢(shì)在於它的擴(kuò)展性，性能

15、會(huì)隨著磁碟數(shù)量線性增長(zhǎng)，因此在多主 機(jī)的情況下，兩者的iops和吞吐率會(huì)高於磁碟儲(chǔ)存陣列。如前所述，由於hdfs僅限於hadoop運(yùn)算環(huán)境，因此ceph優(yōu)勢(shì)較顯著，運(yùn)用範(fàn)圍也更 廣，使用它能夠降低硬體成本和維運(yùn)成本，但它的複雜性會(huì)帶來(lái)一定的學(xué)習(xí)成本。ceph的 特點(diǎn)使得它非常適合於雲(yún)計(jì)算，許多openstack平臺(tái)會(huì)考慮使用ceph作為新一代的儲(chǔ)存 方案。三、其他軟體方案近年來(lái)還有許多使用純軟體方式提供的虛擬化儲(chǔ)存系統(tǒng)，而大多較成功的新創(chuàng)虛擬化儲(chǔ)存公 司均已被大廠所收購(gòu)，如已被emc收購(gòu)之scalelo ,被red hat收購(gòu)之glusterfs ,及被vmware收購(gòu)之virsto等，此類(lèi)產(chǎn)

16、品為符合無(wú)法建置外掛分享儲(chǔ)存陣列時(shí)之低價(jià)儲(chǔ)存需求而 衍生之虛擬化儲(chǔ)存伺服器。這樣的概念可將伺服器內(nèi)的磁碟空間，轉(zhuǎn)化為lun ,透過(guò)iscsi或fcp掛給vmware主機(jī) 使甩亦可利用raw device mapping模式將lun掛載給上層的虛擬機(jī)器，同時(shí)可分享nfs 協(xié)定之儲(chǔ)存空間存放vmdk檔案。唯其是使用虛擬機(jī)的概念，在伺服器資源及網(wǎng)路頻寬不 足之時(shí)，將嚴(yán)重影響儲(chǔ)存效能。目前較成熟的此類(lèi)型方案如emc併購(gòu)的scalelo ; scalelo的虛擬化技術(shù)叫ecs ,該技術(shù) 可利用多臺(tái)伺服器構(gòu)建一個(gè)可擴(kuò)展的檔案系統(tǒng)在伺服器上建立一個(gè)邏輯化的virtual san , 建置scalelo至少要

17、三臺(tái)sds伺服器，該系統(tǒng)主要由硬體和軟體二部分組成： 硬體：包含節(jié)點(diǎn)或伺服器安裝執(zhí)行scalelo之作業(yè)系統(tǒng)，包含linux centos、linux red hat、vmware esx 和 citrix xenserver。支援的儲(chǔ)存裝置包括 hdd、ssd、pcie flash卡，也支援das或者外接儲(chǔ)存。 軟體：meta data manager(mdm)用於配置和監(jiān)控 scalelo 系統(tǒng),scalelo dataserver(sds)用於管理單個(gè)伺服器的容量供前端資料存取，scalelo dataclient(sdc)則是一個(gè)輕型的前端代理程式。virtualizati onsan

18、 layersdcsdcsdcsdssdssds圖七 emc scalelo軟體元件架構(gòu)scalelo同樣具備儲(chǔ)存池的概念，儲(chǔ)存池隸屬protection domain進(jìn)行管理，每組sds都可建立一個(gè)protection domain群組，不同種類(lèi)實(shí)體磁碟再加入各自的儲(chǔ)存池中後將被歸屬到protection domain之中進(jìn)行統(tǒng)一管理。結(jié)語(yǔ)軟體系統(tǒng)定義的sds最大的特點(diǎn)在於其安裝的自由度較高，也較無(wú)特定的硬體依賴(lài)性，但 同樣因?yàn)槠滠涹w特性，造成效能瓶頸常會(huì)岀現(xiàn)在伺服器端以及資料同步交換網(wǎng)路的頻寬及穩(wěn) 定性，如vmware的vsan就建議提供10gb網(wǎng)路作為資料交換專(zhuān)用，其他方案亦然，若 企業(yè)本身不具備10gb儲(chǔ)存骨幹網(wǎng)路時(shí)，其效能將倍受影響。若以功能性進(jìn)行區(qū)分，vsan為vmware專(zhuān)屬之虛擬化儲(chǔ)存架構(gòu)，其利用本地ssd快取之 特性，對(duì)於虛擬桌面環(huán)境有極大的效能及成本效益；而由zfs衍生之儲(chǔ)存軟體以及新型虛 擬化儲(chǔ)存軟體則由於本身系統(tǒng)以及效能限制，目前仍建議在小規(guī)模環(huán)境以及測(cè)試環(huán)境中使用； 而在分散式檔案系統(tǒng)中之，ceph及hdfs則適用於提供雲(yún)服務(wù)環(huán)境以及巨量資料運(yùn)算之用 途；ceph勝在其架構(gòu)上運(yùn)用環(huán)境廣泛，而hdfs則勝在處理效能，兩者均需要足夠數(shù)量的 節(jié)點(diǎn)方能彰顯其可靠性及效能