了解大數(shù)據(jù)分布式存儲(chǔ)技術(shù)

1、大數(shù)據(jù)分布式存儲(chǔ)技術(shù)Lustre是一個(gè)分布式文件系統(tǒng)，是存儲(chǔ)速度是分布式文件系統(tǒng)中最快的。Lustre文件系統(tǒng)的架構(gòu)圖：圖架構(gòu)圖從架構(gòu)圖中，我們可以看出Lustre是典型的元數(shù)據(jù)中心式的分布式文件系統(tǒng)，其元數(shù)據(jù)服務(wù)器為MDS，用于存儲(chǔ)文件的元數(shù)據(jù)信息，OSS服務(wù)器用于存儲(chǔ)實(shí)際的文件數(shù)據(jù)。Lustre支持常規(guī)以太網(wǎng)，也支持快速的IB網(wǎng)絡(luò)。從結(jié)構(gòu)上看，MDS支持active-standy支持主備切換，OSS也支持failover，但實(shí)際上MDS的主備配置及OSS的故障恢復(fù)遠(yuǎn)沒有想象中的好用。其主備配置也好，failover也好只是支持服務(wù)器級(jí)別的切換，其底層真正用于存儲(chǔ)對(duì)象結(jié)構(gòu)MDT及OST是不支

2、持主備及故障恢復(fù)的。一般底層對(duì)象存儲(chǔ)會(huì)采用共享存儲(chǔ)的方式來支持MDS的active-standy、OSS的failover。但是這種配置不但會(huì)影響性能，配置起來復(fù)雜，安全性也沒有想象中高，只要共享存儲(chǔ)層出現(xiàn)故障，整個(gè)系統(tǒng)將無法正常使用。數(shù)據(jù)分布方式Lustre支持兩種數(shù)據(jù)分布方式，文件單個(gè)整體存儲(chǔ)及文件分片(stripe)存儲(chǔ)兩種方式。首先是文件整體存儲(chǔ)，文件以單個(gè)文件的形式存儲(chǔ)在OST中，不進(jìn)行任何的數(shù)據(jù)分片、糾刪碼設(shè)置及checksum(校驗(yàn))設(shè)置等操作，這是一種比較常見的數(shù)據(jù)分布方式。Lustre還支持文件分片存儲(chǔ)，也就是常說的stripe方式，很多DFS會(huì)提供這么一種數(shù)據(jù)分布方式。Lu

3、stre支持目錄級(jí)的Stripe存儲(chǔ)，即可以通過設(shè)置指定某個(gè)子目錄的Stripe相關(guān)設(shè)置，包括Stripe_count、Stripe_size、Stripe_ost。Stripe_size指定子目錄下的文件分片大??；Stripe_count指定選擇OST個(gè)數(shù)，即分片分布在多少個(gè)OST上；Stripe_ost指定起始存儲(chǔ)OST位置，系統(tǒng)默認(rèn)為-1,即由MDS根據(jù)剩余容量及負(fù)載選擇初始OST，否則從指定的OST開始分片存儲(chǔ)。具體設(shè)置如下：1lfs setstripe -s Stripe_sizeM -c Stripe_count /mnt

4、/SubDir/Stripe_size必須為page_size的整數(shù)據(jù)倍X*64KB/Stripe_count小于等于OST數(shù)圖數(shù)據(jù)分布示意圖如圖示例：Lustre存儲(chǔ)由6個(gè)OST提供對(duì)象存儲(chǔ)空間。/mnt/SubDir1目錄未進(jìn)行Stripe處理，該目錄下file1以文件的形式存儲(chǔ)在單個(gè)OST中，例如存儲(chǔ)在OST0中；/mnt/SubDir2目錄設(shè)置Stripe_count=6，則如圖所示，Stripe_size大小的數(shù)據(jù)分別在6個(gè)OST中分布，且按照數(shù)據(jù)順序輪詢合并；/mnt/SubDir3與SubDir2情形相似，Stripe_count=5。系統(tǒng)優(yōu)缺點(diǎn)Lustre可以設(shè)置具體子目錄的S

5、tripe參數(shù)，這種方式比較靈活，可以根據(jù)文件大小進(jìn)行合適的Stripe目錄設(shè)置。并且Stripe的數(shù)據(jù)分布方式比文件整體存儲(chǔ)高效，無論是文件讀還是寫。Lustre是基于內(nèi)核級(jí)的分布式文件系統(tǒng)。其文件的讀寫性能在分布式文件系統(tǒng)是比較快的(目前個(gè)人使用過，測試過的DFS中是最快的，其他分布式文件系統(tǒng)拍馬難及)。鑒于其性能及其強(qiáng)悍的擴(kuò)展性，多數(shù)用于高性能計(jì)算中。高性能，這正是Lustre最大的亮點(diǎn)。在某種角度上說，Lustre基本不提供數(shù)據(jù)的保護(hù)，無論是數(shù)據(jù)冗余保護(hù)，還是數(shù)據(jù)的糾刪保護(hù)，還是數(shù)據(jù)校驗(yàn)保護(hù)等等；當(dāng)然，同樣，其元數(shù)據(jù)也存在單點(diǎn)問題。這是Lustre的一大弱點(diǎn)。2.2 HDFS系統(tǒng)架構(gòu)H

6、DFS，或者說Hadoop大家會(huì)了解多些。其實(shí)對(duì)于hadoop。先給大家上個(gè)架構(gòu)圖：圖架構(gòu)圖相信很多人會(huì)很熟悉這張hdfs的架構(gòu)圖。如圖所示，HDFS由兩部分組成，一部分是負(fù)責(zé)元數(shù)據(jù)存儲(chǔ)的Namenode，一部分是負(fù)責(zé)實(shí)際存儲(chǔ)數(shù)據(jù)的Datanodes。Namenode是一個(gè)中心服務(wù)器，負(fù)責(zé)管理文件系統(tǒng)的名字空間、負(fù)責(zé)文件數(shù)據(jù)塊的組織及處理客戶端對(duì)數(shù)據(jù)的訪問；而Datanode則是一般是一個(gè)節(jié)點(diǎn)一個(gè)，負(fù)責(zé)管理其所在節(jié)點(diǎn)的數(shù)據(jù)存儲(chǔ)。最新版本的HDFS會(huì)支持一個(gè)備用的Namenode，負(fù)責(zé)定時(shí)的備份Namenode上的持久化的元數(shù)據(jù)信息，但實(shí)際上HDFS依然存在單點(diǎn)問題(熟悉MFS架構(gòu)的朋友會(huì)發(fā)現(xiàn)，

7、這種架構(gòu)方式與MFS是如此的相似，又是如此的沒用)。數(shù)據(jù)分布方式HDFS只支持?jǐn)?shù)據(jù)分塊的方式存儲(chǔ)，默認(rèn)的數(shù)據(jù)塊大小為64MB。其與一般的Stripe存儲(chǔ)方式不同(參考Lustre Stripe存儲(chǔ))，其會(huì)把文件分成一個(gè)個(gè)64MB大小的數(shù)據(jù)塊，在Datanodes存儲(chǔ)著一個(gè)個(gè)的64MB大小的數(shù)據(jù)塊而不是數(shù)據(jù)塊的集合。HDFS支持文件存儲(chǔ)時(shí)創(chuàng)建副本，用于保證數(shù)據(jù)的安全性。并且系統(tǒng)保證文件的數(shù)據(jù)塊的副本塊不會(huì)出現(xiàn)在同一個(gè)Datanode上，避免某個(gè)Datanode失效時(shí)，文件無法訪問。并且HDFS可以支持多個(gè)副本。如下圖所示：圖數(shù)據(jù)分布圖副本數(shù)據(jù)塊與原數(shù)據(jù)塊不在同一個(gè)datanode中，這種方式保證

8、了任何一個(gè)datanode失效，都有其他datanode上的副本數(shù)據(jù)塊進(jìn)行替換，從而保證了數(shù)據(jù)的安全性。在HDFS的文件實(shí)際存儲(chǔ)節(jié)點(diǎn)Datanodes中，數(shù)據(jù)塊是以單獨(dú)的文件塊存在，而不是與Lustre那樣將數(shù)據(jù)塊輪詢合并(對(duì)比Lustre數(shù)據(jù)分布圖)。HDFS在數(shù)據(jù)分布中，最特別的是其對(duì)數(shù)據(jù)的校驗(yàn)。在存儲(chǔ)文件時(shí)，HDFS會(huì)為每一個(gè)64MB的數(shù)據(jù)塊創(chuàng)建一個(gè)對(duì)應(yīng)的checksum，用于文件訪問時(shí)對(duì)數(shù)據(jù)塊的校驗(yàn)。這在分布式文件系統(tǒng)中是很不常見的。文件在HDFS中是以私有格式存儲(chǔ)的，只能通過系統(tǒng)的API進(jìn)行訪問。系統(tǒng)優(yōu)缺點(diǎn)HDFS作為存儲(chǔ)本身來說，沒有多少存儲(chǔ)優(yōu)勢。例如其系統(tǒng)本身并不支持標(biāo)準(zhǔn)的POS

9、IX接口，文件需要以專門的數(shù)據(jù)操作API進(jìn)行文件數(shù)據(jù)操作，這在通用存儲(chǔ)中是很不方便的方式；在性能上，其存儲(chǔ)并沒有顯著的優(yōu)勢，其為每一個(gè)數(shù)據(jù)塊創(chuàng)建一個(gè)checksum，雖然在數(shù)據(jù)安全性上提高了，在某種程度上說會(huì)降低其存儲(chǔ)效率；其元數(shù)據(jù)處理方式，即將元數(shù)據(jù)加載在內(nèi)存中，這種方式可以說是優(yōu)點(diǎn)，即提高了客戶端與元數(shù)據(jù)及存儲(chǔ)節(jié)點(diǎn)與元數(shù)據(jù)的交互效率，但是由于內(nèi)存的擴(kuò)充限制，這會(huì)導(dǎo)致其規(guī)模擴(kuò)充受阻(這點(diǎn)與MFS又是極其相似)。所以就目前來說，很少人會(huì)將HDFS單純用于存儲(chǔ)的。然而，就目前研究熱度來說，hadooop絕對(duì)是首屈一指的。HDFS其優(yōu)勢在于以其為基礎(chǔ)的一系列衍生架構(gòu)，就是大家所說的hadoop生態(tài)

10、環(huán)境，包括Nosql數(shù)據(jù)庫系統(tǒng)HBase，Sql操作化的Hive，及數(shù)據(jù)倉庫Pig等等。Hadoop在批處理上有著無與倫比的優(yōu)勢，所以，配合其衍生架構(gòu)，大多數(shù)人將其用于數(shù)據(jù)挖掘數(shù)據(jù)分析等。2.3 MooseFS系統(tǒng)架構(gòu)MFS主要由四部分組成，元數(shù)據(jù)服務(wù)器Master、元數(shù)據(jù)日志服務(wù)器Metalogger、數(shù)據(jù)存儲(chǔ)服務(wù)器chunkservers、及掛載客戶端client。圖架構(gòu)圖如圖所示，其架構(gòu)與一般的元數(shù)據(jù)中心化的分布式文件系統(tǒng)架構(gòu)相似，多出來不同之處在于Metalogger即元數(shù)據(jù)日志服務(wù)器的增加(這是版本之后添加的組件)。該部分組件用于定時(shí)備份Master上的元數(shù)據(jù)文件及Master使用期

11、間產(chǎn)生的changelog文件。在元數(shù)據(jù)服務(wù)器當(dāng)機(jī)的情況下，可以通過Metalogger上的元數(shù)據(jù)文件及changelog文件來恢復(fù)元數(shù)據(jù)，并且可以通過修復(fù)元數(shù)據(jù)及修改Metalogger的IP方式來替換當(dāng)機(jī)的Master。數(shù)據(jù)分布方式MFS支持兩種數(shù)據(jù)分布方式，一種是常規(guī)的以文件為單位的存儲(chǔ)；另一種就是分塊存儲(chǔ)。MFS的分塊存儲(chǔ)與HDFS的分塊相似，以64MB的數(shù)據(jù)塊分別存儲(chǔ)在不同的chunkserver中，并且不進(jìn)行數(shù)據(jù)塊再次合并存儲(chǔ)。其實(shí)MFS與HDFS有很多相似的地方，之前所說的文件分塊方式，其元數(shù)據(jù)在系統(tǒng)啟動(dòng)時(shí)置于內(nèi)存的方式及添加日志服務(wù)器來備份元數(shù)據(jù)的方式等。但HDFS的數(shù)據(jù)是以私

12、有格式存儲(chǔ)，不支持POSIX標(biāo)準(zhǔn)協(xié)議的訪問，這點(diǎn)是不同的，其次MFS的數(shù)據(jù)塊不進(jìn)行創(chuàng)建校驗(yàn)值(checksum)，這樣做，降低了一定的數(shù)據(jù)安全性，但是提高了副本方式的存儲(chǔ)效率。圖數(shù)據(jù)分布圖如圖所示，可以看出MFS的兩種數(shù)據(jù)存儲(chǔ)方式，此外，MFS還支持多數(shù)據(jù)副本，其副本的設(shè)置是是根據(jù)目錄進(jìn)行設(shè)置的，即設(shè)置目錄內(nèi)的文件為副本方式存儲(chǔ)。以目錄為單位，設(shè)置比較靈活。單文件存儲(chǔ)方式的副本存儲(chǔ)在另一個(gè)chunkserver中，而以數(shù)據(jù)塊存儲(chǔ)的方式，在保證副本塊不在同一個(gè)chunkserver中，如此，則能保證chunkserver不會(huì)出現(xiàn)單點(diǎn)問題。系統(tǒng)優(yōu)缺點(diǎn)由于MFS機(jī)制中，在系統(tǒng)啟動(dòng)時(shí)會(huì)將元數(shù)據(jù)緩存在內(nèi)

13、存中，這種方式在某種程度上提高了chunkserver與master的交互效率，但是，同樣，由于內(nèi)存擴(kuò)充的局限性，這會(huì)導(dǎo)致MFS的擴(kuò)展容易出現(xiàn)限制。根據(jù)官方說法，8G的內(nèi)存能夠存儲(chǔ)2500KW的文件元數(shù)據(jù)信息，這樣的話，存儲(chǔ)海量的小文件就很容易達(dá)到文件個(gè)數(shù)的限制，而不是chunkserver的容量限制。其實(shí)HDFS也會(huì)面臨同樣的問題，只是HDFS在元數(shù)據(jù)結(jié)構(gòu)進(jìn)行了優(yōu)化，減少了單個(gè)文件的元數(shù)據(jù)SIZE。此外，就目前版本的MFS，依然存在單點(diǎn)問題，雖然1.6版本之后添加了Metalogger組件，但是并不能很好的解決元數(shù)據(jù)的單點(diǎn)問題。實(shí)際上，系統(tǒng)至今仍然無法達(dá)到故障切換的目的，添加了日志服務(wù)器之后

14、，只是在某些情況下出現(xiàn)故障后能夠根據(jù)日志服務(wù)器進(jìn)行元數(shù)據(jù)恢復(fù)。在小規(guī)模存儲(chǔ)上MFS還是比較有優(yōu)勢的，目前已經(jīng)有不少公司在使用他進(jìn)行相關(guān)的存儲(chǔ)業(yè)務(wù)，或者在此基礎(chǔ)上進(jìn)行相關(guān)的二次開發(fā)。2.4 GlusterFS系統(tǒng)架構(gòu)GlusterFS架構(gòu)相對(duì)于其他分布式文件系統(tǒng)是最簡單的架構(gòu)，如圖所示，除去網(wǎng)絡(luò)層、外掛Samba及NFS相關(guān)東西，就只剩下client及Storage Brick，其實(shí)真正的存儲(chǔ)核心就是Storage Brick。圖架構(gòu)圖GlusterFS的架構(gòu)是去中心式架構(gòu)，即沒有元數(shù)據(jù)中心結(jié)構(gòu)，也就意味著其沒有存儲(chǔ)元數(shù)據(jù)的結(jié)構(gòu)，這正是其異于Lustre、HDFS及MooseFS的地方，這也是其

15、架構(gòu)的最大特色。那么其究竟是如何完成文件數(shù)據(jù)讀寫定位的呢？這就是去中心式的分布式文件系統(tǒng)的特色，GlusterFS通過內(nèi)部的hash算法實(shí)現(xiàn)文件的定位，通過這種方法代替元數(shù)據(jù)組件產(chǎn)生的作用。就目前來說，去中心式的分布式文件系統(tǒng)就個(gè)人所知，只有GlusterFS。數(shù)據(jù)分布方式GlusterFS是一個(gè)比較全面的分布式文件系統(tǒng)，包括其數(shù)據(jù)的分布方式。GlusterFS支持三種數(shù)據(jù)分布，即其可以創(chuàng)建三種卷：分布式卷(Distributed)、條帶卷(Stripe)及副本卷(Replicated)。分布式卷(Distributed)，系統(tǒng)在存儲(chǔ)文件時(shí)，根據(jù)文件路徑及brick進(jìn)行hash計(jì)算，根據(jù)計(jì)算結(jié)

16、果決定其將存儲(chǔ)于哪個(gè)brick之上，并且在brick中是以單個(gè)文件的形式而存在的。這種hash計(jì)算會(huì)做到盡可能的負(fù)載均衡。同樣，在讀取文件時(shí)，也會(huì)根據(jù)hash計(jì)算定位文件的位置。條帶卷(Stripe)，這種數(shù)據(jù)分布方式是大部分常見的分布式文件系統(tǒng)所支持的。GlusterFS的條帶化數(shù)據(jù)分布與Lustre的條帶化數(shù)據(jù)分布很相似。系統(tǒng)根據(jù)Stripe count進(jìn)行輪詢分塊，并且在單個(gè)brick中再進(jìn)行數(shù)據(jù)塊合并。并且其Stripe size大小默認(rèn)為128KB。副本卷(Replicated)，文件在brick中會(huì)存儲(chǔ)文件副本，并且副本數(shù)可以自由設(shè)置，但是會(huì)根據(jù)brick數(shù)進(jìn)行相關(guān)的限制。系統(tǒng)還針

17、對(duì)副本卷設(shè)計(jì)了文件自動(dòng)修復(fù)機(jī)制，以保持副本文件的正確性。GlusterFS是數(shù)據(jù)分布最靈活的分布式文件系統(tǒng)，以上三種數(shù)據(jù)分布方式可以任意的搭配使用。圖圖圖如圖所示，底層一共兩個(gè)server，每個(gè)server上做兩個(gè)brick，供四個(gè)brick做成2x2的Distributed-Striped卷。File1/2是以分布式方式，即hash方式存儲(chǔ)在不同的brick上；而從單個(gè)文件的角度看，如File1，其內(nèi)部是通過Stripe的方式進(jìn)行條帶化存儲(chǔ)的，其Stripe count為2，通過文件分塊編號(hào)，可以看出其數(shù)據(jù)是Stripe之后再組合成兩個(gè)文件存儲(chǔ)在兩個(gè)brick上。如圖所示，同樣是4個(gè)bric

18、k，做成2x2的Distributed-Replicated卷。File1/2分別以單個(gè)文件為單位hash存儲(chǔ)在不同的brick上，并且保證每個(gè)文件都會(huì)一個(gè)副本文件在其brick之外，從而保證了數(shù)據(jù)的安全。如圖所示，系統(tǒng)是2x2的Replicated-Striped卷。File在兩個(gè)brick上Stripe切片存儲(chǔ)，且在另外兩個(gè)brick上保存了所有切片的對(duì)應(yīng)副本。在最新的上，系統(tǒng)還是支持Distributed-Replicated-Stripe卷，即三種數(shù)據(jù)分布方式組成的系統(tǒng)卷，其數(shù)據(jù)具體分布方式由上面三個(gè)圖就很容易推斷出來了。GlusterFS其卷的數(shù)據(jù)分布設(shè)置與其brick數(shù)目有很大的關(guān)

19、系。就目前所知的情況，Stripe卷一般較少的人使用，其性能有待于提高，而最常使用的數(shù)據(jù)分布組合方式就是Distributed-Replicated。總體上說，GlusterFS提供了多種數(shù)據(jù)分布方式，并提供了靈活多變的組合方式，讓我們在使用方便了許多。系統(tǒng)優(yōu)缺點(diǎn)GlusterFS最大的特點(diǎn)在于其無元數(shù)據(jù)的整體架構(gòu)，但這只能說是他的一大特色，算不上其優(yōu)點(diǎn)。據(jù)其官網(wǎng)上所說的無中心結(jié)構(gòu)使其存儲(chǔ)擴(kuò)展近似線性，這也只是理論上的線性擴(kuò)展，實(shí)際上GlusterFS的擴(kuò)展性能比能達(dá)到70%-80%就很不錯(cuò)了。這可能會(huì)比其他分布式文件系統(tǒng)擴(kuò)展性能損耗上好一點(diǎn)點(diǎn)(中心化的分布式文件系統(tǒng)隨著存儲(chǔ)節(jié)點(diǎn)的增加，并行量

20、上升，元數(shù)據(jù)負(fù)載會(huì)越來越大，導(dǎo)致其性能會(huì)損耗很大)，但隨之而來的問題是，文件遍歷時(shí)的效率呈直線下降，特別是在存儲(chǔ)了大批量文件時(shí)。由于其是無元數(shù)據(jù)結(jié)構(gòu)，導(dǎo)致文件遍歷需要遍歷需要實(shí)際遍歷整個(gè)系統(tǒng)卷，而不是如其他分布式文件系統(tǒng)那樣直接從元數(shù)據(jù)服務(wù)器中獲取。這是其一大缺點(diǎn)。GlusterFS提供了比較多的功能，其多種卷的組合是一個(gè)，他還提供了文件修復(fù)機(jī)制、遠(yuǎn)程地域備份、在線擴(kuò)容縮容、存儲(chǔ)節(jié)點(diǎn)在線替換等等。此外，個(gè)人認(rèn)為其最大的優(yōu)點(diǎn)在于其具有一個(gè)完善的命令行管理接口，在眾多分布式文件系統(tǒng)中，GlusterFS管理起來是最方便的，所有操作都可以通過命令行工具進(jìn)行管理，而不是像很多文件系統(tǒng)那樣通過修改配置文件進(jìn)行操作等等。3 總結(jié)從數(shù)據(jù)基本分布方式來看，目前開源的總體就分為單個(gè)文件存儲(chǔ)、副本或者是鏡像文件存儲(chǔ)、及數(shù)據(jù)分塊存儲(chǔ)。在數(shù)據(jù)分塊存儲(chǔ)中，有典型的條帶化Stripe存儲(chǔ)，如lustre及gluster的stripe存儲(chǔ)方式，以及HDFS、MFS文件真正分塊(chunk)存儲(chǔ)的方式。分塊存儲(chǔ)在大多數(shù)情況下并不能提升文件寫效率，當(dāng)然這也和系統(tǒng)機(jī)制有關(guān)，如lustre的stripe存儲(chǔ)就比文件單獨(dú)存儲(chǔ)的方式效率要高，但其他的分布式文件系統(tǒng)沒有如此明顯的差異，glusterfs的stripe存儲(chǔ)效率還極其的低，很少人會(huì)使用它。但分塊存儲(chǔ)在讀效率上會(huì)有明顯