開源分布式文件系統(tǒng)比較

1、開源分布式文件系統(tǒng)比較經(jīng)過安裝部署和測試，把我使用中碰到的一些問題總結(jié)一下，希望對大家有所幫助，我也有一些問題沒有搞懂，希望和大家一起交流，共同進步。第一：CEPH網(wǎng)上搜索了一些資料，說ceph性能最高，C+編寫的代碼，支持Fuse,并且沒有單點故障依賴，于是下載安裝，由于ceph使用btrfs文件系統(tǒng)，而btrfs文件系統(tǒng)需要Linux2.6.34以上的內(nèi)核才支持，顯然我使用的RHEL5的內(nèi)核還不支持btrfs文件系統(tǒng)，于是下載最新的內(nèi)核進行升級，搞了2天沒有升級成功，編譯一次都要耗費1個多小時才能完成，最后發(fā)現(xiàn)最新版的ubuntu系統(tǒng)支持btrfs文件系統(tǒng)，于是安裝ubuntu的虛擬機，b

2、trfs文件系統(tǒng)搞定了，但是啟動ceph的相關(guān)進程出錯，無法啟動成功。所以談不上對其進行過測試。CEPH中使用了一個比較先進的算法crush算法，據(jù)翻譯出來，為分布式基于對象的存儲系統(tǒng)設(shè)計了一個可升級的偽隨機的數(shù)據(jù)分布函數(shù)，它能夠有效地管理數(shù)據(jù)對象和存儲設(shè)備，而不需要通過一個中心目錄。由于大系統(tǒng)都是動態(tài)的，CRUSH被設(shè)計成為一個當(dāng)把不需要的數(shù)據(jù)遷移最小化時，能方便的增加或移除存儲設(shè)備。這個算法提供了一個大范圍的不同種類的數(shù)據(jù)復(fù)制和可靠性機制，以及根據(jù)用戶自定義的策略來分配數(shù)據(jù)，這種策略迫使數(shù)據(jù)復(fù)制從故障領(lǐng)域分離出來。另外CEPH使用的文件系統(tǒng)為btrfs,這個文件系統(tǒng)具有很多先進的特性，為下

3、一代Linux使用的文件系統(tǒng)。BTRFS最終可能會給ZFS等帶來更多威脅，它具有在線碎片整理功能（只有固態(tài)盤有這項功能）、Copy-On-Write技術(shù)、數(shù)據(jù)壓縮、鏡像、數(shù)據(jù)條帶和快照等等。另外，BTRFS在數(shù)據(jù)存儲方面比ext更完善。它包括一些邏輯卷管理和RAID硬件功能，可以對內(nèi)部元數(shù)據(jù)和用戶數(shù)據(jù)進行檢驗和，同時內(nèi)嵌了快照功能。ext4也可以實現(xiàn)以上一些功能，但是需要與文件系統(tǒng)和邏輯卷管理器進行通信。這么多先進的功能，可惜現(xiàn)在還無法消受啊。第二：glusterfs網(wǎng)上說glusterfs比較不錯，穩(wěn)定，適合大型應(yīng)用，關(guān)鍵是沒有單點故障依賴，C語言的代碼，支持FUSE,于是下載安裝研究。安裝

4、配置還算簡單，啟動后進行測試。開始感覺確實不錯，很爽。后來用壓力測試工具對其吞吐量進行測試，發(fā)現(xiàn)性能不能滿足我們的生產(chǎn)需求，不知道是哪里的配置問題，我們測試的都是大文件的讀操作和大文件的寫操作，吞吐量在5MB/秒左右，顯然不能滿足要求。但是沒有找到具體的瓶頸，畢竟程序是別人寫的，要查瓶頸也不容易。關(guān)于glusterfs的詳細的資料，可以看這位弟兄的文章，他做的比較深入。第三：moosefs這個網(wǎng)上說性能不錯，有單點故障依賴，C代碼編寫，支持FUSE,下載試試吧。安裝配置還算簡單。很快就搭建好環(huán)境了，于是進行測試。測試性能還不錯。吞吐量在15MB/秒以上。第四：mogilefs網(wǎng)上說這個是性能最

5、高的，不過是perl編寫的代碼，對外提供API來進行使用，搭建相對比較復(fù)雜一點，因為需要安裝很多依賴的第三方perl包，另外還要安裝Mysql數(shù)據(jù)庫來支持。安裝完畢后，服務(wù)器端起來了，客戶端有JAVA,PHP,PERL,RUBY等開發(fā)的，我需要的是要支持FUSE的，但是這個分布式的文件系統(tǒng)，對FUSE的支持需要安裝一個PERL與C通信的模塊，這個模塊死活編譯不過去，最后無法測試成功，無奈只能有時間了繼續(xù)研究。第五：fastDFS網(wǎng)上說是國人在mogileFS的基礎(chǔ)上進行改進的key-value型文件系統(tǒng)，同樣不支持FUSE,提供比mogileFS更好的性能”，這不是扯蛋嗎？Mogilefs是p

6、erl寫的，如果fastDFS是在mogilefs的基礎(chǔ)上改進的話，應(yīng)該也是perl寫的，但是下載了fastDFS的代碼后，人家都是C的代碼，怎么可能是在mogilefs的基礎(chǔ)上改進呢？看了一下fastDFS具體的結(jié)構(gòu)，準(zhǔn)確的說應(yīng)該是借鑒了MogileFS的思路”，而不能說在MogileFS的基礎(chǔ)上改進”。我安裝了一下，安裝還算簡單，不支持fuse,上傳文件后會生成一個http的下載地址，通過http的方式進行下載。這種方式顯然不適合我想要的生產(chǎn)環(huán)境。下面是一個網(wǎng)友寫的FastFDS和MogileFS的對比文章，感覺比較客觀真實，所以在這里給大家轉(zhuǎn)帖一下。FastDFS設(shè)計時借鑒了Mogile

7、FS的一些思路。FastDFS是一個完善的分布式文件存儲系統(tǒng)，通過客戶端API對文件進行讀寫。可以說，MogileFS的所有功能特性FastDFS者B具備，MogileFS網(wǎng)址：另外，相對于MogileFS,FastDFS具有如下特點和優(yōu)勢：1. FastDFS完善程度較高，不需要二次開發(fā)即可直接使用；2. 和MogileFS相比，F(xiàn)astDFS裁減了跟蹤用的數(shù)據(jù)庫，只有兩個角色：tracker和storage：FastDFS的架構(gòu)既簡化了系統(tǒng)，同時也消除了性能瓶頸；3. 在系統(tǒng)中增加任何角色的服務(wù)器都很容易：增加tracker服務(wù)器時，只需要修改storage和client的配置文件（增加一

8、行tracker配置）；增加storage服務(wù)器時，通常不需要修改任何配置文件，系統(tǒng)會自動將該卷中已有文件復(fù)制到該服務(wù)器；4. FastDFS比MogileFS更高效。表現(xiàn)在如下幾個方面：1）參見上面的第2點，F(xiàn)astDFS和MogileFS相比，沒有文件索引數(shù)據(jù)庫，F(xiàn)astDFS整體性能更高；2）從采用的開發(fā)語言上看，F(xiàn)astDFS比MogileFS更底層、更高效。FastDFS用C語言編寫，代碼量不到2萬行，沒有依賴其他開源軟件或程序包，安裝和部署特別簡潔；而MogileFS用perl編寫；3） FastDFS直接使用socket通信方式，相對于MogileFS的HTTP方式，效率更高。并且FastDFS使用sendfile傳輸文件，采用了內(nèi)存零拷貝，系統(tǒng)開銷更小，文件傳輸效率更高。5. FastDFS有著詳細的設(shè)計和使用文檔，而MogileFS的文檔相對比較缺乏。6. FastDFS的日志記錄非常詳細，系統(tǒng)運行時發(fā)生的任何錯誤信息都會記錄到日志文件中，當(dāng)出現(xiàn)問題時方便管理員定位錯誤所在。7. FastDFS還對文件附加屬性（即metadata,如文件大小、圖片寬度、高度等）進行存取，應(yīng)用不需要使用數(shù)據(jù)庫來存儲這些信息。8.