分布式文件系統(tǒng)對(duì)比

1、1分布式文件系統(tǒng)對(duì)比基礎(chǔ)應(yīng)用組鄭主能 體系結(jié)構(gòu)-FastDFS4Tracker對(duì)等組內(nèi)Storage對(duì)等體系結(jié)構(gòu)-MooseFS5體系結(jié)構(gòu)-HDFS6I/O流程-FastDFS7文件上傳I/O流程-FastDFS8文件下載I/O流程-MooseFS9I/O流程-MooseFS10I/O流程-HDFS11Write ProcessI/O流程-HDFS12Read Process數(shù)據(jù)存儲(chǔ)-FastDFS13Storage Group1Storage Group2push/syncpush/syncABABABABABABABABABGetStorehttp數(shù)據(jù)存儲(chǔ)-MooseFS,HDFS14Ch

2、unckServer / DataNodesABa1GetStoreb2b33 blocks3 blocksa2a2a3a1 a2a3b1b3b1b2b3a1b2b3a2a2a3b1b2b3a1 a2a3b1b3piping/syncpiping/syncBAa2a1a3b3b1b2ChunckServer / DataNodesMooseFS支持支持fuse，HDFS支持支持http,rcp,容災(zāi)能力適用場(chǎng)景參考文獻(xiàn)201 袁晨陽(yáng).2 陳海濤,袁晨陽(yáng).3 鄭海洪.4 鄭海洪.5 鄭海洪.6 未知.7 劉景龍.8 Tom White . 9 Chuck Lam . 附錄-比較詳情Q&A24L

3、Q: 不同的文件(或文件塊)的副本數(shù)是否可以不同，還是所有文件的副本數(shù)都是一樣的J A: 可以不同L Q: 似乎HDFS完全可以代替MooseFS，公司目前選用MooseFS的考慮點(diǎn)主要有哪些J A: 作為單純的存儲(chǔ)，MooseFS在均衡調(diào)配的精度上比HDFS密，各個(gè)機(jī)器的數(shù)據(jù)大小基本持衡L Q: 目前對(duì)這些文件系統(tǒng)的細(xì)節(jié)研究部分尚缺乏相關(guān)文檔，如日志文件分析、數(shù)據(jù)存儲(chǔ)塊的結(jié)構(gòu)、日志是如何進(jìn)行合并和恢復(fù)的，或者說(shuō)缺乏一個(gè)技術(shù)手冊(cè)J A: 有技術(shù)文檔，但需申請(qǐng)L Q: NameNode/Master會(huì)定時(shí)將內(nèi)存中的元數(shù)據(jù)刷新到metadata.mfs.back中，是增量刷新，還是全量刷新J A: 全量刷Q&A25L Q: FastDFS中的client是如何選擇tracker的，以及tracker是如何選擇Storage Server的J A: 選擇tracker通過(guò)輪詢，tracker選擇storage有三種方式：a. 輪詢b. 指定某一Serverc. 最大存儲(chǔ)空間L Q: MooseFS/HDFS在寫(xiě)一個(gè)分塊時(shí)，是所有分塊副本寫(xiě)完算