FastDFS使用介紹

1、FastDFS介紹余慶2009年09月13日提綱 FastDFS簡介 系統(tǒng)架構(gòu) 相關(guān)術(shù)語 同步機(jī)制 通信協(xié)議 目錄結(jié)構(gòu) 安裝和運(yùn)行 和其他系統(tǒng)對比FastDFS簡介 FastDFS是一個輕量級的開源分布式文件系統(tǒng) FastDFS主要解決了大容量的文件存儲和高并發(fā)訪問的問題，文件存取時(shí)實(shí)現(xiàn)了負(fù)載均衡 FastDFS實(shí)現(xiàn)了軟件方式的RAID，可以使用廉價(jià)的IDE硬盤進(jìn)行存儲 支持存儲服務(wù)器在線擴(kuò)容 支持相同內(nèi)容的文件只保存一份，節(jié)約磁盤空間 FastDFS只能通過Client API訪問，不支持POSIX訪問方式 FastDFS特別適合大中型網(wǎng)站使用，用來存儲資源文件（如：圖片、文檔、音頻、視頻等

2、等）系統(tǒng)架構(gòu)架構(gòu)圖系統(tǒng)架構(gòu)上傳文件流程圖 1. client詢問tracker上傳到的storage，不需要附加參數(shù)； 2. tracker返回一臺可用的storage； 3. client直接和storage通訊完成文件上傳。 系統(tǒng)架構(gòu)下載文件流程圖 1. client詢問tracker下載文件的storage，參數(shù)為文件標(biāo)識（組名和文件名）； 2. tracker返回一臺可用的storage； 3. client直接和storage通訊完成文件下載。相關(guān)術(shù)語 Tracker Server：跟蹤服務(wù)器，主要做調(diào)度工作，在訪問上起負(fù)載均衡的作用。記錄storage server的狀態(tài)，是連接C

3、lient和Storage server的樞紐。 Storage Server：存儲服務(wù)器，文件和meta data都保存到存儲服務(wù)器上 group：組，也可稱為卷。同組內(nèi)服務(wù)器上的文件是完全相同的 文件標(biāo)識：包括兩部分：組名和文件名（包含路徑） meta data：文件相關(guān)屬性，鍵值對（Key Value Pair）方式，如：width=1024,heigth=768同步機(jī)制 同一組內(nèi)的storage server之間是對等的，文件上傳、刪除等操作可以在任意一臺storage server上進(jìn)行； 文件同步只在同組內(nèi)的storage server之間進(jìn)行，采用push方式，即源服務(wù)器同步給目

4、標(biāo)服務(wù)器； 源頭數(shù)據(jù)才需要同步，備份數(shù)據(jù)不需要再次同步，否則就構(gòu)成環(huán)路了； 上述第二條規(guī)則有個例外，就是新增加一臺storage server時(shí)，由已有的一臺storage server將已有的所有數(shù)據(jù)（包括源頭數(shù)據(jù)和備份數(shù)據(jù)）同步給該新增服務(wù)器。通信協(xié)議 協(xié)議包由兩部分組成：header和body header共10字節(jié)，格式如下： 8 bytes body length 1 byte command 1 byte status body數(shù)據(jù)包格式由取決于具體的命令，body可以為空運(yùn)行時(shí)目錄結(jié)構(gòu)tracker server $base_path |_data | |_storage_gro

5、ups.dat：存儲分組信息 | |_storage_servers.dat：存儲服務(wù)器列表 |_logs |_trackerd.log：tracker server日志文件 運(yùn)行時(shí)目錄結(jié)構(gòu)storage server $base_path |_data | |_.data_init_flag：當(dāng)前storage server初始化信息 | |_storage_stat.dat：當(dāng)前storage server統(tǒng)計(jì)信息 | |_sync：存放數(shù)據(jù)同步相關(guān)文件 | | |_binlog.index：當(dāng)前的binlog文件索引號 | | |_binlog.#：存放更新操作記錄（日志） | | |_

6、$ip_addr_$port.mark：存放同步的完成情況 | | | |_一級目錄：256個存放數(shù)據(jù)文件的目錄，如：00, 1F | |_二級目錄：256個存放數(shù)據(jù)文件的目錄 |_logs |_storaged.log：storage server日志文件 安裝和運(yùn)行#step 1. download FastDFS source package and unpack it,# if you use HTTP to download file, please download libevent 1.4.x and install ittar xzf FastDFS_v1.x.tar.gz#f

7、or example:tar xzf FastDFS_v1.20.tar.gz#step 2. enter the FastDFS dircd FastDFS#step 3. if HTTP supported, modify make.sh, uncomment the line:# WITH_HTTPD=1, then execute:./make.sh#step 4. make install./make.sh install#step 5. edit/modify the config file of tracker and storage#step 6. run server pro

8、grams#start the tracker server:/usr/local/bin/fdfs_trackerd #start the storage server:/usr/local/bin/fdfs_storaged FastDFS和集中存儲方式對比指標(biāo)指標(biāo)FastDFSNFS集中存儲設(shè)備集中存儲設(shè)備如如NetApp、NAS線性擴(kuò)容性高差差文件高并發(fā)訪問性能高差一般文件訪問方式專有APIPOSIX支持POSIX硬件成本較低中等高相同內(nèi)容文件只保存一份支持不支持不支持FastDFS和mogileFS對比指標(biāo)指標(biāo)FastDFSmogileFS系統(tǒng)簡潔性簡潔只有兩個角色：tracker和storage一般有三個角色：tracker、storage和存儲文件信息的mysql db系統(tǒng)性能很高（沒有使用數(shù)據(jù)庫，文件同步直接點(diǎn)對點(diǎn)，不經(jīng)過tracker中轉(zhuǎn)）高（使用mysql來存儲文件索引等信息，文件同步通過tracker調(diào)度和中轉(zhuǎn)）系統(tǒng)穩(wěn)定性高（C語言開發(fā)，可以支持高并發(fā)和高負(fù)載）一般（Perl語言開發(fā)，高并發(fā)和高負(fù)載支持一般）RAID方式分組（組內(nèi)冗余），靈活性較大動態(tài)冗余，靈活性一般通信協(xié)議專有協(xié)議下載文件支持HT