FASTDFS分布式文件系統(tǒng)介紹.ppt

fastdfs介紹,余慶 2009年09月13日,提綱,fastdfs簡介 系統(tǒng)架構(gòu) 相關(guān)術(shù)語 同步機(jī)制 通信協(xié)議 目錄結(jié)構(gòu) 安裝和運(yùn)行 和其他系統(tǒng)對比,fastdfs簡介,fastdfs是一個(gè)輕量級的開源分布式文件系統(tǒng) fastdfs主要解決了大容量的文件存儲(chǔ)和高并發(fā)訪問的問題，文件存取時(shí)實(shí)現(xiàn)了負(fù)載均衡 fastdfs實(shí)現(xiàn)了軟件方式的raid，可以使用廉價(jià)的ide硬盤進(jìn)行存儲(chǔ) 支持存儲(chǔ)服務(wù)器在線擴(kuò)容 支持相同內(nèi)容的文件只保存一份，節(jié)約磁盤空間 fastdfs只能通過client api訪問，不支持posix訪問方式 fastdfs特別適合大中型網(wǎng)站使用，用來存儲(chǔ)資源文件（如：圖片、文檔、音頻、視頻等等）,系統(tǒng)架構(gòu)架構(gòu)圖,系統(tǒng)架構(gòu)上傳文件流程圖,1. client詢問tracker上傳到的storage，不需要附加參數(shù)； 2. tracker返回一臺(tái)可用的storage； 3. client直接和storage通訊完成文件上傳。,系統(tǒng)架構(gòu)下載文件流程圖,1. client詢問tracker下載文件的storage，參數(shù)為文件標(biāo)識(shí)（組名和文件名）； 2. tracker返回一臺(tái)可用的storage； 3. client直接和storage通訊完成文件下載。,相關(guān)術(shù)語,tracker server：跟蹤服務(wù)器，主要做調(diào)度工作，在訪問上起負(fù)載均衡的作用。記錄storage server的狀態(tài)，是連接client和storage server的樞紐。 storage server：存儲(chǔ)服務(wù)器，文件和meta data都保存到存儲(chǔ)服務(wù)器上 group：組，也可稱為卷。同組內(nèi)服務(wù)器上的文件是完全相同的 文件標(biāo)識(shí)：包括兩部分：組名和文件名（包含路徑） meta data：文件相關(guān)屬性，鍵值對（key value pair）方式，如：width=1024,heigth=768,同步機(jī)制,同一組內(nèi)的storage server之間是對等的，文件上傳、刪除等操作可以在任意一臺(tái)storage server上進(jìn)行； 文件同步只在同組內(nèi)的storage server之間進(jìn)行，采用push方式，即源服務(wù)器同步給目標(biāo)服務(wù)器； 源頭數(shù)據(jù)才需要同步，備份數(shù)據(jù)不需要再次同步，否則就構(gòu)成環(huán)路了； 上述第二條規(guī)則有個(gè)例外，就是新增加一臺(tái)storage server時(shí)，由已有的一臺(tái)storage server將已有的所有數(shù)據(jù)（包括源頭數(shù)據(jù)和備份數(shù)據(jù)）同步給該新增服務(wù)器。,通信協(xié)議,協(xié)議包由兩部分組成：header和body header共10字節(jié)，格式如下： 8 bytes body length 1 byte command 1 byte status body數(shù)據(jù)包格式由取決于具體的命令，body可以為空,運(yùn)行時(shí)目錄結(jié)構(gòu)tracker server,$base_path |_data | |_storage_groups.dat：存儲(chǔ)分組信息 | |_storage_servers.dat：存儲(chǔ)服務(wù)器列表 |_logs |_trackerd.log：tracker server日志文件,$base_path |_data | |_.data_init_flag：當(dāng)前storage server初始化信息 | |_storage_stat.dat：當(dāng)前storage server統(tǒng)計(jì)信息 | |_sync：存放數(shù)據(jù)同步相關(guān)文件 | | |_binlog.index：當(dāng)前的binlog文件索引號(hào) | | |_binlog.#：存放更新操作記錄（日志） | | |_$ip_addr_$port.mark：存放同步的完成情況 | | | |_一級目錄：256個(gè)存放數(shù)據(jù)文件的目錄，如：00, 1f | |_二級目錄：256個(gè)存放數(shù)據(jù)文件的目錄 |_logs |_storaged.log：storage server日志文件,安裝和運(yùn)行,#step 1. download fastdfs source package and unpack it, # if you use http to download file, please download libevent 1.4.x and install it tar xzf fastdfs_v1.x.tar.gz #for example: tar xzf fastdfs_v1.20.tar.gz #step 2. enter the fastdfs dir cd fastdfs #step 3. if http supported, modify make.sh, uncomment the line: # with_httpd=1, then execute: ./make.sh #step 4. make install ./make.sh install #step 5. edit/modify the config file of tracker and storage #step 6. run server programs #start the tracker server: /usr/local/bin/fdfs_trackerd #start the storage server: /usr/local/b