




版權(quán)說(shuō)明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
1、FastDFS介紹余慶2009年09月13日提綱 FastDFS簡(jiǎn)介 系統(tǒng)架構(gòu) 相關(guān)術(shù)語(yǔ) 同步機(jī)制 通信協(xié)議 目錄結(jié)構(gòu) 安裝和運(yùn)行 和其他系統(tǒng)對(duì)比FastDFS簡(jiǎn)介 FastDFS是一個(gè)輕量級(jí)的開源分布式文件系統(tǒng) FastDFS主要解決了大容量的文件存儲(chǔ)和高并發(fā)訪問(wèn)的問(wèn)題,文件存取時(shí)實(shí)現(xiàn)了負(fù)載均衡 FastDFS實(shí)現(xiàn)了軟件方式的RAID,可以使用廉價(jià)的IDE硬盤進(jìn)行存儲(chǔ) 支持存儲(chǔ)服務(wù)器在線擴(kuò)容 支持相同內(nèi)容的文件只保存一份,節(jié)約磁盤空間 FastDFS只能通過(guò)Client API訪問(wèn),不支持POSIX訪問(wèn)方式 FastDFS特別適合大中型網(wǎng)站使用,用來(lái)存儲(chǔ)資源文件(如:圖片、文檔、音頻、視頻等
2、等)系統(tǒng)架構(gòu)架構(gòu)圖系統(tǒng)架構(gòu)上傳文件流程圖 1. client詢問(wèn)tracker上傳到的storage,不需要附加參數(shù); 2. tracker返回一臺(tái)可用的storage; 3. client直接和storage通訊完成文件上傳。 系統(tǒng)架構(gòu)下載文件流程圖 1. client詢問(wèn)tracker下載文件的storage,參數(shù)為文件標(biāo)識(shí)(組名和文件名); 2. tracker返回一臺(tái)可用的storage; 3. client直接和storage通訊完成文件下載。相關(guān)術(shù)語(yǔ) Tracker Server:跟蹤服務(wù)器,主要做調(diào)度工作,在訪問(wèn)上起負(fù)載均衡的作用。記錄storage server的狀態(tài),是連接C
3、lient和Storage server的樞紐。 Storage Server:存儲(chǔ)服務(wù)器,文件和meta data都保存到存儲(chǔ)服務(wù)器上 group:組,也可稱為卷。同組內(nèi)服務(wù)器上的文件是完全相同的 文件標(biāo)識(shí):包括兩部分:組名和文件名(包含路徑) meta data:文件相關(guān)屬性,鍵值對(duì)(Key Value Pair)方式,如:width=1024,heigth=768同步機(jī)制 同一組內(nèi)的storage server之間是對(duì)等的,文件上傳、刪除等操作可以在任意一臺(tái)storage server上進(jìn)行; 文件同步只在同組內(nèi)的storage server之間進(jìn)行,采用push方式,即源服務(wù)器同步給目
4、標(biāo)服務(wù)器; 源頭數(shù)據(jù)才需要同步,備份數(shù)據(jù)不需要再次同步,否則就構(gòu)成環(huán)路了; 上述第二條規(guī)則有個(gè)例外,就是新增加一臺(tái)storage server時(shí),由已有的一臺(tái)storage server將已有的所有數(shù)據(jù)(包括源頭數(shù)據(jù)和備份數(shù)據(jù))同步給該新增服務(wù)器。通信協(xié)議 協(xié)議包由兩部分組成:header和body header共10字節(jié),格式如下: 8 bytes body length 1 byte command 1 byte status body數(shù)據(jù)包格式由取決于具體的命令,body可以為空運(yùn)行時(shí)目錄結(jié)構(gòu)tracker server $base_path |_data | |_storage_gro
5、ups.dat:存儲(chǔ)分組信息 | |_storage_servers.dat:存儲(chǔ)服務(wù)器列表 |_logs |_trackerd.log:tracker server日志文件 運(yùn)行時(shí)目錄結(jié)構(gòu)storage server $base_path |_data | |_.data_init_flag:當(dāng)前storage server初始化信息 | |_storage_stat.dat:當(dāng)前storage server統(tǒng)計(jì)信息 | |_sync:存放數(shù)據(jù)同步相關(guān)文件 | | |_binlog.index:當(dāng)前的binlog文件索引號(hào) | | |_binlog.#:存放更新操作記錄(日志) | | |_
6、$ip_addr_$port.mark:存放同步的完成情況 | | | |_一級(jí)目錄:256個(gè)存放數(shù)據(jù)文件的目錄,如:00, 1F | |_二級(jí)目錄:256個(gè)存放數(shù)據(jù)文件的目錄 |_logs |_storaged.log:storage server日志文件 安裝和運(yùn)行#step 1. download FastDFS source package and unpack it,# if you use HTTP to download file, please download libevent 1.4.x and install ittar xzf FastDFS_v1.x.tar.gz#f
7、or example:tar xzf FastDFS_v1.20.tar.gz#step 2. enter the FastDFS dircd FastDFS#step 3. if HTTP supported, modify make.sh, uncomment the line:# WITH_HTTPD=1, then execute:./make.sh#step 4. make install./make.sh install#step 5. edit/modify the config file of tracker and storage#step 6. run server pro
8、grams#start the tracker server:/usr/local/bin/fdfs_trackerd #start the storage server:/usr/local/bin/fdfs_storaged FastDFS和集中存儲(chǔ)方式對(duì)比指標(biāo)指標(biāo)FastDFSNFS集中存儲(chǔ)設(shè)備集中存儲(chǔ)設(shè)備如如NetApp、NAS線性擴(kuò)容性高差差文件高并發(fā)訪問(wèn)性能高差一般文件訪問(wèn)方式專有APIPOSIX支持POSIX硬件成本較低中等高相同內(nèi)容文件只保存一份支持不支持不支持FastDFS和mogileFS對(duì)比指標(biāo)指標(biāo)FastDFSmogileFS系統(tǒng)簡(jiǎn)潔性簡(jiǎn)潔只有兩個(gè)角色:tracker和storage一般有三個(gè)角色:tracker、storage和存儲(chǔ)文件信息的mysql db系統(tǒng)性能很高(沒(méi)有使用數(shù)據(jù)庫(kù),文件同步直接點(diǎn)對(duì)點(diǎn),不經(jīng)過(guò)tracker中轉(zhuǎn))高(使用mysql來(lái)存儲(chǔ)文件索引等信息,文件同步通過(guò)tracker調(diào)度和中轉(zhuǎn))系統(tǒng)穩(wěn)定性高(C語(yǔ)言開發(fā),可以支持高并發(fā)和高負(fù)載)一般(Perl語(yǔ)言開發(fā),高并發(fā)和高負(fù)載支持一般)RAID方式分組(組內(nèi)冗余),靈活性較大動(dòng)態(tài)冗余,靈活性一般通信協(xié)議專有協(xié)議下載文件支持HT
溫馨提示
- 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 2025年注冊(cè)會(huì)計(jì)師考試《會(huì)計(jì)》新準(zhǔn)則解讀與練習(xí)試題
- 2025年音樂(lè)教師招聘考試音樂(lè)教育技術(shù)與應(yīng)用試題卷
- 2025年小學(xué)英語(yǔ)畢業(yè)模擬試卷:英語(yǔ)歌曲欣賞與演唱能力評(píng)估
- 基床表層結(jié)構(gòu)的作用
- 2025年室內(nèi)設(shè)計(jì)師職業(yè)資格考試真題卷-裝飾材料環(huán)保標(biāo)準(zhǔn)應(yīng)用試題
- 2025年六一兒童節(jié)活動(dòng)大班標(biāo)準(zhǔn)教案
- 二零二五年度北京市心理咨詢師勞動(dòng)合同范本
- 膝關(guān)節(jié)骨性關(guān)節(jié)炎護(hù)理
- 統(tǒng)計(jì)局年終總結(jié)報(bào)告
- 裝飾服務(wù)合作合同
- 沉香基本知識(shí)
- 人教版初中政治知識(shí)結(jié)構(gòu)圖
- 婦幼保健機(jī)構(gòu)學(xué)科體系建設(shè)方法
- 《向校園欺凌說(shuō)不》主題班會(huì)課件
- 2024年同等學(xué)力申碩《新聞傳播學(xué)學(xué)科綜合水平考試(新聞學(xué)專業(yè))》考點(diǎn)手冊(cè)
- 部編版九年級(jí)道德與法治下冊(cè)《謀求互利共贏》評(píng)課稿
- 2023年版火力發(fā)電工程建設(shè)標(biāo)準(zhǔn)強(qiáng)制性條文實(shí)施指南-第三篇-鍋爐機(jī)組-安裝部分
- 閥門更換安全操作規(guī)程
- 尼日利亞-非洲人口最多的國(guó)家
- 《汽車發(fā)動(dòng)機(jī)構(gòu)造與維修》課程標(biāo)準(zhǔn)
- 神奇的莫比烏斯帶
評(píng)論
0/150
提交評(píng)論