google file system發(fā)件人上走9遍

FileTheFileSanjayGhemawat,HowardGobioff,andShun-TakgrantedwithoutfeeprovidedthatcopiesarenotmadeordistributedforprofitorcommercialCopyright2003ACM1-58113-757-5/03/0010...$5.00.面，并且列出了我們的micro-benarks以及真實(shí)應(yīng)用性能指標(biāo)。計(jì)約定和設(shè)計(jì)參數(shù)比如I/O操作以及blocksize（塊大?。夹枰匦?。讀操作通常要幾百k的數(shù)據(jù)，每次 GFS提供了常見(jiàn)的文件系統(tǒng)的接口，雖然他沒(méi)有實(shí)現(xiàn)一些標(biāo)準(zhǔn)的API比如POSIX。文件是通過(guò)pathname來(lái)通過(guò) write等文件操作。另外，GFS有snapshot，recordappend等操作。snapshort創(chuàng)建一個(gè)文件或者一個(gè) 的。snapshot和recordappend在后邊的3.4和3.3節(jié)有單獨(dú)講述。chunkserver和可以運(yùn)行在同一個(gè)機(jī)器上。份，不過(guò)用戶對(duì)于不同的文件namespace區(qū)域，指定不同的級(jí)別。vnode層相關(guān)。常用的數(shù)據(jù)cache到了內(nèi)存里。單個(gè)客戶端不會(huì)通過(guò)master來(lái)做文件的數(shù)據(jù)讀寫(xiě)?？蛻舳酥皇菃?wèn)master它應(yīng)當(dāng)那一個(gè)chunkserver進(jìn)行操作。chunkindex作為cache的關(guān)鍵索引字。戶端-master的交互完成的。chunksize來(lái)說(shuō)，（內(nèi)部分段fragment）這可能是一個(gè)最大的缺陷了。超多的chunk的文件的。64個(gè)字節(jié)，因?yàn)楸４嫖募臅r(shí)候是使用前綴壓縮的機(jī)制?？煽?，高效，靈活的通過(guò)增加master機(jī)器的內(nèi)存就可以了。所有的chunk的位置，并且使用普通心跳信息監(jiān)視chunkserver的狀態(tài)。百臺(tái)機(jī)器的組成的集群中，這樣的發(fā)生chunserver的變動(dòng)實(shí)在是太平常了。忽然改了名字，那么master上保存這個(gè)資料啥用處也沒(méi)有?，F(xiàn)細(xì)節(jié)在本的其他部分實(shí)現(xiàn)。返回一個(gè)過(guò)期的數(shù)據(jù)。當(dāng)一個(gè)熱ader嘗試和master聯(lián)系，它會(huì)立刻得到的chunk位置。更改順序就是首先由master分配的chunkprimary決定更改的序列?？蛻舳讼騧asterchunk的令牌位置以及其他所有副本的位置。如果沒(méi)有得文件區(qū)雖然一致，但是是不確定的（2.7節(jié)講述的一樣）。我們的網(wǎng)絡(luò)拓?fù)鋱D是很簡(jiǎn)單的，所以，”距離”IP地址進(jìn)行推算。因此，1M通常理想情況下小于80ms。者并發(fā)操作的情況下，unixO_APPEND寫(xiě)文件操作。個(gè)操作需要在下一個(gè)chunk重試。（增加操作嚴(yán)格限制在1/4最大chunk大小，來(lái)保證的chunk的副本。的寫(xiě)操作，不需要知道chunk是剛從現(xiàn)存的chunk上創(chuàng)建的。平衡所有chunkserver之間的附在，回收未使用的。我們現(xiàn)在討論每一個(gè)小節(jié)。 不要求一個(gè)在父的寫(xiě)鎖，因?yàn)檫@并沒(méi)有一個(gè)需要保護(hù)的””inode-like的數(shù)據(jù)結(jié)構(gòu)。在名字上的讀鎖已經(jīng)足夠來(lái)保護(hù)父不被刪除。這種鎖機(jī)制帶來(lái)一個(gè)好處就是在同一個(gè)下允許并發(fā)改動(dòng)。比如，在同一個(gè)下的多個(gè)文件創(chuàng)建可以并行執(zhí)行；每一個(gè)要求一個(gè)在名上的讀鎖，并且要求在一個(gè)文件名上的寫(xiě)鎖。在名上的 剩余空間chunkserver上的chunk，這樣會(huì)平衡磁盤(pán)空間使用。都報(bào)告自己的chunk集合，并且master回復(fù)在master的元數(shù)據(jù)中已經(jīng)不存在的chunk標(biāo)記。chunkserver隨即釋放和刪除這些chunk的副本。 啟動(dòng)的服務(wù)器，并且重試這個(gè)請(qǐng)求。6.2.2節(jié)講述了啟動(dòng)過(guò)程。在我們的很松散的系統(tǒng)上，設(shè)計(jì)更復(fù)雜的冗余機(jī)制。個(gè)新的mastermaster（gfs-test）,DNS的別名，可以由于master改動(dòng)到別的機(jī)器上執(zhí)行而更改實(shí)際地點(diǎn)。進(jìn)一步說(shuō)，master的”進(jìn)程”，提供了對(duì)文件系統(tǒng)的只讀操作，即使當(dāng)當(dāng)前的master失效的時(shí)候會(huì)指揮剛才報(bào)錯(cuò)的chunkserver刪掉它剛才錯(cuò)誤的副本。們只需要額外的多一小部分相關(guān)數(shù)據(jù)進(jìn)行checksum檢查。GFS客戶端代碼通過(guò)每次把操找和比較不需要附加的I/O，checksum的計(jì)算可以和I/O操作同時(shí)進(jìn)行。出這個(gè)損壞的block。內(nèi)使用的集群的性能數(shù)據(jù)。小型 1G鏈路連接的。重復(fù)256次，每一個(gè)客戶端最終1GB數(shù)據(jù)。chunkserver總共有32GB內(nèi)存，這樣我們預(yù)期有最多10%的Linuxbuffercache 。我們的結(jié)果應(yīng)當(dāng)和冷cache的結(jié)果一致。80%降低到75%的原因是由于者的增多，導(dǎo)致多個(gè)者同時(shí)從一個(gè)相同chunkserver得3個(gè)chunkserver12.5MB/s的輸入連接。AB18TB和52TB的文件數(shù)據(jù)。chunkserverchunk位置信息。AB只用到了380MB/s查找cache在namespace的數(shù)據(jù)結(jié)構(gòu)來(lái)進(jìn)一步提高性能。6.25MB/s恢復(fù)到容錯(cuò)另一個(gè)chunkserver失效的情況。XY是生產(chǎn)數(shù)據(jù)處理的。寫(xiě)請(qǐng)求或者重新均衡chunk分布等等。用集群Y的生產(chǎn)系統(tǒng)，是為GFS做了更的調(diào)優(yōu)。讀寫(xiě)XYXYXY0000讀寫(xiě)XYXYXY默認(rèn)刪除（如同unixopen操作中的”w”模式）。XYpread()替換掉mmapcopy動(dòng)作來(lái)解決這個(gè)問(wèn)題。進(jìn)行冗余，因此要比xFS或者Swift花費(fèi)的。web范圍的一個(gè)有力工具。在這里我們想感謝對(duì)GFS和本 OperatingSystemPrinciples,pages109–126,CopperMountainResort,Colorado,December1995.(IOPADS’99),pages10–22,Atlanta,Georgia,May1999.I/Odatarates.ComputerSystems,4(4):405–436,1991.October1998.TransactionsonComputerSystems,6(1):51–81,February1988.Principles,pages226–238,PacificGrove,CA,October1991.DavidA.Patterson,GarthA.Gibson,andRandyH.Katz.Acaseforredundantarraysofclusters.InProceedingsoftheFirstUSENIXConferenceonFileandStorageProceedingsoftheFifthNASAGoddardSpaceFlightCenterConferenceonMassStorageSystemsand,Coll