數(shù)據(jù)復制 市賽獲獎

數(shù)據(jù)復制掌握hdfs數(shù)據(jù)復制的方式010203副本存放副本選擇安全模式 Namenode全權管理數(shù)據(jù)塊的復制，它周期性地從集群中的每個Datanode接收心跳信號和塊狀態(tài)報告(Blockreport)。接收到心跳信號意味著該Datanode節(jié)點工作正常。塊狀態(tài)報告包含了一個該Datanode上所有數(shù)據(jù)塊的列表。導語最最開始的一步

副本的存放是HDFS可靠性和性能的關鍵。優(yōu)化的副本存放策略是HDFS區(qū)分于其他大部分分布式文件系統(tǒng)的重要特性。這種特性需要做大量的調(diào)優(yōu)，并需要經(jīng)驗的積累。HDFS采用一種稱為機架感知(rack-aware)的策略來改進數(shù)據(jù)的可靠性、可用性和網(wǎng)絡帶寬的利用率。目前實現(xiàn)的副本存放策略只是在這個方向上的第一步。實現(xiàn)這個策略的短期目標是驗證它在生產(chǎn)環(huán)境下的有效性，觀察它的行為，為實現(xiàn)更先進的策略打下測試和研究的基礎。1.副本存放

在大多數(shù)情況下，副本系數(shù)是3，HDFS的存放策略是將一個副本存放在本地機架的節(jié)點上，一個副本放在同一機架的另一個節(jié)點上，最后一個副本放在不同機架的節(jié)點上。這種策略減少了機架間的數(shù)據(jù)傳輸，這就提高了寫操作的效率。機架的錯誤遠遠比節(jié)點的錯誤少，所以這個策略不會影響到數(shù)據(jù)的可靠性和可用性。于此同時，因為數(shù)據(jù)塊只放在兩個（不是三個）不同的機架上，所以此策略減少了讀取數(shù)據(jù)時需要的網(wǎng)絡傳輸總帶寬。在這種策略下，副本并不是均勻分布在不同的機架上。三分之一的副本在一個節(jié)點上，三分之二的副本在一個機架上，其他副本均勻分布在剩下的機架中，這一策略在不損害數(shù)據(jù)可靠性和讀取性能的情況下改進了寫的性能。1.副本存放

為了降低整體的帶寬消耗和讀取延時，HDFS會盡量讓讀取程序讀取離它最近的副本。如果在讀取程序的同一個機架上有一個副本，那么就讀取該副本。如果一個HDFS集群跨越多個數(shù)據(jù)中心，那么客戶端也將首先讀本地數(shù)據(jù)中心的副本。2.副本選擇NameNode啟動后會進入一個稱為安全模式的特殊狀態(tài)。處于安全模式的NameNode是不會進行數(shù)據(jù)塊的復制的。NameNode從所有的DataNode接收心跳信號和塊狀態(tài)報告。塊狀態(tài)報告包括了某個DataNode所有的數(shù)據(jù)塊列表。每個數(shù)據(jù)塊都有一個指定的最小副本數(shù)。當NameNode檢測確認某個數(shù)據(jù)塊的副本數(shù)目達到這個最小值，那么該數(shù)據(jù)塊就會被認為是副本安全(safelyreplicated)的；在一定百分比（這個參數(shù)可配置）的數(shù)據(jù)塊被NameNode檢測確認是安全之后（加上一個額外的30秒等待時間），NameNode將退出安全模式狀態(tài)。接下來它會確定還有哪些數(shù)據(jù)塊的副本沒有達到指定數(shù)目，并將這些數(shù)據(jù)塊復制到其他DataNode