檢查點(diǎn)的機(jī)制

主講：朱佳目錄0102使用StandbyNameNode進(jìn)行檢查點(diǎn)操作使用SecondaryNameNode進(jìn)行檢查點(diǎn)操作使用StandbyNameNode

進(jìn)行檢查點(diǎn)操作1使用StandbyNameNode進(jìn)行檢查點(diǎn)操作如果為NameNode服務(wù)配置了高可用性，則編輯記錄存儲(chǔ)在活動(dòng)和StandbyNameNode的可訪問的共享存儲(chǔ)中。StandbyNameNode不處理客戶端請(qǐng)求，它的主要工作是通過定期執(zhí)行檢查點(diǎn)操作來保持其命名空間更新，即通過重放活動(dòng)NameNode寫入共享編輯目錄的更改來更新fsimage.下面是使用StandbyNameNode進(jìn)行檢查點(diǎn)操作的步驟:使用StandbyNameNode進(jìn)行檢查點(diǎn)操作1.StandbyNameNode檢查自上次執(zhí)行檢查點(diǎn)操作以來所經(jīng)過的時(shí)間或累積編輯數(shù)是否與配置的檢查點(diǎn)閾值相匹配。2.StandbyNameNode將其命名空間數(shù)據(jù)保存到fsimage.ckpt_txid新中間文件。文件名中的txid指最近的編輯日志事務(wù)的ID.為fsimage文件寫入MD5文件后，將文件重命名為fsimage_xxx3.StandbyNameNode向活動(dòng)的NameNode發(fā)送HTTPGET消息。GetImageServlet(/getimage?putimage=1)使用StandbyNameNode進(jìn)行檢查點(diǎn)操作4.活動(dòng)的NameNode對(duì)StandbyNameNode的GetImageServlet執(zhí)行自己的GET操作。它將新檢索的fsimage文件重命名為中間名稱(fsimage.ckpt)，為其創(chuàng)建MD5文件，然后將其重命名為fsimage_xxxx.使用SecondaryNameNode

進(jìn)行檢查點(diǎn)操作2使用SecondaryNameNode進(jìn)行檢查點(diǎn)操作SecondaryNameNode運(yùn)行的檢查點(diǎn)操作有些不同，因?yàn)樗突顒?dòng)的NameNode不共享編輯記錄目錄。下面是使用SecondaryNameNode時(shí)執(zhí)行檢查點(diǎn)操作的過程:1.SecondaryNameNode檢查自上次執(zhí)行檢查點(diǎn)操作以來經(jīng)過的時(shí)間或累積編輯次數(shù)是否滿足配置的檢查點(diǎn)閾值。2.SecondaryNameNodeRPC調(diào)用NameNode檢索最近的編輯日志事務(wù)ID.3.SecondaryNameNode結(jié)束當(dāng)前編輯日志段，并啟動(dòng)新的編輯段，然后請(qǐng)求NameNode滾動(dòng)當(dāng)前編輯文件。使用SecondaryNameNode進(jìn)行檢查點(diǎn)操作4.NameNode繼續(xù)將更改寫入新的編輯日志段，SecondaryNameNode壓縮舊的編輯日志。SecondaryNameNode還獲取當(dāng)前fsimage文件和滾動(dòng)的編輯日志段的事務(wù)ID.5.使用在步驟4中檢索的兩個(gè)事務(wù)ID，SecondaryNameNode對(duì)NameNode的GetImageServlet執(zhí)行GET操作以獲取fsimage和編輯文件6.SecondaryNamcNode重放編輯日志段，來捕獲當(dāng)前事務(wù)ID并刷新其命名空間。7.SecondaryNameNode將其刷新的命名空間寫入新的fsimage文件。使用SecondaryNameNode進(jìn)行檢查點(diǎn)操作8.SecondaryNameNode對(duì)NameNode執(zhí)行HTTPGET操作(/getimage?putimage=1).NameNode依次對(duì)SecondaryNameNode執(zhí)行GET操作，并下載新的f