批注版1基于hadoop的混合raid容錯(cuò)機(jī)制設(shè)計(jì)與實(shí)現(xiàn)

1、基于Hadoop的混合RAID容錯(cuò)機(jī)制的設(shè)計(jì)與實(shí)現(xiàn)程校猛課題意義為什么Hadoop要有容錯(cuò)機(jī)制： Hadoop的文件系統(tǒng)HDFS作為一個(gè)分布式的存儲(chǔ)系統(tǒng)，存儲(chǔ)節(jié)點(diǎn)出現(xiàn)故障是非常有可能的，一旦出現(xiàn)，如果沒(méi)有容錯(cuò)機(jī)制，將造成數(shù)據(jù)永久丟失。當(dāng)前Hadoop的容錯(cuò)機(jī)制是什么： 當(dāng)前Hadoop默認(rèn)的是3-way的三備份容錯(cuò)機(jī)制，原始數(shù)據(jù)被復(fù)制成三分存放在不同節(jié)點(diǎn)上。當(dāng)前Hadoop容錯(cuò)機(jī)制的缺點(diǎn)是什么： 1.冗余大，存儲(chǔ)效率只有1/3 2.恢復(fù)的時(shí)候不同節(jié)點(diǎn)之間需要移動(dòng)的數(shù)據(jù)塊較多，恢復(fù)帶寬比較大國(guó)內(nèi)外研究現(xiàn)況及發(fā)展趨勢(shì)Facebook Hadoop現(xiàn)在Facebook正在運(yùn)行世界第二大Hadoop集

2、群系統(tǒng)。在寫這篇文章的時(shí)候，我們?cè)贖adoop上存放的數(shù)據(jù)超過(guò)了2 PB，每天給它加載的數(shù)據(jù)超過(guò)10 TB。我們的Hadoop系統(tǒng)具有2400個(gè)內(nèi)核，大約9 TB的內(nèi)存，并且在一天之中的很多時(shí)間點(diǎn)，這些硬件設(shè)備都是滿負(fù)荷運(yùn)行的。 國(guó)內(nèi)外研究現(xiàn)況及發(fā)展趨勢(shì)Raid HDFSHDFS-RAID 是Facebook基于hadoop-20-append分支(第一代Hadoop)開(kāi)發(fā)的raid方案，就是對(duì)N個(gè)數(shù)據(jù)塊就行運(yùn)算，產(chǎn)生K個(gè)校驗(yàn)塊。這N+K個(gè)塊可以同時(shí)最多容忍K個(gè)塊的丟失，丟失的塊可以從其余的塊中的任意N個(gè)恢復(fù)出來(lái)。在HDFS-RAID里面，N叫做stripeLength,K叫做parityLe

3、ngth。國(guó)內(nèi)外研究現(xiàn)況及發(fā)展趨勢(shì)主要的發(fā)展趨勢(shì)：1.最小化I/O 數(shù)據(jù)恢復(fù)過(guò)程中需要大量訪問(wèn)磁盤，因此，最小化I/O能夠帶來(lái)性能的提升2.最小化帶寬 在網(wǎng)絡(luò)受限或者帶寬是性能瓶頸的情況下，最小化帶寬的受益也是很大的3.并發(fā)恢復(fù) 并發(fā)恢復(fù)能夠極大提高恢復(fù)性能方案原理方案原理混合RAID容錯(cuò)機(jī)制 和 傳統(tǒng)RAID5容錯(cuò)機(jī)制，3-way三備份機(jī)制對(duì)比(以存儲(chǔ)ABCD四個(gè)塊為例)備份數(shù)量恢復(fù)讀取的塊的數(shù)目冗余備份數(shù)單節(jié)點(diǎn)故障需要讀取的塊數(shù)目混合RAID容錯(cuò)機(jī)制10個(gè)塊1個(gè)塊傳統(tǒng)RAID5容錯(cuò)機(jī)制5個(gè)塊4個(gè)塊3-way三備份容錯(cuò)機(jī)制12個(gè)塊1個(gè)塊方案設(shè)計(jì)當(dāng)某個(gè)節(jié)點(diǎn)故障時(shí)，利用基于RAID1的修復(fù)方案來(lái)修復(fù)方案設(shè)計(jì)當(dāng)多個(gè)節(jié)點(diǎn)故障時(shí)，首先利用基于RAID1的修復(fù)方案來(lái)修復(fù)，再用基于RAID5的修復(fù)方案來(lái)修復(fù)。方案目標(biāo)功能目標(biāo)實(shí)現(xiàn)混合容錯(cuò)上的文件寫：機(jī)架間先RAID1機(jī)架內(nèi)再RAID5實(shí)現(xiàn)混合容錯(cuò)上的修復(fù)功能：?jiǎn)喂?jié)點(diǎn)修復(fù)多節(jié)點(diǎn)修復(fù)性能目標(biāo)：通過(guò)實(shí)驗(yàn)，比較備份、RAID6和混合容錯(cuò)機(jī)制的恢復(fù)時(shí)間。通過(guò)設(shè)計(jì)單節(jié)點(diǎn)的機(jī)架內(nèi)修復(fù)，來(lái)優(yōu)化混合機(jī)制下的修復(fù)性能課題研究進(jìn)度安排學(xué)期周次工作任務(wù)2016-2017第一學(xué)期文獻(xiàn)閱讀、翻譯基本環(huán)境的搭建、測(cè)試2016-2017第二學(xué)期第1周-第3周基本實(shí)現(xiàn)方案討論與確定第4周-第5周文