數(shù)據(jù)冗余存儲

數(shù)據(jù)冗余存儲2學(xué)習(xí)任務(wù)初步了解HDFS數(shù)據(jù)冗余存儲熟悉HDFS數(shù)據(jù)存儲的優(yōu)缺點(diǎn)3知識目標(biāo)什么是數(shù)據(jù)冗余存儲結(jié)合HDFS說明數(shù)據(jù)冗余存儲了解HDFS數(shù)據(jù)存儲的優(yōu)缺點(diǎn)01能力目標(biāo)能夠掌握數(shù)據(jù)冗余存儲的基本概念針對HDFS存儲優(yōu)缺點(diǎn)加深理解02學(xué)習(xí)目標(biāo)4目錄01數(shù)據(jù)冗余簡介02HDFS的數(shù)據(jù)冗余存儲簡介03HDFS數(shù)據(jù)存儲優(yōu)點(diǎn)04HDFS數(shù)據(jù)存儲缺點(diǎn)5數(shù)據(jù)冗余簡介數(shù)據(jù)冗余是指數(shù)據(jù)之間的重復(fù)，也可以說是同一數(shù)據(jù)存儲在不同數(shù)據(jù)文件中的現(xiàn)象?？梢哉f增加數(shù)據(jù)的獨(dú)立性和減少數(shù)據(jù)冗余是企業(yè)范圍信息資源管理和大規(guī)模信息系統(tǒng)獲得成功的前提條件。6HDFS的數(shù)據(jù)冗余存儲簡介HDFS是一種高度分布的多層次結(jié)構(gòu)布局。典型的HDFS集群是由數(shù)百個(gè)服務(wù)器被同時(shí)部署在同一個(gè)集群之中，并且可以同時(shí)被來自同一或者不同地點(diǎn)的多個(gè)客戶機(jī)進(jìn)行訪問。概述7HDFS的數(shù)據(jù)冗余存儲簡介為了實(shí)現(xiàn)這兩個(gè)目的，僅僅在多臺機(jī)器上進(jìn)行單一存儲是不夠的，并不能預(yù)防硬件設(shè)備失誤帶來的損失。因此而采用的是多副本存儲復(fù)制。概述8HDFS數(shù)據(jù)存儲優(yōu)點(diǎn)數(shù)據(jù)自動(dòng)保存多個(gè)副本。它通過增加副本的形式，提高容錯(cuò)性。某一個(gè)副本丟失以后，可以自動(dòng)恢復(fù)，這是由HDFS內(nèi)部機(jī)制實(shí)現(xiàn)的，我們不必關(guān)心。高容錯(cuò)性9HDFS數(shù)據(jù)存儲優(yōu)點(diǎn)它是通過移動(dòng)計(jì)算而不是移動(dòng)數(shù)據(jù)。它會把數(shù)據(jù)位置暴露給計(jì)算框架。適合批處理10HDFS數(shù)據(jù)存儲優(yōu)點(diǎn)數(shù)據(jù)規(guī)模：能夠處理數(shù)據(jù)規(guī)模達(dá)到

GB、TB、甚至PB級別的數(shù)據(jù)。文件規(guī)模：能夠處理百萬規(guī)模以上的文件數(shù)量，數(shù)量相當(dāng)之大。節(jié)點(diǎn)規(guī)模：能夠處理10K節(jié)點(diǎn)的規(guī)模。適合大數(shù)據(jù)處理11HDFS數(shù)據(jù)存儲優(yōu)點(diǎn)一次寫入，多次讀取，不能修改，只能追加。它能保證數(shù)據(jù)的一致性。流式數(shù)據(jù)訪問12HDFS數(shù)據(jù)存儲優(yōu)點(diǎn)它通過多副本機(jī)制，提高可靠性。它提供了容錯(cuò)和恢復(fù)機(jī)制。比如某一個(gè)副本丟失，可以通過其它副本來恢復(fù)?？蓸?gòu)建在廉價(jià)機(jī)器上13HDFS數(shù)據(jù)存儲缺點(diǎn)比如毫秒級的來存儲數(shù)據(jù)，這是不行的，它做不到。它適合高吞吐率的場景，就是在某一時(shí)間內(nèi)寫入大量的數(shù)據(jù)。但是它在低延時(shí)的情況下是不行的，比如毫秒級以內(nèi)讀取數(shù)據(jù)，這樣它是很難做到的。不適合低延時(shí)數(shù)據(jù)訪問14HDFS數(shù)據(jù)存儲缺點(diǎn)存儲大量小文件的話，它會占用NameNode大量的內(nèi)存來存儲文件、目錄和塊信息。這樣是不可取的，因?yàn)镹ameNode的內(nèi)存總是有限的。小文件存儲的尋道時(shí)間會超過讀取時(shí)間，它違反了HDFS的設(shè)計(jì)目標(biāo)。無法高效的對大量小文件進(jìn)行存儲15HDFS數(shù)據(jù)存儲缺點(diǎn)一個(gè)文件只能有一個(gè)寫，不允許多個(gè)線程同時(shí)寫。僅支持?jǐn)?shù)據(jù)

append（追加），不支持文件的隨機(jī)修