Hadoop大數(shù)據(jù)開發(fā)基礎(chǔ)與案例實戰(zhàn)（微課版）課件 4.1HDFS簡介

Hadoop大數(shù)據(jù)項目開發(fā)——HDFS簡介目錄content0201HDFS簡介HDFS實現(xiàn)目標和自身局限性HDFS簡介HDFS是Hadoop兩大核心組件之一。分布式存儲：HDFS分布式處理：MapReduceHDFS就是為了解決海量數(shù)據(jù)的分布式存儲問題。HadoopDistributedFileSystemHDFS簡介--集群在大數(shù)據(jù)時代，數(shù)據(jù)量非常大，單個節(jié)點一臺計算機是無論如何完成不了海量數(shù)據(jù)的存儲，我們需要借助計算機集群存儲海量數(shù)據(jù)。單機無法存儲集群分布式存儲HDFS簡介--集群每個豎排代表一個機架，每個機架上擺放了好多機器，每個機器稱為一個節(jié)點，在企業(yè)一個機架可以擺放30-40個節(jié)點，機架和機架之間是通過光纖交換機來完成彼此之間的網(wǎng)絡(luò)互聯(lián)。在這個集群中，HDFS把整個文件分布的存儲在這些機器里。HDFS簡介分布式文件系統(tǒng)解決了大數(shù)據(jù)存儲問題，是橫跨在多臺計算機上的存儲系統(tǒng)；分布式文件系統(tǒng)在大數(shù)據(jù)時代有著廣泛的應(yīng)用前景，為存儲和處理超大規(guī)模數(shù)據(jù)提供擴展能力；分布式文件系統(tǒng)適用于一次寫入，多次讀出的場景，且不支持文件的修改，適合用來做數(shù)據(jù)分析。HDFS的實現(xiàn)目標成本低流式數(shù)據(jù)訪問適合處理大數(shù)據(jù)高容錯性大文件存儲成本低HDFS集群可構(gòu)建在廉價計算機上，通過多副本機制，提高可靠性。個人計算機搭建大數(shù)據(jù)集群HDFS的實現(xiàn)目標適合流式數(shù)據(jù)訪問HDFS的數(shù)據(jù)處理規(guī)模比較大，應(yīng)用程序一次需要訪問大量的數(shù)據(jù)，HDFS的設(shè)計目標就是全部數(shù)據(jù)全部讀寫，它不適合訪問整個文件中的一個子集。HDFS是為滿足海量數(shù)據(jù)的批量處理而設(shè)計的。HDFS的實現(xiàn)目標適合處理大數(shù)據(jù)HDFS可橫向擴展，其存儲的數(shù)據(jù)規(guī)模：能夠處理數(shù)據(jù)規(guī)模達到PB級別的數(shù)據(jù)；文件規(guī)模：能夠處理百萬規(guī)模以上的文件數(shù)量；節(jié)點規(guī)模：能夠處理10K節(jié)點的規(guī)模。HDFS的實現(xiàn)目標高容錯性數(shù)據(jù)保存多個副本，副本丟失后自動恢復(fù)；構(gòu)建在廉價的計算機上，容易實現(xiàn)線性擴展，當集群增加新節(jié)點之后，名稱節(jié)點（NameNode）也可以感知，進行負載均衡，將數(shù)據(jù)分發(fā)和備份數(shù)據(jù)均衡到新的節(jié)點上。HDFS的實現(xiàn)目標適合大文件存儲HDFS采用數(shù)據(jù)塊的方式存儲數(shù)據(jù)，將數(shù)據(jù)物理切分成多個小的數(shù)據(jù)塊；當用戶讀取時，重新將多個小數(shù)據(jù)塊拼接起來。HDFS的實現(xiàn)目標0203不適合低延遲數(shù)據(jù)訪問無法高效存儲大量小文件不支持多用戶寫入及文件隨機修改01HDFS自身的局限性不適合低延遲數(shù)據(jù)訪問HDFS不適合低延遲數(shù)據(jù)訪問，比如毫秒級以內(nèi)讀取數(shù)據(jù)或者存儲數(shù)據(jù)，HDFS是很難做到的。HDFS自身的局限性無法高效的對大量小文件進行存儲文件存儲會占用名稱節(jié)點的內(nèi)存來存儲文件目錄和塊信息，存儲大量小文件就會耗費大量的內(nèi)存，名稱節(jié)點的內(nèi)存總是有限的。HDFS自身的局限性HDFS自身的局限性HDFS不支持多用戶寫入和文件隨機修改HDFS目前不支持并發(fā)多用戶的寫操作和文件的隨機修改，寫操作只能在文件末尾追加數(shù)據(jù)，一個文件只能有一個寫，不允許多個線程同時寫。本章小結(jié)本節(jié)我