HDFS數(shù)據(jù)讀寫過程

HDFS數(shù)據(jù)讀寫過程1HDFS數(shù)據(jù)寫入流程HDFS數(shù)據(jù)讀取流程23編程實(shí)現(xiàn)HDFS讀寫讀數(shù)據(jù)的過程1.1HDFS數(shù)據(jù)寫入流程1.1HDFS數(shù)據(jù)寫入流程（1）客戶端向NameNode發(fā)送文件上傳申請(qǐng)。（2）NameNode返回塊ID以及存儲(chǔ)數(shù)據(jù)塊的DataNode地址列表等信息。（3）客戶端向DataNode中寫入數(shù)據(jù)塊。（4）當(dāng)客戶端寫入一份數(shù)據(jù)塊后，DataNode之間異步進(jìn)行數(shù)據(jù)塊復(fù)制。（5）最后面的DataNode上數(shù)據(jù)塊寫入完成后，會(huì)發(fā)送一個(gè)確認(rèn)信息給前一個(gè)DataNode。第一個(gè)寫入塊的DataNode反饋確認(rèn)信息給客戶端，數(shù)據(jù)寫入完畢。（6）客戶端向NameNode發(fā)送最終的確認(rèn)信息。1.2HDFS數(shù)據(jù)讀取流程1.2HDFS數(shù)據(jù)讀取流程（1）客戶端發(fā)送讀取數(shù)據(jù)的請(qǐng)求給NameNode。（2）NameNode返回?cái)?shù)據(jù)塊ID以及存儲(chǔ)數(shù)據(jù)塊DataNode地址列表。該列表按照存儲(chǔ)起始數(shù)據(jù)塊的DataNode與客戶端的距離進(jìn)行排序。（3）客戶端直接在最近的DataNode上讀取數(shù)據(jù)。如果讀取失敗，則從另一個(gè)副本所在的DataNode上讀取數(shù)據(jù)。1.3利用JAVAAPI讀寫數(shù)據(jù)Hadoop中用于文件操作的主類位于org.apache.hadoop.fs軟件包中Hadoop文件API的起點(diǎn)是FileSystem抽象類FileSystem.get(Configurationconf)來得到所需的FileSystem實(shí)例Configuration類的默認(rèn)實(shí)例化方法是以工程中bin目錄中的配置文件為基礎(chǔ)Hadoop的基本文件操作：open、read、write、close下面語句可以得到與HDFS接口的FileSystem對(duì)象：Configurationconf=newConfiguration();//配置文件FileSytemhdfs=FileSystem.get(conf);//訪問hdfs分布式下面語句可以得到用于本地文件系統(tǒng)的FileSystem對(duì)象：FileSystemlocal=FileSystem.getLocal(conf);//訪問本地Hadoop的文件系統(tǒng)1.3利用JAVAAPI讀寫數(shù)據(jù)FileSystem的open()方法返回的是一個(gè)輸入流FSDataInputStream對(duì)象，在HDFS文件系統(tǒng)中，具體的輸入流就是DFSInputStream；FileSystem中的create()方法返回的是一個(gè)輸出流FSDataOutputStream對(duì)象，在HDFS文件系統(tǒng)中，具體的輸出流就是DFSOutputStream。Configurationconf=newConfiguration();conf.set("fs.defaultFS","hdfs://localhost:9000");conf.set("fs.hdfs.impl","org.apache.hadoop.hdfs.DistributedFileSystem");FileSystemfs=FileSystem.get(conf);FSDataInputStreamin=fs.open(newPath(uri));FSDataOutputStreamout=fs.create(newPath(uri));1.3利用JAVAAPI讀寫數(shù)據(jù)FSDataInputStream封裝了DFSInputStreamFileSystemfs=FileSystem.get(conf);FSDataInputStreamin=fs.open(newPath(uri));Configurationconf=newConfiguration();importorg.apache.hadoop.fs.FileSystem通過ClientProtocal.getBlockLocations()遠(yuǎn)程調(diào)用名稱節(jié)點(diǎn)，獲得文件開始部分?jǐn)?shù)據(jù)塊的位置對(duì)于該數(shù)據(jù)塊，名稱節(jié)點(diǎn)返回保存該數(shù)據(jù)塊的所有數(shù)據(jù)節(jié)點(diǎn)的地址并根據(jù)距離客戶端遠(yuǎn)近進(jìn)行排序客戶端獲得輸入流FSDataInputStream以后調(diào)用read()函數(shù)開始讀取數(shù)據(jù)輸入流根據(jù)前面的排序結(jié)果選擇距離客戶端最近的數(shù)據(jù)節(jié)點(diǎn)建立連接并讀取數(shù)據(jù)數(shù)據(jù)從數(shù)據(jù)節(jié)點(diǎn)讀到客戶端，當(dāng)該數(shù)據(jù)塊讀取完畢時(shí)FSDataInputStream關(guān)閉和該數(shù)據(jù)節(jié)點(diǎn)的連接通過ClientProtocal.getBlockLocations()查找下一個(gè)數(shù)據(jù)塊1.3利用JAVAAPI讀寫數(shù)據(jù)--讀數(shù)據(jù)的過程FileSystemfs=FileSystem.get(conf);FSDataOutputStreamout=fs.create(newPath(uri));Configurationconf=newConfiguration();importorg.apache.hadoop.fs.FileSystemRPC遠(yuǎn)程調(diào)用名稱節(jié)點(diǎn)在文件系統(tǒng)的命名空間中新建一個(gè)文件名稱節(jié)點(diǎn)會(huì)執(zhí)行一些檢查（文件是否存在，客戶端權(quán)限）FSDataOutputStream封裝了DFSOutputStream數(shù)據(jù)被分成一個(gè)個(gè)分包分包被放入DFSOutputStream對(duì)象的內(nèi)部隊(duì)列DFSOutputStream向名稱節(jié)點(diǎn)申請(qǐng)保存數(shù)據(jù)塊的若干數(shù)據(jù)節(jié)點(diǎn)這些數(shù)據(jù)節(jié)點(diǎn)形成一個(gè)數(shù)據(jù)流管道隊(duì)列中的分包最后被打包成數(shù)據(jù)包發(fā)往數(shù)據(jù)流管道中的第一個(gè)數(shù)據(jù)節(jié)點(diǎn)第一個(gè)數(shù)據(jù)節(jié)點(diǎn)將數(shù)據(jù)包發(fā)送到第二個(gè)節(jié)點(diǎn)依此類推，形成“流水線復(fù)制”為了保證節(jié)點(diǎn)數(shù)據(jù)準(zhǔn)確，接收到數(shù)據(jù)的數(shù)據(jù)節(jié)點(diǎn)要向發(fā)送者發(fā)送