試驗3熟悉常用的HDFS操作答案

1、實驗2熟悉常用的HDFS操作 1實驗?zāi)康?1. 理解HDFS在Hadoop體系結(jié)構(gòu)中的角色; 2. 熟練使用HDFS操作常用的Shell命令； 3. 熟悉HDFS操作常用的JavaAPI. 2實驗平臺 操作系統(tǒng)：Linux Hadoop版本： JDK版本：1.6或以上版本 JavaIDE:Eclipse 3實驗內(nèi)容和要求 (1) 一文本文件,如果指定的文件在HDFS中已經(jīng)存在,由用戶 指定是追加到原有文件末尾還是覆蓋原有的文件； Shell命令: 檢查文件是否存在：./hdfsdfs-test-etext.txt(執(zhí)行完這一句不會輸出結(jié)果,需要繼續(xù)輸入命令 echo$?) 追加命令:./hdf

2、sdfs-appendToFilelocal.txttext.txt 覆蓋命令1:./hdfsdfs-copyFromLocal-flocal.txttext.txt 覆蓋命令2:./hdfsdfs-cp-ftext.txt 也可以使用如下命令實現(xiàn)： (如下代碼可視為一行代碼,在終端中輸入第一行代碼后,直到輸入 if$(./hdfsdfs-test-etext.txt); then$(./hdfsdfs-appendToFilelocal.txttext.txt); else$(./hdfsdfs-copyFromLocal-flocal.txttext.txt);fi Java代碼:impo

3、rt;import;importjava.io.*;publicclassHDFSApi/* *判斷路徑是否存在1) 2) 或者 3) 4) /stable/hadoop-project-dist/hadoop-common/FileSystemShel fi才會真正執(zhí)行)： 1.編程實現(xiàn)以下指定功能,并利用Hadoop提供的Shell命令完成相同任務(wù): 提示： 局部Shell命令的參數(shù)路徑只能是本地路徑或者HDFS路徑. 假設(shè)Shell命令的參數(shù)既可以是本地路徑,也可以是HDFS路徑時,務(wù)必注意區(qū)分.為保 證操作正確,可指定路徑前綴注意區(qū)分相對路徑與絕對路徑具體命令的說明可參考教材或l.ht

4、ml */ publicstaticbooleantest(Configurationconf,Stringpath)throwslOException( FileSystemfs=FileSystem.get(conf); returnfs.exists(newPath(path); /* *復(fù)制文件到指定路徑 *假設(shè)路徑已存在,那么進行覆蓋 */ publicstaticvoidcopyFromLocalFile(Configurationconf,StringlocalFilePath,StringremoteFilePath)throwsIOException( FileSystemf

5、s=FileSystem.get(conf); PathlocalPath=newPath(localFilePath); PathremotePath=newPath(remoteFilePath); /*fs.copyFromLocalFile第一個參數(shù)表示是否刪除源文件,第二個參數(shù)表示是否覆 蓋*/ fs.copyFromLocalFile(false,true,localPath,remotePath);fs.close(); /* 追加文件內(nèi)容 */ publicstaticvoidappendToFile(Configurationconf,StringlocalFilePath,

6、StringremoteFilePath)throwsIOException( FileSystemfs=FileSystem.get(conf); PathremotePath=newPath(remoteFilePath); /*創(chuàng)立一個文件讀入流*/ FileInputStreamin=newFileInputStream(localFilePath); /*創(chuàng)立一個文件輸出流,輸出的內(nèi)容將追加到文件末尾 FSDataOutputStreamout=fs.append(remotePath); /*讀寫文件內(nèi)容*/ bytedata=newbyte1024; intread=-1; wh

7、ile(read=in.read(data)0)( out.write(data,0,read); out.close(); in.close(); fs.close(); /* *主函數(shù) */ publicstaticvoidmain(Stringargs)(*/ Configurationconf=newConfiguration.； conf.set(,); StringlocalFilePath=/home/hadoop/text.txt; StringremoteFilePath=/user/hadoop/text.txt; Stringchoice=append; /Stringc

8、hoice=overwrite; try( /*判斷文件是否存在*/ BooleanfileExists=false; if(HDFSApi.test(conf,remoteFilePath)( fileExists=true; +已存在.); else( +不存在.); /*進行處理*/ if(!fileExists)(/文件不存在,那么上傳 HDFSApi.copyFromLocalFile(conf,localFilePath,remoteFilePath); +已上傳至+remoteFilePath); elseif(choice.equals(overwrite)(/選擇覆蓋 HDF

9、SApi.copyFromLocalFile(conf,localFilePath,remoteFilePath); +已覆蓋+remoteFilePath); elseif(choice.equals(append)(/選擇追加 HDFSApi.appendToFile(conf,localFilePath,remoteFilePath); +已追加至+remoteFilePath); catch(Exceptione)( e.printStackTrace(); (1)從HDFS中下載指定文件,如果本地文件與要下載的文件名稱相同,那么自動對下載的文件重命名； Shell命令： if$(./

10、hdfsdfs-test-e; then$(./hdfsdfs-copyToLocaltext.txt./text2.txt); else$(./hdfsdfs-copyToLocaltext.txt./text.txt); fi Java代碼: import; import; importjava.io.*; publicclassHDFSApi(/* *下載文件到本地 *判斷本地路徑是否已存在,假設(shè)已存在,那么自動進行重命名 */ /本地路徑 /HDFS路徑 /假設(shè)文件存在那么追加到文件末尾 /假設(shè)文件存在那么覆蓋 publicstaticvoidcopyToLocal(Configura

11、tionconf,StringremoteFilePath,StringlocalFilePath)throwsIOException FileSystemfs=FileSystem.get(conf); PathremotePath=newPath(remoteFilePath); Filef=newFile(localFilePath); /*如果文件名存在,自動重命名(在文件名后面加上_0,_1.)*/ if(f.exists() +已存在.); Integeri=0; while(true) f=newFile(localFilePath+_+i.toString(); if(!f.e

12、xists() localFilePath=localFilePath+_+i.toString(); break; 將重新命名為：+localFilePath); /下載文件到本地 PathlocalPath=newPath(localFilePath); fs.copyToLocalFile(remotePath,localPath); fs.close(); /* *主函數(shù) */ publicstaticvoidmain(Stringargs) Configurationconf=newConfiguration(); conf.set(,); StringlocalFilePath=/

13、home/hadoop/text.txt;/本地路徑 StringremoteFilePath=/user/hadoop/text.txt;/HDFS路徑 try HDFSApi.copyToLocal(conf,remoteFilePath,localFilePath); 下載完成); catch(Exceptione) e.printStackTrace(); (2) 將HDFS中指定文件的內(nèi)容輸出到終端中; Shell命令： ./hdfsdfs-cattext.txt Java代碼:import; import; importjava.io.*; publicclassHDFSApi /

14、* *讀取文件內(nèi)容 */ publicstaticvoidcat(Configurationconf,StringremoteFilePath)throwsIOExceptionFileSystemfs=FileSystem.get(conf); PathremotePath=newPath(remoteFilePath); FSDataInputStreamin=fs.open(remotePath); BufferedReaderd=newBufferedReader(newInputStreamReader(in); Stringline=null; while(line=d.readL

15、ine()!=null) 5 d.close(); in.close(); fs.close(); /* *主函數(shù) */ publicstaticvoidmain(Stringargs) Configurationconf=newConfiguration(); conf.set(,); StringremoteFilePath=/user/hadoop/text.txt;/HDFS路徑try 讀取文件：+remoteFilePath); HDFSApi.cat(conf,remoteFilePath); n讀取完成); catch(Exceptione) e.printStackTrace(

16、); (3) 顯示HDFS中指定的文件的讀寫權(quán)限、大小、創(chuàng)立時間、路徑等信息; Shell命令： ./hdfsdfs-ls-htext.txt Java代碼: import; import; importjava.io.*; import; publicclassHDFSApi( /* *顯不指定文件的信息 */ publicstaticvoidls(Configurationconf,StringremoteFilePath)throwsIOException(FileSystemfs=FileSystem.get(conf); PathremotePath=newPath(remoteFi

17、lePath); FileStatusfileStatuses=fs.listStatus(remotePath);for(FileStatuss:fileStatuses)( 路徑：+s.getPath().toString(); 權(quán)限：+s.getPermission().toString(); 大小：+s.getLen(); /*返回的是時間戳,轉(zhuǎn)化為時間日期格式 LongtimeStamp=s.getModificationTime(); SimpleDateFormatformat=newSimpleDateFormat(yyyy-MM-ddHH:mm:ss);Stringdate=

18、format.format(timeStamp); 時間：+date); fs.close(); /* *主函數(shù) */ publicstaticvoidmain(Stringargs)( Configurationconf=newConfiguration(); conf.set(,); StringremoteFilePath=/user/hadoop/text.txt; try( 讀取文件信息：+remoteFilePath); HDFSApi.ls(conf,remoteFilePath); n讀取完成); catch(Exceptione)(e.printStackTrace(); (

19、4) 給定HDFS中某一個目錄,輸出該目錄下的所有文件的讀寫權(quán)限、大小、創(chuàng)立 時間、路徑等信息,如果該文件是目錄,那么遞歸輸出該目錄下所有文件相關(guān)信息; Shell命令： ./hdfsdfs-ls-R-h/user/hadoop Java代碼:*/ /HDFS路徑 import; import; importjava.io.*; import; publicclassHDFSApi( /* *顯示指定文件夾下所有文件的信息(遞歸) */ publicstaticvoidlsDir(Configurationconf,StringremoteDir)throwsIOException( File

20、Systemfs=FileSystem.get(conf); PathdirPath=newPath(remoteDir); /*遞歸獲取目錄下的所有文件*/ RemoteIteratorremoteIterator=fs.listFiles(dirPath,true); /*輸出每個文件的信息*/ while(remoteIterator.hasNext()( FileStatuss=remoteIterator.next(); 路徑：+s.getPath().toString(); 權(quán)限：+s.getPermission().toString(); 大小：+s.getLen(); /*返回

21、的是時間戳,轉(zhuǎn)化為時間日期格式 LongtimeStamp=s.getModificationTime(); SimpleDateFormatformat=newSimpleDateFormat(yyyy-MM-ddHH:mm:ss); Stringdate=format.format(timeStamp); 時間：+date); 5 fs.close(); /* *主函數(shù) */ publicstaticvoidmain(Stringargs)( Configurationconf=newConfiguration(); conf.set(,); StringremoteDir=/user/h

22、adoop;/HDFS路徑try( (遞歸)讀取目錄下所有文件的信息：+remoteDir); HDFSApi.lsDir(conf,remoteDir); 讀取完成); catch(Exceptione)( e.printStackTrace(); */ (5) 提供一個HDFS內(nèi)的文件的路徑,對該文件進行創(chuàng)立和刪除操作.如果文件所 在目錄不存在,那么自動創(chuàng)立目錄； Shell命令： if$(./hdfsdfs-test-ddir1/dir2); then$(./hdfsdfs-touchzdir1/dir2/filename); else$(./hdfsdfs-mkdir-pdir1/di

23、r2&hdfsdfs-touchzdir1/dir2/filename); fi 刪除文件：./hdfsdfs-rmdir1/dir2/filename Java代碼: import; import; importjava.io.*; publicclassHDFSApi /* *判斷路徑是否存在 */ publicstaticbooleantest(Configurationconf,Stringpath)throwsIOExceptionFileSystemfs=FileSystem.get(conf); returnfs.exists(newPath(path); /* * */ pub

24、licstaticbooleanmkdir(Configurationconf,StringremoteDir)throwsIOException FileSystemfs=FileSystem.get(conf); PathdirPath=newPath(remoteDir); booleanresult=fs.mkdirs(dirPath); fs.close(); returnresult; /* 創(chuàng)立文件 */ publicstaticvoidtouchz(Configurationconf,StringremoteFilePath)throwsIOException FileSyst

25、emfs=FileSystem.get(conf); PathremotePath=newPath(remoteFilePath); FSDataOutputStreamoutputStream=fs.create(remotePath); outputStream.close(); fs.close(); /* 刪除文件 */ publicstaticbooleanrm(Configurationconf,StringremoteFilePath)throwslOException FileSystemfs=FileSystem.get(conf); PathremotePath=newPa

26、th(remoteFilePath); booleanresult=fs.delete(remotePath,false); 創(chuàng)立目錄 fs.close(); returnresult; /* *主函數(shù) */ publicstaticvoidmain(Stringargs) Configurationconf=newConfiguration(); conf.set(,); StringremoteFilePath=/user/hadoop/input/text.txt;/HDFS路徑 StringremoteDir=/user/hadoop/input;/HDFS路徑對應(yīng)的目錄 try /*

27、判斷路徑是否存在,存在那么刪除,否那么進行創(chuàng)立*/ if(HDFSApi.test(conf,remoteFilePath)HDFSApi.rm(conf,remoteFilePath);/刪除刪除路徑：+remoteFilePath); else if(!HDFSApi.test(conf,remoteDir)/假設(shè)目錄不存在,那么進行創(chuàng)立HDFSApi.mkdir(conf,remoteDir); 創(chuàng)立文件夾：+remoteDir); HDFSApi.touchz(conf,remoteFilePath); 創(chuàng)立路徑:+remoteFilePath); catch(Exceptione)e

28、.printStackTrace(); (6) 提供一個HDFS的目錄的路徑,對該目錄進行創(chuàng)立和刪除操作.創(chuàng)立目錄時, 如果目錄文件所在目錄不存在那么自動創(chuàng)立相應(yīng)目錄；刪除目錄時,由用戶指定當該目錄不為空時是否還刪除該目錄； Shell命令： 創(chuàng)立目錄：./hdfsdfs-mkdir-pdir1/dir2 刪除目錄(如果目錄非空那么會提示notempty,不執(zhí)行刪除)：./hdfsdfs-rmdirdir1/dir2 強制刪除目錄：./hdfsdfs-rm-Rdir1/dir2 Java代碼: import; import; importjava.io.*; publicclassHDFSAp

29、i *判斷路徑是否存在 */ publicstaticbooleantest(Configurationconf,Stringpath)throwslOException(FileSystemfs=FileSystem.get(conf); returnfs.exists(newPath(path); 判斷目錄是否為空 *true:空,false:非空 */ publicstaticbooleanisDirEmpty(Configurationconf,StringremoteDir)throwsIOException( FileSystemfs=FileSystem.get(conf); P

30、athdirPath=newPath(remoteDir); RemoteIteratorremoteIterator=fs.listFiles(dirPath,true); return!remoteIterator.hasNext(); /* *創(chuàng)立目錄 */ publicstaticbooleanmkdir(Configurationconf,StringremoteDir)throwsIOException( FileSystemfs=FileSystem.get(conf); PathdirPath=newPath(remoteDir); booleanresult=fs.mkdir

31、s(dirPath); fs.close(); returnresult; /* *刪除目錄 */ publicstaticbooleanrmDir(Configurationconf,StringremoteDir)throwsIOException(FileSystemfs=FileSystem.get(conf); PathdirPath=newPath(remoteDir); /*第二個參數(shù)表示是否遞歸刪除所有文件*/ booleanresult=fs.delete(dirPath,true); fs.close(); returnresult; /* *主函數(shù) */ publicst

32、aticvoidmain(Stringargs)( Configurationconf=newConfiguration(); conf.set(,); StringremoteDir=/user/hadoop/input;/HDFS目錄 BooleanforceDelete=false;/是否強制刪除 try /* /*判斷目錄是否存在,不存在那么創(chuàng)立,存在那么刪除*/ if(!HDFSApi.test(conf,remoteDir) HDFSApi.mkdir(conf,remoteDir);/創(chuàng)立目錄 創(chuàng)立目錄：+remoteDir); else if(HDFSApi.isDirEmpt

33、y(conf,remoteDir)|forceDelete)/目錄為空或強制刪除HDFSApi.rmDir(conf,remoteDir); 刪除目錄：+remoteDir); else/目錄不為空 目錄不為空,不刪除：+remoteDir); catch(Exceptione) e.printStackTrace(); (7) 向HDFS中指定的文件追加內(nèi)容,由用戶指定內(nèi)容追加到原有文件的開頭或結(jié) 尾； Shell命令： 追加到文件末尾：./hdfsdfs-appendToFilelocal.txttext.txt 追加到文件開頭： (由于沒有直接的命令可以操作,方法之一是先移動到本地進行操

34、作,再進行上傳覆蓋)： ./hdfsdfs-gettext.txt cattext.txtlocal.txt ./hdfsdfs-copyFromLocal-ftext.txttext.txt Java代碼: import; import; importjava.io.*; publicclassHDFSApi /* *判斷路徑是否存在 */ publicstaticbooleantest(Configurationconf,Stringpath)throwsIOExceptionFileSystemfs=FileSystem.get(conf); returnfs.exists(newPat

35、h(path); /* 追加文本內(nèi)容 */ publicstaticvoidappendContentToFile(ConfigurationremoteFilePath)throwsIOException FileSystemfs=FileSystem.get(conf); PathremotePath=newPath(remoteFilePath); /*創(chuàng)立一個文件輸出流,輸出的內(nèi)容將追加到文件末尾 FSDataOutputStreamout=fs.append(remotePath); out.write(content.getBytes(); out.close(); fs.clos

36、e(); conf,Stringcontent, */ String /* 追加文件內(nèi)容 */ publicstaticvoidappendToFile(Configurationconf,remoteFilePath)throwsIOException FileSystemfs=FileSystem.get(conf); PathremotePath=newPath(remoteFilePath); /*創(chuàng)立一個文件讀入流*/ FileInputStreamin=newFileInputStream(localFilePath); /*創(chuàng)立一個文件輸出流,輸出的內(nèi)容將追加到文件末尾 FSDa

37、taOutputStreamout=fs.append(remotePath); /*讀寫文件內(nèi)容*/ bytedata=newbyte1024; intread=-1; while(read=in.read(data)0) out.write(data,0,read); out.close(); in.close(); fs.close(); StringlocalFilePath, String */ /* 移動文件到本地 移動后,刪除源文件 */ publicstaticvoidmoveToLocalFile(Configurationconf,localFilePath)throwsI

38、OException FileSystemfs=FileSystem.get(conf); PathremotePath=newPath(remoteFilePath); PathlocalPath=newPath(localFilePath); fs.moveToLocalFile(remotePath,localPath); /* StringremoteFilePath, String *創(chuàng)立文件 */ publicstaticvoidtouchz(Configurationconf,StringremoteFilePath)throwslOException( FileSystemfs

39、=FileSystem.get(conf); PathremotePath=newPath(remoteFilePath); FSDataOutputStreamoutputStream=fs.create(remotePath); outputStream.close(); fs.close(); /* *主函數(shù) */ publicstaticvoidmain(Stringargs)( Configurationconf=newConfiguration(); conf.set(,); StringremoteFilePath=/user/hadoop/text.txt;/HDFS文件 St

40、ringcontent=新追加的內(nèi)容n; Stringchoice=after;追加到文件末尾 /Stringchoice=before;/追加到文件開頭try( /*判斷文件是否存在*/ if(!HDFSApi.test(conf,remoteFilePath)( 文件不存在：+remoteFilePath); else( if(choice.equals(after)(/追加在文件末尾 HDFSApi.appendContentToFile(conf,content,remoteFilePath); 已追加內(nèi)容到文件末尾+remoteFilePath); elseif(choice.equ

41、als(before)(/追加到文件開頭 /*沒有相應(yīng)的api可以直接操作,因此先把文件移動到本地,創(chuàng)立一個新的 HDFS,再按順序追加內(nèi)容*/ StringlocalTmpPath=/user/hadoop/tmp.txt; HDFSApi.moveToLocalFile(conf,remoteFilePath,localTmpPath);/移動到本地 HDFSApi.touchz(conf,remoteFilePath);/創(chuàng)立一個新文件HDFSApi.appendContentToFile(conf,content,remoteFilePath);/先寫入新內(nèi)容 HDFSApi.appe

42、ndToFile(conf,localTmpPath,remoteFilePath);/再寫入原來內(nèi) 已追加內(nèi)容到文件開頭：+remoteFilePath); catch(Exceptione)( e.printStackTrace(); (8) 刪除HDFS中指定的文件； Shell命令： ./hdfsdfs-rmtext.txt Java命令: import; import; importjava.io.*; publicclassHDFSApi /* *刪除文件 */ publicstaticbooleanrm(Configurationconf,StringremoteFilePath

43、)throwsIOException FileSystemfs=FileSystem.get(conf); PathremotePath=newPath(remoteFilePath); booleanresult=fs.delete(remotePath,false); fs.close(); returnresult; /* *主函數(shù) */ publicstaticvoidmain(Stringargs) Configurationconf=newConfiguration(); conf.set(,); StringremoteFilePath=/user/hadoop/text.txt

44、; try if(HDFSApi.rm(conf,remoteFilePath) 文件刪除：+remoteFilePath); else 操作失敗(文件不存在或刪除失敗); catch(Exceptione) e.printStackTrace(); (9) 刪除HDFS中指定的目錄,由用戶指定目錄中如果存在文件時是否刪除目錄； Shell命令： 刪除目錄(如果目錄非空那么會提示notempty,不執(zhí)行刪除)：./hdfsdfs-rmdirdir1/dir2 強制刪除目錄：./hdfsdfs-rm-Rdir1/dir2 Java代碼: import; import; importjava.io

45、.*;/HDFS文件 publicclassHDFSApi /* *判斷目錄是否為空 *true:空,false:非空 */ publicstaticbooleanisDirEmpty(Configurationconf,StringremoteDir)throwsIOException FileSystemfs=FileSystem.get(conf); PathdirPath=newPath(remoteDir); RemoteIteratorremoteIterator=fs.listFiles(dirPath,true); return!remoteIterator.hasNext()

46、; /* 刪除目錄 */ publicstaticbooleanrmDir(Configurationconf,StringremoteDir,booleanrecursive)throwsIOException FileSystemfs=FileSystem.get(conf); PathdirPath=newPath(remoteDir); /*第二個參數(shù)表示是否遞歸刪除所有文件 booleanresult=fs.delete(dirPath,recursive); fs.close(); returnresult; /* *主函數(shù) */ publicstaticvoidmain(Stri

47、ngargs) Configurationconf=newConfiguration(); conf.set(,); StringremoteDir=/user/hadoop/input;/HDFS目錄 BooleanforceDelete=false;/是否強制刪除 try if(!HDFSApi.isDirEmpty(conf,remoteDir)&forceDelete) 目錄不為空,不刪除); else if(HDFSApi.rmDir(conf,remoteDir,forceDelete) 目錄已刪除：+remoteDir); else 操作失敗); catch(Exceptione

48、) e.printStackTrace(); */ (10)在HDFS中,將文件從源路徑移動到目的路徑. Shell命令： ./hdfsdfs-mvtext.txttext2.txt Java代碼: import; import; importjava.io.*; publicclassHDFSApi /* *移動文件 */ publicstaticbooleanmv(Configurationconf,StringremoteFilePath,StringremoteToFilePath)throwsIOException FileSystemfs=FileSystem.get(conf);

49、 PathsrcPath=newPath(remoteFilePath); PathdstPath=newPath(remoteToFilePath); booleanresult=fs.rename(srcPath,dstPath); fs.close(); returnresult; /* *主函數(shù) */ publicstaticvoidmain(Stringargs) Configurationconf=newConfiguration(); conf.set(,); StringremoteFilePath=;/源文件HDFS路徑 StringremoteToFilePath=;/目的HDFS路徑 try if(HDFSApi.mv(conf,remoteFilePath,remoteToFilePath) 將文件+remoteFilePath+移動到+remoteToFilePath); else 操作失敗(源文件不存在或移動失敗廣)； catch(Exceptione) e.printStackTrace(); 2.編程實現(xiàn)一個類“MyFSDataInputStream,該類繼承“,要求如下：實現(xiàn)按行讀取HD FS中指定文件的方法“readLine(),如果讀到文件末尾