第四章 Hadoop基礎(chǔ)操作

第四章Hadoop基礎(chǔ)操作1HDFS基礎(chǔ)操作目錄學(xué)習(xí)查看Hadoop集群2運(yùn)行單個MapReduce任務(wù)3管理多個MapReduce任務(wù)4查看Hadoop集群信息存儲系統(tǒng)信息在WEB瀏覽器的地址欄輸入“http://master:50070/”查看Hadoop集群信息存儲系統(tǒng)信息hdfsdfsadmin-report[-live][-dead][-decommissioning]

在集群服務(wù)器的終端，輸入相關(guān)的查詢命令“hdfsdfsadmin-report”就可以獲得。hdfsdfsadmin-report命令的基本格式如下。各個子選項的用法說明如下。-report：輸出文件系統(tǒng)的基本信息及相關(guān)數(shù)據(jù)統(tǒng)計。-report-live：輸出文件系統(tǒng)中在線節(jié)點(diǎn)的基本信息及相關(guān)數(shù)據(jù)統(tǒng)計。-report-dead：輸出文件系統(tǒng)中失效節(jié)點(diǎn)的基本信息及相關(guān)數(shù)據(jù)統(tǒng)計。-report-decommissioning：輸出文件系統(tǒng)中停用節(jié)點(diǎn)的基本信息及相關(guān)數(shù)據(jù)統(tǒng)計。通過命令查詢集群信息：查看Hadoop集群信息數(shù)據(jù)節(jié)點(diǎn)信息查看Hadoop集群信息計算資源信息在瀏覽器的地址欄輸入“http://master:8088/cluster/nodes”1HDFS基礎(chǔ)操作目錄學(xué)習(xí)查看Hadoop集群2運(yùn)行單個MapReduce任務(wù)3管理多個MapReduce任務(wù)4Hadoop命令—HDFS常用shell命令1.查看集群數(shù)據(jù)節(jié)點(diǎn)：#hdfsdfsadmin-reportHadoop命令—HDFS常用shell命令2.查看hadoop相關(guān)信息#hadoopHadoop命令—HDFS常用shell命令3.查看hdfs相關(guān)信息#hdfsHadoop命令—HDFS常用shell命令4.查看hdfs或hadoop子命令的幫助信息，如ls子命令#hdfsdfs/hdfsdfs-helpls/hadoopfs-helplsHadoop命令—HDFS常用shell命令5.查看指定目錄下內(nèi)容

命令：hadoopfs/hdfsdfs-ls[-h][-R][<path>...]path指定目錄路徑 -h人性化顯示文件size -R遞歸查看指定目錄及其子目錄#hadoopfs-ls[-h][-R][<path>...]Hadoop命令—HDFS常用shell命令6.創(chuàng)建規(guī)劃目錄

命令:hadoopfs/hdfsdfs-mkdir[-p]<path>...

path為待創(chuàng)建的目錄 -p選項的行為與Unixmkdir-p非常相似，它會沿著路徑創(chuàng)建父目錄。#

hadoopfs-mkdir[-p]<path>...Hadoop命令—HDFS常用shell命令7.上傳文件到指定目錄下（1）

命令:hadoopfs/hdfsdfs-put[-f][-p]<localsrc>...<dst>-get下載指定文件：從hdfs端下載到本地-put上傳指定文件：將本地文件上傳到hdfs端 -f覆蓋目標(biāo)文件（已存在下）

-p保留訪問和修改時間，所有權(quán)和權(quán)限。 localsrc本地文件系統(tǒng)（客戶端所在機(jī)器） dst目標(biāo)文件系統(tǒng)（HDFS）#

hadoopfs-put[-f][-p]<localsrc>...<dst>-getHadoop命令—HDFS常用shell命令7.上傳文件到指定目錄下（2）命令：hadoopfs/hdfsdfs-moveFromLocal<localsrc>...<dst>和-put功能意義，只不過上傳結(jié)束，源數(shù)據(jù)會被刪除#

hadoopfs-moveFromLocal<localsrc>...<dst>Hadoop命令—HDFS常用shell命令8.查看HDFS文件內(nèi)容（1）

命令：hadoopfs/hdfsdfs-cat<src>...讀取指定文件全部內(nèi)容，顯示在標(biāo)準(zhǔn)輸出控制臺。注意：對于大文件內(nèi)容讀取，慎重。#

hadoopfs-cat<src>...查看HDFS文件內(nèi)容（2）命令：hadoopfs-head<file>查看文件前1KB的內(nèi)容。#

hadoopfs-head<file>Hadoop命令—HDFS常用shell命令8.查看HDFS文件內(nèi)容（3）命令：hadoopfs/hdfsdfs-tail[-f]<file>查看文件最后1KB的內(nèi)容-f選擇可以動態(tài)顯示文件中追加的內(nèi)容#

hadoopfs-tail[-f]<file>Hadoop命令—HDFS常用shell命令9.下載HDFS文件（1）命令：hadoopfs/hdfsdfs-get[-f][-p]<src>...<localdst>下載文件到本地文件系統(tǒng)指定目錄，localdst必須是目錄-f覆蓋目標(biāo)文件（已存在下）-p保留訪問和修改時間，所有權(quán)和權(quán)限。#

hadoopfs-get[-f][-p]<src>...<localdst>Hadoop命令—HDFS常用shell命令9.合并下載HDFS文件（2）命令：hadoopfs/hdfsdfs-getmerge[-nl][-skip-empty-file]<src><localdst>下載多個文件合并到本地文件系統(tǒng)的一個文件中。-nl選項表示在每個文件末尾添加換行符#

hadoopfs-getmerge[-nl][-skip-empty-file]<src><localdst>Hadoop命令—HDFS常用shell命令10.拷貝HDFS文件命令：hadoopfs/hdfsdfs-cp[-f]<src>...<dst>（是從hdfs的一端拷貝到hdfs的另一端）-f覆蓋目標(biāo)文件（已存在下）#

hadoopfs-cp[-f]<src>...<dst>Hadoop命令—HDFS常用shell命令11.追加數(shù)據(jù)到HDFS文件中命令：hadoopfs/hdfsdfs-appendToFile<localsrc>...<dst>將所有給定本地文件的內(nèi)容追加到給定dst文件。dst如果文件不存在，將創(chuàng)建該文件。如果<localSrc>為-，則輸入為從標(biāo)準(zhǔn)輸入中讀取。#

hadoopfs-appendToFile<localsrc>...<dst>Hadoop命令—HDFS常用shell命令13.查找文件findHadoop命令—HDFS常用shell命令14.查看HDFS磁盤空間命令：hadoopfs/hdfsdfs-df[-h][<path>...]顯示文件系統(tǒng)的容量，可用空間和已用空間Hadoop命令—HDFS常用shell命令15.查看HDFS文件使用的空間量命令：hadoopfs/hdfsdfs-du[-s][-h]<path>...-s：表示顯示指定路徑文件長度的匯總摘要，而不是單個文件的摘要。-h：選項將以“人類可讀”的方式格式化文件大小.Hadoop命令—HDFS常用shell命令16.HDFS數(shù)據(jù)移動操作命令：hadoopfs/hdfsdfs-mv<src>...<dst>移動文件到指定文件夾下可以使用該命令移動數(shù)據(jù)，重命名文件的名稱.1HDFS基礎(chǔ)操作目錄學(xué)習(xí)查看Hadoop集群2運(yùn)行單個MapReduce任務(wù)3管理多個MapReduce任務(wù)4運(yùn)行單個MapReduce任務(wù)

示例程序包hadoop-mapreduce-examples-2.7.6.jar運(yùn)行單個Mapreduce任務(wù)模塊名稱內(nèi)容multifilewc統(tǒng)計多個文件中單詞的數(shù)量。pi應(yīng)用quasi-MonteCarlo算法來估算圓周率π的值。randomtextwriter在每個數(shù)據(jù)節(jié)點(diǎn)隨機(jī)生成1個10GB的文本文件。wordcount對輸入文件中的單詞進(jìn)行頻數(shù)統(tǒng)計。wordmean計算輸入文件中單詞的平均長度。wordmedian計算輸入文件中單詞長度的中位數(shù)。wordstandarddeviation計算輸入文件中單詞長度的標(biāo)準(zhǔn)差。示例程序包hadoop-mapreduce-examples-2.7.6.jar運(yùn)行單個Mapreduce任務(wù)hadoopjar用法：執(zhí)行Jar文件運(yùn)行單個MapReduce任務(wù)

實例：hadoopjarhadoop-mapreduce-examples-2.7.6.jarpi10100(計算圓周率的值）1HDFS基礎(chǔ)操作目錄學(xué)習(xí)查看Hadoop集群2運(yùn)行單個MapReduce任務(wù)3管理多個MapReduce任務(wù)4管理多個Mapreduce任務(wù)查詢MapReduce任務(wù)在瀏覽器輸入：“http://master:8088”管理多個Mapreduce任務(wù)查詢MapReduce任務(wù)提交一個任務(wù)后：它的狀態(tài)值為“RUNN