使用HDFSshell命令管理HDFS

主講：朱佳目錄0102訪問HDFS的方式使用hdfsdfs管理HDFS訪問HDFS的方式1訪問HDFS的方式

使用HDFS是一項(xiàng)最常見的Hadoop集群管理工作。雖然可以通過多種方式訪問HDFS，但命令行是管理HDFS存儲(chǔ)的最常用方法。通過給用戶授予適當(dāng)?shù)臋?quán)限并為用戶分配HDFS空間配額來管理HDFS用戶，是我們要定期執(zhí)行的一項(xiàng)常見的用戶管理任務(wù)。后面的一些課程將介紹HDFS權(quán)限的使用，以及如何授予和撤銷HDFS目錄上的空間配額。除了管理用戶及其HDFS空間配額之外，還需要管理HDFS的其他方面。后面的課程中還將介紹如何執(zhí)行維護(hù)任務(wù)，例如定期均衡HDFS數(shù)據(jù)，以將數(shù)據(jù)平均分配到整個(gè)集群，以及在必要時(shí)如何獲得HDFS額外空間。訪問HDFS的方式

訪問HDFS的方式有多種：在命令行使用簡(jiǎn)單的類似Linux的文件系統(tǒng)命令，或者使用稱為WebHDFS的Web界面。使用HttpFS網(wǎng)關(guān)通過防火墻訪問HDFS。通過Hue的文件瀏覽器（通常是ClouderaManager或Ambari，如果使用Cloudera或Hortonwork的Hadoop發(fā)行版的話)。雖然可以使用多種方式訪問HDFS，但是多數(shù)時(shí)候使用命令行來管理HDFS文件和目錄。可以在命令行使用hdfsdfs文件系統(tǒng)命令訪問HDFS文件系統(tǒng)。訪問HDFS的方式

HDFS將數(shù)據(jù)組織成文件和目錄，這與Linux文件系統(tǒng)的數(shù)據(jù)組織形式相似。可以通過被稱為FSshell的命令行接口來訪問HDFS數(shù)據(jù)。FSshell的使用方法與其他Linux的shell類似，如bashshell。腳本語言也可以使用FSshell命令訪問HDFS上的數(shù)據(jù)。HDFS同時(shí)為應(yīng)用程序提供了JavaAPI接口，也可以通過HTTP瀏覽器查看HDFS文件。使用hdfsdfs管理HDFS2使用hdfsdfs管理HDFS可以使用hdfsdfs實(shí)用程序在Hadoop中執(zhí)行HDFS命令。該命令的語法如下:$hdfsdfs[GENERIC_OPTIONS][COMMAND_OPTIONS]使用hdfsdfs實(shí)用程序，可以在Hadoop支持的文件系統(tǒng)上運(yùn)行文件系統(tǒng)命令可以使用兩種類型的HDFSshell命令：第一組shell命令非常類似于常見的Linux文件系統(tǒng)命令，如ls、mkdir等。第二組HDFSshell命令專用于HDFS，例如設(shè)置文件復(fù)制因子的命令。使用hdfsdfs管理HDFS可以通過命令行、Web或應(yīng)用程序代碼訪問HDFS文件系統(tǒng)。在很多情況下HDFS文件系統(tǒng)命令與Linux文件系統(tǒng)命令非常相似。例如，將文件的輸出打印到屏幕上，命令hdfsdfs-cat/path/to/hdfs/file的工作方式與Linuxcat命令相同。為了支持可靠性和高吞吐量，在HDFS內(nèi)部使用了一個(gè)非常復(fù)雜的算法來進(jìn)行文件系統(tǒng)讀寫操作。例如，當(dāng)執(zhí)行將文件寫入HDFS目錄的簡(jiǎn)單put命令時(shí)，Hadoop需要將該數(shù)據(jù)快速寫入三個(gè)節(jié)點(diǎn)（默認(rèn)情況下)。使用hdfsdfs管理HDFS可以在命令行使用hdfsdfs<command>命令來訪問HDFSshell?？梢允褂脦в袦p號(hào)（-）符號(hào)的子命令指定action，例如使用dfs-cat顯示文件內(nèi)容。可以使用不帶選項(xiàng)的hdfsdfs命令查看所有可用的HDFS命令，如下所示：$hdfsdfs但是，hdfsdfs-help命令，對(duì)于一個(gè)初學(xué)者，甚至“專家”非常有用，這個(gè)命令清楚地解釋了所有的hdfsdfs命令。使用hdfsdfs管理HDFS注意：有幾個(gè)Linux文件和目錄命令在HDFS中有對(duì)應(yīng)的命令,如ls、cp和mv