2023學(xué)年完整公開課版可掛載的HDFS

主講：侯磊目錄0102可掛載的HDFS配置可掛載的HDFS可掛載的HDFS1可掛載的HDFS通常，需要合并多個MapReduce作業(yè)輸出文件并將它們發(fā)送到外部團(tuán)隊。在理想情況下，在本地系統(tǒng)上放置這些文件。在這種情況下，可以在用戶空間(FUSE）中設(shè)置一個名為mountableHDFS或Filesystem的特殊掛載點。FUSE可以在用戶空間中實現(xiàn)可掛載的文件系統(tǒng)?？梢允褂胔adoop-hdfs-fuse包來設(shè)置可掛載的HDFS，這樣可以像使用常規(guī)的Linux文件系統(tǒng)一樣使用HDFS文件系統(tǒng)。FUSE允許幾種基本文件操作，但不會將HDFS轉(zhuǎn)換為符合POSIX的文件系統(tǒng)?？蓲燧d的HDFS使用可掛載的HDFS設(shè)置FUSE后，可以從本地掛載點查看HDFS目錄，如以下示例所示:[machine1]~>df-kh/export/hdfs/[machine1]~>ls/export/hdfs/可掛載的HDFS可以使用Linuxmount命令在大多數(shù)Linux系統(tǒng)上將HDFS安裝為一個標(biāo)準(zhǔn)文件系統(tǒng)。掛載HDFS目錄后，可以使用常規(guī)的Linux文件系統(tǒng)命令，如ls、cp、cd、find和grep?？梢允褂肗FS導(dǎo)出FUSE，這意味著可以在一臺機(jī)器上掛載HDFS，然后使用NFS導(dǎo)出它。但出于性能原因，最好在要訪問HDFS的所有計算機(jī)上自動掛載FUSE。配置可掛載的HDFS2配置可掛載的HDFS在下面的示例中，演示了如何在RedHat兼容系統(tǒng)上掛載hadoop-hdfs-fuse。1．使用yum安裝hadoop-hdfs-fuse包，如下所示:$sudoyuminstallhadoop-hdfs-fuse2．現(xiàn)在可以開始在本地Linux文件系統(tǒng)上掛載HDFS目錄。首先，在Linux文件系統(tǒng)上創(chuàng)建要在其中掛載HDFS的目錄。$mkdir-p/export/hdfs配置可掛載的HDFS3．可以使用以下命令來測試掛載點:$hadoop-fuse-dfsdfs://hadoop01.localhost:5500/export/hdfs服務(wù)器名稱和端口號在NameNode地址中使用。如果正在運行HANameNode服務(wù)，則僅指定名稱服務(wù)ID，不需要提供端口號。4．對/etc/fstab文件進(jìn)行以下更改:hadoop-fuse-dfs#dfs://hadoop01.localhost:5500/export/hdfsfuse-allow_other，rw,usetrash，2.0將掛載信息添加到/etc/fstab文件中,可以通過服務(wù)器重啟動來保持新的掛載點。配置可掛載的HDFS5．使用以下命令掛載目錄:$mount/export/hdfs可以通過更改上一個命令中的目錄掛載點來掛載多個HDFS實例。6．如果從另一個終端運行以下命令,則會在本地Linux文件系統(tǒng)上看到HDFS目錄:$ls/export/hdfs配置可掛載的HDFS現(xiàn)在可以查看HDFS掛載點，就像它是本地的Linux目錄一樣?？梢酝ㄟ^在命令行中輸入hadoop-fuse-dfs-help來獲得FUSE功能的幫助信息。請注意，使用FUSE時，讀取和寫入都會比平常慢。雖然建議掛載FUSE系統(tǒng)的方法是將掛載點信息添加到/etc/fstab目錄中，但也可以使用以下命令手動掛載:$hdfs-oserver=namenode,port=9000,allow_other,rdbuffer=131072，/mnt/hadoop配置可掛載的HDFS如果在掛載FUSE的節(jié)點上收到一條消息，指出“傳輸端點未連接”，則顯然FUSE掛載已失敗。必須連接到該節(jié)點并重新掛載文件系統(tǒng):umount/mnt/hadoopmount/mnt/hadoop在調(diào)試模式下運行FUSE掛載是一個好主意，這樣可以發(fā)