每周學習總結(jié)10hadoop管理命令.doc

1.Hadoop管理命令實踐報告:Dfsamin是一個用來獲取HDFS文件系統(tǒng)實時狀態(tài)信息的多任務工作，具有對于HDFS文件系統(tǒng)管理操作的功能。在擁有超級用戶權(quán)限的前提下，管理員可以在終端中通過Hadoop dfsadmin對于其進行功能方法的調(diào)用。主要命令如下：-report 主要用來獲取文件系統(tǒng)的基本信息和統(tǒng)計信息-safemode enter!leave!get!wait 安全模式的維護命令。安全模式是NameNode的一種狀態(tài)。在安全模式狀態(tài)下:1) 不接受對于空間名字的更改2) 無法對數(shù)據(jù)塊進行刪除以及復制操作NameNode會在Hadoop系統(tǒng)啟動之后自動開啟安全模式，一旦當配置塊滿足最小百分比的副本數(shù)條件時，Hadoop系統(tǒng)會自動關(guān)閉安全模式。同時根據(jù)用戶的需要也可以手動關(guān)閉安全模式或者選擇手動開啟安全模式。-refreshNode 重新讀取hosts和exclude，以實現(xiàn)在添加新的節(jié)點后可以使系統(tǒng)直接進行識別。-finalizeUpgrade 用于終結(jié)HDFS文件系統(tǒng)的升級操作。DataNode會刪除上一個版本的工作目錄。在DataNode完成操作之后，NameNode也會執(zhí)行這個操作。-upgradeProgress status!details!force 分別實現(xiàn)獲取當前系統(tǒng)升級的狀態(tài)，升級狀態(tài)過程中的細節(jié)，強制進行系統(tǒng)的升級。-metasave filename 將hadoop系統(tǒng)中的管理節(jié)點的數(shù)據(jù)結(jié)構(gòu)中的主要部分保存到hadoop.log.dir文件中提前預設好的屬性中指定的的對應文件名的目錄上。在此文件中的主要內(nèi)容如下：1) 管理節(jié)點接收到的數(shù)據(jù)節(jié)點的正常工作的心跳2) 被復制的數(shù)據(jù)塊的等待狀態(tài)3) 被復制的數(shù)據(jù)塊的執(zhí)行狀態(tài)4) 確定要被刪除的數(shù)據(jù)塊的等待狀態(tài)-setQuota 主要用作為每個指定路徑下的文件目錄設定指定的配額。目的是為了強制設定文件目錄的名字的字節(jié)數(shù)。如果出現(xiàn)以下情況將會對Hadoop系統(tǒng)報出錯誤信息:1) 文件目錄的名字不是一個正整數(shù)2) 當前的操作用戶不具有管理員權(quán)限3) 文件目錄不存在或者此路徑指向的是一個文件而非目錄4) 當設定好的目錄生效時會超出新設定的配額-clrQuota . 為每個已經(jīng)分配好的指定路徑上的文件目錄清除已經(jīng)設定好的配額。當出現(xiàn)以下情況將會對Hadoop系統(tǒng)報出錯誤信息:1) 此目錄指定的目錄不存在或者該目錄為一個文件2) 當前的操作用戶不具有管理員權(quán)限另外一種情況為如果此文件目錄如果先前沒有設定配額，則使用此操作不會向系統(tǒng)報錯-help cmd 顯示對于在參數(shù)中給定的命令相關(guān)的幫主信息，如果在參數(shù)中沒有給出指定的命令，將會顯示出所有命令的幫主信息。1.1 文件系統(tǒng)驗證在Hadoop系統(tǒng)中提供了一個用于驗證HDFS文件系統(tǒng)中的文件是否可以完整讀取的的驗證命令fsck。主要用于檢測文件是否在數(shù)據(jù)節(jié)點的文件中丟失，以及檢測對于副本本身的要求過高還是過低。1.1.1 Fsck的工作機理Fsck是一款基于Hadoop的SHELL編程命令，通過參數(shù)來指定檢查的文件以。Fsck會遞歸檢查整個HDFS文件系統(tǒng)的命名空間，首先從文件系統(tǒng)的root目錄開始檢測然后檢測可以找到的所有文件，并且在驗證完畢后對于這個查找到的文件進行一個標記。FSCK對于一個文件的檢測主要從可用性和一致性入手。 下面為Fsck的輸出屬性圖：1.1.2 Fsck輸出參數(shù)說明：(1)Over-replicated blocks:用來標識所擁有的副本塊數(shù)已經(jīng)超出自身所屬文件的副本數(shù)配額限定的文件。HDFS文件系統(tǒng)在出現(xiàn)這種情況后系統(tǒng)會根據(jù)自身副本刪除機制對多余的副本進行刪除。(2)Under-replicated blocks: 用來標識所擁有的副本塊數(shù)未達到自身所屬文件的副本數(shù)要求的文件。HDFS文件系統(tǒng)在出現(xiàn)這種情況后系統(tǒng)會根據(jù)自身副本創(chuàng)建機制自動創(chuàng)建副本直到到達文件要求的副本數(shù)?？梢酝ㄟ^執(zhí)行dfsadmin metasave SHELL命令來獲取當前正在被復制的塊的信息。(3)Misrepilcated blocks:用來標識云存儲系統(tǒng)中不符合存儲位置策略的塊。比如說副本因子為3，則代表至少擁有2個副本不在同一個機架上。而如果出現(xiàn)了一個數(shù)據(jù)塊的3個副本都在同一個機架上則此塊將被標識。HDFS系統(tǒng)不會自動處理這種標識，需要我們手動設這副本因子的個數(shù)。(4)Corrupt blocks:用來標識所有副本不可用的數(shù)據(jù)塊，只要數(shù)據(jù)塊的副本可用，它就不會被標識。Namenode將會使用沒有被Corrupt blocks標識的數(shù)據(jù)塊來進行復制。以達到目標值。(5)Missing replicas:用來標識機群中沒有副本存在的數(shù)據(jù)塊。Corrupt blocks 和Missing replicas是普遍受到最多關(guān)注的輸出參數(shù)。出現(xiàn)以上標識則表明出現(xiàn)了數(shù)據(jù)不一致性和可