關于下線和重新上線的注意事項_第1頁
關于下線和重新上線的注意事項_第2頁
關于下線和重新上線的注意事項_第3頁
關于下線和重新上線的注意事項_第4頁
關于下線和重新上線的注意事項_第5頁
已閱讀5頁，還剩4頁未讀， 繼續(xù)免費閱讀

下載本文檔

版權說明：本文檔由用戶提供并上傳，收益歸屬內容提供方，若內容存在侵權，請進行舉報或認領

文檔簡介

主講：侯磊目錄01關于下線和重新上線的注意事項關于下線和重新上線的注意事項1關于下線和重新上線的注意事項雖然下線和上線節(jié)點的過程非常簡單，但也需注意幾個問題。下線NodeManager非常簡單，通常幾乎可以立即完成。然而，如之前提到的，DataNode的下線可能是一個耗時的事情。關于下線和重新上線的注意事項回想一下，當下線DataNode時，NameNode要確保該DataNode上的所有塊在其他節(jié)點中可用,要達到配置的副本數(或默認的3個)。為此，NameNode小批量復制DataNode的數據塊，如果DataNode具有大量數據塊，則可能需要幾個小時才能完成分解過程。關于下線和重新上線的注意事項同時，我們還想知道下線過程是否失敗了（可以通過DataNode的webUI監(jiān)視下線過程)。為了避免這種情況，最好執(zhí)行以下操作來調整HDFS:使用Java選項–Xmx提高DataNodeJava堆大小。關于下線和重新上線的注意事項使用dfs.balance.bandwidthPerSec參數設置或提高DataNode平衡帶寬，該參數指定DataNode可用于平衡HDFS數據的最大網絡帶寬量（以秒為單位)?！ねㄟ^在hdfs-site.xml文件中設置dfs.datanode.max.transfer.threads屬性，調大復制的最大線程數和最大線程數的硬限制。此參數用于控制將數據傳入和傳出DataNode的最大線程數，默認值為4096。關于下線和重新上線的注意事項可以通過設置node.replication.work.multiplier.per.iteration參數（Hadoop的高級參數)，增大每次迭代的復制因子（默認值為2，但可以將其提高到10或更高)，在設置此參數時應小心。此參數確定可以在任何DataNode上并行啟動的總傳輸塊?？梢詫⒃搮档闹党艘约褐械幕顒?/p>

溫馨提示

  • 1. 本站所有資源如無特殊說明，都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等，如果需要附件，請聯(lián)系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙，網頁內容里面會有圖紙預覽，若沒有圖紙預覽就沒有圖紙。
  • 4. 未經權益所有人同意不得將文件中的內容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網僅提供信息存儲空間，僅對用戶上傳內容的表現(xiàn)方式做保護處理，對用戶上傳分享的文檔內容本身不做任何修改或編輯，并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容，請與我們聯(lián)系，我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

最新文檔

評論

0/150

提交評論