單元2 任務(wù)2-2 啟動(dòng)與訪問(wèn)Hadoo

《大數(shù)據(jù)平臺(tái)部署與運(yùn)維》單元2Hadoop偽分布式安裝部署2-2啟動(dòng)與訪問(wèn)Hadoop01Hadoop啟動(dòng)關(guān)閉等操作命令02基于WebUI監(jiān)控Hadoop平臺(tái)學(xué)習(xí)目標(biāo)啟動(dòng)與訪問(wèn)Hadoop【任務(wù)場(chǎng)景】經(jīng)理：小張，Hadoop平臺(tái)搭建的怎么了？在搭建過(guò)程中有沒(méi)有遇到問(wèn)題？小張：經(jīng)理，Hadoop平臺(tái)搭建好了，這次搭建的是偽分布式模式的，部署在了單節(jié)點(diǎn)。經(jīng)理：好，那你啟動(dòng)訪問(wèn)一下，向我們大家展示一下Hadoop的相關(guān)使用，并介紹下HadoopWebUI監(jiān)控頁(yè)面。小張：好的，經(jīng)理。啟動(dòng)與訪問(wèn)Hadoop【任務(wù)布置】在上一個(gè)任務(wù)中，我們已經(jīng)在單節(jié)點(diǎn)上部署了Hadoop的偽分布式模式，但是并沒(méi)有進(jìn)行啟動(dòng)測(cè)試。本次任務(wù)要格式化NameNode并啟動(dòng)Hadoop。掌握Hadoop相關(guān)啟動(dòng)命令，知道Hadoop常見問(wèn)題處理方法，了解HadoopUI監(jiān)控相關(guān)功能，為后續(xù)生產(chǎn)環(huán)境下部署Hadoop分布式集群打下基礎(chǔ)。Hadoop啟動(dòng)關(guān)閉等操作命令Hadoop啟動(dòng)關(guān)閉等操作命令命令功能sbin/start-all.sh啟動(dòng)所有的Hadoop守護(hù)進(jìn)程。包括NameNode、SecondaryNameNode、DataNode、ResourceManager、NodeManagersbin/stop-all.sh停止所有的Hadoop守護(hù)進(jìn)程。包括NameNode、SecondaryNameNode、DataNode、ResourceManager、NodeManagersbin/start-dfs.sh啟動(dòng)HadoopHDFS守護(hù)進(jìn)程N(yùn)ameNode、SecondaryNameNode、DataNodesbin/stop-dfs.sh停止HadoopHDFS守護(hù)進(jìn)程N(yùn)ameNode、SecondaryNameNode和DataNodesbin/hadoop-daemons.shstartnamenode單獨(dú)啟動(dòng)NameNode守護(hù)進(jìn)程sbin/hadoop-daemons.shstopnamenode單獨(dú)停止NameNode守護(hù)進(jìn)程sbin/hadoop-daemons.shstartdatanode單獨(dú)啟動(dòng)DataNode守護(hù)進(jìn)程sbin/hadoop-daemons.shstopdatanode單獨(dú)停止DataNode守護(hù)進(jìn)程sbin/hadoop-daemons.shstartsecondarynamenode單獨(dú)啟動(dòng)SecondaryNameNode守護(hù)進(jìn)程sbin/hadoop-daemons.shstopsecondarynamenode單獨(dú)停止SecondaryNameNode守護(hù)進(jìn)程sbin/start-yarn.sh啟動(dòng)ResourceManager、NodeManagersbin/stop-yarn.sh停止ResourceManager、NodeManagersbin/yarn-daemon.shstartresourcemanager單獨(dú)啟動(dòng)ResourceManagersbin/yarn-daemons.shstartnodemanager單獨(dú)啟動(dòng)NodeManagersbin/yarn-daemon.shstopresourcemanager單獨(dú)停止ResourceManagersbin/yarn-daemons.shstopnodemanager單獨(dú)停止NodeManager基于WebUI監(jiān)控Hadoop平臺(tái)基于WebUI監(jiān)控Hadoop平臺(tái)1.HDFSUI監(jiān)控在任務(wù)2.1中，我們?cè)趆dfs-site.xml中配置HDFS的監(jiān)控頁(yè)面的地址為：localhost:50070，可以通過(guò)50070端口訪問(wèn)到HDFS的監(jiān)控頁(yè)面?；赪ebUI監(jiān)控Hadoop平臺(tái)（1）標(biāo)題欄：名稱含義Overview集群概述Datanode數(shù)據(jù)節(jié)點(diǎn)datanode-volume-failures數(shù)據(jù)節(jié)點(diǎn)卷故障snapshot快照startup-progress啟動(dòng)進(jìn)度（2）概述：名稱含義Started啟動(dòng)時(shí)間Version版本號(hào)Compiled編譯信息ClusterID群集IDBlockPoolID塊池ID基于WebUI監(jiān)控Hadoop平臺(tái)（3）總結(jié)：名稱含義Safemodeisoff安全模式已關(guān)閉Securityisoff安全關(guān)閉ConfiguredCapacity集群配置的總的容量configuredRemoteCapacity配置遠(yuǎn)程容量DFSUsed已使用的DFS集群總量NonDFSUsed已使用的非DFS的量DFSRemainingDFS未使用（剩余）的容量BlockPoolUsed數(shù)據(jù)塊使用的量DataNodesusages%(Min/Median/Max/stdDev)數(shù)據(jù)節(jié)點(diǎn)使用率（最小值/中間值/最大值/標(biāo)準(zhǔn)偏差）LiveNodes存活的節(jié)點(diǎn)（活動(dòng)節(jié)點(diǎn)）DeadNodes宕機(jī)的節(jié)點(diǎn)（死節(jié)點(diǎn)）DecommissioningNodes已停用節(jié)點(diǎn)EnteringMaintenanceNodes進(jìn)入維護(hù)節(jié)點(diǎn)TotalDatanodeVolumeFailures數(shù)據(jù)節(jié)點(diǎn)卷失敗的總數(shù)NumberofUnder-ReplicatedBlocks復(fù)制不足的塊數(shù)NumberofBlocksPendingDeletion掛起刪除的塊數(shù)BlockDeletionStartTime塊刪除的開始時(shí)間LastCheckpointTime上次檢查點(diǎn)時(shí)間基于WebUI監(jiān)控Hadoop平臺(tái)（4）JournalNode：名稱含義JournalManagerJournalNode存儲(chǔ)EditLog數(shù)據(jù)的路徑StateJournalNode存儲(chǔ)EditLog數(shù)據(jù)的文件名（5）NameNode存儲(chǔ)：名稱含義StorageDirectoryNameNode存儲(chǔ)的路徑Type類型State狀態(tài)（6）DFS存儲(chǔ)類型：名稱含義StorageType集群存儲(chǔ)類型ConfiguredCapacity配置容量CapacityUsed使用的容量CapacityRemaining剩余容量BlockPoolUsed使用的塊池NodesInService服務(wù)中的節(jié)點(diǎn)基于WebUI監(jiān)控Hadoop平臺(tái)（7）DataNode信息：名稱含義Datanodeusagehistogram數(shù)據(jù)節(jié)點(diǎn)使用率柱狀圖DiskusageofeachDataNode(%)每個(gè)數(shù)據(jù)節(jié)點(diǎn)磁盤使用率（%）Inoperation運(yùn)行中的節(jié)點(diǎn)（8）進(jìn)入維護(hù)的節(jié)點(diǎn)列表（9）退役的節(jié)點(diǎn)列表基于WebUI監(jiān)控Hadoop平臺(tái)（10）快照名稱含義SnapshotSummary快照摘要Snapshottabledirectories快照目錄列表Snapshotteddirectories已創(chuàng)建的快照目錄（11）HDFS存儲(chǔ)系統(tǒng)的可視化瀏覽基于WebUI監(jiān)控Hadoop平臺(tái)（12）組件日志Utilities->Logs基于WebUI監(jiān)控Hadoop平臺(tái)2.MapReduceUI監(jiān)控對(duì)于開發(fā)、測(cè)試集群運(yùn)行程序的開發(fā)人員來(lái)說(shuō)，剛剛接觸MapReduce的初學(xué)者往往是在命令行前等著程序執(zhí)行完成，遇到運(yùn)行緩慢、出現(xiàn)報(bào)錯(cuò)很難做出有效的響應(yīng)。本文希望通過(guò)對(duì)Yarn原生UI等監(jiān)控手段的介紹，能使讀者對(duì)MapReduce進(jìn)行有效監(jiān)控。MapReduceUI監(jiān)控頁(yè)面默認(rèn)端口為8088，我們可以通過(guò)localhost:8088來(lái)訪問(wèn)?；赪ebUI監(jiān)控Hadoop平臺(tái)（1）左側(cè)菜單欄-Cluster——About：RM狀態(tài)版本等信息——Nodes：NM列表及狀態(tài)和屬性——Applications：任務(wù)列表及狀態(tài)和屬性（常用！）————NEW、NEW_SAVING……：篩選不同狀態(tài)任務(wù)——Scheduler：資源隊(duì)列列表和狀態(tài)-Tools——Configuration：yarn配置——Locallogs：本地日志——Serverstacks：堆棧——Servermetrics：指標(biāo)ClusterMetrics（集群指標(biāo)）名稱解釋AppsSubmitted應(yīng)用程序提交Appspending應(yīng)用程序掛起AppsRunning應(yīng)用程序運(yùn)行AppsCompleted應(yīng)用程序完成ContainersRunning容器運(yùn)行MemoryUsed內(nèi)存使用Memorytotal總內(nèi)存MemoryReserved保留內(nèi)存VCoresUsed已使用核心數(shù)VCorestotal全部核心數(shù)VCoresReserved保留核心數(shù)ActiveNodes活躍的節(jié)點(diǎn)DecommissionedNodes退役的節(jié)點(diǎn)LostNodes剔除的節(jié)點(diǎn)UnhealthyNodes不健康的節(jié)點(diǎn)RebootedNodes重啟節(jié)點(diǎn)基于WebUI監(jiān)控Hadoop平臺(tái)SchedulerMetrics（調(diào)度器指標(biāo)）名稱解釋SchedulerType調(diào)度程序類型SchedulingResourceType調(diào)度資源類型MininumAllocation最低限度的分配MaximumAllocation最高限度的分配任務(wù)列表名稱解釋ID序號(hào)User用戶Name任務(wù)名稱ApplicationType應(yīng)用程序類型Queue隊(duì)列StartTime開始時(shí)間FinishTime完成時(shí)間State狀態(tài)FinalStatus最終狀態(tài)Progress進(jìn)度TrackingUI進(jìn)一步監(jiān)控的入口BlacklistedNodes黑名單啟動(dòng)與訪問(wèn)Hadoop【工作流程】啟動(dòng)與訪問(wèn)Hadoop基本工作流程包括：1. 格式化HDFS2. 啟動(dòng)偽分布Hadoop通過(guò)WebUI監(jiān)控Hadoop平臺(tái)搭建Hadoop偽分布式【操作步驟】格式化HDFS

[root@localhost/]#hdfsnamenode-format2021-11-1821:25:09,514INFOnamenode.NameNode:STARTUP_MSG:/************************************************************STARTUP_MSG:StartingNameNodeSTARTUP_MSG:host=node1.host/73STARTUP_MSG:args=[-format]STARTUP_MSG:version=3.1.1STARTUP_MSG:classpath=.............../************************************************************SHUTDOWN_MSG:ShuttingdownNameNodeathostname.host/73************************************************************/當(dāng)輸出內(nèi)容中無(wú)報(bào)錯(cuò)信息并且最后輸出如下信息時(shí)，表示格式化成功搭建Hadoop偽分布式驗(yàn)證是否啟動(dòng)成功[root@localhost/]#start-all.shStartingnamenodeson[localhost]Lastlogin:二11月1611:21:36CST2021onpts/0StartingdatanodesLastlogin:二11月1611:33:29CST2021onpts/0Startingsecondarynamenodes[node1.host]Lastlogin:二11月1611:33:33CST2021onpts/0node1.host:Warning:PermanentlyaddedtheECDSAhostkeyforIPaddress'73'tothelistofknownhosts.2021-11-1611:33:41,968WARNutil.NativeCodeLoader:Unable