Hadoop安裝與配置管理

Hadoop安裝與配置管理第1頁/共13頁Hadoop平臺程序運(yùn)行示例第2頁/共13頁第3頁/共13頁安裝環(huán)境42023/3/17安裝虛擬機(jī)和Linux，虛擬機(jī)推薦使用vmware，Linux使用CentOS7。所需軟件：jdk-7u79-linux-x64.tar.gzhadoop-2.4.1.tar.gzWinSCP第4頁/共13頁運(yùn)行模式52023/3/17偽分布模式：在單節(jié)點上同時啟動namenode、datanode、ResourceManager、NodeManager、secondarynamenode5個進(jìn)程，模擬分布式運(yùn)行的各個節(jié)點完全分布式模式：正常的Hadoop集群，由多個各司其職的節(jié)點構(gòu)成第5頁/共13頁集群62023/3/17計算機(jī)集群是一種計算機(jī)系統(tǒng)，

它通過一組松散集成的計算機(jī)軟件和/或硬件連接起來高度緊密地協(xié)作完成計算工作。集群系統(tǒng)中的單個計算機(jī)通常稱為節(jié)點，通常通過局域網(wǎng)連接。集群技術(shù)的特點：通過多臺計算機(jī)完成同一個工作達(dá)到更高的效率。兩機(jī)或多機(jī)內(nèi)容、工作過程等完全一樣，一臺死機(jī)，另一臺可以起作用。第6頁/共13頁配置網(wǎng)絡(luò)VMware提供了3種工作模式，分別是bridged模式、NAT模式和host-only模式。建議選擇host-only。(1)在brig橋接模式下，VMware虛擬出來的操作系統(tǒng)就像是局域網(wǎng)中的一個獨(dú)立的主機(jī)，可以訪問網(wǎng)內(nèi)的任何一臺機(jī)器，需要手工配置IP地址，和宿主主機(jī)在同一網(wǎng)段。

(2)在NAT模式下，就是讓虛擬系統(tǒng)借助NAT功能，通過宿主機(jī)器所在的網(wǎng)絡(luò)來訪問公網(wǎng)。

(3)在host-only僅主機(jī)模式下，虛擬系統(tǒng)間可以相互通信，與真實的網(wǎng)絡(luò)是隔離開的。第7頁/共13頁偽分布式模式的安裝和配置步驟82023/3/17單機(jī)網(wǎng)絡(luò)設(shè)置：若采用主機(jī)模式，需將ip設(shè)置為虛擬機(jī)網(wǎng)絡(luò)設(shè)置窗口中VMnet1網(wǎng)卡的地址范圍。宿主計算機(jī)VMnet1的ip設(shè)置為主節(jié)點的網(wǎng)關(guān)。修改主機(jī)名：vi/etc/sysconfig/network將主機(jī)與IP綁定：vi/etc/hosts上傳所需的Java和Hadoop軟件包：可使用遠(yuǎn)程登錄軟件WinSCP（虛擬機(jī)如果安裝了Virtualtools，也可直接在系統(tǒng)間復(fù)制、粘貼文件）。安裝和配置Java：查看（rpm-qa|grepjdk）并刪除已有的Java版本（yum-yremovejdk版本），解壓（tar-zxvf）、重命名(mv)，配置環(huán)境變量/etc/profile并通過source命令使其生效，測試是否安裝配置成功。Hadoop環(huán)境：解壓文件，導(dǎo)入環(huán)境變量，修改配置文件。第8頁/共13頁網(wǎng)絡(luò)配置：第9頁/共13頁Hadoop啟動與測試格式化文件系統(tǒng)：hdfsnamenode-format啟動HDFS：start-dfs.sh啟動Yarn：start-yarn.sh查看啟動的進(jìn)程：jps查看生成的文件夾管理jobHistoryserver：在瀏覽器中查看Hadoop運(yùn)行情況集群驗證：執(zhí)行mapreduce例程第10頁/共13頁完全分布式112023/3/17機(jī)器名在slaves文件中添加子節(jié)點，如node1、node2克隆主節(jié)點，修改子節(jié)點網(wǎng)絡(luò)配置，修改主機(jī)名關(guān)閉防火墻：systemctlstopfirewalld.service配置SSH免密碼登錄：ssh-keygen–t，連按四次回車鍵，生成公鑰和私鑰，執(zhí)行catid_rsa.pub>>authorized_keys創(chuàng)建權(quán)限文件，執(zhí)行chmod600authorized_keys設(shè)置權(quán)限(前面的操作每個節(jié)點都執(zhí)行)，復(fù)制公鑰（node和node1節(jié)點執(zhí)行）：ssh-copy-id–i/.ssh/id_rsa.pubnode2，最后復(fù)制到所有其他節(jié)點（node2節(jié)點執(zhí)行）：scp/root/.ssh/authorized_keysnode:/root/.ssh/;scp/root/.ssh/authorized_keysnode1:/root/.ssh/;scp/root/.ssh/authorized_keysnode2:/root/.ssh/第11頁/共13頁Hadoop啟動與測試刪除之前生成的本地文件，即hdfs文件夾中的所有文件重新格式化文件系統(tǒng)：hdfsnamenode-format啟動HDFS：start-dfs.sh啟動Yarn：start-yarn.sh分別查看各節(jié)點啟動的進(jìn)程：jps查看各節(jié)點生成的本地文件夾管理jobHistoryserver：mr-jobhistory-daemon.shstarthistoryserver在瀏覽器中查看Hadoop運(yùn)行情況集群驗證：執(zhí)行mapreduce例程hadoopjar/usr/local/hadoop2/share/hadoop/mar