Hadoop大數(shù)據(jù)平臺構(gòu)建與應(yīng)用(工作手冊式)（微課版） 課件 1.1 搭建虛擬機(jī)

基礎(chǔ)環(huán)境搭建與配置主講：李強(qiáng)項(xiàng)目介紹Linux，全稱GNU/Linux，是一套免費(fèi)使用和自由傳播的類Unix操作系統(tǒng)，是一個(gè)基于POSIX的多用戶、多任務(wù)、支持多線程和多CPU的操作系統(tǒng)。Linux不僅系統(tǒng)性能穩(wěn)定，而且是開源軟件，其核心防火墻組件性能高效、配置簡單，保證了系統(tǒng)的安全。由于Linux操作系統(tǒng)在安全性、穩(wěn)定性等方面的優(yōu)秀表現(xiàn)，在服務(wù)器領(lǐng)域承擔(dān)著十分重要的角色，另外更重要的是因?yàn)長inux開放權(quán)限，讓用戶能自由地操作Linux系統(tǒng)，在命令運(yùn)行錯(cuò)誤時(shí)能根據(jù)錯(cuò)誤提示找到原因，所以一般Hadoop環(huán)境部署在Linux操作系統(tǒng)上。在Linux操作系統(tǒng)中，當(dāng)今最受歡迎的主流免費(fèi)操作系統(tǒng)當(dāng)屬Ubuntu和CentOS。項(xiàng)目介紹Ubuntu是一個(gè)以桌面應(yīng)用為主的Linux操作系統(tǒng)；CentOS是一款企業(yè)級Linux發(fā)行版，它使用紅帽企業(yè)級Linux中的免費(fèi)源代碼重新構(gòu)建而成。對于初學(xué)者來說CentOS更適合入門，筆者經(jīng)過一些比較和調(diào)研后，建議選擇CentOS操作系統(tǒng)。本項(xiàng)目的主要目標(biāo)為提供一個(gè)搭建Hadoop大數(shù)據(jù)平臺部署的基礎(chǔ)環(huán)境的指南，由于本手冊教材主要面向應(yīng)用型和職業(yè)教育類的學(xué)生，所以本項(xiàng)目將介紹在Windows操作系統(tǒng)上如何搭建平臺需要的三個(gè)節(jié)點(diǎn)的CentOS虛擬機(jī)環(huán)境和SSH工具連接虛擬機(jī)，以及如何進(jìn)行Hadoop平臺安裝部署所需要的基礎(chǔ)環(huán)境配置。任務(wù)安排和學(xué)習(xí)目標(biāo)任務(wù)安排任務(wù)1搭建虛擬機(jī)任務(wù)2連接Xshell和Xftp工具任務(wù)3Hadoop平臺基礎(chǔ)環(huán)境配置學(xué)習(xí)目標(biāo)（1）熟悉虛擬機(jī)的搭建和配置。（2）熟悉Xshell和Xftp工具連接。（3）掌握系統(tǒng)基礎(chǔ)環(huán)境配置。（4）掌握SSH免密配置。（5）掌握J(rèn)DK的安裝與配置。1.1搭建虛擬機(jī)任務(wù)描述本手冊的任務(wù)是學(xué)習(xí)Hadoop完全分布式集群環(huán)境部署和其生態(tài)圈主要組件的安裝配置和應(yīng)用，由于在Hadoop環(huán)境中，所有的服務(wù)器節(jié)點(diǎn)僅劃為兩種角色，分別是master（主節(jié)點(diǎn)，1個(gè)）和slave（從節(jié)點(diǎn)，多個(gè)），因?yàn)楫?dāng)Hadoop集群數(shù)為（2n+1）時(shí)容錯(cuò)性能是較好的，又考慮到大部分讀者的電腦配置條件，所以集群數(shù)定為（n=1）3節(jié)點(diǎn)，即集群架構(gòu)包含一個(gè)主節(jié)點(diǎn)和兩個(gè)從節(jié)點(diǎn)，節(jié)點(diǎn)基本信息如表1-1所示。其中IP地址請參考任務(wù)1.1.3，根據(jù)本地實(shí)際情況設(shè)置。表1-1集群節(jié)點(diǎn)信息本任務(wù)將完成在Windows操作系統(tǒng)上搭建Hadoop完全分布式集群平臺需要的三個(gè)節(jié)點(diǎn)的CentOS虛擬機(jī)。序號主機(jī)名IP1master192.168.88.1812slave1192.168.88.1823slave2192.168.88.183表1-1集群節(jié)點(diǎn)信息任務(wù)分析要求讀者本地基本配置為Windows7或以上操作系統(tǒng)（64位）、8GB+內(nèi)存、100GB+可用磁盤。本任務(wù)利用虛擬機(jī)軟件先創(chuàng)建master節(jié)點(diǎn)的虛擬機(jī)，并進(jìn)行基本的網(wǎng)絡(luò)配置；在master節(jié)點(diǎn)的基礎(chǔ)上克隆slave1和slave2，并進(jìn)行相應(yīng)的網(wǎng)絡(luò)配置修改，以便SSH遠(yuǎn)程終端工具能夠正常連接訪問。1.1安裝虛擬機(jī)軟件虛擬機(jī)軟件可以在計(jì)算機(jī)平臺和終端用戶之間建立一種環(huán)境，而終端用戶則是基于這個(gè)軟件所建立的環(huán)境來操作軟件。常用虛擬機(jī)軟件有：VirtualBox，VMwareWorkstation，VirtualPC等，其中VMwareWorkstation是一款功能強(qiáng)大的電腦桌面虛擬計(jì)算機(jī)軟件，提供用戶可在單一的桌面上同時(shí)運(yùn)行不同的操作系統(tǒng)，和進(jìn)行開發(fā)、測試、部署新的應(yīng)用程序的最佳解決方案。VMwareWorkstation可在一部實(shí)體機(jī)器上模擬完整的網(wǎng)絡(luò)環(huán)境，以及可便于攜帶的虛擬機(jī)器，其更好的靈活性與先進(jìn)的技術(shù)勝過了市面上其他的虛擬計(jì)算機(jī)軟件。本任務(wù)選擇VMwareWorkstationPro16作為虛擬機(jī)安裝軟件，讀者可以在官網(wǎng)下載。雙擊安裝包如圖1-1所示，開始安裝。圖1-1虛擬機(jī)軟件1.1安裝虛擬機(jī)軟件加載一會(huì)時(shí)間后進(jìn)入安裝頁面，如圖1-2所示，單擊【下一步】按鈕。圖1-2虛擬機(jī)軟件安裝過程11.1安裝虛擬機(jī)軟件在如圖1-3所示中，選擇【我接受許可協(xié)議中的條款】，然后單擊【下一步】按鈕。圖1-3虛擬機(jī)軟件安裝過程21.1安裝虛擬機(jī)軟件在如圖1-4所示中，可以單擊右上角的【更改...】設(shè)置軟件安裝的路徑，建議安裝在非系統(tǒng)盤下，具體路徑讀者自行設(shè)置，如果默認(rèn)目錄安裝可以直接單擊【下一步】按鈕。圖1-4虛擬機(jī)軟件安裝過程31.1安裝虛擬機(jī)軟件在如圖1-5所示中，將用戶體驗(yàn)設(shè)置均取消，單擊【下一步】按鈕，在下一個(gè)窗口上直接單擊【下一步】按鈕，在下一個(gè)窗口上，單擊【安裝】按鈕，開始軟件的安裝過程。圖1-5虛擬機(jī)軟件安裝過程41.1安裝虛擬機(jī)軟件圖1-6虛擬機(jī)軟件安裝過程5等待安裝過程結(jié)束出現(xiàn)如圖1-6所示，單擊【完成】按鈕完成軟件的安裝。1.2安裝master節(jié)點(diǎn)虛擬機(jī)1.2安裝master節(jié)點(diǎn)虛擬機(jī)在程序菜單中打開VMware16虛擬機(jī)，出現(xiàn)使用界面如圖1-7所示，在頁面上選擇【創(chuàng)建新的虛擬機(jī)】。圖1-7虛擬機(jī)創(chuàng)建過程11.2安裝master節(jié)點(diǎn)虛擬機(jī)配置類型選擇如圖1-8所示，在圖中選擇【典型(推薦)】，再單擊【下一步】按鈕。圖1-8虛擬機(jī)創(chuàng)建過程21.2安裝master節(jié)點(diǎn)虛擬機(jī)出現(xiàn)安裝客戶機(jī)操作系統(tǒng)頁面如圖1-9所示，在安裝客戶機(jī)操作系統(tǒng)頁面上，選擇【安裝程序光盤映像文件(iso)】，并單擊【瀏覽】。圖1-9虛擬機(jī)創(chuàng)建過程31.2安裝master節(jié)點(diǎn)虛擬機(jī)進(jìn)入選擇光盤文件的頁面選擇安裝CentOS操作系統(tǒng)用的ISO文件，如圖1-10所示，在圖中的文件路徑中選擇光盤ISO文件所在的目錄，選擇光盤ISO文件后回到圖1-9的頁面上，單擊【下一步】按鈕。圖1-10虛擬機(jī)創(chuàng)建過程41.2安裝master節(jié)點(diǎn)虛擬機(jī)如果光盤文件有效，在下面會(huì)出現(xiàn)“已檢測到CentOS764位”信息，如圖1-11所示，單擊【下一步】按鈕。圖1-11虛擬機(jī)創(chuàng)建過程51.2安裝master節(jié)點(diǎn)虛擬機(jī)進(jìn)入到虛擬機(jī)命名頁面如圖1-12所示，在名稱那里輸入“master”，在位置那里輸入master虛擬機(jī)文件要存儲的目錄，筆者在本地E盤，創(chuàng)建了一個(gè)\hadoopbigdata的目錄，并在該目錄下創(chuàng)建了master、slave1和slave2文件夾，此處選擇master文件夾，單擊【下一步】按鈕。圖1-12虛擬機(jī)創(chuàng)建過程61.2安裝master節(jié)點(diǎn)虛擬機(jī)進(jìn)入虛擬機(jī)磁盤容量設(shè)置頁面如圖1-13所示，選用建議的20GB大小，并選擇【將虛擬機(jī)磁盤拆分成多個(gè)文件】，單擊【下一步】按鈕。圖1-13虛擬機(jī)創(chuàng)建過程71.2安裝master節(jié)點(diǎn)虛擬機(jī)進(jìn)入虛擬機(jī)按照概要文件頁面如圖1-14所示，可以看到前面配置的相關(guān)信息，如虛擬機(jī)的名稱和文件路徑名稱等，單擊【完成】按鈕。圖1-14虛擬機(jī)創(chuàng)建過程81.2安裝master節(jié)點(diǎn)虛擬機(jī)開始虛擬機(jī)的安裝過程，這個(gè)過程視讀者的系統(tǒng)情況時(shí)間會(huì)不同，等安裝配置到出現(xiàn)如圖

1-15所示的窗口，選擇語言為【中文】，然后單擊【繼續(xù)】。圖1-15虛擬機(jī)創(chuàng)建過程91.2安裝master節(jié)點(diǎn)虛擬機(jī)此時(shí)安裝程序會(huì)進(jìn)行一個(gè)簡短的加載過程后，出現(xiàn)如圖1-16所示的頁面，現(xiàn)在發(fā)現(xiàn)右下角的【開始安裝】按鈕為灰色無效狀態(tài)，在頁面上選擇【日期和時(shí)間】進(jìn)入下一個(gè)頁面。圖1-16虛擬機(jī)創(chuàng)建過程101.2安裝master節(jié)點(diǎn)虛擬機(jī)在如圖1-17所示的頁面上進(jìn)行時(shí)區(qū)和時(shí)間的設(shè)置，注意對比日期和時(shí)間是否與本地同步，如不同步請修改調(diào)整，修改后單擊【完成】按鈕退出該頁面。圖1-17虛擬機(jī)創(chuàng)建過程111.2安裝master節(jié)點(diǎn)虛擬機(jī)回到如圖1-16所示的主頁面上后往下滑動(dòng)，如圖1-18所示，選擇【安裝位置】進(jìn)入下一個(gè)頁面。圖1-18虛擬機(jī)創(chuàng)建過程121.2安裝master節(jié)點(diǎn)虛擬機(jī)在如圖1-19所示頁面上，直接單擊【完成】按鈕。回到如圖1-16所示的主頁面上，經(jīng)過前面的幾項(xiàng)設(shè)置，如圖1-20所示的頁面右下角的【開始安裝】按鈕變成了藍(lán)色有效狀態(tài)，單擊【開始安裝】。圖1-19虛擬機(jī)創(chuàng)建過程131.2安裝master節(jié)點(diǎn)虛擬機(jī)單擊如圖1-20所示【開始安裝】后進(jìn)行安裝圖1-20虛擬機(jī)創(chuàng)建過程141.2安裝master節(jié)點(diǎn)虛擬機(jī)如圖1-21所示，這個(gè)過程大概需要幾分鐘到幾十分鐘不等，在這個(gè)過程中，可以單擊【ROOT密碼】設(shè)置默認(rèn)root用戶的登錄密碼。圖1-21虛擬機(jī)創(chuàng)建過程151.2安裝master節(jié)點(diǎn)虛擬機(jī)在如圖1-22所示的界面上，兩次輸入同一個(gè)root用戶的密碼，筆者這里設(shè)為“master”，單擊【完成】按鈕，回到安裝過程頁面繼續(xù)等待安裝。

圖1-22虛擬機(jī)創(chuàng)建過程161.2安裝master節(jié)點(diǎn)虛擬機(jī)安裝完成后，出現(xiàn)如圖1-23所示，單擊【重啟】，即可進(jìn)入虛擬機(jī)節(jié)點(diǎn)的設(shè)置任務(wù)。圖1-23虛擬機(jī)創(chuàng)建過程171.3master節(jié)點(diǎn)的網(wǎng)絡(luò)配置1.3master節(jié)點(diǎn)的網(wǎng)絡(luò)配置創(chuàng)建的master節(jié)點(diǎn)虛擬機(jī)雖然可以正常使用了，但是該虛擬機(jī)的IP是動(dòng)態(tài)生成的，再不斷的開停過程中很容易改變，不利于實(shí)際應(yīng)用，因此需要對網(wǎng)絡(luò)環(huán)境進(jìn)行配置。1．登錄系統(tǒng)接1.1.2小節(jié)，重啟后，出現(xiàn)如圖1-24所示，頁面上【localhostlogin：】表示輸入登錄的用戶，這里輸入默認(rèn)的root用戶，然后回車；會(huì)提示【Password：】，表示輸入上一個(gè)任務(wù)鐘所設(shè)置的密碼，本手冊這里為：“master”，請初學(xué)者特別注意，這里輸入密碼，光標(biāo)不會(huì)動(dòng)，也不會(huì)顯示輸入的密碼，請?jiān)谳斎胪暾拿艽a后回車，如果輸入錯(cuò)誤會(huì)提示重新輸入用戶和密碼。圖1-24master登錄首頁1.3master節(jié)點(diǎn)的網(wǎng)絡(luò)配置2．查看網(wǎng)絡(luò)配置信息輸入正確用戶密碼后，進(jìn)入到Linux的交互終端，選擇菜單【編輯】中的【虛擬網(wǎng)絡(luò)編輯器】，如圖1-25所示。圖1-25虛擬機(jī)配置頁面1.3master節(jié)點(diǎn)的網(wǎng)絡(luò)配置進(jìn)入如圖1-26所示的【虛擬網(wǎng)絡(luò)編輯器】頁面，在虛擬網(wǎng)絡(luò)編輯器頁面上，選擇圖中的VMnet8NAT模式，這時(shí)候，下面會(huì)顯示子網(wǎng)IP，筆者本地是：（后面配置中會(huì)參考這個(gè)，請讀者記下本地的子網(wǎng)IP信息，后面的設(shè)置中據(jù)此進(jìn)行調(diào)整）。圖1-26虛擬網(wǎng)絡(luò)編輯器1.3master節(jié)點(diǎn)的網(wǎng)絡(luò)配置3．設(shè)置節(jié)點(diǎn)IP地址在master節(jié)點(diǎn)，輸入【servicenetworkrestart】重啟網(wǎng)絡(luò)，結(jié)果如圖1-27所示。修改IP地址命令如代碼1-1所示。代碼1-1修改IP命令vi/etc/sysconfig/network-scripts/ifcfg-ens33圖1-27master設(shè)置頁面1.3master節(jié)點(diǎn)的網(wǎng)絡(luò)配置執(zhí)行代碼1-1，如果打開的是一個(gè)空白的文件，說明地址或文件名出入錯(cuò)誤，請退出后重新輸入；輸入正確會(huì)出現(xiàn)如圖1-28所示的網(wǎng)絡(luò)配置信息。圖1-28masterIP設(shè)置頁面1.3master節(jié)點(diǎn)的網(wǎng)絡(luò)配置進(jìn)入配置文件后，修改內(nèi)容如表1-2所示，其中“192.168.88”請改為讀者自己在上一節(jié)中記下的本地信息，如第2節(jié)中子網(wǎng)IP是“”，那么此處的IPADDR就改為“81”，GATEWAY就設(shè)為“”。保存配置文件后，再次輸入【servicenetworkrestart】重啟網(wǎng)絡(luò)，如果沒有提示出錯(cuò)，輸入【ipa】命令回車執(zhí)行，可以在顯示的內(nèi)容中找到如圖1-29所示中的：“81”的IP地址，說明IP地址配置成功。圖1-29masterIP查詢頁面表1-2IP設(shè)置修改內(nèi)容#將下面兩項(xiàng)的配置進(jìn)行修改：BOOTPROTO=staticONBOOT=yes#在文件末尾添加以下內(nèi)容：IPADDR=81NETMASK=GATEWAY=DNS1=1.4克隆Slave節(jié)點(diǎn)克隆slave1節(jié)點(diǎn)將master虛擬機(jī)關(guān)機(jī)，并雙擊master節(jié)點(diǎn)之后，右擊master節(jié)點(diǎn)，在右擊菜單中選擇【管理】，然后選擇【克隆】，如圖1-30所示。圖1-30slave1虛擬機(jī)克隆1克隆slave1節(jié)點(diǎn)進(jìn)入到如圖1-31所示頁面，選擇【虛擬機(jī)中的當(dāng)前狀態(tài)】，單擊【下一頁】。在如圖1-32所示的頁面上選擇【創(chuàng)建完整克隆】，單擊【下一頁】。圖1-31slave1虛擬機(jī)克隆2圖1-32slave1虛擬機(jī)克隆3克隆slave1節(jié)點(diǎn)將虛擬機(jī)名稱改為slave1，單擊位置輸入框后的【瀏覽】，進(jìn)入到虛擬機(jī)存放的路徑下，讀者本地為“E:\hadoopbigdata\slave1”的文件夾，然后確定使用該文件夾，效果如圖1-33所示，然后單擊【完成】按鈕。圖1-33slave1虛擬機(jī)克隆4克隆slave1節(jié)點(diǎn)克隆虛擬機(jī)很快，完成后在左邊的節(jié)點(diǎn)導(dǎo)航中出現(xiàn)了slave1節(jié)點(diǎn)，如圖1-34所示。圖1-34slave1虛擬機(jī)克隆5克隆slave1節(jié)點(diǎn)開啟slave1虛擬機(jī)，并使用root用戶和密碼（跟master節(jié)點(diǎn)一致）登錄slave1，參考master節(jié)點(diǎn)設(shè)置IP的方法設(shè)置slave1的IP地址。修改IP地址命令